周杰來(lái)源:受訪者
對(duì)于此芯科技如何“接入”DeepSeek,周杰解釋道:“用戶現(xiàn)在使用DeepSeek等應(yīng)用,很多需要調(diào)用云端的算力,相當(dāng)于DeepSeek自己的數(shù)據(jù)中心或云廠商,提供了一些API給終端側(cè)應(yīng)用調(diào)用,用戶使用DeepSeek APP時(shí),就可以調(diào)用云端的AI能力。但是部分端側(cè)場(chǎng)景可能對(duì)數(shù)據(jù)隱私等方面有很高的要求,這種情況下就需要在本地進(jìn)行運(yùn)算,在端側(cè)部署后,用戶可以在斷網(wǎng)的情況下運(yùn)行DeepSeek等模型。”
從算力和系統(tǒng)層面滿足了運(yùn)行一個(gè)大語(yǔ)言模型的基本要求后,此芯科技就可以結(jié)合客戶項(xiàng)目的實(shí)際需求,跟DeepSeek等模型廠商進(jìn)行商業(yè)化合作,對(duì)模型進(jìn)行微調(diào)優(yōu)化,把具體項(xiàng)目落地。
V2推出后,清程極智內(nèi)部也嘗試接入該模型,但當(dāng)時(shí)的市場(chǎng)需求較少,他們就沒(méi)有推廣使用。今年R1出來(lái)后,他們覺(jué)得這是一個(gè)非常好的機(jī)會(huì),決定接入DeepSeek并大規(guī)模向客戶推廣。
清程極智是做系統(tǒng)軟件的,對(duì)外基于系統(tǒng)軟件提供推理服務(wù),因此不是像部分應(yīng)用公司那樣直接接入DeepSeek的API,而是為客戶提供一套專(zhuān)屬的DeepSeek的API用于應(yīng)用服務(wù)。“我們接入的方式是把DeepSeek的開(kāi)源模型下載下來(lái),在我們的算力系統(tǒng)上用系統(tǒng)軟件把服務(wù)部署起來(lái)。”湯雄超說(shuō)。
通俗來(lái)講,R1模型是一個(gè)幾百G大小的文件,但下載后無(wú)法直接使用。
“它只是一個(gè)文件,不是一個(gè)可用的服務(wù),我們要做的是把這個(gè)模型運(yùn)行起來(lái),讓它去對(duì)外提供服務(wù)的接口。通過(guò)API的服務(wù)接口,用戶就可以跟模型進(jìn)行對(duì)話了?!睖鄢忉尩?。
基于前期技術(shù)積累,清程極智在把模型文件下載下來(lái)后,一天內(nèi)就迭代出了第一個(gè)版本,隨后針對(duì)R1模型結(jié)構(gòu)進(jìn)行了優(yōu)化,正式“滿血版”官宣上線只用了一周。
在湯雄超看來(lái),技術(shù)環(huán)節(jié)的工作都比較順利,接入DeepSeek后,更多的挑戰(zhàn)來(lái)自于商務(wù)側(cè)或市場(chǎng)側(cè)。具體來(lái)說(shuō),DeepSeek的流量給公司帶來(lái)了非常多來(lái)咨詢的客戶,但每個(gè)客戶的需求都不太一樣?!鞍ㄋ懔ζ脚_(tái)、芯片型號(hào)、服務(wù)器規(guī)格等都不一樣,我們需要針對(duì)不同的算力等基礎(chǔ),做針對(duì)性的調(diào)優(yōu)?!睖鄢f(shuō)。
用deepseek寫(xiě)的歌在網(wǎng)易云火了。...
2025-02-14 15:54:13用deepseek寫(xiě)的歌在網(wǎng)易云火了對(duì)公眾而言,需理性看待AI技術(shù),不要盲目相信所謂的“AI預(yù)測(cè)彩票”。在科技日新月異的今天,AI似乎成了無(wú)所不能的“神器”
2025-02-14 09:10:09用DeepSeek買(mǎi)彩票聰明反被聰明誤