不僅如此,DeepSeek的模型比較大,尤其是“滿(mǎn)血版”模型對(duì)硬件有一定要求;基于性?xún)r(jià)比層面的考慮,美圖的業(yè)務(wù)場(chǎng)景存在很顯著的(使用)高峰、低峰效應(yīng),云廠商可以抹平各家調(diào)用API高低峰期的差異?!叭绻覀冏约哼M(jìn)行部署,低峰期資源利用率可能比較低,會(huì)有比較大的資源浪費(fèi)?!惫繒熣f(shuō)。
因此,美圖目前接入DeepSeek-R1模型的方式,主要是調(diào)用云廠商的API,在此基礎(chǔ)上進(jìn)行一定的私有化部署。
與美圖類(lèi)似,部署端側(cè)芯片的此芯科技,也一直對(duì)新發(fā)布的各種大模型保持關(guān)注,尤其是比較適合在端側(cè)進(jìn)行本地化部署的模型。此芯科技生態(tài)戰(zhàn)略總經(jīng)理周杰表示,對(duì)于一些開(kāi)源的大模型,尤其是SOTA模型(State of the Art,在某一領(lǐng)域或任務(wù)中表現(xiàn)最佳的模型),他們會(huì)第一時(shí)間投入資源進(jìn)行相應(yīng)的異構(gòu)適配。因此在DeepSeek去年發(fā)布V2以及今年發(fā)布R1后,此芯科技都第一時(shí)間嘗試適配這些模型。
在周杰看來(lái),DeepSeek-V2模型的主要?jiǎng)?chuàng)新點(diǎn)有兩個(gè),一是通過(guò)MLA(多頭潛在注意力)架構(gòu)有效地降低了KV緩存(Transformer模型在自回歸解碼過(guò)程中使用的一種優(yōu)化技術(shù))的開(kāi)銷(xiāo),因?yàn)榇笳Z(yǔ)言模型對(duì)于內(nèi)存帶寬和容量的要求很高,一旦能夠降低KV緩存,可以給算力平臺(tái)帶來(lái)很大幫助;二是DeepSeek發(fā)布的MoE(混合專(zhuān)家)模型,對(duì)傳統(tǒng)MoE架構(gòu)進(jìn)行了優(yōu)化改造,這個(gè)架構(gòu)可以讓一個(gè)(參數(shù))更大的模型在資源有限的情況下被使用。
當(dāng)時(shí),此芯科技很快適配了V2模型的light版本,即16B大小的模型?!半m然16B參數(shù)看起來(lái)也很大,但實(shí)際運(yùn)行時(shí),它只會(huì)激活2.4B參數(shù)。我們覺(jué)得這樣的模型非常適合在端側(cè)運(yùn)行,此芯科技的P1芯片也可以給2.4B參數(shù)規(guī)模的模型提供比較好的支持?!敝芙芨嬖V《中國(guó)企業(yè)家》。
用deepseek寫(xiě)的歌在網(wǎng)易云火了。...
2025-02-14 15:54:13用deepseek寫(xiě)的歌在網(wǎng)易云火了對(duì)公眾而言,需理性看待AI技術(shù),不要盲目相信所謂的“AI預(yù)測(cè)彩票”。在科技日新月異的今天,AI似乎成了無(wú)所不能的“神器”
2025-02-14 09:10:09用DeepSeek買(mǎi)彩票聰明反被聰明誤