用DeepSeek創(chuàng)收的“小公司”，痛并快樂(lè)著(3)

小大

用微信掃描二維碼
分享至好友和朋友圈

關(guān)鍵詞：

2025-03-19 10:55:39 中國(guó)企業(yè)家雜志

不僅如此，DeepSeek的模型比較大，尤其是“滿(mǎn)血版”模型對(duì)硬件有一定要求；基于性?xún)r(jià)比層面的考慮，美圖的業(yè)務(wù)場(chǎng)景存在很顯著的（使用）高峰、低峰效應(yīng)，云廠商可以抹平各家調(diào)用API高低峰期的差異?！叭绻覀冏约哼M(jìn)行部署，低峰期資源利用率可能比較低，會(huì)有比較大的資源浪費(fèi)?！惫繒熣f(shuō)。

因此，美圖目前接入DeepSeek-R1模型的方式，主要是調(diào)用云廠商的API，在此基礎(chǔ)上進(jìn)行一定的私有化部署。

與美圖類(lèi)似，部署端側(cè)芯片的此芯科技，也一直對(duì)新發(fā)布的各種大模型保持關(guān)注，尤其是比較適合在端側(cè)進(jìn)行本地化部署的模型。此芯科技生態(tài)戰(zhàn)略總經(jīng)理周杰表示，對(duì)于一些開(kāi)源的大模型，尤其是SOTA模型（State of the Art，在某一領(lǐng)域或任務(wù)中表現(xiàn)最佳的模型），他們會(huì)第一時(shí)間投入資源進(jìn)行相應(yīng)的異構(gòu)適配。因此在DeepSeek去年發(fā)布V2以及今年發(fā)布R1后，此芯科技都第一時(shí)間嘗試適配這些模型。

在周杰看來(lái)，DeepSeek-V2模型的主要?jiǎng)?chuàng)新點(diǎn)有兩個(gè)，一是通過(guò)MLA（多頭潛在注意力）架構(gòu)有效地降低了KV緩存（Transformer模型在自回歸解碼過(guò)程中使用的一種優(yōu)化技術(shù)）的開(kāi)銷(xiāo)，因?yàn)榇笳Z(yǔ)言模型對(duì)于內(nèi)存帶寬和容量的要求很高，一旦能夠降低KV緩存，可以給算力平臺(tái)帶來(lái)很大幫助；二是DeepSeek發(fā)布的MoE（混合專(zhuān)家）模型，對(duì)傳統(tǒng)MoE架構(gòu)進(jìn)行了優(yōu)化改造，這個(gè)架構(gòu)可以讓一個(gè)（參數(shù)）更大的模型在資源有限的情況下被使用。

當(dāng)時(shí)，此芯科技很快適配了V2模型的light版本，即16B大小的模型?！半m然16B參數(shù)看起來(lái)也很大，但實(shí)際運(yùn)行時(shí)，它只會(huì)激活2.4B參數(shù)。我們覺(jué)得這樣的模型非常適合在端側(cè)運(yùn)行，此芯科技的P1芯片也可以給2.4B參數(shù)規(guī)模的模型提供比較好的支持?！敝芙芨嬖V《中國(guó)企業(yè)家》。

首頁(yè)上一頁(yè)1 234 5 6 全文共 6 頁(yè)下一頁(yè)

關(guān)閉

用DeepSeek創(chuàng)收的“小公司”，痛并快樂(lè)著(3)

相關(guān)新聞

今日熱點(diǎn)

頻道熱點(diǎn)

用DeepSeek創(chuàng)收的“小公司”，痛并快樂(lè)著(3)