DeepSeek 風(fēng)靡全球，成為過去一周人們熱議的話題。其每日流量遠(yuǎn)超Claude、Perplexity甚至Gemini。對于長期關(guān)注該領(lǐng)域的人來說，DeepSeek 并不是新事物，幾個月來一直在討論這家公司。雖然公司本身并不新，但近期的炒作確實(shí)引人注目。SemiAnalysis 一直認(rèn)為 DeepSeek 具有才華，但直到最近才引起美國公眾的關(guān)注。

情況與上個月相比發(fā)生了變化。隨著算法改進(jìn)速度加快，對Nvidia和GPU的需求減少，導(dǎo)致產(chǎn)能過剩。盡管杰文斯悖論被夸大了，但它確實(shí)反映了這些模型引發(fā)的需求變化，影響了H100和H200的定價。

High-Flyer 是一家中國對沖基金，也是在交易算法中使用人工智能的早期采用者。他們在2021年投資了10,000個A100 GPU，這筆投資后來獲得了回報。2023年5月，High-Flyer 分拆出“DeepSeek”，專注于進(jìn)一步的人工智能能力開發(fā)。起初由于外部投資者興趣不大，缺乏商業(yè)模式，High-Flyer 自籌資金。如今，High-Flyer 和 DeepSeek 經(jīng)常共享資源，包括人力和計(jì)算資源。DeepSeek 已經(jīng)發(fā)展成為一個嚴(yán)肅且協(xié)調(diào)一致的努力項(xiàng)目，GPU 投資超過5億美元。

據(jù)估計(jì)，DeepSeek 擁有大約50,000個Hopper GPU，其中包括10,000臺H800和10,000臺H100。他們還訂購了更多H20，這些GPU由High-Flyer和DeepSeek共享，用于交易、推理、培訓(xùn)和研究?？偡?wù)器資本支出接近13億美元，運(yùn)營成本高達(dá)7.15億美元。

DeepSeek 在招聘方面非常注重能力和好奇心，定期在北大和浙江大學(xué)等頂尖大學(xué)舉辦招聘活動。他們提供極具競爭力的薪資，吸引了大量人才。目前有約150名員工，發(fā)展迅速。由于資金自足，DeepSeek 能夠快速實(shí)施創(chuàng)意，并擁有自己的數(shù)據(jù)中心，為實(shí)驗(yàn)提供了更多空間。

DeepSeek 的預(yù)訓(xùn)練成本僅為600萬美元，但這只是總成本的一部分。實(shí)際硬件支出遠(yuǎn)高于5億美元，包括研發(fā)和TCO等重要部分。例如，Claude 3.5 Sonnet 的訓(xùn)練成本為數(shù)千萬美元。DeepSeek 通過出口管制滯后等因素獲得了龐大的集群。

V3模型令人印象深刻，但相對于GPT-4o來說，后者于2024年5月發(fā)布。算法改進(jìn)允許更少的計(jì)算量實(shí)現(xiàn)相同或更強(qiáng)的功能。小型模型越來越好并不是新鮮事。DeepSeek 實(shí)現(xiàn)了這一成本水平，預(yù)計(jì)到今年年底成本會再次下降5倍。

R1能夠取得與o1相當(dāng)?shù)某煽?，這得益于新的范式，即通過合成數(shù)據(jù)生成和強(qiáng)化學(xué)習(xí)提高推理能力。這種范式具有更快的迭代速度和更低的進(jìn)入門檻。R1是一個非常好的模型，但并非每個指標(biāo)都勝出。谷歌的Gemini Flash 2.0 Thinking也在一個月前發(fā)布，比R1便宜且性能強(qiáng)大。

DeepSeek 在技術(shù)上取得了顯著成就，包括多標(biāo)記預(yù)測 (MTP) 和混合專家模型 (MoE)。MTP 提高了訓(xùn)練效率，而MoE則通過高效路由提高了整體性能。此外，多頭潛在注意力 (MLA) 顯著降低了推理成本。DeepSeek 利用H20實(shí)現(xiàn)了更高的推理效率，并與華為建立了合作伙伴關(guān)系。