英偉達創(chuàng)滿血DeepSeek推理世界紀錄 性能顯著提升
英偉達在NVIDIA GTC 2025上宣布，其NVIDIA Blackwell DGX系統(tǒng)創(chuàng)下DeepSeek-R1大模型推理性能的世界紀錄。在搭載了八塊Blackwell GPU的單個DGX系統(tǒng)上運行6710億參數(shù)的滿血DeepSeek-R1模型可實現(xiàn)每用戶每秒超250 token的響應速度，系統(tǒng)最高吞吐量突破每秒3萬token。
隨著NVIDIA平臺繼續(xù)在最新的Blackwell Ultra GPU和Blackwell GPU上突破推理極限，其性能將會不斷提高。例如，在運行TensorRT-LLM軟件的NVL8配置的NVIDIA B200 GPU上，單節(jié)點配置為DGX B200（8塊GPU）與DGX H200（8塊GPU），測試參數(shù)為輸入1024 token / 輸出2048 token；此前測試為輸入/輸出各1024 token，計算精度方面，B200采用FP4，H100/H200采用FP8精度。
自2025年1月以來，通過硬件和軟件的結(jié)合，英偉達成功將DeepSeek-R1 671B模型的吞吐量提高了約36倍。節(jié)點配置包括DGX B200（8塊GPU）、DGX H200（8塊GPU）以及兩個DGX H100（8塊GPU）系統(tǒng)，測試參數(shù)依然采用TensorRT-LLM內(nèi)部版本，輸入1024 token / 輸出2048 token，并發(fā)性MAX，計算精度方面，B200采用FP4，H100/H200采用FP8精度。
與Hopper架構(gòu)相比，Blackwell架構(gòu)與TensorRT軟件相結(jié)合實現(xiàn)了顯著的推理性能提升。DGX B200平臺在運行TensorRT軟件并使用FP4精度時，與DGX H200平臺相比提供了3倍以上的推理吞吐量提升，適用于包括DeepSeek-R1、Llama 3.1 405B和Llama 3.3 70B在內(nèi)的多個模型。在對模型進行量化以利用低精度計算優(yōu)勢時，確保精度損失最小化是生產(chǎn)部署的關鍵。在DeepSeek-R1模型上，相較于FP8基準精度，TensorRT Model Optimizer的FP4訓練后量化技術(shù)在不同數(shù)據(jù)集上僅產(chǎn)生微乎其微的精度損失。
男生去鎮(zhèn)上洗頭免費吹造型效果驚人！這個服務區(qū)共20項服務全部免費
合肥深山驚現(xiàn)百木之王 古老灰楸樹綻放紫花
上海發(fā)現(xiàn)中國未有神秘生物 類奇異布紋藻現(xiàn)身
美方糾錯的步子應該邁得更大一些 關稅松動信號顯現(xiàn)
辟謠美國建廠！百余股火速回應穩(wěn)信心：關稅影響有限 澄清聲明穩(wěn)定市場情緒
日本人大幅拋售美國國債？自民黨高官表態(tài)
越野車玩水被沖走兩人遇難 網(wǎng)紅景點悲劇引發(fā)關注
男生去鎮(zhèn)上洗頭免費吹造型效果驚人！這個服務區(qū)共20項服務全部免費
小孩跳樓砸壞新車家長只賠幾百 車主索賠遇阻
上海發(fā)現(xiàn)中國未有神秘生物 類奇異布紋藻現(xiàn)身
全球發(fā)布！哈工大打造機器人領域頂級國際期刊 匯聚全球頂尖學術(shù)資源
媒體：歐洲版“星鏈”前路漫漫 自主之路挑戰(zhàn)重重
美伊首輪間接談判結(jié)束 建設性對話繼續(xù)
大阪世博會中國館排隊一眼望不到頭 中國館成“頂流”
一峪口貼警告“兩年失聯(lián)9人” 提醒游客勿走小路
俄羅斯最新涉華表態(tài) 中俄石油合作前景廣闊
默茨稱將限制移民德國人數(shù) 減輕基礎設施壓力
老婆睡覺前被老公惹怒，老婆一個動作當場把老公治服
合肥深山驚現(xiàn)百木之王 古老灰楸樹綻放紫花
歐盟磋商設立共同防務基金 促進統(tǒng)一軍購
“鹵鵝哥”回應10萬元獎勵 房貸與車貸的及時雨
美國反復打臉又挽尊傷最狠是自身 關稅政策自食其果
雷霆本賽季68勝創(chuàng)隊史新紀錄 歷史級別戰(zhàn)績
歐洲芯片廠齊聲警告加稅風暴 恐雪上加霜
當?shù)鼗貞^(qū)8樓承重墻被鑿 建議加固恢復處理
尹錫悅出席公審 首場審判開啟
臺民調(diào)稱近六成民眾反對“大罷免” 主流民意不贊成
一名烏克蘭F-16飛行員死亡 澤連斯基誓言回應
關稅救不了美國制造 違背經(jīng)濟規(guī)律
TVB視帝王浩信想挑戰(zhàn)一下古偶賽道和拍鄉(xiāng)村愛情
2年半賣出30萬罐，90后廚師為什么要把“奶油”塞進自動售貨機？
10個會悄悄讓人變胖的習慣 警惕這些小習慣
美國高管一家5口墜機遇難 美直升機無記錄儀 事故調(diào)查面臨挑戰(zhàn)
伊朗與美國首輪間接談判結(jié)束 會談將在下周繼續(xù)進行
離開中國后，“甲亢哥”：想念“鹵鵝哥” 會帶他去美國 真摯友情跨越國界
相關新聞
黃仁勛揭秘下一代芯片Rubin，英偉達想要吃“DeepSeek紅利” 推理時代的新機遇
2025-03-19 12:03:54黃仁勛揭秘下一代芯片Rubin英偉達上線DeepSeek 領先推理模型預覽版發(fā)布
2025-02-01 01:41:22英偉達上線DeepSeek英偉達稱DeepSeek離不開其芯片 市場需求增加
1月28日，全球多家科技巨頭因DeepSeek的技術(shù)進步而受到影響，英偉達的股價在美股市場收跌16.86%，每股報18.58美元
2025-01-28 18:22:15英偉達稱DeepSeek離不開其芯片英偉達：DeepSeek未來需要更多芯片 市場需求旺盛
英偉達發(fā)表聲明表示，中國人工智能公司深度求索（DeepSeek）取得的進展顯示出其芯片在中國市場的實用價值。為滿足DeepSeek的服務需求，未來將需要更多英偉達芯片
2025-01-28 11:24:53英偉達DeepSeek崛起沖擊美股 英偉達股價大跌17%
2025-01-28 07:17:05美股DeepSeek繼續(xù)給巨頭上壓力 英偉達業(yè)績超預期
英偉達在DeepSeek沖擊之下，憑借多個超預期表現(xiàn)再次給投資者帶來了信心。財報顯示，英偉達第四財季實現(xiàn)營收393.31億美元，同比增長78%，高于市場預期的380.5億美元
2025-02-28 18:41:01DeepSeek繼續(xù)給巨頭上壓力
