為了最大化效率，系統(tǒng)需要將工作負(fù)載分配給多個(gè)GPU，進(jìn)行各種并行處理，如張量并行、管道并行、數(shù)據(jù)并行和專家并行。這樣的分配是為了確保工作能盡快完成，因?yàn)樵谝粋€(gè)工廠中，吞吐量直接關(guān)系到收入、服務(wù)質(zhì)量和可服務(wù)的客戶數(shù)量。如今，我們身處一個(gè)數(shù)據(jù)中心吞吐量利用率至關(guān)重要的時(shí)代。

過去，雖然吞吐量被認(rèn)為重要，但并非決定性的因素。然而，現(xiàn)在，從啟動(dòng)時(shí)間、運(yùn)行時(shí)間、利用率、吞吐量到空閑時(shí)間等每一個(gè)參數(shù)都被精確測(cè)量，因?yàn)閿?shù)據(jù)中心已成為真正的“工廠”。在這個(gè)工廠中，運(yùn)作效率直接關(guān)聯(lián)到公司的財(cái)務(wù)表現(xiàn)。

鑒于這種復(fù)雜性，我們深知大多數(shù)公司在部署人工智能時(shí)面臨的挑戰(zhàn)。因此，我們開發(fā)了一個(gè)集成化的人工智能容器解決方案，將人工智能封裝在易于部署和管理的盒子中。這個(gè)盒子包含了龐大的軟件集合，如CUDA、CUDACNN和TensorRT，以及Triton推理服務(wù)。它支持云原生環(huán)境，允許在Kubernetes（基于容器技術(shù)的分布式架構(gòu)解決方案）環(huán)境中自動(dòng)擴(kuò)展，并提供管理服務(wù)，方便用戶監(jiān)控人工智能服務(wù)的運(yùn)行狀態(tài)。

更令人振奮的是，這個(gè)人工智能容器提供通用的、標(biāo)準(zhǔn)的API接口，使得用戶可以直接與“盒子”進(jìn)行交互。用戶只需下載Nim，并在支持CUDA的計(jì)算機(jī)上運(yùn)行，即可輕松部署和管理人工智能服務(wù)。如今，CUDA已無處不在，它支持各大云服務(wù)提供商，幾乎所有計(jì)算機(jī)制造商都提供CUDA支持，甚至在數(shù)億臺(tái)PC中也能找到它的身影。

當(dāng)你下載Nim時(shí)，即刻擁有一個(gè)人工智能助手，它能如與ChatGPT對(duì)話般流暢交流?，F(xiàn)在，所有的軟件都已精簡(jiǎn)并整合在一個(gè)容器中，原先繁瑣的400個(gè)依賴項(xiàng)全部集中優(yōu)化。我們對(duì)Nim進(jìn)行了嚴(yán)格的測(cè)試，每個(gè)預(yù)訓(xùn)練模型都在我們的云端基礎(chǔ)設(shè)施上得到了全面測(cè)試，包括Pascal、Ampere乃至最新的Hopper等不同版本的GPU。這些版本種類繁多，幾乎覆蓋了所有需求。

Nim的發(fā)明無疑是一項(xiàng)壯舉，它是我最引以為傲的成就之一。如今，我們有能力構(gòu)建大語言模型和各種預(yù)訓(xùn)練模型，這些模型涵蓋了語言、視覺、圖像等多個(gè)領(lǐng)域，還有針對(duì)特定行業(yè)如醫(yī)療保健和數(shù)字生物學(xué)的定制版本。

想要了解更多或試用這些版本，只需訪問ai.nvidia.com。今天，我們?cè)贖ugging Face上發(fā)布了完全優(yōu)化的Llama 3 Nim，你可以立即體驗(yàn)，甚至免費(fèi)帶走它。無論你選擇哪個(gè)云平臺(tái)，都能輕松運(yùn)行它。當(dāng)然，你也可以將這個(gè)容器下載到你的數(shù)據(jù)中心，自行托管，并為你的客戶提供服務(wù)。

我前面提到，我們擁有覆蓋不同領(lǐng)域的Nim版本，包括物理學(xué)、語義檢索、視覺語言等，支持多種語言。這些微服務(wù)可以輕松集成到大型應(yīng)用中，其中最具潛力的應(yīng)用之一是客戶服務(wù)代理。它幾乎是每個(gè)行業(yè)的標(biāo)配，代表了價(jià)值數(shù)萬億美元的全球客戶服務(wù)市場(chǎng)。

值得一提的是，護(hù)士們作為客戶服務(wù)的核心，在零售、快餐、金融服務(wù)、保險(xiǎn)等行業(yè)中發(fā)揮著重要作用。如今，借助語言模型和人工智能技術(shù)，數(shù)千萬的客戶服務(wù)人員得到了顯著的增強(qiáng)。這些增強(qiáng)工具的核心，正是你所看到的Nim。

有些被稱為推理智能體（Reasoning Agents），它們被賦予任務(wù)后，能夠明確目標(biāo)并制定計(jì)劃。有的擅長(zhǎng)檢索信息，有的精于搜索，還有的可能會(huì)使用如Coop這樣的工具，或者需要學(xué)習(xí)在SAP上運(yùn)行的特定語言如ABAP，甚至執(zhí)行SQL查詢。這些所謂的專家現(xiàn)在被組成一個(gè)高效協(xié)作的團(tuán)隊(duì)。

應(yīng)用層也因此發(fā)生了變革：過去，應(yīng)用程序是由指令編寫的，而現(xiàn)在，它們則是通過組裝人工智能團(tuán)隊(duì)來構(gòu)建。雖然編寫程序需要專業(yè)技能，但幾乎每個(gè)人都知道如何分解問題并組建團(tuán)隊(duì)。因此，我堅(jiān)信，未來的每家公司都會(huì)擁有一個(gè)龐大的Nim集合。你可以根據(jù)需要選擇專家，將它們連接成一個(gè)團(tuán)隊(duì)。

更神奇的是，你甚至不需要弄清楚如何去連接它們。只需給代理分配一個(gè)任務(wù)，Nim會(huì)智能地決定如何分解任務(wù)并分配給最適合的專家。它們就像應(yīng)用程序或團(tuán)隊(duì)的中央領(lǐng)導(dǎo)者，能夠協(xié)調(diào)團(tuán)隊(duì)成員的工作，最終將結(jié)果呈現(xiàn)給你。

整個(gè)過程就像人類團(tuán)隊(duì)協(xié)作一樣高效、靈活。這不僅僅是未來的趨勢(shì)，而是即將在我們身邊成為現(xiàn)實(shí)。這就是未來應(yīng)用程序?qū)⒁尸F(xiàn)的全新面貌。

PC將成為數(shù)字人主要載體