馬斯克斷言地球電力將枯竭,為何AI如此耗電?針對(duì)此問(wèn)題,《聊一波》欄目邀請(qǐng)中國(guó)工程院外籍院士、清華大學(xué)智能產(chǎn)業(yè)研究院創(chuàng)始院長(zhǎng)張亞勤展開探討。
王波明:大模型對(duì)電的需求量很大,究竟達(dá)到了怎樣的規(guī)模,會(huì)導(dǎo)致電力供應(yīng)不足?比如在美國(guó),其電力消耗處于什么量級(jí)?
張亞勤:如果看一下這一輪的人工智能,叫做生成式人工智能。這類技術(shù)需要海量的參數(shù)支撐,同時(shí)離不開大量圖形處理器(GPU)的運(yùn)算。其中涉及的參數(shù)規(guī)??蛇_(dá)萬(wàn)億級(jí),再加上高帶寬內(nèi)存(HBM)及各類網(wǎng)絡(luò)設(shè)備,十分耗電。
這就涉及到一個(gè)概念:規(guī)模定律(scaling law),即數(shù)據(jù)量越大、算力越強(qiáng),再輔以更優(yōu)的算法,模型性能就會(huì)越好,而其電力消耗也基本呈現(xiàn)指數(shù)級(jí)增長(zhǎng)。
目前主流使用的算法是Transformer,其算力需求呈n平方量級(jí)增長(zhǎng),本質(zhì)上也是指數(shù)級(jí)攀升。這里的n指的是Token的尺寸,而算力需求與n的平方成正比,所以生成式AI對(duì)電力的要求確實(shí)很高。
美國(guó)當(dāng)前的電力困境,一方面是美國(guó)的整體電網(wǎng)大多是30多年前部署的,電力系統(tǒng)中的變壓器使用壽命通常為30年,如今已普遍出現(xiàn)老化退化現(xiàn)象。因此,美國(guó)電網(wǎng)不僅容量不足,還存在嚴(yán)重的老化問(wèn)題。
另一方面,當(dāng)前新建的大型數(shù)據(jù)中心耗電量極高,因此美國(guó)多個(gè)地區(qū),例如弗吉尼亞州,目前部分家庭出現(xiàn)了用電困難的問(wèn)題,數(shù)據(jù)中心啟動(dòng)并運(yùn)行后,把電都用光了。所以現(xiàn)在美國(guó)又開始大力推進(jìn)核電廠的發(fā)展,同時(shí)重啟了許多此前已停用的電廠。
王波明:我了解到,似乎有部分企業(yè)計(jì)劃為自身建設(shè)專屬電廠,是嗎?
張亞勤:是的。由于當(dāng)前電網(wǎng)的容量無(wú)法滿足企業(yè)的用電需求,因此部分企業(yè)計(jì)劃自建供電設(shè)施,例如利用水電或自備發(fā)電機(jī)組供電。
目前還有一項(xiàng)處于科研階段的技術(shù)——微型核反應(yīng)堆,可直接配套建設(shè)在數(shù)據(jù)中心內(nèi),其供電能力較強(qiáng),但目前尚未實(shí)現(xiàn)落地應(yīng)用,仍處于研發(fā)階段。
不過(guò)即便如此,相關(guān)企業(yè)的股票在去年仍上漲了數(shù)十倍。說(shuō)明市場(chǎng)有這需求,而且大家對(duì)它的期待很大,這里面可能也有一些泡沫吧。
我覺(jué)得現(xiàn)在目前數(shù)據(jù)中心,包括這么多GPU的使用,基礎(chǔ)設(shè)施的打造,有點(diǎn)像咱們互聯(lián)網(wǎng)1997、1998年的時(shí)候,互聯(lián)網(wǎng)泡沫出現(xiàn)前的兩三年。
但我覺(jué)得也十分自然,因?yàn)樵谝粋€(gè)大的技術(shù)浪潮來(lái)臨時(shí),首先要把基礎(chǔ)設(shè)施建好,建的時(shí)候可能會(huì)超前一點(diǎn)。
這種超前性難免會(huì)催生部分泡沫,因?yàn)閷?duì)于大型企業(yè)而言,他們寧愿在基礎(chǔ)設(shè)施建設(shè)上投入過(guò)多、承受一定的浪費(fèi),也不愿失去這個(gè)機(jī)會(huì),因?yàn)槭C(jī)會(huì)的成本,遠(yuǎn)高于當(dāng)前多投個(gè)幾百億的投入。