AI的重大進(jìn)步？

撇開這些不談，專家們稱這場比賽是AI向前邁出的重要一步。長期參與《星際爭霸》AI場景的AI研究人員戴夫·丘吉爾（Dave Churchill）表示:“我認(rèn)為AI取得了重大成就，至少比我在AI研究人員中聽到的最樂觀猜測提前了一年?！比欢窦獱栄a(bǔ)充說，由于DeepMind尚未發(fā)布任何關(guān)于這項工作的研究論文，因此很難說它是否顯示出任何技術(shù)上的飛躍。他指出:“我還沒有讀過這篇博客文章，也沒有接觸過相關(guān)的論文或技術(shù)細(xì)節(jié)。”

佐治亞理工學(xué)院AI副教授馬克·里德爾(Mark Riedl)表示，他對結(jié)果并不那么驚訝，AI獲得勝利只是“時間問題”。里德爾補(bǔ)充說，他不認(rèn)為這些比賽表明《星際爭霸2》已經(jīng)被AI徹底掌控。他表示：“在上一場直播比賽中，限制AlphaStar的某些能力確實消除了它的許多人為優(yōu)勢。但我們看到的更大的問題是，當(dāng)人們可以把AI推出舒適區(qū)時，它就會崩潰?！?/p>

丹麥哥本哈根信息技術(shù)大學(xué)的塞巴斯蒂安·里斯(Sebastian Risi)表示：“這看起來是向前邁出的一大步。我們不知道這其間有多少創(chuàng)新，但培訓(xùn)AI的方式似乎是關(guān)鍵。”里斯的同事尼爾斯·賈斯特森（Niels Justesen）說:“我沒想到會發(fā)生這樣的事情，尤其是因為之前的端到端學(xué)習(xí)《星際爭霸》的嘗試遠(yuǎn)遠(yuǎn)沒有達(dá)到人類的水平?！?/p>

殘酷的強(qiáng)化學(xué)習(xí)AI競技場

最終，這類工作的最終目標(biāo)不是利用AI在視頻游戲中擊敗人類，而是改進(jìn)AI的訓(xùn)練方法，尤其是為了創(chuàng)建能夠在《星際爭霸》等復(fù)雜虛擬環(huán)境中運(yùn)行的系統(tǒng)。

為了訓(xùn)練AlphaStar,DeepMind的研究人員使用了被稱為強(qiáng)化學(xué)習(xí)的方法。AI智能體基本上是通過反復(fù)嘗試才能達(dá)到某些目標(biāo)，比如贏球或者僅僅是生存下去。它們首先通過模仿人類玩家來學(xué)習(xí)，然后在類似競技比賽中相互對決。最強(qiáng)的AI會存活下來，最弱的則被淘汰。DeepMind估計，其每個AlphaStar智能體都以這種方式積累了大約200年的游戲時間，游戲速度也在加快。