AlphaGo Zero強化學(xué)習(xí)下的自我對弈。

經(jīng)過幾天的訓(xùn)練，AlphaGo Zero完成了近5百萬盤的自我博弈后，已經(jīng)可以超越人類，并擊敗了此前所有版本的AlphaGo。DeepMind團隊在官方博客上稱，Zero用更新后的神經(jīng)網(wǎng)絡(luò)和搜索算法重組，隨著訓(xùn)練地加深，系統(tǒng)的表現(xiàn)一點一點地在進步。自我博弈的成績也越來越好，同時，神經(jīng)網(wǎng)絡(luò)也變得更準確。

AlphaGo Zero習(xí)得知識的過程

“這些技術(shù)細節(jié)強于此前版本的原因是，我們不再受到人類知識的限制，它可以向圍棋領(lǐng)域里最高的選手——AlphaGo自身學(xué)習(xí)?！?nbsp;AlphaGo團隊負責人大衛(wèi)·席爾瓦（Dave Sliver）說。

據(jù)大衛(wèi)·席爾瓦介紹，AlphaGo Zero使用新的強化學(xué)習(xí)方法，讓自己變成了老師。系統(tǒng)一開始甚至并不知道什么是圍棋，只是從單一神經(jīng)網(wǎng)絡(luò)開始，通過神經(jīng)網(wǎng)絡(luò)強大的搜索算法，進行了自我對弈。

隨著自我博弈的增加，神經(jīng)網(wǎng)絡(luò)逐漸調(diào)整，提升預(yù)測下一步的能力，最終贏得比賽。更為厲害的是，隨著訓(xùn)練的深入，DeepMind團隊發(fā)現(xiàn)，AlphaGo Zero還獨立發(fā)現(xiàn)了游戲規(guī)則，并走出了新策略，為圍棋這項古老游戲帶來了新的見解。

自學(xué)3天，就打敗了舊版AlphaGo

除了上述的區(qū)別之外，AlphaGo Zero還在3個方面與此前版本有明顯差別。

AlphaGo-Zero的訓(xùn)練時間軸

首先，AlphaGo Zero僅用棋盤上的黑白子作為輸入，而前代則包括了小部分人工設(shè)計的特征輸入。

其次，AlphaGo Zero僅用了單一的神經(jīng)網(wǎng)絡(luò)。在此前的版本中，AlphaGo用到了“策略網(wǎng)絡(luò)”來選擇下一步棋的走法，以及使用“價值網(wǎng)絡(luò)”來預(yù)測每一步棋后的贏家。而在新的版本中，這兩個神經(jīng)網(wǎng)絡(luò)合二為一，從而讓它能得到更高效的訓(xùn)練和評估。

第三，AlphaGo Zero并不使用快速、隨機的走子方法。在此前的版本中，AlphaGo用的是快速走子方法，來預(yù)測哪個玩家會從當前的局面中贏得比賽。相反，新版本依靠地是其高質(zhì)量的神經(jīng)網(wǎng)絡(luò)來評估下棋的局勢。

相關(guān)報道:

• 柯潔阿爾法狗和李世石 他們的恩怨已經(jīng)延續(xù)幾十年了

• 王思聰懟柯潔之后 馬云又懟上阿爾法狗:沒意思!(圖)

• 五名九段棋手組團迎戰(zhàn)AlphaGo：被團滅(組圖)

• 柯潔首輪不敵阿爾法狗 明知敗局已定依然下完全局