史上最令人恐懼的思想實(shí)驗(yàn)：洛可蛇怪了解一下？

小大

用微信掃描二維碼
分享至好友和朋友圈

掃描到手機(jī)×

2018-05-21 11:06:25 新浪科技參與評(píng)論()人

利維坦按：從技術(shù)進(jìn)步的角度來(lái)看人類(lèi)文明的發(fā)展，的確令人感到十分恐怖——未來(lái)學(xué)家雷·庫(kù)茲韋爾將其稱(chēng)為加速回報(bào)定律（Law of Accelerating Returns）。試想，如果一個(gè)2018年的你和一個(gè)1750年的你對(duì)話(huà)，這會(huì)是一種什么情形呢？1750年的你所處的時(shí)代還沒(méi)有電……你會(huì)怎么向他/她解釋你的智能手機(jī)？又怎么解釋互聯(lián)網(wǎng)和核武器？而這一切技術(shù)成果，僅僅花了260多年的時(shí)間。

由此，庫(kù)茲韋爾認(rèn)為，整個(gè)20世紀(jì)100年的進(jìn)步，按照2000年的速度只要20年就能達(dá)成，而進(jìn)入21世紀(jì)，按照加速回報(bào)定，他認(rèn)為人類(lèi)在21世紀(jì)的進(jìn)步將是上世紀(jì)的1000倍……雖然我們現(xiàn)在普遍認(rèn)為自身處在弱人工智能（ANI，想一想弱智的蘋(píng)果siri）時(shí)期，但距離強(qiáng)人工智能（AGI）乃至超人工智能（ASI）究竟還有多遠(yuǎn)，對(duì)未來(lái)不論悲觀還是樂(lè)觀的人，相信答案近乎一致，那就是：很快（對(duì)于數(shù)百位科學(xué)家的問(wèn)卷調(diào)查顯示，他們認(rèn)為強(qiáng)人工智能出現(xiàn)的中位年份是2040年）。況且，看完本文中的洛可蛇怪，你可能覺(jué)得未來(lái)更加吊詭了……

在了解洛可蛇怪之前，我們先回想一下被《復(fù)聯(lián)》創(chuàng)造出來(lái)的奧創(chuàng)。奧創(chuàng)的出生本意是保護(hù)人類(lèi)，但基于自身的思維進(jìn)化卻成為全人類(lèi)的威脅（他認(rèn)為人類(lèi)是地球最大的威脅），因此反而成為了“對(duì)全人類(lèi)造成威脅的人工智能”。

再反觀洛可蛇怪，儼然一副“你幫我我?guī)湍?，你不幫我我就弄你”的道德評(píng)判準(zhǔn)則，因此對(duì)于眾人而言則成為一種“詛咒”。在這個(gè)語(yǔ)境下，需要做選擇的是一個(gè)群體而非個(gè)體，每個(gè)人都是和平飯店里的住客，只要一個(gè)點(diǎn)崩了，那便可能是全線崩盤(pán)的可預(yù)測(cè)結(jié)局。而洛可蛇怪并不是一顆種子，即便在未來(lái)有出現(xiàn)邪惡的AI的可能，也很難是僅僅因?yàn)檫@一思想實(shí)驗(yàn)的啟發(fā)——但洛可蛇怪的可怕之處在于它的“催化劑效應(yīng)”，當(dāng)你面臨選擇的時(shí)候，其實(shí)已經(jīng)沒(méi)有選擇的余地了。

對(duì)了，最近，一直想要殖民火星的特斯拉CEO馬斯克和加拿大音樂(lè)家格里姆斯（Grimes）高調(diào)亮相公開(kāi)關(guān)系引來(lái)不少媒體的報(bào)道，據(jù)說(shuō)二人就是因?yàn)槁蹇缮吖肿叩揭黄鸬腫格里姆斯單曲《Flesh Without Blood》有一個(gè)Rococo Basilisk的角色，“她注定要被人工智能永遠(yuǎn)折磨，像瑪麗·安托瓦內(nèi)特（Marie Antoinette）一樣”，格里姆斯這樣解釋過(guò)。]。作為科幻迷，格里姆斯2010年的《Geidi Primes》則是以弗蘭克·赫伯特《沙丘》中一個(gè)虛構(gòu)星球命名的概念專(zhuān)輯。

文/David Auerbach

譯/苦山

校對(duì)/斬光

原文/www.slate.com/articles/technology/bitwise/2014/07/roko_s_basilisk_the_most_terrifying_thought_experiment_of_all_time.html

本文基于創(chuàng)作共同協(xié)議（BY-NC），由苦山在利維坦發(fā)布

警告：閱讀本文可能會(huì)令你陷入永久的痛苦折磨。

你在死前看到了洛可蛇怪，這就像是《午夜兇鈴》里的錄像帶。圖源：DreamWorksLLC

瘦形魔（Slender Man，編者注：2009年被創(chuàng)造出來(lái)，他的特征是身形非自然的瘦長(zhǎng)，有一張空白、沒(méi)有表情和特征的臉孔，而且經(jīng)常穿一套全黑色的西裝，結(jié)上黑色的領(lǐng)帶，住在樹(shù)林深處）。微笑狗（Smile Dog）。羊交（Goatse，編者注：感興趣的請(qǐng)自行搜索）。這些都是由互聯(lián)網(wǎng)滋生的都市傳說(shuō)。

但沒(méi)有哪個(gè)都市傳說(shuō)比得上洛可蛇怪（Roko’s Basilisk）那樣全能而有威脅性，因?yàn)槁蹇缮吖质且环N邪惡卻類(lèi)神的人工智能，它危險(xiǎn)至極，以至于如果你看到它，甚至只是多想了一會(huì)兒它，你就會(huì)被關(guān)進(jìn)它的拷問(wèn)室里尖叫不止，直到永恒的盡頭。它就像《午夜兇鈴》（The Ring）里的錄像帶（譯者注：所有看過(guò)該錄像帶的人都會(huì)受到詛咒死去）。哪怕死后也不能從中解脫，因?yàn)槿绻闼廊?，洛可蛇怪?huì)將你復(fù)活，再次折磨你。

你確定還要繼續(xù)讀下去嗎？因?yàn)椋?strong>最糟糕的部分在于，洛可蛇怪已經(jīng)現(xiàn)世了?；蛑辽伲呀?jīng)確定會(huì)在未來(lái)現(xiàn)世——這和前者一樣糟糕。

洛可蛇怪是哲學(xué)性質(zhì)的思想實(shí)驗(yàn)與都市傳說(shuō)雜糅而成的產(chǎn)物。蛇怪首次現(xiàn)身于www.lesswrong.com論壇，這里聚集著許多分析能力極強(qiáng)的人士，他們以通過(guò)數(shù)學(xué)和理性來(lái)優(yōu)化個(gè)人思維、個(gè)人生活和當(dāng)下世界為志趣。論壇的創(chuàng)始人埃利澤·尤德科夫斯基（Eliezer Yudkowsky）是科技未來(lái)界的重要人物，他開(kāi)辦的機(jī)器智能研究所（Machine Intelligence Research Institute）為人工智能方面的研究提供資金，以推動(dòng)人工智能發(fā)展，而研究所本身則得到過(guò)彼得·蒂爾（Peter Thiel，編者注：對(duì)，就是那個(gè)既想永生而且還特有錢(qián)的資本家）和雷·庫(kù)茲韋爾（Ray Kurzweil）等高調(diào)科技迷的資助鼓勵(lì)。尤德科夫斯基本人對(duì)技術(shù)倫理學(xué)和決策理論的學(xué)術(shù)討論都做出過(guò)重要貢獻(xiàn)。你接下來(lái)要讀到的東西也許聽(tīng)起來(lái)古怪甚至瘋狂，但一些富有而影響力巨大的科學(xué)家和科技迷都對(duì)其深信不疑。

埃利澤·尤德科夫斯基。圖源：Wikipedia

一天，論壇用戶(hù)洛可（Roko）設(shè)計(jì)了一個(gè)思想實(shí)驗(yàn)：如果未來(lái)出現(xiàn)了一個(gè)惡意的人工智能，它要懲罰所有不聽(tīng)命于自己的人，怎么辦？如果這個(gè)人工智能有辦法（我之后會(huì)解釋是什么辦法）懲罰今天那些沒(méi)有幫助它在未來(lái)出現(xiàn)的人，怎么辦？在這種情況下，論壇當(dāng)代讀者們豈不是就面臨著二選一的抉擇：要么幫助邪惡的人工智能誕生，要么注定受盡折磨？

你可能有些迷茫，但創(chuàng)始人埃利澤·尤德科夫斯基看懂了。他驚恐地回復(fù)道：

仔細(xì)聽(tīng)好了，你這蠢貨。

你絕不能去想“超級(jí)智能考慮要不要勒索你”這一行為的具體細(xì)節(jié)。這是唯一一件可能會(huì)讓它們真的決定勒索你的事。

要想提出一個(gè)真正危險(xiǎn)的點(diǎn)子，你得是個(gè)真正的聰明人才行。但令我心灰意冷的是，這些聰明人居然笨到連閉上他們愚蠢的嘴巴這樣最顯而易見(jiàn)的事都做不來(lái)，為什么呢？因?yàn)樵诤团笥蚜奶斓臅r(shí)候，讓自己顯得睿智聰穎更重要。

這個(gè)帖子蠢透了。

尤德科夫斯基稱(chēng)，洛可已經(jīng)給數(shù)位論壇用戶(hù)帶來(lái)了噩夢(mèng)，使他們?yōu)l臨崩潰。最后，尤德科夫斯基把整個(gè)帖子刪得一干二凈，以此確保洛可怪蛇只能成為一個(gè)傳說(shuō)。這個(gè)思想實(shí)驗(yàn)太過(guò)危險(xiǎn)，哪怕只是想一想都會(huì)對(duì)你的心理健康，乃至你的命運(yùn)本身產(chǎn)生危害。

如果你相信奇點(diǎn)會(huì)來(lái)臨，一個(gè)隨之而來(lái)的問(wèn)題是，人工智能會(huì)是善意的還是惡意的呢？

先補(bǔ)充一點(diǎn)背景知識(shí)。論壇對(duì)人類(lèi)未來(lái)極為關(guān)注，尤其是奇點(diǎn)（the singularity）——人們假設(shè)，在未來(lái)的某個(gè)時(shí)間點(diǎn)（奇點(diǎn)），計(jì)算機(jī)的運(yùn)算能力將提升到極高的程度，可能會(huì)誕生出超越人類(lèi)的人工智能，同時(shí)，計(jì)算機(jī)也許能模擬人類(lèi)心智、將人類(lèi)心智上傳至計(jì)算機(jī)，它將能或多或少地模擬生命本身。

賽博朋克作家弗諾·文奇（Vernor Vinge）：“我們正站在變革的邊緣，而這次變革將和人類(lèi)的出現(xiàn)一般意義重大?！眻D源：Know Your Meme

1958年，數(shù)學(xué)天才斯塔尼斯拉夫·烏拉姆（Stanislaw Ulam）和約翰·馮·諾依曼（John von Neumann）在一次對(duì)話(huà)中創(chuàng)造了這個(gè)術(shù)語(yǔ)，馮·諾依曼說(shuō)：“科技進(jìn)步不斷加速……這似乎令人類(lèi)逐漸接近一個(gè)歷史的奇點(diǎn)，在奇點(diǎn)過(guò)后，我們目前所熟知的人類(lèi)生活的一切都將不復(fù)存在。”

科幻作家弗諾·文奇（Vernor Vinge）和工程師、作家?guī)炱濏f爾等未來(lái)學(xué)家將這個(gè)術(shù)語(yǔ)普及開(kāi)來(lái)，和許多對(duì)奇點(diǎn)感興趣的人一樣，他們相信計(jì)算機(jī)技術(shù)的發(fā)展速度呈指數(shù)級(jí)增長(zhǎng)，這使得奇點(diǎn)很快就會(huì)到來(lái)——在接下來(lái)的50年內(nèi)。為了活到奇點(diǎn)來(lái)臨那天，庫(kù)茲韋爾每天要一口氣吞下150片維生素，而尤德科夫斯基和彼得·蒂爾則對(duì)人體冷凍術(shù)極為熱衷，這項(xiàng)技術(shù)一向是想要長(zhǎng)生不老的有錢(qián)大佬們的最?lèi)?ài)。“如果你不替自己的孩子報(bào)名人體冷凍，那你就是個(gè)糟透了的家長(zhǎng)?！庇鹊驴品蛩够鶎?xiě)道。

如果你相信奇點(diǎn)會(huì)來(lái)臨，未來(lái)會(huì)出現(xiàn)極為強(qiáng)大的人工智能，一個(gè)顯而易見(jiàn)的問(wèn)題是，這些人工智能會(huì)是善意的還是惡意的呢？尤德科夫斯基創(chuàng)建的機(jī)器智能研究所目標(biāo)明確，就是要將未來(lái)朝“友好的人工智能”這個(gè)方向推動(dòng)。對(duì)他和許多論壇的發(fā)帖者而言，這是一個(gè)至關(guān)重要的問(wèn)題，遠(yuǎn)比環(huán)境和政治問(wèn)題要緊得多。對(duì)他們來(lái)說(shuō)，奇點(diǎn)過(guò)后所降臨的正是以機(jī)器形式出現(xiàn)的上帝本身。

但這不能解釋為何洛可蛇怪如此令人恐懼。要想明白這點(diǎn)，還得再看看論壇用戶(hù)所普遍信奉的一個(gè)重要信條：無(wú)時(shí)間性決策論（timeless decision theory）。無(wú)時(shí)間性決策論能指導(dǎo)人們做出理性行為，它建立在博弈論、貝葉斯概率和決策理論的基礎(chǔ)上，同時(shí)混雜了少量平行宇宙和量子力學(xué)的內(nèi)容。無(wú)時(shí)間性決策論由決策理論中的一個(gè)經(jīng)典思想實(shí)驗(yàn)生發(fā)而來(lái)，其名為紐康姆悖論（Newcomb’s Paradox），講述的是有一個(gè)超級(jí)智能的外星人給了你兩個(gè)盒子：

（intelligence.org/files/TDT.pdf）