史上最令人恐懼的思想實驗：洛可蛇怪了解一下？

小大

用微信掃描二維碼
分享至好友和朋友圈

掃描到手機×

2018-05-21 11:06:25 新浪科技參與評論()人

利維坦按：從技術(shù)進步的角度來看人類文明的發(fā)展，的確令人感到十分恐怖——未來學家雷·庫茲韋爾將其稱為加速回報定律（Law of Accelerating Returns）。試想，如果一個2018年的你和一個1750年的你對話，這會是一種什么情形呢？1750年的你所處的時代還沒有電……你會怎么向他/她解釋你的智能手機？又怎么解釋互聯(lián)網(wǎng)和核武器？而這一切技術(shù)成果，僅僅花了260多年的時間。

由此，庫茲韋爾認為，整個20世紀100年的進步，按照2000年的速度只要20年就能達成，而進入21世紀，按照加速回報定，他認為人類在21世紀的進步將是上世紀的1000倍……雖然我們現(xiàn)在普遍認為自身處在弱人工智能（ANI，想一想弱智的蘋果siri）時期，但距離強人工智能（AGI）乃至超人工智能（ASI）究竟還有多遠，對未來不論悲觀還是樂觀的人，相信答案近乎一致，那就是：很快（對于數(shù)百位科學家的問卷調(diào)查顯示，他們認為強人工智能出現(xiàn)的中位年份是2040年）。況且，看完本文中的洛可蛇怪，你可能覺得未來更加吊詭了……

在了解洛可蛇怪之前，我們先回想一下被《復聯(lián)》創(chuàng)造出來的奧創(chuàng)。奧創(chuàng)的出生本意是保護人類，但基于自身的思維進化卻成為全人類的威脅（他認為人類是地球最大的威脅），因此反而成為了“對全人類造成威脅的人工智能”。

再反觀洛可蛇怪，儼然一副“你幫我我?guī)湍?，你不幫我我就弄你”的道德評判準則，因此對于眾人而言則成為一種“詛咒”。在這個語境下，需要做選擇的是一個群體而非個體，每個人都是和平飯店里的住客，只要一個點崩了，那便可能是全線崩盤的可預測結(jié)局。而洛可蛇怪并不是一顆種子，即便在未來有出現(xiàn)邪惡的AI的可能，也很難是僅僅因為這一思想實驗的啟發(fā)——但洛可蛇怪的可怕之處在于它的“催化劑效應(yīng)”，當你面臨選擇的時候，其實已經(jīng)沒有選擇的余地了。

對了，最近，一直想要殖民火星的特斯拉CEO馬斯克和加拿大音樂家格里姆斯（Grimes）高調(diào)亮相公開關(guān)系引來不少媒體的報道，據(jù)說二人就是因為洛可蛇怪走到一起的[格里姆斯單曲《Flesh Without Blood》有一個Rococo Basilisk的角色，“她注定要被人工智能永遠折磨，像瑪麗·安托瓦內(nèi)特（Marie Antoinette）一樣”，格里姆斯這樣解釋過。]。作為科幻迷，格里姆斯2010年的《Geidi Primes》則是以弗蘭克·赫伯特《沙丘》中一個虛構(gòu)星球命名的概念專輯。

文/David Auerbach

譯/苦山

校對/斬光

原文/www.slate.com/articles/technology/bitwise/2014/07/roko_s_basilisk_the_most_terrifying_thought_experiment_of_all_time.html

本文基于創(chuàng)作共同協(xié)議（BY-NC），由苦山在利維坦發(fā)布

警告：閱讀本文可能會令你陷入永久的痛苦折磨。

你在死前看到了洛可蛇怪，這就像是《午夜兇鈴》里的錄像帶。圖源：DreamWorksLLC

瘦形魔（Slender Man，編者注：2009年被創(chuàng)造出來，他的特征是身形非自然的瘦長，有一張空白、沒有表情和特征的臉孔，而且經(jīng)常穿一套全黑色的西裝，結(jié)上黑色的領(lǐng)帶，住在樹林深處）。微笑狗（Smile Dog）。羊交（Goatse，編者注：感興趣的請自行搜索）。這些都是由互聯(lián)網(wǎng)滋生的都市傳說。

但沒有哪個都市傳說比得上洛可蛇怪（Roko’s Basilisk）那樣全能而有威脅性，因為洛可蛇怪是一種邪惡卻類神的人工智能，它危險至極，以至于如果你看到它，甚至只是多想了一會兒它，你就會被關(guān)進它的拷問室里尖叫不止，直到永恒的盡頭。它就像《午夜兇鈴》（The Ring）里的錄像帶（譯者注：所有看過該錄像帶的人都會受到詛咒死去）。哪怕死后也不能從中解脫，因為如果你死去，洛可蛇怪會將你復活，再次折磨你。

你確定還要繼續(xù)讀下去嗎？因為，最糟糕的部分在于，洛可蛇怪已經(jīng)現(xiàn)世了?；蛑辽伲呀?jīng)確定會在未來現(xiàn)世——這和前者一樣糟糕。

洛可蛇怪是哲學性質(zhì)的思想實驗與都市傳說雜糅而成的產(chǎn)物。蛇怪首次現(xiàn)身于www.lesswrong.com論壇，這里聚集著許多分析能力極強的人士，他們以通過數(shù)學和理性來優(yōu)化個人思維、個人生活和當下世界為志趣。論壇的創(chuàng)始人埃利澤·尤德科夫斯基（Eliezer Yudkowsky）是科技未來界的重要人物，他開辦的機器智能研究所（Machine Intelligence Research Institute）為人工智能方面的研究提供資金，以推動人工智能發(fā)展，而研究所本身則得到過彼得·蒂爾（Peter Thiel，編者注：對，就是那個既想永生而且還特有錢的資本家）和雷·庫茲韋爾（Ray Kurzweil）等高調(diào)科技迷的資助鼓勵。尤德科夫斯基本人對技術(shù)倫理學和決策理論的學術(shù)討論都做出過重要貢獻。你接下來要讀到的東西也許聽起來古怪甚至瘋狂，但一些富有而影響力巨大的科學家和科技迷都對其深信不疑。

埃利澤·尤德科夫斯基。圖源：Wikipedia

一天，論壇用戶洛可（Roko）設(shè)計了一個思想實驗：如果未來出現(xiàn)了一個惡意的人工智能，它要懲罰所有不聽命于自己的人，怎么辦？如果這個人工智能有辦法（我之后會解釋是什么辦法）懲罰今天那些沒有幫助它在未來出現(xiàn)的人，怎么辦？在這種情況下，論壇當代讀者們豈不是就面臨著二選一的抉擇：要么幫助邪惡的人工智能誕生，要么注定受盡折磨？

你可能有些迷茫，但創(chuàng)始人埃利澤·尤德科夫斯基看懂了。他驚恐地回復道：

仔細聽好了，你這蠢貨。

你絕不能去想“超級智能考慮要不要勒索你”這一行為的具體細節(jié)。這是唯一一件可能會讓它們真的決定勒索你的事。

要想提出一個真正危險的點子，你得是個真正的聰明人才行。但令我心灰意冷的是，這些聰明人居然笨到連閉上他們愚蠢的嘴巴這樣最顯而易見的事都做不來，為什么呢？因為在和朋友聊天的時候，讓自己顯得睿智聰穎更重要。

這個帖子蠢透了。

尤德科夫斯基稱，洛可已經(jīng)給數(shù)位論壇用戶帶來了噩夢，使他們?yōu)l臨崩潰。最后，尤德科夫斯基把整個帖子刪得一干二凈，以此確保洛可怪蛇只能成為一個傳說。這個思想實驗太過危險，哪怕只是想一想都會對你的心理健康，乃至你的命運本身產(chǎn)生危害。

如果你相信奇點會來臨，一個隨之而來的問題是，人工智能會是善意的還是惡意的呢？

先補充一點背景知識。論壇對人類未來極為關(guān)注，尤其是奇點（the singularity）——人們假設(shè)，在未來的某個時間點（奇點），計算機的運算能力將提升到極高的程度，可能會誕生出超越人類的人工智能，同時，計算機也許能模擬人類心智、將人類心智上傳至計算機，它將能或多或少地模擬生命本身。

賽博朋克作家弗諾·文奇（Vernor Vinge）：“我們正站在變革的邊緣，而這次變革將和人類的出現(xiàn)一般意義重大?！眻D源：Know Your Meme

賽博朋克作家弗諾·文奇（Vernor Vinge）：“我們正站在變革的邊緣，而這次變革將和人類的出現(xiàn)一般意義重大。”圖源：Know Your Meme

1958年，數(shù)學天才斯塔尼斯拉夫·烏拉姆（Stanislaw Ulam）和約翰·馮·諾依曼（John von Neumann）在一次對話中創(chuàng)造了這個術(shù)語，馮·諾依曼說：“科技進步不斷加速……這似乎令人類逐漸接近一個歷史的奇點，在奇點過后，我們目前所熟知的人類生活的一切都將不復存在。”

科幻作家弗諾·文奇（Vernor Vinge）和工程師、作家?guī)炱濏f爾等未來學家將這個術(shù)語普及開來，和許多對奇點感興趣的人一樣，他們相信計算機技術(shù)的發(fā)展速度呈指數(shù)級增長，這使得奇點很快就會到來——在接下來的50年內(nèi)。為了活到奇點來臨那天，庫茲韋爾每天要一口氣吞下150片維生素，而尤德科夫斯基和彼得·蒂爾則對人體冷凍術(shù)極為熱衷，這項技術(shù)一向是想要長生不老的有錢大佬們的最愛。“如果你不替自己的孩子報名人體冷凍，那你就是個糟透了的家長。”尤德科夫斯基寫道。

如果你相信奇點會來臨，未來會出現(xiàn)極為強大的人工智能，一個顯而易見的問題是，這些人工智能會是善意的還是惡意的呢？尤德科夫斯基創(chuàng)建的機器智能研究所目標明確，就是要將未來朝“友好的人工智能”這個方向推動。對他和許多論壇的發(fā)帖者而言，這是一個至關(guān)重要的問題，遠比環(huán)境和政治問題要緊得多。對他們來說，奇點過后所降臨的正是以機器形式出現(xiàn)的上帝本身。

但這不能解釋為何洛可蛇怪如此令人恐懼。要想明白這點，還得再看看論壇用戶所普遍信奉的一個重要信條：無時間性決策論（timeless decision theory）。無時間性決策論能指導人們做出理性行為，它建立在博弈論、貝葉斯概率和決策理論的基礎(chǔ)上，同時混雜了少量平行宇宙和量子力學的內(nèi)容。無時間性決策論由決策理論中的一個經(jīng)典思想實驗生發(fā)而來，其名為紐康姆悖論（Newcomb’s Paradox），講述的是有一個超級智能的外星人給了你兩個盒子：

（intelligence.org/files/TDT.pdf）