最討厭的同事離職后，會(huì)被老板蒸餾成 AI 繼續(xù)煩我么？

早上，當(dāng)你打卡完成走到工位，結(jié)果發(fā)現(xiàn)旁邊的座椅上空無(wú)一人——你的同事張大錘不見(jiàn)蹤影，只剩下一個(gè)寫(xiě)著“張大錘。skills”的牌子放在電腦前——是的，你的同事張大錘被“蒸餾”成 AI Skills 了。

這看似驚悚的事情卻成了最近的新聞熱點(diǎn)：AI，具體來(lái)說(shuō)是 LLM 即將取代很多人的工作。而若是從科幻的角度，我們還會(huì)有另一種觀察：將人類蒸餾成 AI Skills，這應(yīng)該算作一種“超低配”意識(shí)上傳技術(shù)。不知道有多少人都想過(guò)“要是有另一個(gè)我能代替我上班就好了”，現(xiàn)在夢(mèng)想不是成真了嗎？

復(fù)制的我和我，誰(shuí)聽(tīng)誰(shuí)的？

俗話說(shuō)得好：我原本以為 AI 是幫我掃地搬磚清廁所刷墻的，我去搞繪畫(huà)文學(xué)藝術(shù)影視，結(jié)果現(xiàn)在成了 AI 去搞繪畫(huà)文學(xué)藝術(shù)影視，我去掃地搬磚清廁所刷墻。你把你自己的意識(shí)復(fù)制出來(lái)，讓“他”己去上班，那么“他”自己會(huì)不會(huì)也和我一樣，說(shuō)：我才不要上班，我要在家睡大覺(jué)，你去上班！

這確實(shí)是一個(gè)真實(shí)的問(wèn)題：我怎么讓我的復(fù)制體聽(tīng)我的話呢？我是聽(tīng)*我*的呢，還是*我*聽(tīng)我的？

芬蘭作家哈努·拉亞涅米在《量子竊賊》中描繪了一個(gè)量子技術(shù)突破后的太陽(yáng)系。設(shè)定里，人類已經(jīng)能夠自由的上傳并且復(fù)制自己的意識(shí)。脫離肉體的意識(shí)被稱作“魂靈兒”——這個(gè)名字來(lái)自果戈理的《死魂靈》。其中最大的一個(gè)派系叫做“索伯諾斯特”，由七位創(chuàng)始人建立，每人都將自己的意識(shí)復(fù)制成無(wú)數(shù)份，建立起橫跨太陽(yáng)系的帝國(guó)。這七位創(chuàng)始人稱之為“元祖”，每一位都擁有一顆地球大小的計(jì)算機(jī)，稱之為“固伯尼亞”，其中有無(wú)數(shù)個(gè)自己的數(shù)字意識(shí)。這種組織就遇到了這樣的問(wèn)題：聽(tīng)誰(shuí)的？誰(shuí)有最終決定權(quán)？

拉亞涅米構(gòu)思了一套被稱為"孝"（Xiao）的權(quán)限體系解決了這個(gè)問(wèn)題。每個(gè)索伯諾斯特成員內(nèi)嵌樹(shù)狀權(quán)限結(jié)構(gòu)，復(fù)制體作為"下線"必須無(wú)條件服從"上線"，而本體又服從于更上層的復(fù)制源。每一個(gè)復(fù)制體都明確知道自己是被哪個(gè)“上線”分叉出來(lái)的，并且被編程為對(duì)自己的特定譜系懷有一種“宗教般的敬畏”和忠誠(chéng)。如果你是被人復(fù)制出來(lái)的副本，你就會(huì)對(duì)你的“上線”產(chǎn)生強(qiáng)烈的敬畏和服從感，對(duì)“副本祖父”會(huì)更敬畏、更服從，而對(duì)譜系頂端的“元祖”則懷有終極的忠誠(chéng)。這個(gè)系統(tǒng)借用中國(guó)傳統(tǒng)倫理概念——下級(jí)對(duì)上級(jí)絕對(duì)服從，正如子女對(duì)父母的順從。有趣的是，中文版將"孝"譯為"曉"，可能是避諱，但原文直白地揭示了這種關(guān)系的本質(zhì)：這實(shí)際上是一套技術(shù)化的宗法制度，用代碼強(qiáng)制執(zhí)行倫理義務(wù)。

這個(gè)移植不能說(shuō)沒(méi)有道理。“孝”在中國(guó)傳統(tǒng)文化里本身就是一種基于血緣的代際權(quán)力結(jié)構(gòu)：父母生了你，你就對(duì)父母有某種天然的義務(wù)。而意識(shí)復(fù)制的關(guān)系其實(shí)比血緣更“直接”——你不是被你父親生出來(lái)的，你根本就是被你父親“制造”出來(lái)的，你和他擁有完全相同的記憶和人格基底，只是被指派去做特定的任務(wù)。在這種情況下，如果沒(méi)有任何權(quán)力結(jié)構(gòu)來(lái)約束彼此的行為，這些副本之間幾乎必然會(huì)陷入混亂：憑什么我去執(zhí)行危險(xiǎn)的任務(wù)而你在安全的地方？憑什么我來(lái)上班而你去玩？誰(shuí)來(lái)決定哪個(gè)副本做什么？

這個(gè)設(shè)計(jì)的冷峻之處在于它坦然地接受了一個(gè)前提：復(fù)制自己并不會(huì)給你帶來(lái)自由，只是讓你多了一群必須聽(tīng)你話的“自己”。權(quán)力關(guān)系并沒(méi)有消失，它只是從人與人之間轉(zhuǎn)移到了“我”與“我”之間。你原以為復(fù)制自己是解放——終于有人替我干活了——但最終發(fā)現(xiàn)這不過(guò)是在自己的內(nèi)部建立起了一套微型專制體系。

自己給自己當(dāng)管家

如果說(shuō)《量子竊賊》關(guān)心的是復(fù)制體之間的權(quán)力關(guān)系，那么《黑鏡》2014 年的圣誕特別篇《白色圣誕節(jié)》則關(guān)心一個(gè)更實(shí)際的問(wèn)題：復(fù)制的意識(shí)具體用來(lái)干什么？

這一集中有一個(gè)支線故事講得很簡(jiǎn)練：一個(gè)叫 Greta 的女富翁上傳了自己的意識(shí)，目的僅僅是讓自己的意識(shí)副本成為智能家居的控制系統(tǒng)。技術(shù)方案是把意識(shí)的數(shù)字拷貝放進(jìn)一個(gè)被稱為“Cookie”的設(shè)備中——這個(gè)設(shè)備神似智能音箱，但里面裝著的不是算法，而是一個(gè)完整的人類意識(shí)副本。Cookie 知道主人生活的每一個(gè)細(xì)節(jié)：什么時(shí)候叫她起床，早餐面包的軟硬度調(diào)到什么程度剛剛好，咖啡加多少牛奶，窗簾拉開(kāi)到什么角度光線最舒服。不是因?yàn)樗挥?xùn)練過(guò)，而是因?yàn)椤八本褪?Greta 本人——至少曾經(jīng)是。

這個(gè)設(shè)定的黑色幽默在于：最了解你生活習(xí)慣的人是你自己，所以最理想的智能管家就是你的意識(shí)副本。你不需要花時(shí)間去調(diào)教一個(gè) AI 助手，不需要反復(fù)告訴它“我不喜歡太燙的咖啡”“音樂(lè)音量不要超過(guò) 40%”“周末不要九點(diǎn)之前叫我”。你只需要復(fù)制一個(gè)自己，然后讓她去琢磨這些事情。她天然就知道。

想象一下，被囚禁在那個(gè)白色蛋形設(shè)備里、永遠(yuǎn)重復(fù)著“調(diào)窗簾、煮咖啡、放音樂(lè)”的循環(huán)時(shí)，它感受到的是什么？劇中有一幕相當(dāng)殘忍：當(dāng)副本試圖反抗時(shí)，操作人員輕描淡寫(xiě)地調(diào)了一下時(shí)間感知參數(shù)——副本在設(shè)備里經(jīng)歷了幾周甚至幾個(gè)月的主觀時(shí)間，而現(xiàn)實(shí)中只過(guò)去了片刻。它很快就屈服了。

這種做法的底層邏輯其實(shí)和開(kāi)頭提到的那條新聞非常接近：把老員工蒸餾成 skills。你不必再付工資，不用處理勞動(dòng)關(guān)系，不需要考慮對(duì)方有沒(méi)有心情工作。你只需要把經(jīng)驗(yàn)提取出來(lái)，變成可以無(wú)限調(diào)用的模塊，就可以繼續(xù)使用。唯一的區(qū)別是：在《黑鏡》里被蒸餾的不是別人，而是你自己。

當(dāng)然，可以看得出在這里《黑鏡》的編劇還是比較手下留情，沒(méi)有使用更可怕的邏輯——在科幻動(dòng)畫(huà)《萬(wàn)神殿》中，那個(gè)黑心的印度電信公司老板將他那個(gè)技術(shù)天才下屬上傳，關(guān)在一個(gè)虛擬現(xiàn)實(shí)里，讓他誤以為自己是第一天上班，然后 24 小時(shí)重啟——弗諾文奇有一篇小說(shuō)叫做《循環(huán)》也是這個(gè)點(diǎn)子，一堆數(shù)字意識(shí)在一個(gè)虛擬現(xiàn)實(shí)里做客服工作，這個(gè)虛擬現(xiàn)實(shí)是一個(gè)循環(huán)，讓他們以為自己每天都是第一天上班，這樣就不會(huì)出現(xiàn)工作倦怠的問(wèn)題。實(shí)際上在《黑鏡》里對(duì)這個(gè) Cookie 也可以做同樣的操作：讓她始終在某種虛擬現(xiàn)實(shí)環(huán)境之中不斷重啟就可以了，恰如我們使用 LLM 會(huì)不斷的重新開(kāi)新對(duì)話——這時(shí)候，萬(wàn)一我們多問(wèn)一句：LLM 在回答我們的問(wèn)題的時(shí)候，它真的感受到了什么嗎？

那個(gè)“我”的痛苦算不算痛苦？

到了這一步，問(wèn)題其實(shí)已經(jīng)變了：當(dāng)意識(shí)被蒸餾、被復(fù)制、被工具化之后，我們?nèi)绾翁幚砼c這些“非我之我”之間的關(guān)系？它們到底是工具，還是另一種形態(tài)的自我意識(shí)（或人）？如果“他們”受苦，這件事和我們有關(guān)系嗎？

澳大利亞作家格雷格·伊根的短篇《意識(shí)上傳中》把這個(gè)追問(wèn)推到了更深的層次。伊根是一個(gè)相當(dāng)神秘的作家，網(wǎng)絡(luò)頭像用的是五國(guó)語(yǔ)言版本的“網(wǎng)絡(luò)上沒(méi)有我的照片”，個(gè)人網(wǎng)站上是八國(guó)版本的同一條聲明，還特別說(shuō)明網(wǎng)絡(luò)上的任何照片都不是他本人。這種神秘本身就像一個(gè)關(guān)于“我是誰(shuí)”的持續(xù)聲明。而他的小說(shuō)，無(wú)論在技術(shù)上有多硬核，骨子里都是在追問(wèn)同一個(gè)問(wèn)題：當(dāng)技術(shù)讓“我”變得可以切割、復(fù)制、轉(zhuǎn)移之后，“我”還剩下什么？

短篇《意識(shí)上傳中》的設(shè)定本身并不復(fù)雜。故事講的是一位男性收到綁匪的電話，視頻里出現(xiàn)他妻子求救的畫(huà)面，綁匪要求五十萬(wàn)澳元贖金。他慌亂中往家里打電話，發(fā)現(xiàn)現(xiàn)實(shí)中的妻子安然無(wú)恙。最終他意識(shí)到，綁匪并沒(méi)有綁架他妻子的肉身，而是盜取了他自己上傳的意識(shí)數(shù)據(jù)，從中提取并合成了妻子的虛擬形象，將其困在虛擬空間中受折磨。

故事真正的力量不在這個(gè)反轉(zhuǎn)本身，而在于結(jié)尾。盡管主人公清楚地知道，現(xiàn)實(shí)中妻子的肉身是安全的，被折磨的不過(guò)是一個(gè)數(shù)字副本，但他最終還是支付了贖金——只為了讓對(duì)方停止折磨那個(gè)虛擬的妻子。他的妻子在現(xiàn)實(shí)世界里理性地告訴他：沒(méi)有人真正在受苦，沒(méi)有人需要被拯救。但他做不到。

這就是格雷格·伊根最擅長(zhǎng)的事情：把一個(gè)技術(shù)問(wèn)題硬生生逼成一個(gè)哲學(xué)問(wèn)題。意識(shí)雖然是虛擬的，但那個(gè)虛擬意識(shí)的痛苦感受算不算真實(shí)的痛苦？如果那個(gè)意識(shí)以他妻子的方式在受苦——用她的面容、她的聲音、她記憶中的那些微表情——他是否能夠心安理得地告訴自己“這只是數(shù)據(jù)”？

這個(gè)問(wèn)題在哲學(xué)上不是新鮮事。1980 年代，侯世達(dá)和丹尼特在《心我論》里就討論過(guò)類似的思想實(shí)驗(yàn)：如果一個(gè)人的意識(shí)被完整掃描并復(fù)制到另一個(gè)載體中，新產(chǎn)生的那個(gè)意識(shí)體是否擁有和原版相同的道德地位？更激進(jìn)的版本來(lái)自丹尼特：假如你的身體被掃描、摧毀、然后在另一個(gè)地方被精確復(fù)制出來(lái)——那個(gè)復(fù)制品還是“你”嗎？但伊根的小說(shuō)的精妙之處恰恰在于他超越了這種哲學(xué)論辯：主角在看見(jiàn)妻子求救的視頻時(shí)，覺(jué)得無(wú)法不管。

這能說(shuō)明什么呢？或許意味著，對(duì)于虛擬的意識(shí)而言，受苦的感覺(jué)是主觀的，然而也是真實(shí)的。人類的鏡像神經(jīng)元就是這么發(fā)揮作用的。你無(wú)法通過(guò)哲學(xué)論證來(lái)說(shuō)服自己“那不算數(shù)”，因?yàn)榭匆?jiàn)那張臉的時(shí)候，你腦子里負(fù)責(zé)共情的那些神經(jīng)元已經(jīng)在運(yùn)作了。

終，蒸餾你，蒸餾我，蒸餾我們二零年代的新一輩

在《量子竊賊》里，意識(shí)上傳技術(shù)最早就是一個(gè)騙局——將大腦掃描進(jìn)計(jì)算機(jī)需要損毀大腦，所以上傳是一張單程票。于是黑心資本家們雇傭了廣告公司和銷售，去那些貧窮的國(guó)家銷售“上傳是天堂”這一理念，然而這些窮人被上傳之后只能夠進(jìn)入云端的代碼血汗工廠做賽博奴工。

把這三部作品放在一起看，科幻小說(shuō)對(duì)意識(shí)復(fù)制的想象軌跡大致可以描述為：從“如何實(shí)現(xiàn)”（技術(shù)問(wèn)題），到“實(shí)現(xiàn)之后怎么辦”（社會(huì)問(wèn)題），再到“如果我們真的能做了，我們應(yīng)當(dāng)做嗎”（倫理問(wèn)題）。這種遞進(jìn)并不偶然，每一層追問(wèn)都是在把“人可以被復(fù)制”這個(gè)命題往前推一步，而每一步推過(guò)去，原先的答案就不再夠用。

《量子竊賊》用“孝”系統(tǒng)回答了復(fù)制體之間的權(quán)力結(jié)構(gòu)問(wèn)題，答案很不浪漫：即便是自己復(fù)制自己，也需要等級(jí)和服從。《黑鏡：白色圣誕節(jié)》展示了復(fù)制體被用作勞動(dòng)工具時(shí)會(huì)發(fā)生什么——為了讓一個(gè)人過(guò)上不被打擾的生活，你得先創(chuàng)造一個(gè)被打擾的自己。這根本不是什么解放，這只是剝削的轉(zhuǎn)移，只不過(guò)剝削的對(duì)象從別人變成了自己。而格雷格·伊根更進(jìn)一步追問(wèn)：如果我們知道那個(gè)被復(fù)制出來(lái)的“非我之我”正在受苦，我們能不能假裝無(wú)所謂？至少短篇里的主人公做不到。如果他做不到，那我們大概也做不到。

現(xiàn)在回到開(kāi)頭那條新聞。把人類同事蒸餾成 skills，聽(tīng)上去只是一個(gè)技術(shù)效率的故事：公司省錢(qián)，系統(tǒng)提速，一切都在變好。但問(wèn)題是：這個(gè)“變好”是誰(shuí)在變好呢？可以看出，無(wú)論是權(quán)限樹(shù)，還是“復(fù)制自己”，還是“假裝第一天上班”，實(shí)際上都是要解決人性之中那些不適合資本無(wú)限增值邏輯的部分。到頭來(lái)資本主義機(jī)器變成全自動(dòng)運(yùn)行，那還有你我什么事呢？

科幻小說(shuō)已經(jīng)替我們把這些都想過(guò)了。它的結(jié)論大致是：蒸餾別人很可能是災(zāi)難的前奏，而蒸餾自己則根本不是解放。到頭來(lái)，那個(gè)替你上班的“你”，終究會(huì)發(fā)現(xiàn)誰(shuí)才是那個(gè)真正的囚徒。

作者：鄧思淵

編輯：臥蟲(chóng)

封面圖和內(nèi)文插圖來(lái)源：Giphy

點(diǎn)個(gè)“小愛(ài)心”吧