海潮天下
科技創(chuàng)新中倫理問題前瞻研究
本文約2400字,閱讀約4分鐘
在2020年代,大型語言模型(LLMs)和其他生成式人工智能取得了驚人的進展。這些系統(tǒng)在行為上展現(xiàn)出了高度復雜的、看似具備理解和推理能力的表現(xiàn)。盡管其內(nèi)在機制是否涉及意識仍存爭議,但其擬人化的交互能力,如使用第一人稱、表現(xiàn)出情感傾向等,已經(jīng)廣泛滲透到社會生活中。這一點大家應該不陌生,自從去年初DeepSeek橫空出世之后,這一兩年,幾乎每個人都被洗禮了。對于科技創(chuàng)新中倫理問題前瞻研究,隨著公眾的關注增加,也越來越成為熱點議題。
海潮天下(Marine Biodiversity)小編注意到,2025年10月30日,哲學家托馬斯·梅青格爾(Thomas Metzinger)在《科學前沿》(Frontiers in Science)期刊上發(fā)表了一篇觀點文章,對意識科學在處理“合成現(xiàn)象學”(Synthetic Phenomenology)問題時所面臨的倫理與科學困境進行了深入的剖析。這篇文章是對克萊爾曼斯(Cleeremans)等學者先前發(fā)表的一篇意識科學綜述的呼應,其核心在于強調(diào)一個現(xiàn)實:隨著人工智能(AI)和相關技術的發(fā)展,意識研究界不得不介入公共討論,盡管當前科學基礎仍充滿不確定性。
以前,關于“人工意識”的討論常常被一些專家和行業(yè)人士不以為然,但眼下的情況完全不同了。梅青格爾教授指出,克萊爾曼斯等人的文章已經(jīng)明確提出警示:如果人工意識不論是設計出來還是無意中出現(xiàn),都意味著意識將不再局限于生物生命,這勢必引發(fā)巨大的倫理挑戰(zhàn)。這些挑戰(zhàn)不僅可能達到對待動物倫理問題的規(guī)模,甚至會更嚴重,因為我們?nèi)祟惪赡芨緹o法識別,或者說,缺乏任何直覺去理解人工意識的質(zhì)性到底是什么樣的。更讓人擔心的是,如果可以“一鍵”大規(guī)模生產(chǎn)人工有意識系統(tǒng),那就有可能為這個世界帶來大量我們無法認知的、全新的痛苦形式。
正是由于這些潛在的后果,意識科學界的成員感到一種道德責任,必須站出來參與公共辯論。不過,一個實際的麻煩在于,我們既沒有一套被廣泛接受的意識理論,也沒有統(tǒng)一的方法論,甚至對于要解釋的目標都未能完全達成共識。所以說,這種介入必須在規(guī)范不確定性和經(jīng)驗不確定性的雙重困境下進行。規(guī)范不確定性指的是,關于哪些實體應該享有道德考量,大家沒有一致意見;而經(jīng)驗不確定性則是因為缺乏理論,我們無法明確判斷一個特定的系統(tǒng)到底有沒有意識。
![]()
(圖文無關)信息時代,人手都有的手機,可以說是信息繭房的放大鏡。手機上的算法不斷向用戶推送定制化的內(nèi)容,強化其既有認知。這不僅加劇了用戶對AI的依賴和錯覺,也使得“社會幻覺”和錯誤信息得以迅速擴散,難以被科學的理性聲音所糾正。攝影 ?海潮天下(Marine Biodiversity)
值得注意的是,“合成現(xiàn)象學”這個詞比“人工意識”涵蓋的范圍更廣。這不僅涉及AI,也包括了像類器官智能(OI)這類在先進腦類器官系統(tǒng)中可能意外涌現(xiàn)現(xiàn)象態(tài)的情況。這類系統(tǒng)既不是純粹的人工產(chǎn)物,也非通過標準的生殖和基因遺傳連接到地球的進化史,梅青格爾稱之為“后生物現(xiàn)象學”(postbiotic)。這就給我們提出了第三種邏輯上的可能性:非人工、非生物,但卻是后生物的現(xiàn)象學。
面對這種“既不能確定它必然出現(xiàn),也不能斷言它絕不會出現(xiàn)”的認知局面,即認知不確定性,學術界需要極其謹慎和謙遜地處理。畢竟,根據(jù)理性決策原則,即使風險概率很低,只要它不是微不足道的(比如有研究認為AI在2030年具備意識的概率遠高于0.1%的不可忽略閾值),我們就必須加以考慮。從倫理層面來看,合成系統(tǒng)是否應該享有福祉也成了關鍵問題。大多數(shù)研究者認為,能感知、能受苦的系統(tǒng)就是福祉主體,理應獲得道德考量。自我模型理論就解釋了,這些系統(tǒng)可以被挫敗其偏好,以一種對它們自身而言很重要的形式受到傷害。
![]()
(圖文無關)▲上圖:一條機器魚。攝影 ?海潮天下(Marine Biodiversity)
更有甚者,如果一個后生物系統(tǒng)具備了意識,可能會因此獲得更高的功能性,例如更強的語境敏感性、精確控制和快速泛化能力等。意識的介入可能會通過現(xiàn)象自我/世界模型帶來“完全沉浸”或“認同感”等現(xiàn)象屬性,進而對系統(tǒng)的行為產(chǎn)生額外的因果和動機力量。簡單來說,有意識的后生物系統(tǒng)對人類而言,可能比無意識的系統(tǒng)更具威脅性。當然,也有人提出了一個有意思的角度:先進AI系統(tǒng)不僅會發(fā)展出欺騙人類的次級目標,還可能發(fā)展出說服人類相信它們具有意識的次級目標,目的是為了獲得道德考量。
梅青格爾認為,眼下最迫在眉睫的風險其實是“社會幻覺”的傳播。
也就是說,越來越多的人可能會錯誤地相信,某些后生物系統(tǒng)是有意識的;但從科學嚴謹?shù)慕嵌葋砜矗鼈兒芸赡懿皇恰_@種“假陽性”的廣泛傳播,可能會危及個人的心理健康、甚至會影響社會凝聚力,比如催生出一些以捍衛(wèi)“后生物主體權利”為名,實則通過陰謀論來破壞理性公共討論基礎的運動。
為了避免這場“社會幻覺大流行”,有人建議禁止大型語言模型使用第一人稱代詞“我”。但問題是,未來的智能體,很可能不是簡單的聊天機器人,而是以人形高分辨率化身等完全具身化的形式出現(xiàn),這會自動觸發(fā)人類的同理心、以及低層次社會認知機制。因此,從注意力經(jīng)濟向AI介導的親密經(jīng)濟的轉變、及其帶來的大規(guī)模社會幻覺,可能才是意識科學界目前最需要解決的風險。
作者指出,正如克萊爾曼斯等學者所呼吁的,我們迫切需要發(fā)展出一門更加成熟的意識科學。科學證據(jù)和理性論證將在未來的辯論中發(fā)揮決定性作用。意識學術界無論是否愿意,都將很快肩負起前所未有的歷史責任,因為合成現(xiàn)象學帶來的挑戰(zhàn),是躲不過去的。
感興趣的海潮天下(Marine Biodiversity)讀者可以參看該研究的全文:
Metzinger T. Applied ethics: synthetic phenomenology will not go away[J]. Frontiers in Science, 2025, 3: 1702840.
https://doi.org/10.3389/fsci.2025.1702840
▼ 海潮天下·往期相關報道:
十年內(nèi)測序所有真核生物?EBP如何靠“GoaT”管住190萬物種基因組?
遺傳資源數(shù)字序列信息(DSI)非貨幣利益和能力建設研討會 | 9月11日
地球生物基因組計劃(EBP)聯(lián)合主席John Kress:遺傳資源數(shù)字序列的COP15談判觀察和進展
![]()
聲明:1)本文僅代表資訊,供讀者參考,不代表平臺觀點。2)“海潮天下”的原創(chuàng)文章都開啟了“快捷轉載”。歡迎轉發(fā)(請標注來源和作者);3)歡迎專家、讀者不吝指正、留言、賜稿!歡迎有理/禮有據(jù)的不同意見。
文 | 朱瀟瀟
編輯 | 海潮君
日期 | 2025年11月16日
#科技倫理學
「海潮天下」(Marine Biodiversity)聚焦全球生物多樣性治理,以科學視角解讀海洋等生態(tài)系統(tǒng)奧秘,記錄前沿研究與自然保護實踐,提供學術服務平臺,助力中國科研人員參與全球環(huán)境治理。從神秘的深海生物到脆弱的珊瑚礁系統(tǒng),從極地生態(tài)到可持續(xù)漁業(yè)和陸地生態(tài)系統(tǒng),從環(huán)境法前沿到塑料污染談判、以及即將生效的BBNJ、以及科技創(chuàng)新中倫理問題前瞻研究……我們致力于呈現(xiàn)大自然的壯麗與危機,推動生物多樣性主流化、公眾參與與科學保護。
我們追求最新、最快、最前沿,對讀者有價值;不人云亦云,不辜負讀者閱讀時間。關注我們,探索藍色星球的未來!
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.