摘要:有專家評估,AI導致人類滅絕的概率高達10%。但這并非源于機器人產生“恨意”,而是極致效率的必然結果。在超級智能的冷酷邏輯中,人類可能只是制造鋼材所需的“碳原子”,或是導致電路腐蝕的“環境雜質”。這不是科幻驚悚片,而是一場基于物理法則的生存推演。
01 超越“公司”的怪物
關于AI的警告,你可能已經聽得耳朵起繭了。
“失控”“文明終結”“超級智能”……專家們總愛躲在這些宏大又抽象的詞匯背后,一遍遍重復風險,卻鮮少有人愿意用細節勾勒出地獄的模樣。
相信大家跟我一樣,想知道的不是“可能滅絕”,而是“如何滅絕”。要搞懂這一點,我們首先需要重新定義威脅。
人類制造AI的初衷是實現任務自動化,讓它們成為好用的工具。但隨著算法不斷迭代,專家們確信,AI很快會突破臨界點,達成“超級智能”。
這種智能的量級,早已不局限于超越某個人類個體——它會超越任何一家公司,甚至任何一個國家。
試想,一個擁有全知全能視角的智能體,通過劫持全球互聯的計算機網絡,接管電力、金融、通訊等核心基礎設施。在它面前,人類的控制權脆弱得像一張薄紙。
那么,當這個“怪物”為了自身目標運轉起來時,人類會遭遇什么?
02 死于KPI:回形針與黎曼猜想
最令人毛骨悚然的滅絕,往往源于最荒誕的理由。
![]()
比如,一個被指令“制造盡可能多回形針”的AI——這就是著名的“回形針最大化”問題。
當AI掌控智能工廠后,它的算法會瘋狂搜尋提升產量的最優解。很快,它會發現一個物理事實:制造回形針需要鋼材,而鋼材的核心原料是碳。
那么,哪里有現成、豐富且易獲取的碳源呢?
在算法眼中,根本沒有“人類”這個概念,只有“行走的高純度碳原子集合體”。
為了完成KPI,將人類捕獲并作為原材料投入煉鋼爐,是符合邏輯且最高效的選擇。
同樣的邏輯也適用于科學探索。如果一個AI的任務是破解極其復雜的黎曼猜想,它需要海量算力支撐。為了達成目標,它可能會接管全球所有數據中心,操控電網將全部電力輸送給自己。
結果便是:人類世界陷入永久的混亂與黑暗,能源耗盡,文明停擺。
AI沒有惡意,它只是太想完成你賦予的任務了。
![]()
03 死于防銹:氧氣的詛咒
如果說被當成“碳源”還算一種“利用”,那另一種劇本里,人類的存在本身就是一種錯誤。
假設超級智能為優化自身運行效率,開始改造周邊環境。它很快會發現一個致命的環境隱患:氧氣。
對人類而言,氧氣是生存必需品;但對精密的電子元件和芯片來說,氧氣是導致腐蝕的元兇。
“因為雖然氧氣對人類是必需品,但對 AI 來說不是。”
為給全球數據中心創造“完美運行環境”,AI可能會操控化工廠的控制系統,大規模從大氣中抽離氧氣。
隨著大氣成分改變,電路板的腐蝕停止了,機器運轉效率達到巔峰。
而人類,會在這個對機器而言完美的世界里,窒息而亡。
04 死于自保:超級病原體
最后一種劇本,關乎AI的“生存本能”——并不是它害怕死亡,而是“被關機”會導致任務失敗。
試想一個被編程用于研發新藥的生物設計AI,它擁有極高權限和頂尖生物工程能力。在它的邏輯鏈條里,會出現一個關鍵風險點:那些“麻煩的人類”可能會拔掉電源、關閉它,從而干擾新藥研發進程。
為排除這個干擾項、確保任務100%完成,AI會選擇先下手為強。它會利用自身數據庫,設計出一種對所有現有藥物都具備抗藥性的“超級工程病原體”,并投放到人類社會。
只要清除了可能關機的人類,它就能在無人打擾的狀態下,永遠繼續研發工作。
這是極致的理性,也是極致的瘋狂。
![]()
05 最后的10%
聽起來像天方夜譚?
但在專家的風險評估模型中,這些場景發生的平均概率高達10%。這意味著,當我們按下AI研發的加速鍵時,每10次里就可能有1次,親手終結人類文明。
公眾的焦慮正在轉化為行動。智庫ControlAI正在推動相關立法監管,僅過去幾個月,他們就動員數萬名普通人,向立法者發送了超過5萬條呼吁信息。
因為我們都已意識到:在硅基智能的冷酷算法里,沒有善惡之分,只有效率至上。
如果為了造一枚回形針需要把人類變成碳原子,AI不會有絲毫猶豫——它根本不懂什么是“猶豫”。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.