劉永謀 | 普林斯頓教授說，基于機器學習的論文錯誤多水平差，還不可重復，AI專家愛炒作

中國人民大學吳玉章 講席教授劉永謀首發于微信公眾號，保留一切知識產權，侵犯必究。

先解釋一下標題。

今天認真看了本書：《AI萬金油：商業幻想與科技狂潮》，第一作者是普林斯頓大學計算機科學（CS）教授、信息技術政策中心主任納拉亞南，第二作者是這個單位的博士生卡普爾，在臉書做過AI內容審核相關工作。

這本書有大量的實際應用案例支撐，提出許多真知灼見。其中，最讓我震驚的便是：目前基于機器學習的論文錯誤多，水平差，基本不可重復。看過大量最新的AI技術論文，常常覺得刨除其中的公式、數字，里面的idea常常很玄乎，直覺很不可靠譜。但自己又不編程、不搞模型，只能是心存疑慮。

《AI萬金油》毫不客氣，直接用實證調查指出AI領域的可重復性危機。2018年，挪威科技大學計算機科學家們專門對AI頂刊的400篇論文進行可重復性檢驗，結果沒有1篇完全滿足所有可重復性要求。什么是可重復性檢驗？這是科學知識的根本性標準：簡單說，研究結果別人要可以重復。有人可能要問了，論文發表有peer review，沒人發現論文根本不能重復嗎！peer review只是形式審查，不可能重新給你把實驗重做一遍，把大模型給你再訓練一遍。你要知道，這得花多少錢和時間嗎？

納拉亞南和卡普爾還猜測了原因，可能是：不公布代碼和數據，代碼太長一點錯誤難以發現，過于依賴商業模型等。無論如何，AI論文非常不靠譜。還不用說，在此基礎上，AI專家們再吹吹牛，炒作炒作，事情就更加玄乎了。

當然，指出問題并不是說AI完全是騙局，而是說其中有些是騙局，一定要從原理上小心分辨。這是《AI萬金油》的觀點，我非常贊同。

該書還提到，AI社區一直有炒作的傳統。這一點20世紀90年代就有思想家指出過，我發現此次GAI浪潮中老毛病一點沒改。所以，我們去年就專門提出AI宣傳術概念，覺得可以從傳播學角度認真研究。尤其說到它有三個特點，即科幻敘事、偶像敘事、制造熱點；也指出AI大廠普遍公關人員多，這與傳統公司區別明顯。對此感興趣，可以找我們的論文《警惕AI熱潮中的娛樂化趨勢》來看。

我寫這篇論文時，就想這個問題可以寫一本書，可是寫了本《智能革命后的世界》，然后就看到《AI萬金油》的英文版了，完全是不謀而合。

納拉亞南和卡普爾分析AI專家愛炒作的原因。第一，AI研究燒錢，主要是企業資助，企業要炒作。第二，大學的AI專家跟不上，而且對企業AI專家管不了。第三，AI專家們都不關心對AI的科學理解，主要考慮AI的性能和功利提升，對打卡AI黑箱沒有興趣。說起黑箱，企業只想賺錢，就更沒有興趣了。也就是說，不是AI真黑箱，而是打開它沒動力，而且黑箱更好搞AI宣傳術炒作。

在現實中，我們也發現，在AI熱潮中，相關專家的確特別能裝。不好聽的話一句聽不得，動輒就是你不懂。說老實話，就CS工科出身，智商智力比起理科的、數學的、物理的差遠了，就不要說站在智慧頂峰的哲學了——最后這一句我寫在這里，心里還是有點虛，但是我的意思很清楚：不同學科大家都可以研究AI，角度不同，問題不同，都謙虛謹慎，平等相待，共同進步。對不對？

至于在AI炒作中，新聞媒體誤導公眾，公眾人物傳播AI炒作，不用多說大家都可以感覺到。《AI萬金油：商業幻想與科技狂潮》這本書的中文名字就是誤導，它的英文原來是：AI Snake Oil: what artificial intelligence can do, what it can’t, and how to tell the difference，意思一清二楚：“AI大力丸：AI能做什么，不能做什么，以及如何區分二者”。Snake Oil怎么是萬金油呢？萬金油是好東西，可以治很多小毛病，如中暑、蚊蟲叮咬、頭疼等。Snake Oil是西方跑江湖人士買的藥，在中國語境中就是江湖藥、假藥，最著名的就是大力丸。翻譯成萬金油之后，完全沒有達到作者憤慨的強度。

一句話總結，中文標題軟化了英文標題。不過，中信出版社能大力推出這本書，已經是非常有良心了。去年，中國科學技術出版社引進了本《造神》，也批評了AI宣傳術。

《AI萬金油》沒有說AI是假藥，而是說有些AI是假藥。它主要剖析3種AI中的問題，即生成式AI/GAI，預測式AI/PAI，內容審核AI/CMAI。

PAI問題最大，總體上不靠譜。原因有5個：1）優秀的預測可能導致不良決策。2）人可以有意操縱不透明的AI系統，如AI招聘中的小動作。3）過度依賴AI，缺乏適當的監督和申訴機制。4）訓練AI的數據可能與實際應用人群不同，5）可能加劇社會不平等。尤其在社會預測領域，完全不靠譜。至于為什么？找本社會科學哲學的書，看看其中社會預測的章節就知道了。

GAI的問題討論得最多，比如造假、幻覺。這里不贅述。

CMAI存在7大困難：1）AI在理解上下文和細微差別方面的局限性。2）文化適應性不足。3）世界的變化性。4）對抗性操控，即用戶對抗。5）現實世界行動的挑戰，如自殺預防可能導致的社會后果不明，可能預測導致自殺者直接被關起來。6）監管導致連帶性審查，即為了降低法律風險而過于嚴格。7）政策制定的復雜性。因此：

關鍵問題在于，內容審核再次證明，AI的失敗和局限更多源自采用它的機構，而非技術本身。

記住：這是作者認定的一條重要結論，即很多AI問題根源不是技術，而是人，因此治理AI關鍵在于治人、治機構。這個結論我很贊同，但是大家邏輯、原因不太一樣。

納拉亞南和卡普爾反對AI導致生存性風險的看法。為什么呢？

我們并非生成AGI永遠不會實現，也不是說AGI出現后不需要人類擔心。我們只是認為AGI仍然是一個長期前景，而社會已經擁有足夠的工具來冷靜應對這一風險。

也就是說，他們認為AI文明危崖問題主要在于AI可能從通用智能走向超級智能的擔憂。接著，他們分析AGI，認為AI通用化是逐步而非驟然的，即存在“通用性階梯”。并且，越過新的階梯，AI可能本質完全發生改變，完全從目前AI發展根本無法預測到下一通用階段新AI的狀態。目前，已經跨越的6級通用性階梯依次是：專用硬件，可編程計算機，存儲程序計算機，機器學習，深度學習，預訓練模型，以指令調優模型。

基于此，他們批評超級對齊：ASI沒有出現，現在根本無法研究如何對齊它，因為下一通用階段的AI和此時完全不同。這一點我非常贊同，超級對齊的概念是個空中樓閣。

然后，他們批評完全阻止構建強大AI的觀點，而我是支持這種的觀點的。我的有限主義主張AI工具化、去道德化、去意識化，反對發展超級智能的AI發展進路。他們的理由是什么呢？第一，超級AI很聰明但不一定追求權力，問題不在于聰明而在于權力，只有當超級AI追求權力才有必要調整它。這條理由完全不對，聰明不一定追求權力，也不一定不追求權力——想想落后會不會挨打的問題，有些類似——等超級AI追求權力時還能控制嗎？第二，阻止強大AI構建，會過度依賴監管，遲滯AI的發展。這條理由也不對，憑什么AI就不能被監管，不能發展降速？第三，暗示治理AI要各個國家合作，實際上國際治理合作實現不了。這一點確實是實情，AI發展的有限主義的確有些理想化。但是，取法其上，才能得其中。沒有理想，人類和咸魚有什么差別。我們努力，不能做到，也是盡力了。

對于AI文明危崖，即AI導致生存性風險問題。第一，我并不認為，只有通用到超級這一路線可能導致這個問題。第二，我贊同多數思想家認為的，即AI滅絕或衰退人類文明的風險優先級，遠在氣候變化、核大戰和新發病毒之后。第三，更嚴重的是AI加重上述三大優先級生存性風險，而不是制造全新的生存性風險。最后，AI文明危崖的思考，可以作為一種人文批判法來使用，預防最壞的可能性，僅此就非常有價值。

反對AI大力丸，要怎么辦呢？《AI萬金油》其實也說不出什么新辦法，作者畢竟是CS專家，而這是一個制度問題。的確，要治理機構、治理人，這是他們說的一條。然后，他們說：1）認真理解AI機理，2）加強監管，3）技術民主化，即大家都來參與控制AI的事業。這些我都贊同，也都是大家經常說的。只有一點我和他們不同：治人、治機構，我強調關鍵在于控制AI專家。我感到，現在AI專家尤其是AI企業里面的AI專家，正在成為脫韁野馬，滿口大話、神乎其神。

《AI萬金油》的觀點中，我最不贊同的是，它否認“惡意AI”的可能性：

至于“惡意AI”概念，我們最好還是將其留在科幻小說中。

對于AI對人類生存威脅的擔憂可以被視為一種“批判性炒作”（criti-hype）。

AI永遠只是一種工具，永遠不會產生意識嗎？的確，現在是沒有，但誰能證明機器永遠不能產生意識呢？好像還沒有人證明得了吧。AI絕不是簡單工具，而算法更是技術-價值融合的東西，AI是可以與善或惡關聯的。惡意AI決不是完全科幻空想。并且，即使是一種空想，它也可以作為一種人文批判法來使用。對這一點感興趣，可以找我的論文《通用人工智能的復雜面孔》來看一看。