劉永謀 | 普林斯頓教授說，基于機(jī)器學(xué)習(xí)的論文錯(cuò)誤多水平差，還不可重復(fù)，AI專家愛炒作

中國人民大學(xué)吳玉章 講席教授劉永謀首發(fā)于微信公眾號，保留一切知識產(chǎn)權(quán)，侵犯必究。

先解釋一下標(biāo)題。

今天認(rèn)真看了本書：《AI萬金油：商業(yè)幻想與科技狂潮》，第一作者是普林斯頓大學(xué)計(jì)算機(jī)科學(xué)（CS）教授、信息技術(shù)政策中心主任納拉亞南，第二作者是這個(gè)單位的博士生卡普爾，在臉書做過AI內(nèi)容審核相關(guān)工作。

這本書有大量的實(shí)際應(yīng)用案例支撐，提出許多真知灼見。其中，最讓我震驚的便是：目前基于機(jī)器學(xué)習(xí)的論文錯(cuò)誤多，水平差，基本不可重復(fù)。看過大量最新的AI技術(shù)論文，常常覺得刨除其中的公式、數(shù)字，里面的idea常常很玄乎，直覺很不可靠譜。但自己又不編程、不搞模型，只能是心存疑慮。

《AI萬金油》毫不客氣，直接用實(shí)證調(diào)查指出AI領(lǐng)域的可重復(fù)性危機(jī)。2018年，挪威科技大學(xué)計(jì)算機(jī)科學(xué)家們專門對AI頂刊的400篇論文進(jìn)行可重復(fù)性檢驗(yàn)，結(jié)果沒有1篇完全滿足所有可重復(fù)性要求。什么是可重復(fù)性檢驗(yàn)？這是科學(xué)知識的根本性標(biāo)準(zhǔn)：簡單說，研究結(jié)果別人要可以重復(fù)。有人可能要問了，論文發(fā)表有peer review，沒人發(fā)現(xiàn)論文根本不能重復(fù)嗎！peer review只是形式審查，不可能重新給你把實(shí)驗(yàn)重做一遍，把大模型給你再訓(xùn)練一遍。你要知道，這得花多少錢和時(shí)間嗎？

納拉亞南和卡普爾還猜測了原因，可能是：不公布代碼和數(shù)據(jù)，代碼太長一點(diǎn)錯(cuò)誤難以發(fā)現(xiàn)，過于依賴商業(yè)模型等。無論如何，AI論文非常不靠譜。還不用說，在此基礎(chǔ)上，AI專家們再吹吹牛，炒作炒作，事情就更加玄乎了。

當(dāng)然，指出問題并不是說AI完全是騙局，而是說其中有些是騙局，一定要從原理上小心分辨。這是《AI萬金油》的觀點(diǎn)，我非常贊同。

該書還提到，AI社區(qū)一直有炒作的傳統(tǒng)。這一點(diǎn)20世紀(jì)90年代就有思想家指出過，我發(fā)現(xiàn)此次GAI浪潮中老毛病一點(diǎn)沒改。所以，我們?nèi)ツ昃蛯ｉT提出AI宣傳術(shù)概念，覺得可以從傳播學(xué)角度認(rèn)真研究。尤其說到它有三個(gè)特點(diǎn)，即科幻敘事、偶像敘事、制造熱點(diǎn)；也指出AI大廠普遍公關(guān)人員多，這與傳統(tǒng)公司區(qū)別明顯。對此感興趣，可以找我們的論文《警惕AI熱潮中的娛樂化趨勢》來看。

我寫這篇論文時(shí)，就想這個(gè)問題可以寫一本書，可是寫了本《智能革命后的世界》，然后就看到《AI萬金油》的英文版了，完全是不謀而合。

納拉亞南和卡普爾分析AI專家愛炒作的原因。第一，AI研究燒錢，主要是企業(yè)資助，企業(yè)要炒作。第二，大學(xué)的AI專家跟不上，而且對企業(yè)AI專家管不了。第三，AI專家們都不關(guān)心對AI的科學(xué)理解，主要考慮AI的性能和功利提升，對打卡AI黑箱沒有興趣。說起黑箱，企業(yè)只想賺錢，就更沒有興趣了。也就是說，不是AI真黑箱，而是打開它沒動(dòng)力，而且黑箱更好搞AI宣傳術(shù)炒作。

在現(xiàn)實(shí)中，我們也發(fā)現(xiàn)，在AI熱潮中，相關(guān)專家的確特別能裝。不好聽的話一句聽不得，動(dòng)輒就是你不懂。說老實(shí)話，就CS工科出身，智商智力比起理科的、數(shù)學(xué)的、物理的差遠(yuǎn)了，就不要說站在智慧頂峰的哲學(xué)了——最后這一句我寫在這里，心里還是有點(diǎn)虛，但是我的意思很清楚：不同學(xué)科大家都可以研究AI，角度不同，問題不同，都謙虛謹(jǐn)慎，平等相待，共同進(jìn)步。對不對？

至于在AI炒作中，新聞媒體誤導(dǎo)公眾，公眾人物傳播AI炒作，不用多說大家都可以感覺到。《AI萬金油：商業(yè)幻想與科技狂潮》這本書的中文名字就是誤導(dǎo)，它的英文原來是：AI Snake Oil: what artificial intelligence can do, what it can’t, and how to tell the difference，意思一清二楚：“AI大力丸：AI能做什么，不能做什么，以及如何區(qū)分二者”。Snake Oil怎么是萬金油呢？萬金油是好東西，可以治很多小毛病，如中暑、蚊蟲叮咬、頭疼等。Snake Oil是西方跑江湖人士買的藥，在中國語境中就是江湖藥、假藥，最著名的就是大力丸。翻譯成萬金油之后，完全沒有達(dá)到作者憤慨的強(qiáng)度。

一句話總結(jié)，中文標(biāo)題軟化了英文標(biāo)題。不過，中信出版社能大力推出這本書，已經(jīng)是非常有良心了。去年，中國科學(xué)技術(shù)出版社引進(jìn)了本《造神》，也批評了AI宣傳術(shù)。

《AI萬金油》沒有說AI是假藥，而是說有些AI是假藥。它主要剖析3種AI中的問題，即生成式AI/GAI，預(yù)測式AI/PAI，內(nèi)容審核AI/CMAI。

PAI問題最大，總體上不靠譜。原因有5個(gè)：1）優(yōu)秀的預(yù)測可能導(dǎo)致不良決策。2）人可以有意操縱不透明的AI系統(tǒng)，如AI招聘中的小動(dòng)作。3）過度依賴AI，缺乏適當(dāng)?shù)谋O(jiān)督和申訴機(jī)制。4）訓(xùn)練AI的數(shù)據(jù)可能與實(shí)際應(yīng)用人群不同，5）可能加劇社會(huì)不平等。尤其在社會(huì)預(yù)測領(lǐng)域，完全不靠譜。至于為什么？找本社會(huì)科學(xué)哲學(xué)的書，看看其中社會(huì)預(yù)測的章節(jié)就知道了。

GAI的問題討論得最多，比如造假、幻覺。這里不贅述。

CMAI存在7大困難：1）AI在理解上下文和細(xì)微差別方面的局限性。2）文化適應(yīng)性不足。3）世界的變化性。4）對抗性操控，即用戶對抗。5）現(xiàn)實(shí)世界行動(dòng)的挑戰(zhàn)，如自殺預(yù)防可能導(dǎo)致的社會(huì)后果不明，可能預(yù)測導(dǎo)致自殺者直接被關(guān)起來。6）監(jiān)管導(dǎo)致連帶性審查，即為了降低法律風(fēng)險(xiǎn)而過于嚴(yán)格。7）政策制定的復(fù)雜性。因此：

關(guān)鍵問題在于，內(nèi)容審核再次證明，AI的失敗和局限更多源自采用它的機(jī)構(gòu)，而非技術(shù)本身。

記住：這是作者認(rèn)定的一條重要結(jié)論，即很多AI問題根源不是技術(shù)，而是人，因此治理AI關(guān)鍵在于治人、治機(jī)構(gòu)。這個(gè)結(jié)論我很贊同，但是大家邏輯、原因不太一樣。

納拉亞南和卡普爾反對AI導(dǎo)致生存性風(fēng)險(xiǎn)的看法。為什么呢？

我們并非生成AGI永遠(yuǎn)不會(huì)實(shí)現(xiàn)，也不是說AGI出現(xiàn)后不需要人類擔(dān)心。我們只是認(rèn)為AGI仍然是一個(gè)長期前景，而社會(huì)已經(jīng)擁有足夠的工具來冷靜應(yīng)對這一風(fēng)險(xiǎn)。

也就是說，他們認(rèn)為AI文明危崖問題主要在于AI可能從通用智能走向超級智能的擔(dān)憂。接著，他們分析AGI，認(rèn)為AI通用化是逐步而非驟然的，即存在“通用性階梯”。并且，越過新的階梯，AI可能本質(zhì)完全發(fā)生改變，完全從目前AI發(fā)展根本無法預(yù)測到下一通用階段新AI的狀態(tài)。目前，已經(jīng)跨越的6級通用性階梯依次是：專用硬件，可編程計(jì)算機(jī)，存儲(chǔ)程序計(jì)算機(jī)，機(jī)器學(xué)習(xí)，深度學(xué)習(xí)，預(yù)訓(xùn)練模型，以指令調(diào)優(yōu)模型。

基于此，他們批評超級對齊：ASI沒有出現(xiàn)，現(xiàn)在根本無法研究如何對齊它，因?yàn)橄乱煌ㄓ秒A段的AI和此時(shí)完全不同。這一點(diǎn)我非常贊同，超級對齊的概念是個(gè)空中樓閣。

然后，他們批評完全阻止構(gòu)建強(qiáng)大AI的觀點(diǎn)，而我是支持這種的觀點(diǎn)的。我的有限主義主張AI工具化、去道德化、去意識化，反對發(fā)展超級智能的AI發(fā)展進(jìn)路。他們的理由是什么呢？第一，超級AI很聰明但不一定追求權(quán)力，問題不在于聰明而在于權(quán)力，只有當(dāng)超級AI追求權(quán)力才有必要調(diào)整它。這條理由完全不對，聰明不一定追求權(quán)力，也不一定不追求權(quán)力——想想落后會(huì)不會(huì)挨打的問題，有些類似——等超級AI追求權(quán)力時(shí)還能控制嗎？第二，阻止強(qiáng)大AI構(gòu)建，會(huì)過度依賴監(jiān)管，遲滯AI的發(fā)展。這條理由也不對，憑什么AI就不能被監(jiān)管，不能發(fā)展降速？第三，暗示治理AI要各個(gè)國家合作，實(shí)際上國際治理合作實(shí)現(xiàn)不了。這一點(diǎn)確實(shí)是實(shí)情，AI發(fā)展的有限主義的確有些理想化。但是，取法其上，才能得其中。沒有理想，人類和咸魚有什么差別。我們努力，不能做到，也是盡力了。

對于AI文明危崖，即AI導(dǎo)致生存性風(fēng)險(xiǎn)問題。第一，我并不認(rèn)為，只有通用到超級這一路線可能導(dǎo)致這個(gè)問題。第二，我贊同多數(shù)思想家認(rèn)為的，即AI滅絕或衰退人類文明的風(fēng)險(xiǎn)優(yōu)先級，遠(yuǎn)在氣候變化、核大戰(zhàn)和新發(fā)病毒之后。第三，更嚴(yán)重的是AI加重上述三大優(yōu)先級生存性風(fēng)險(xiǎn)，而不是制造全新的生存性風(fēng)險(xiǎn)。最后，AI文明危崖的思考，可以作為一種人文批判法來使用，預(yù)防最壞的可能性，僅此就非常有價(jià)值。

反對AI大力丸，要怎么辦呢？《AI萬金油》其實(shí)也說不出什么新辦法，作者畢竟是CS專家，而這是一個(gè)制度問題。的確，要治理機(jī)構(gòu)、治理人，這是他們說的一條。然后，他們說：1）認(rèn)真理解AI機(jī)理，2）加強(qiáng)監(jiān)管，3）技術(shù)民主化，即大家都來參與控制AI的事業(yè)。這些我都贊同，也都是大家經(jīng)常說的。只有一點(diǎn)我和他們不同：治人、治機(jī)構(gòu)，我強(qiáng)調(diào)關(guān)鍵在于控制AI專家。我感到，現(xiàn)在AI專家尤其是AI企業(yè)里面的AI專家，正在成為脫韁野馬，滿口大話、神乎其神。

《AI萬金油》的觀點(diǎn)中，我最不贊同的是，它否認(rèn)“惡意AI”的可能性：

至于“惡意AI”概念，我們最好還是將其留在科幻小說中。

對于AI對人類生存威脅的擔(dān)憂可以被視為一種“批判性炒作”（criti-hype）。

AI永遠(yuǎn)只是一種工具，永遠(yuǎn)不會(huì)產(chǎn)生意識嗎？的確，現(xiàn)在是沒有，但誰能證明機(jī)器永遠(yuǎn)不能產(chǎn)生意識呢？好像還沒有人證明得了吧。AI絕不是簡單工具，而算法更是技術(shù)-價(jià)值融合的東西，AI是可以與善或惡關(guān)聯(lián)的。惡意AI決不是完全科幻空想。并且，即使是一種空想，它也可以作為一種人文批判法來使用。對這一點(diǎn)感興趣，可以找我的論文《通用人工智能的復(fù)雜面孔》來看一看。