蘇煒杰：AI需要一門新的數學語言

資料圖。本文來源：北京商報、中國國創會

本賬號接受投稿，投稿郵箱：jingjixuejiaquan@126.com

蘇煒杰資料圖。本文來源：量子位

本賬號接受投稿，投稿郵箱：jingjixuejiaquan@126.com

蘇煒杰：AI需要一門新的數學語言

哪些AI均衡點我們絕對不想要？

量子位：恭喜獲獎。這是針對您過去一系列貢獻頒發的獎，如果讓您自己選一篇最滿意的工作，會是哪篇？

蘇煒杰：最滿意的不好說，但最有趣的有一篇。ICML最近有一個改動，要求作者自己對投稿論文做一個質量排序。

這個做法，其實和我五年前的一篇論文有關。核心觀點大致是：既然作者往往是自己論文最好的審稿人，何不引入一種由作者本人參與的評分機制？

這篇論文的ROI很高。從有想法到寫完，總共不到兩周，時間主要花在語言潤色和補充文獻上，那還是在ChatGPT出現之前。

放在現在，可能兩天就能寫完。

量子位：這篇論文的核心思路涉及博弈論，和經濟學相關。您在本科階段也有經濟學背景，當時怎么會對經濟學感興趣？

蘇煒杰：其實最開始并不是出于興趣。我在北大的時候主修數學，之所以修了經濟學雙學位，是因為當時的女朋友（即現在的妻子）選了這個項目。

她偏文科。經濟學雖然屬于文科，但需要高數、概率論等基礎，所以她希望我也一起學，互相支持。

但后來發現，經濟學讓我學會一種不同于純數學的思維方式。

學純數學，很容易形成一種確定性的世界觀：世界是完備的、有結構的，可以用精確語言描述；如果暫時無法刻畫，那是我們的數學工具還不夠成熟。

接觸經濟學之后，會意識到真實世界并不具備那樣的確定性。世界是混沌的，很多問題只能做近似描述，終極理性往往不存在，或永遠無法逼近。

量子位：如今的AI同樣很難完全用純數學解釋清楚。您覺得經濟學思維，對您現在的研究有什么影響？

蘇煒杰：我的核心訓練仍然是數學、統計和優化，但經濟學會讓你更關注「人」這個共同體。經濟學研究的本質，是人的行為，以及人在制度和市場中的互動。

我們組里有一部分研究，就是從經濟學視角出發，討論AI對齊在人類社會結構中的意義。

AI未來會全方位影響人類社會。現在大家更多討論的是個人用戶怎么做agent、怎么讓個人更滿意，但AI對社會的影響是什么、會怎樣演化，這更接近經濟學研究的范疇。

AI由人類數據訓練而來，會繼承人類偏好。另一方面，越來越多年輕人開始用AI，這一過程中，AI的價值觀也在反過來影響人類。

所以問題來了：現有算法，能不能把這些偏好完整、準確地轉移到AI里？

我們希望AI對齊人類偏好。但這些偏好如何定義？如何聚合？

主流方案還是獎勵模型配合強化學習，把偏好的信息結構都編碼進去。不過，目前常用的一些相對簡單的統計模型，沒法完美表達真實的人類偏好。

我們有一項工作討論了投票悖論：當候選項至少有三個時，群體偏好可能出現循環——A優于B、B優于C、C又優于A。

這種情況下，現有損失函數或獎勵模型是有缺口的。如果這種偏差長期存在，可能會把AI的偏好推向某個不確定方向，最后收斂到一個我們不希望看到的均衡點。

量子位：那最終應該達到的均衡點在哪里？「人類偏好」至今也沒有統一定義，不同國家對善惡的判斷標準都不一樣。

蘇煒杰：的確，偏好不存在絕對客觀、唯一最優的標準。

但可以確定的是：哪些偏好我們不會想看到？

我舉個例子。AI領域論文審稿正在逐步滑向一個不太好的平衡點。

以前論文少、節奏慢，一個人一年審幾篇，大家還是愿意花時間把審稿做好。

但現在投稿太多了、審稿人又太少。很多人覺得自己的論文被一些不認真、質量不高的審稿意見影響了，于是會想：憑什么我要認真審別人的論文？

當越來越多人都有這種想法，他們自己當審稿人時也不會認真投入，結果就是惡性循環，審稿質量越來越差。

量子位：用AI審稿會是一個好的解決方案嗎？

蘇煒杰：人類審稿有個常見問題：審稿人說作者「沒做某件事」，但其實論文在別的段落已經寫了，只是審稿人沒看到。

我今年也在ICML委員會負責相關工作，根據經驗和數據來看，AI在「信息抓取」類任務上往往優于人。

不過，現在很多人習慣把審稿「托管」給AI，讓它直接生成審稿意見。

這里面還有個問題：市面上主流的AI就那么幾個。

審稿的一個重要價值是多樣性。不同審稿人從不同經驗和偏好出發，能看到論文的不同面向。

如果大家都用一樣的AI來審稿，意見就會千篇一律，這件事就沒意義了。

幻覺的問題則更加嚴峻。

學術有個特點——論文是寫給未來的。

每一篇論文不是寫完就結束，它會存檔，掛在數據庫里，很多年后都還可能被引用。

所以學術對信息準確性的要求非常高。幻覺如果出現在某一篇論文里，后續被重復引用幾十次，可能會被當作既定事實。這對人類知識傳承是很可怕的。

實話說，今年我們已經看到不少論文明顯是AI生成的，關鍵是其中引用的文獻根本搜不到。

其他部分作者還可能辯解說：「我只是寫作風格像AI。」但文獻不存在這種事，是沒辦法辯駁的。

學術通常被認為是人類智力活動密度最高的領域之一。當這個領域都開始讓人類退場，這是個非常危險的信號。

像「剝洋蔥」一樣優化AI黑盒

量子位：您在之前的訪談中經常提到「可解釋性」和「可信部署」。這方面最近有什么研究進展嗎？

蘇煒杰：坦白說，我在可解釋性方面直接做得不算多。有一些朋友在做機制可解釋性（Mechanistic Interpretability），我非常敬佩他們的工作。

我對這個領域的前景持謹慎態度，但我希望我的判斷是錯的。

想把AI從「黑盒」變成「白盒」，徹底理解它的內部機制，可能需要先重新定義什么是「理解」。

以往我們談理解，比如理解物理現象，可被逼近的。

比夸克更小的基本粒子是什么？暫時不清楚，更多是因為知識和工具還不夠。隨著技術發展，這類問題的「理解」難度是會降低的。

但AI的發展目標從來就不是為了「可解釋性」。更強能力的背后是Scaling，而模型越大，可解釋性往往越弱。

另一方面，如果AI想做到可解釋，那么人類大腦應該也是可解釋的。

我們研究人類大腦已經兩千多年了，至今也沒完全弄明白。憑什么認為一個生物大腦能完全理解另一個「硅基大腦」？何況這個硅基大腦還在變得越來越復雜。

或許我們可以換個思路：從「表現」出發。

對AI的行為做更準則化的刻畫，在這些準則下，對不確定性做概率或統計意義上的描述，建立可用的規范。

這樣，即便沒法完全理解內部機制，也能在現實部署中更好地控制風險。在這方面，統計學和運籌學會有很大的發揮空間。

以我們做的偏好對齊工作為例。這類任務不像數學證明那樣可以驗證為真或假，很多時候，它是在A和B之間形成一個概率分布。

因此，我們干脆從一開始就把Transformer當作黑盒，不關心其內部具體機制，而是把它視為一個概率輸出器：給定輸入，它輸出落在A與B之間的概率。

然后我們設計損失函數，讓這個概率分布的最優解達到我們希望的目標。這個過程不需要理解神經網絡的內部結構，把它當作黑盒來優化就可以。

我現在更傾向于把可解釋性看作「剝洋蔥」。

神經網絡是黑盒，但它不是一整塊不可穿透的黑鐵，它更像由很多層黑紗布疊在一起。疊得越多，整體看起來越黑。但單獨看每一層，它可能還能透過百分之七八十的光。

人腦很難做清晰的層次劃分，但神經網絡是分層結構。我們可以像剝洋蔥一樣，將神經網絡一層層剝開。

但沒必要全剝開。一個20層的網絡，也許剝開兩三層就能得到很多線索。底層的部分，更多是在做細碎的特征提取，沒必要理解，也理解不了。

當然，有些情況還是要多剝幾層。

我有位做對齊的朋友之前說，有時候兩個模型看起來對齊程度差不多，其實內部的對齊模式完全不一樣。一個是真正「認同」并內化了對齊目標，另一個可能只是裝的。

這種情況的確需要多剝幾層才能看得更清楚，但也沒必要完全白盒化，難度太大。

未來學術界需要做的，是在「有限黑盒」的條件下，把機制層面的證據和行為層面的表現結合起來，找到一個相對平衡的方案。

如何把隱私保護變成一種「內生動力」？

量子位：隱私保護是您深耕的領域，為什么會關注這個方向？有沒有一個具體契機？

蘇煒杰：契機在2014年暑假。當時我讀博第三年，去微軟研究院硅谷分部實習，跟著Cynthia Dwork做研究。

Cynthia是差分隱私的提出者之一。在她的引導下，我很自然地進入了這個領域。她經常從第一性原理，甚至從倫理學的角度去理解隱私，這對我沖擊很大：生活中一個相對「軟」的概念，竟然能用嚴謹的數學語言講清楚。

我的意思是，這個領域能從偏社會、偏經濟學的問題出發，最后延展到非常理論化、數學化的定義。跨度特別大，能同時連接機器學習、統計、數學、理論計算機等多個學科，匯集很多不同背景的人。

差分隱私在相對傳統的機器學習場景里用得很成功。它的基本思想是：數據集中某一個人的數據發生變化（比如把張三換成李四），算法的輸出不要有太大變化。 這樣外界就很難從輸出結果反推出到底是張三還是李四。

在傳統機器學習里，這種依賴關系相對容易刻畫。比如用影響函數（Influence Function）之類的方法，可以清楚地描述某個數據點對模型輸出的影響。既然依賴關系能刻畫，就可以通過加噪音，把張三和李四帶來的差異「抹平」。

但進入神經網絡時代后，隱私保護遇到了很大挑戰。核心原因還是黑盒：訓練數據集與模型輸出之間的關系很難精確刻畫。

你對數據集做一點變化，比如新增一個人，或者把一個人替換成另一個人，神經網絡的輸出預測會怎么變化，很難描述。

所以差分隱私那套理論現在很難直接用，往往需要加過大噪音來保證隱私，結果就是模型能力下降。

量子位：網上有不少意見領袖，尤其是極客群體，會覺得隱私是偽需求。認為只要效用足夠大，比如把所有數據都交給OpenClaw，它真能變成「賈維斯」，那隱私成本是可以接受的。

蘇煒杰：短期看，這種想法確實有其道理。把更多信息交給AI，它對你理解更深，給出的建議更準確、更貼合，你做決定也更省事。

但長期來看，這更像是一個社會學事件。也許要等到某一天，隱私泄露造成了非常嚴重的后果，大家才會反應過來。

以前在搜索引擎時代，你輸入的信息相對有限，通常只是關鍵詞。但現在這些AI公司對人的理解越來越私人化和全方位。這種潛在的濫用風險是巨大的。

量子位：安全配套往往滯后于技術發展，如果想讓隱私保護跟上技術進展，有什么可行措施？把隱私當成商業化方向，通過商業驅動讓更多人參與，會不會更現實？

蘇煒杰：可以從三點來談。

第一，更分層、更分級的隱私目標，而不是一刀切。

差分隱私很強，有時甚至過于強。把隱私保護放在絕對第一位，在很多場景下其實不太現實。

是否可以找到一個中間地帶？部分隱私在一定范圍內允許暴露，但在一些更關鍵、更敏感、涉及安全或重大經濟后果的領域，把控得更嚴格一些。

第二，從社會層面還是要持續強調隱私的重要性。

AI發展是當務之急，很難單純用隱私去約束參與者，讓大家不要做AI。

但不能忘記這個共識：隱私是重要的。 我們也許在當下會做一些權衡，甚至做一些妥協，但不能把這種妥協包裝成「完備的選擇」，從而放棄了追求更好的保護。

第三，設計一種類似區塊鏈的激勵結構，將隱私保護從「外部要求」轉化為「內生動力」。

不要指望公司靠道德自覺。從商業運作規律來看，只有當「保護隱私對公司有利」，有助于實現公司自身利益最大化時，它自然就會去做。

關鍵在于：如何把隱私變成一種「可交易的價值」，讓公司主動去保護隱私？

比特幣是個很典型的例子。它是靠機制設計，讓參與者在追求自身利益的同時，讓整個系統自然運轉起來。

如果我們也能設計出類似的機制，讓保護隱私成為企業利益的一部分，問題就迎刃而解了。

AI需要一套全新的數學語言

量子位：您在一次訪談中引用過一句話：「There’s nothing more practical than a good theory」（沒有什么比好的理論更實用）。

聽起來挺反直覺的。當「理論」和「實踐」放在一起時，理論往往顯得不那么「實用」。

蘇煒杰：在AI這樣一個全球可能有數千萬人參與的宏大系統中，不存在某一種范式絕對優于另一種。

計算機背景的人在參與，數學背景的人在參與，經濟學家也在參與；計算機內部又細分為理論、工程、硬件等多個方向。大家都是從不同角度、用不同手段推進同一件事，沒有誰比誰更高明之分。

但在當下的AI發展進程中，具備扎實理論訓練、特別是深厚數學背景的人才，參與比例相對偏少。

我觀察到的部分原因是：這些同學覺得AI缺乏純數學那種特有的「優美感」。

這很正常，我學生時代也有這種想法。但隨著年齡增長，人往往也會開始在意自己所做的事情對社會、對整個人類的影響力。

換個角度看，正因為AI現在看起來還「不夠優美」，它才更有機會被變得更「優美」。

人類現有的大部分數學體系，其實是伴隨物理學發展起來的。18到20世紀的許多數學結構，與牛頓力學、電磁學、相對論、量子力學等物理理論相互促進，形成了今天這套非常成熟的語言。

AI可能就是一種「新的物理」，而且它在結構上與傳統物理很不一樣。

物理學更像是一個從底層機制出發決定宏觀行為的過程，是「從小到大」；

而AI更多是從大到小：先設計一個大框架，比如Transformer有幾層、層與層怎么連接，先定下宏觀結構，再在訓練過程中逐步確定每一個參數。

這也解釋了為什么如今AI在理論方向相對滯后：未必是做AI理論的人不夠聰明，而是我們現有的數學語言，可能本來就不太適合描述AI。

所以我希望未來會有更多受過基礎數學、純數學訓練的人進入AI領域，去逐步創造一套更適合AI的數學框架。

這件事的影響力將非常巨大，其意義不會低于經典力學或相對論。

量子位：您會建議大學生多參加產業界的活動嗎？比如去OpenAI、谷歌實習。

蘇煒杰：如果有機會，當然很好。但現在去大廠實習的門檻越來越高了。

這個時代信息獲取的成本其實很低。如果目的是更好地了解AI，完全可以去修幾門計算機相關課程，或者找做AI的同學聊一聊。

自己部署一個開源模型也不難，親手搭建一個Agent，那種體驗跟只在網頁端對話完全不同，會讓你的理解更加立體。

我也鼓勵大家多關注新聞媒體的AI報道，最好每天都看。AI的發展節奏非常快，幾天就可能有明顯變化。看得多了，你自然會對趨勢有把握，也更容易產生興趣。

量子位：現在很多人不愿意繼續深造讀博；就算讀了，也有人會選擇輟學，轉去大廠做研究。

蘇煒杰：在AI的沖擊下，一些學校，尤其是排名不高的學校的價值確實會受到質疑。如果僅僅是為了「學東西」，這種價值在當下可能沒那么稀缺了。

AI這個領域很結果至上：只要你做出成績，很快就能獲得認可。你在GitHub上做出一個好項目，很快就能被全世界看到。

事實上，一些AI的關鍵技術，包括我自己關注的優化器方向，很多都是本科學歷的人做出來的。

說實話，這讓學界有點汗顏。按過去的經驗，這類工作往往需要比較系統的博士訓練才能產出。

但這種模式也存在隱患。現在很多論文作者是獨立研究者（Independent Researcher），不在學校體系內。

這類論文常見的特點是想法天馬行空；但有時錯誤也很多，論證漏洞和誤差比較夸張，質量上下波動極大。

學校的反饋還是很重要，老師指導、考試機制，這些都會給你反饋，讓你清楚自己掌握到了什么程度。

很多人覺得自己跟AI對話、靠AI學習就「學會了」，但其實基礎沒打牢，并沒有真正懂。

量子位：學校里有老師、有考試，可以判斷學生掌握得扎不扎實。但產業界也有反饋機制，能提供更多的算力，讓學生更快驗證想法。

蘇煒杰：我覺得這也不是完全的競爭關系。無論如何，初等教育階段仍然需要在學校體系里完成，這是基礎。

另外，大廠也不是擁有無限算力。公司層面雖然不缺卡，但落實到具體的研究員或團隊，資源依然是有限的，內部也存在競爭，并不是每個人都可以隨時拿到無限量的算力。

如果讓我給建議：在美國這邊，我更傾向于建議學生先把課好好上完，不要高中畢業就直接去公司做AI。

國內的話，目前對學歷的重視程度總體還是比較高，但如果你真的覺得自己準備好了，也可以勇敢一點。

量子位：您現在在實際生活中會用AI嗎？在您數學研究的工作流里，它的幫助程度怎么樣？

蘇煒杰：幫助越來越大。兩年前ChatGPT剛出來時，我們主要用它做文字修飾。

但現在不一樣了。AI在學術上已經可以扮演一個很好的「隨身合作者」。

這里的「合作者」不是指科研完成后再交給它提建議，而是當你做到一半、甚至還沒成形時，就可以隨時拿一個想法與它交流：這個方向行不行？這樣做有沒有漏洞？有沒有更好的途徑？

有時，它給出的反饋甚至會改變我原來的思路。

量子位：這幾年學術界和產業界好像走得越來越遠，很多學術人才也被吸到產業界。這種背景下，學術界有什么可以做的嗎？

蘇煒杰：學術界確實受到了很大沖擊。博士生更愿意去業界，留下來走學術路線的人比以前少了很多。但我覺得這可能只是個短期現象。

正如Ilya所說，Scaling Law帶來的邊際收益在下降，這是一個比較明確的趨勢。

當Scaling的空間因為物理限制、成本限制而難以繼續擴張時，大家就必須回到算法和結構上來——怎么在不增加數據、不增加算力的前提下，把現有資源用得更好？

這類在資源受限條件下尋求改進的范式，恰恰是學術界更擅長的。

量子位：AI時代的學生，最重要的特質是什么？

蘇煒杰：說實話，絕大多數大學現有的培養模式，不太適合AI時代。這也導致在美國這邊，本科生就業沖擊很大，很多人找不到工作。

陶哲軒最近在訪談中提到，數學學科的教學方式兩百年幾乎沒變。他拿出兩百年前柯西的教材，和今天的教材差別不大。

但AI會迫使這種局面改變。

人類在學習純理論學科時，很多細節、偏技術的部分，可能會逐步轉交給AI。基本功仍然需要，但什么叫「基本功」可能要重新定義，因為人在熟練度上不可能超過AI。

被動學習和主動學習的差距會越來越大。

過去在學校上課，差距沒那么夸張，因為課堂的信息量有限，人與人之間的差異不會拉開到幾個數量級。

但在AI時代，如果只是坐著聽課，和那些主動探索，甚至自己利用AI創造工具的人相比，信息上限差太多了，未來的發展可能會差出好幾倍。■

掃碼入群可參加全年至少12場精彩閉門研討