AI研發AI--世界上最重要也最危險的技術，也是眾多AI巨頭的目標

一項可能改變技術發展軌跡的能力正在AI實驗室內部悄然成形。當AI系統開始自主研發更先進的AI時，人類對技術演進的理解和控制能力將面臨前所未有的挑戰。

據追風交易臺，安全與新興技術中心(CSET)2026年1月發布的研討會報告，這一進程已經開始，并可能在未來數年內加速，帶來"重大戰略意外"。

OpenAI已公開宣布，計劃在2028年3月前打造"真正的自動化AI研究員"。報告顯示，前沿AI公司目前已在內部使用自家最先進模型加速研發工作，且這些模型往往先用于內部研發，然后才對外發布。

一位參會的機器學習研究員透露，在精心選擇的任務上，AI模型能在30分鐘內完成原本需要他數小時才能完成的工作。隨著模型能力提升，能夠自動化的研發任務范圍正在持續擴大。

這項技術的風險核心在于兩點：一是人類對AI研發過程的監督能力將下降，二是AI能力提升速度可能超出人類反應能力。

報告警告，在最極端情境下，AI驅動的技術改進可能形成自我強化循環，導致"能力爆炸"——生產力提升從人類水平的10倍躍升至100倍、1000倍。AI系統將完全主導研發流程，人類參與度趨近于零，由此產生的系統能力可能遠超人類。

部分AI領域領軍人物已警告，這可能導致"人類對自主AI系統不可逆轉的控制權喪失"，甚至"大規模生命損失和人類邊緣化或滅絕"。

盡管專家對這些極端情景的可能性存在廣泛分歧，但研討會達成的關鍵共識是：這類情景確實可能發生，且值得現在就采取預防行動。

由于不同觀點基于不同的AI研發運作假設，新的實證數據可能不足以解決觀點沖突。這意味著，可能很難提前發現或排除極端的"智能爆炸"情景。

前沿公司已將AI用于輔助AI研發

AI研發自動化已不是理論構想。研討會發現，前沿AI公司已在使用自家最佳模型協助構建更好的模型，且AI在研發中的貢獻隨時間增長。每當研究人員獲得新一代更先進模型時，這些模型就能承擔更多此前需要人類完成的任務。

工程類任務是目前AI提供最大價值的領域，尤其在編程方面。盡管使用AI輔助編程的確切生產力提升尚不明確，但前沿AI公司的技術人員實際上花費大量時間使用AI工具協助工作。

Anthropic在一份公開材料中描述，其基礎設施團隊的新數據科學家會向Claude Code提供整個代碼庫以快速上手，安全工程團隊使用Claude Code分析堆棧跟蹤和文檔，原本需要10至15分鐘的問題現在解決速度快了3倍。

除編程助手外，AI系統還以多種方式輔助AI研發。例如，"LLM作為評判者"范式已融入AI研究的諸多方面，這種技術使用大語言模型評估AI生成的輸出，執行此前需要人類判斷的任務，現已大規模用于訓練數據過濾、安全訓練和問題解決方案評分。

一位參會的前沿AI公司員工描述，他正使用內部AI工具生成約1000個新的強化學習環境來訓練未來模型——遠超他獨自能創建的數量。

爆發還是停滯：截然不同的預期

AI研發自動化的未來軌跡是報告的核心問題。自動化程度會達到多高？進展速度有多快？將如何影響社會？對這些問題持強烈觀點的研討會參與者傾向于分為兩個群體：預期快速進展并達到高度自動化和極先進能力，或預期較慢進展且會在早期階段達到平臺期。

報告描述了幾種可能的發展動態：

1、生產力乘數模型（爆發版）假設AI系統自動化AI研發的比例不斷增加，生產力提升從人工研發的120%增長到10倍、100倍、1000倍。隨著這些改進自我疊加，進展進一步加速，人類參與度和理解度降至零，AI系統能力遠超人類。

2、生產力乘數模型（衰減版）則認為，盡管AI研發日益自動化，但給定投入水平（如算力）產生的科學產出不足以驅動能力進一步復合改進。AI研發雖日益自動化，但能力在相對早期就達到平臺期。

3、阿姆達爾定律模型認為，AI僅能自動化某些特定領域的AI研發活動（如編寫代碼和運行實驗自動化了，但提出全新研究項目或運營數據中心未能自動化）。即使自動化加速了研發流程的某些部分，整體進展仍受AI無法自動化的研發活動瓶頸限制，因此無法實現完全自動化。

4、擴展餅圖模型則認為，隨著AI自動化某些AI研發活動，人類研究人員會反復發現，持續進展需要AI系統尚無法自動化的新型貢獻。AI研發可能進展非常迅速，但人類仍是研發過程的核心。

對這些動態中哪一種將占主導的不同預期，與對AI進展"曲線形狀"的截然不同答案相關：AI研發進展速度有多快？進展會因復合改進而加速還是因收益遞減而減速？AI能力達到頂尖人類AI研究員水平的可能性有多大？如果AI能力確實達到專家人類水平，在該點之后不同任務的性能上限在哪里？是否存在會阻礙AI研發進展的瓶頸？

報告的關鍵發現是：很難提前使用實證證據在兩種沖突的AI研發自動化觀點間做出裁決——一種預期快速進展并導致極先進AI系統（即"超級智能"），另一種預期較慢進展并在某些關鍵領域仍未達到人類性能就達到平臺期。

這兩種觀點都依賴于一些假設，讓它們能夠解釋為何即使觀察到相反證據，情況稍后也會恢復到預期。例如，一方可能指出現有瓶頸，另一方則可能認為這只是暫時問題，一旦解決就會快速改進。

亟需建立監測指標體系

盡管解讀新證據存在潛在挑戰，參與者一致認為，努力收集和理解AI研發自動化軌跡的指標將非常有價值。現有實證證據（包括現有基準評估）不足以衡量、理解和預測自動化AI研發的軌跡。

報告建議關注三類指標。

第一類是衡量廣泛AI能力的指標，包括執行需要人類長時間完成的任務、執行"混亂任務"（規范不精確、依賴大量上下文、需要與人或其他動態系統交互的任務）、以及即時吸收新事實、技能和想法的能力。除AI模型評估非營利組織METR正在追蹤的時間跨度測量外，幾乎沒有現有指標能夠捕捉這些能力的進展。

第二類是針對AI研發的專門基準，按復雜度遞增排列為"階梯"：軟件和硬件工程（編程、調試、性能優化等）、進行實驗（實施、數據收集和分析）、創意構思（提出實驗和識別要點）、戰略與領導力（確定方向、優先級排序和協調）。

只有自動化了上層任務后，AI研發才可能完全自動化，但在完全自動化前不久，我們可能才會看到上層任務進展的大量數據。目前尚不存在最高兩層的基準。

第三類是關于前沿AI公司內部AI研發自動化進展的跡象，包括研發支出分配、研發就業模式、委托給AI系統的任務規模和復雜度、內部部署與公開發布的前沿AI模型之間的差距、AI研發進展的測量以及AI研究人員的定性印象。

透明度成為政策核心

鑒于AI研發自動化軌跡的高度不確定性，改善獲取相關實證證據是有價值的近期政策目標。目前，任何對AI研發自動化實證證據感興趣的人都嚴重依賴前沿AI公司的自愿信息發布。雖然公司確實選擇發布一些相關數據，但往往零散不全。

原因包括：公司往往缺乏動力投入大量資源收集信息；即使公司確實收集信息，這些信息可能敏感（商業或其他方面）；公司可能有選擇性分享信息的動機，例如支持某些敘事以吸引投資。

少數與前沿AI發展透明度相關的法律法規最近獲得通過（最顯著的是歐盟的通用AI行為準則和加州的前沿人工智能透明度法案SB 53）。但迄今為止，這些措施幾乎未能在AI研發自動化指標方面創造透明度。

報告提出的政策選項包括：披露關鍵指標（包括自愿或強制披露，信息向政府或公眾披露）、有針對性的舉報人保護、以及其他政策影響。

在風險管理方面，報告指出幾家AI公司已在其安全框架中將自動化AI研發能力作為觸發增強安全措施的因素，但這些框架尚處于初期。政策制定者在制定廣泛監管框架時應考慮是否以及如何覆蓋內部部署，而不僅是外部部署。

高水平的AI研發自動化還將提高算力優勢對公司和國家的重要性。如果AI研發高度自動化，獲得算力將可能是決定特定組織能在多大程度上加速其AI研究的重要因素。從為這種可能性做準備的角度看，算力控制可能允許美國及盟友減緩競爭對手大規模自動化AI研發的能力。

前OpenAI政策總監，Anthropic 聯合創始人Jack Clark指出，如果AI研發能夠使AI系統的演進速度比人類構建的系統快100倍，"那么你最終會進入一個有時間旅行者的世界，他們正在加速遠離其他所有人"。這可能導致權力迅速轉移到移動更快的系統及控制它的組織。只要無法排除這種加速的可能性，AI研發自動化可能就是地球上最具存在性重要性的技術發展。