人民大學與清華大學突破：讓AI像數據科學家一樣思考和工作

還記得那些熬夜趕報告的日子嗎？一堆亂七八糟的Excel表格、CSV文件和數據庫，老板要你"從數據里找出點有價值的東西"。你盯著屏幕，不知從何下手——先清洗數據？還是先做可視化？做到一半發現數據格式不對，又得推倒重來。這樣的場景，每個做過數據分析的人都不陌生。

現在，這個讓無數數據分析師頭疼的問題，可能有了新的解決方案。

中國人民大學和清華大學的研究團隊介紹了他們開發的DeepAnalyze-8B系統。這個AI不只是會回答問題或寫代碼，它能像一個真正的數據科學家那樣工作——自己規劃分析思路，自己寫代碼測試，看到結果不對還會自己調整方案，最后輸出一份專業的研究報告。

更讓人驚訝的是，這個系統只有80億個參數，體積相當于一些中型語言模型，卻在性能上超過了許多基于GPT-4o這樣的超大模型構建的數據分析工具。

數據科學的困境與突破

數據科學一直是人工智能領域的一個特殊挑戰。設想你是一家企業的數據分析師,老板給你一個模糊的問題:"從我們的支付數據中找出能降低成本的機會。"這個看似簡單的任務,實際上包含了一系列復雜的步驟。你需要理解數據結構,清洗不一致的記錄,進行統計分析,建立預測模型,創建可視化圖表,最后將發現整理成一份有說服力的報告。每個步驟都可能遇到意外情況,需要根據實際結果調整策略。

傳統的人工智能系統在處理這類任務時面臨兩大核心難題。首先是"自主編排"能力的缺失?，F有的數據智能體通常依賴預先設計好的工作流程,就像按照固定食譜做菜一樣。當遇到配方中沒有的情況時,它們就束手無策了。其次是"自適應優化"能力的不足。真正的數據科學家會根據中間結果不斷調整方案,而大多數AI系統缺乏這種在真實環境中通過反饋進行迭代改進的能力。

研究團隊發現,要解決這些問題,關鍵在于讓模型像人類數據科學家一樣在真實環境中學習和成長。人類數據科學家的成長路徑是有規律的:從掌握單項技能開始,比如學習編程、理解統計學、掌握數據庫操作,然后逐步整合這些能力,最終能夠獨立完成復雜的數據研究項目。DeepAnalyze正是模仿了這個學習路徑,通過"課程式智能體訓練"范式,讓模型從簡單到復雜地逐步掌握數據科學的各項能力。

更具體地說,研究團隊設計了一個兩階段的訓練過程。第一階段專注于強化單項能力,包括推理能力、結構化數據理解能力和代碼生成能力。這就像一個初學者先分別學習如何烹飪、如何調味、如何擺盤。第二階段則通過在真實數據環境中的強化學習,讓模型學會如何綜合運用這些能力解決復雜問題。這個階段相當于讓廚師在真實廚房中反復實踐,根據食客反饋不斷改進。

訓練過程中還有兩個關鍵創新。一是"數據驅動的軌跡合成"框架,它能夠自動構建高質量的訓練數據。由于高質量的數據科學交互軌跡數據非常稀缺,研究團隊開發了一套多智能體系統來自動生成這些數據。另一個是混合獎勵建模機制,針對數據科學任務的開放性特點,將基于規則的獎勵和基于大語言模型評判的獎勵結合起來,確保模型不僅能完成任務,還能生成高質量的研究報告。

DeepAnalyze的獨特設計

DeepAnalyze的核心創新在于它的交互架構設計。不同于傳統大語言模型只能處理文本,DeepAnalyze能夠直接與數據環境交互。研究團隊為模型定義了五種基本動作,每種動作都有特定的XML標簽來標識。

首先是分析動作,用標簽包裹。當模型需要進行規劃、推理或反思時,就會生成這種動作。比如在面對一個復雜的數據分析任務時,模型可能會先分析:"要完成這個任務,我需要先查看數據結構,然后選擇合適的統計模型,接著進行數據清洗..."這個過程完全由模型自主完成,不需要人工指定步驟。

第二種是理解動作,標簽為。這個動作專門用于理解結構化數據的內容,比如數據庫表格、CSV文件等。研究團隊特別將這個動作與推理過程分離,是因為他們發現,對結構化數據的理解需要與一般推理不同的認知模式。就像人類在讀表格和讀文章時使用不同的思維方式一樣。

第三種是代碼動作,用標簽包裹。模型會生成Python代碼來操作環境中的數據,比如讀取文件、進行數據轉換、創建可視化圖表等。這些代碼會被實際執行,不是紙上談兵。

第四種是執行動作,標簽為。這個動作用于收集代碼執行后的反饋。當模型生成代碼后,環境會自動執行這些代碼,并將結果放入標簽中返回給模型。模型根據這些反饋決定下一步行動,形成真正的交互循環。

最后是回答動作,用標簽包裹。這是模型完成任務的標志,通常包含最終的分析報告或問題答案。

這種設計的巧妙之處在于,所有動作都是模型自主生成的,沒有任何人工預定義的工作流程或規則。模型完全根據當前情況和任務目標,自主決定何時進行哪種動作。這種自主性是DeepAnalyze能夠處理開放式數據研究任務的關鍵。

此外,DeepAnalyze在處理大規模數據時采用了一種混合策略。對于小型數據,模型可以將其轉換為文本直接放入上下文中理解。但對于大型數據集,模型會主動探索外部數據源,根據需要逐步加載和檢查數據。這種設計借鑒了人類數據科學家的工作方式——他們不會試圖一次性記住所有數據,而是根據分析需要有針對性地查看相關部分。

課程式訓練如何讓AI成長

DeepAnalyze的訓練過程最有趣的地方,就是它模仿了人類數據科學家的成長路徑。這個過程被研究團隊稱為"課程式智能體訓練",分為兩個漸進的階段。

第一階段是單能力微調?；A大語言模型通常沒有經過數據科學領域的專門訓練,所以首先需要增強它的各項基礎能力。研究團隊重點強化了三個核心能力:推理能力、結構化數據理解能力和代碼生成能力。這三個能力分別對應DeepAnalyze的三種基本動作——分析、理解和編碼。

推理能力的訓練使用了包含長推理鏈的數據,讓模型學會如何進行復雜的邏輯推理。結構化數據理解能力的訓練則專注于表格數據,讓模型學會如何解讀和分析各種格式的結構化信息。代碼生成能力的訓練涵蓋了數據科學常用的各種Python庫,如Pandas、NumPy、Matplotlib等。這個階段使用了約47萬個樣本,序列長度為8K tokens,確保模型在各個單項能力上都達到了較高水平。

然而,單純掌握這些獨立技能還不足以完成復雜的數據科學任務。就像一個人會炒菜、會調味、會擺盤,但不一定能做出一桌好菜一樣。第二階段的多能力智能體訓練就是要讓模型學會如何綜合運用這些能力。

這個階段又分為兩個子階段。首先是冷啟動微調,使用約2萬個合成的交互軌跡數據,讓模型學會基本的交互格式和動作編排。這就像給新手廚師一些標準食譜,讓他們熟悉烹飪的基本流程。

接下來是強化學習階段,這是整個訓練過程的核心。研究團隊使用了GRPO(Group Relative Policy Optimization)算法,讓模型在真實數據環境中通過試錯來學習。每個任務會采樣多個輸出,根據它們的質量計算獎勵,然后更新模型參數。這個過程就像廚師在真實廚房中不斷實踐,根據食客反饋改進技藝。

獎勵機制的設計非常巧妙,針對不同類型的任務采用不同的評估標準。對于有標準答案的數據問答和特定分析任務,獎勵綜合考慮答案的準確性和交互軌跡的質量。對于開放式研究任務,獎勵則評估最終報告的五個維度:有用性、豐富性、嚴謹性、可解釋性和可讀性,同時也考慮交互過程的成功率和交互輪次。這種設計鼓勵模型不僅要得出正確答案,還要生成高質量、易理解的報告。

整個第二階段使用了約1.5萬個樣本,序列長度擴展到32K tokens,以支持更復雜的多輪交互。訓練數據覆蓋了三大類任務:數據問答、特定數據任務(如數據準備、分析、建模、可視化和洞察提取)以及開放式數據研究。通過這種從簡單到復雜的漸進式訓練,DeepAnalyze逐步具備了處理各種數據科學任務的能力。

突破數據稀缺的軌跡合成技術

訓練DeepAnalyze面臨的一個重大挑戰是高質量訓練數據的稀缺。與文本生成或代碼補全等任務不同,數據科學領域缺乏大量的推理軌跡和交互過程記錄。即使有一些數據集,也往往只包含指令和最終答案,缺少中間的推理和交互過程。

為了解決這個問題,研究團隊開發了一套"數據驅動的軌跡合成"框架,包括兩個互補的部分:推理軌跡合成和交互軌跡合成。

推理軌跡合成針對現有的結構化數據指令數據集。這些數據集包含大量的任務指令和答案對,但缺少推理過程。研究團隊采用了兩步策略來增強這些數據。首先是蒸餾步驟,使用先進的閉源大語言模型作為"教師",提取它們的推理軌跡。當教師模型回答一個數據科學問題時,研究團隊會記錄它的思考過程,然后驗證其答案的正確性。

然而,直接蒸餾得到的推理軌跡質量還不夠理想。研究團隊發現,即使是最先進的閉源模型,在數據科學領域也沒有經過專門訓練,它們的推理過程往往忽略了對結構化數據本身的仔細檢查。為了強化對數據的關注,研究團隊引入了關鍵詞引導的精煉步驟。

這個精煉過程的核心思想是在推理軌跡中插入一些關鍵性的提示詞,引導模型更關注數據本身。研究團隊構建了一個關鍵推理詞匯表,包含諸如"但是"、"等等"、"看每一行"、"重新審視結構化數據"這樣的詞語。在精煉時,系統會隨機抽取幾個關鍵詞,要求教師模型基于這些詞重新組織推理過程。

實驗結果顯示,這種關鍵詞引導的精煉確實顯著提升了推理軌跡的質量。精煉后的軌跡對結構化數據的關注度明顯提高,推理過程中會反復檢查和驗證數據,而不是匆忙得出結論。在消融實驗中,使用精煉后數據訓練的模型在多個基準測試上的表現都有明顯提升。

交互軌跡合成則解決了另一個更困難的問題:如何構建完整的多輪數據交互過程。研究團隊設計了一個多智能體系統,包含三個角色:提問者、求解者和檢查者。

提問者的任務是觀察環境中的數據源,然后根據指定的任務類型(如數據準備、數據分析、數據建模等)生成一個數據科學問題。同時,提問者還會生成一個檢查清單,包含交互層面的約束(如交互輪次、使用的代碼庫)和環境層面的約束(如是否生成了新文件、文件的具體名稱等)。

求解者接收到問題和數據源后,使用DeepAnalyze定義的五種動作與環境交互,嘗試完成任務。求解者的行為會被完整記錄下來,形成一個交互軌跡。

檢查者的作用是質量控制。它會根據檢查清單,驗證求解者的交互過程和環境變化是否符合要求。只有通過檢查者驗證的軌跡才會被保留作為訓練數據。研究團隊發現,同時檢查交互細節和環境變化能夠大幅提升合成數據的質量。

通過這套軌跡合成框架,研究團隊構建了一個名為DataScience-Instruct-500K的大規模數據集,總計約50萬個樣本。這個數據集涵蓋了從基礎能力訓練到復雜交互學習的各個階段,為DeepAnalyze的訓練提供了堅實的數據基礎。更重要的是,這個數據集已經完全開源,其他研究者可以直接使用或在此基礎上進一步擴展。

實驗驗證與性能表現

研究團隊在12個不同的數據科學基準測試上全面評估了DeepAnalyze-8B的性能,結果令人印象深刻。

在DataSciBench這個評估端到端數據科學能力的最新基準上,DeepAnalyze-8B達到了61.11的總分,超過了包括GPT-4o-mini(54.18分)、Claude-3.5-Sonnet(52.29分)和GPT-4-Turbo(54.65分)在內的多個先進專有模型。雖然與GPT-4o(64.51分)還有一定差距,但考慮到DeepAnalyze只有80億參數,這個表現已經非常出色。特別值得注意的是,在數據探索子任務上,DeepAnalyze達到了58.62分,顯著超過GPT-4o的57.67分。

在數據分析能力測試(DSBench)上,DeepAnalyze展現了更強的優勢。在數據分析任務中,它達到了30.04%的準確率,不僅超過了所有開源模型,還超過了Code Interpreter(GPT-4o)的26.39%。在數據建模任務上,DeepAnalyze的成功率達到90.63%,表現達到45.52分,接近使用GPT-4構建的AutoGen智能體(87.84%成功率,45.52分),而成本為零。

DABStep基準測試評估模型的多步推理能力,DeepAnalyze-8B在這個測試上達到了38.88%的總體準確率,超過了包括Claude-3.5-Sonnet(36.44%)在內的所有對比系統。特別令人印象深刻的是,在困難級別的任務上,DeepAnalyze達到了32.80%的準確率,遠超其他系統在這個類別上的表現。這表明DeepAnalyze在處理需要長鏈推理的復雜任務時具有明顯優勢。

研究團隊還專門構建了DABStep-Research基準來評估數據導向的深度研究能力。這個基準包含五個類別的任務:數據準備、數據分析、數據洞察、報告生成和開放式數據研究。結果顯示,DeepAnalyze-8B在所有任務類別上都持續優于對比系統,總分達到3.29分(內容)和3.69分(格式),顯著高于GPT-4o、o3-mini等模型。

特別值得關注的是DeepAnalyze在開放式數據研究任務上的表現。這類任務完全沒有預定義的研究方向或方法,要求模型完全自主地進行數據研究并生成報告?；趯Ｓ心Ｐ偷闹悄荏w系統在這類任務上的表現明顯下降,而DeepAnalyze保持了穩定的高水平表現。這證明了智能體訓練范式相比傳統的工作流方法具有本質優勢。

在與數據科學相關的其他能力測試中,DeepAnalyze同樣表現出色。在DS-1000代碼生成基準上,它達到了61.7%的準確率,超過GPT-4-Turbo的53.9%。在TableQA系列基準測試(評估結構化數據理解能力)上,DeepAnalyze的平均得分為64.47%,超過了之前的最佳模型Reasoning-Table的62.62%。

消融實驗進一步驗證了DeepAnalyze設計的合理性。移除專門的動作會導致在WikiTQ、MultiHiertt和DABStep等任務上的性能下降。課程式訓練的對比實驗顯示,只進行單能力微調或只進行多能力智能體訓練都無法達到最佳效果,證明了漸進式訓練策略的重要性。關鍵詞引導的推理軌跡精煉也被證明能夠提升模型在結構化數據理解任務上的表現。

至頂AI實驗室洞見

DeepAnalyze代表了自主數據科學領域的一次重大突破。它首次實現了從數據源到分析師級研究報告的完全自動化流程,不依賴任何預定義的工作流程或規則。這種能力源于研究團隊提出的課程式智能體訓練范式和數據驅動的軌跡合成框架,這兩項創新共同解決了數據科學任務的高復雜性帶來的獎勵稀疏和軌跡稀缺問題。

從技術層面看,DeepAnalyze的成功驗證了幾個重要觀點。首先,對于需要多種能力的復雜任務,漸進式的課程訓練比一步到位的訓練更有效。其次,在真實環境中通過強化學習進行智能體訓練,能夠賦予模型自主編排和自適應優化的能力,這是單純依賴監督學習或工作流設計無法實現的。第三,針對特定領域的數據合成技術(如關鍵詞引導的精煉)可以顯著提升訓練數據的質量。

DeepAnalyze的開源發布具有重要意義。模型權重、完整代碼和50萬規模的訓練數據集的公開,為研究社區提供了寶貴的資源。其他研究者可以在此基礎上進行改進,或者將相關技術應用到其他需要自主規劃和交互的任務中,如數據發現、數據治理、數據生態系統管理等。

當然,DeepAnalyze也還有改進空間。雖然在很多任務上表現出色,但在某些特定任務(如數據建模)上與最強的專有模型還有差距。此外,模型的推理速度和資源消耗也是未來優化的方向。隨著基礎模型能力的不斷提升和訓練數據的進一步擴充,DeepAnalyze的能力還有很大的提升潛力。

這項研究標志著數據科學從基于工作流的智能體向智能體模型的范式轉變,為下一代智能數據系統鋪平了道路。在不久的將來,我們或許能夠看到更多類似的系統應用于實際生產環境,真正實現從原始數據到可操作洞察的自動化提取,讓數據科學的力量惠及更廣泛的人群。

論文地址：

https://arxiv.org/pdf/2510.16872

本文來自至頂AI實驗室，一個專注于探索生成式AI前沿技術及其應用的實驗室。致力于推動生成式AI在各個領域的創新與突破，挖掘其潛在的應用場景，為企業和個人提供切實可行的解決方案。

Q&A

Q1:DeepAnalyze-8B與傳統的數據分析工具或基于GPT的智能體有什么根本區別?

A:DeepAnalyze-8B的根本區別在于它是一個經過智能體訓練的模型,而不是基于預定義工作流程的系統。傳統工具和基于GPT的智能體通常依賴人工設計的固定流程,遇到預料之外的情況時無法靈活應對。DeepAnalyze則通過在真實數據環境中的強化學習,學會了自主編排行動和根據反饋優化策略的能力。它能夠處理從簡單問答到完全開放式研究的各種任務,而無需為每種任務設計專門的工作流程。此外,DeepAnalyze只有80億參數,卻能在多個基準測試上超越基于GPT-4o等大型模型構建的系統,證明了智能體訓練范式的效率優勢。

Q2:課程式智能體訓練是如何工作的,為什么它比直接訓練更有效?

A:課程式智能體訓練模仿了人類數據科學家的學習路徑,分為兩個漸進階段。第一階段通過單能力微調,分別強化模型的推理、結構化數據理解和代碼生成能力,就像學生先學習單項技能。第二階段通過多能力智能體訓練,讓模型在真實環境中學習如何綜合運用這些能力,類似于實踐操作。這種方法比直接訓練更有效的原因在于:數據科學任務的復雜性導致基礎模型在初期很難成功完成任務,造成嚴重的獎勵稀疏問題。通過先建立堅實的單項能力基礎,再進行綜合能力訓練,模型可以獲得更多正向反饋,學習效率大幅提升。實驗證明,只進行單能力訓練或只進行多能力訓練都無法達到課程式訓練的效果。

Q3:普通用戶或企業如何使用DeepAnalyze-8B,它能解決哪些實際問題?

A:DeepAnalyze-8B已經完全開源,包括模型權重、代碼和訓練數據,用戶可以從GitHub和HuggingFace下載使用。它能解決的實際問題非常廣泛:企業可以用它自動生成數據分析報告,從原始交易數據中提取商業洞察;數據分析師可以用它快速完成數據清洗、探索性分析和可視化工作;研究人員可以用它進行開放式數據研究,自動發現數據中的模式和趨勢。論文展示的案例包括支付處理費用分析、企鵝種群數據分析等,涵蓋數據準備、分析、建模、可視化和報告生成的全流程。對于技術能力較強的用戶,還可以基于開源的訓練框架和數據集,針對特定領域進行定制化訓練,或者通過提示詞工程進一步適配特定場景。