工業(yè)級(jí) LLM 數(shù)據(jù)工程：北京大學(xué) DCAI 團(tuán)隊(duì) DataFlow 框架的架構(gòu)設(shè)計(jì)與實(shí)踐

作者 | 北京大學(xué) DCAI 團(tuán)隊(duì)

在大模型（LLM）研發(fā)進(jìn)入深水區(qū)的 2026 年，行業(yè)共識(shí)正經(jīng)歷從“模型中心（Model-Centric）”向“數(shù)據(jù)中心（Data-Centric）”的深刻演進(jìn)。隨著 Scaling Law 進(jìn)入平臺(tái)期，開(kāi)發(fā)者發(fā)現(xiàn)：?jiǎn)渭兌哑?Token 數(shù)量已邊際效應(yīng)遞減，數(shù)據(jù)的語(yǔ)義密度（Semantic Density）與工程精度成為了突破模型性能上限的關(guān)鍵。

然而，在研發(fā) DataFlow 的過(guò)程中，北京大學(xué) DCAI 團(tuán)隊(duì)觀察到一個(gè)嚴(yán)峻的現(xiàn)實(shí)：雖然模型已進(jìn)入自動(dòng)駕駛時(shí)代，但數(shù)據(jù)準(zhǔn)備（Data Prep）仍處于“手工坊”階段。碎片化的 Python 腳本、不可復(fù)用的正則表達(dá)式、缺乏觀測(cè)性的黑盒流程，已成為大模型落地企業(yè)級(jí)應(yīng)用的最大瓶頸。

正是基于對(duì)這一工程痛點(diǎn)的精準(zhǔn)切入，DataFlow 的技術(shù)報(bào)告在發(fā)布后迅速引發(fā)了全球開(kāi)發(fā)者的廣泛共鳴，并成功登頂 Hugging Face Daily Papers 榜首（of the Day）。這一來(lái)自開(kāi)源社區(qū)的強(qiáng)烈反饋印證了一個(gè)事實(shí)：大模型行業(yè)急需一套具備系統(tǒng)化抽象與工業(yè)級(jí)可靠性的數(shù)據(jù)治理基礎(chǔ)設(shè)施。

項(xiàng)目倉(cāng)庫(kù)：https://github.com/OpenDCAI/DataFlow

1 企業(yè)級(jí) LLM 數(shù)據(jù)工程的三大技術(shù)挑戰(zhàn)

在討論工具能力之前，我們需要明確大模型數(shù)據(jù)工程與傳統(tǒng) ETL 的本質(zhì)區(qū)別：

• 語(yǔ)義斷層與模型在環(huán)（Model-in-the-Loop）： 傳統(tǒng)清洗依賴(lài)確定性規(guī)則，但 LLM 需要處理的是高維語(yǔ)義信息。要生成高質(zhì)量的數(shù)學(xué)推理或復(fù)雜代碼數(shù)據(jù)，必須引入模型來(lái)評(píng)估、過(guò)濾甚至生成數(shù)據(jù)，這要求系統(tǒng)具備極強(qiáng)的模型調(diào)用編排能力。

• 工程碎片化導(dǎo)致的“技術(shù)債”： 數(shù)據(jù)處理鏈路長(zhǎng)、環(huán)節(jié)多，缺乏統(tǒng)一的抽象。不同項(xiàng)目間的算子難以復(fù)用，導(dǎo)致邏輯散落在各個(gè)獨(dú)立腳本中，極大地提高了復(fù)現(xiàn)成本和維護(hù)難度。

• 黑盒處理與觀測(cè)性缺失： 動(dòng)輒 TB 級(jí)的文本在流水線(xiàn)中流轉(zhuǎn)，開(kāi)發(fā)者往往無(wú)法實(shí)時(shí)感知數(shù)據(jù)分布的變化。如果清洗邏輯存在隱性偏見(jiàn)，往往要等到模型訓(xùn)練數(shù)周后才能被發(fā)現(xiàn)，試錯(cuò)成本極高。

2 DataFlow 架構(gòu)：像編寫(xiě) PyTorch 模型一樣定義數(shù)據(jù)流

DataFlow 的設(shè)計(jì)哲學(xué)是“系統(tǒng)化抽象，編程化驅(qū)動(dòng)”。它不僅僅是一個(gè)庫(kù)，而是一套類(lèi)似于 PyTorch 的數(shù)據(jù)編程協(xié)議。

可觀測(cè)性革命：DataFlow-WebUI

針對(duì)“黑盒清洗”的痛點(diǎn)，我們正式推出了DataFlow-WebUI。它將復(fù)雜的算子庫(kù)包裝進(jìn)圖形化界面，支持：

• 拖拉拽編排：通過(guò)可視化畫(huà)布定義數(shù)據(jù)流向，邏輯鏈路一目了然。

• 實(shí)時(shí)數(shù)據(jù)探針：支持在線(xiàn)預(yù)覽算子輸出的中間結(jié)果，開(kāi)發(fā)者可以即時(shí)調(diào)整 Prompt 或過(guò)濾策略，實(shí)現(xiàn)數(shù)據(jù)治理的“白盒化”。

• 任務(wù)熱監(jiān)控：實(shí)時(shí)更新處理進(jìn)度與運(yùn)行日志，讓長(zhǎng)周期任務(wù)處于完全可控狀態(tài)。

存儲(chǔ)與服務(wù)層的解耦設(shè)計(jì)

DataFlow 引入了全局表格化存儲(chǔ)（Global Storage）抽象。通過(guò)統(tǒng)一的 read() 和 write() 接口，將算子邏輯與底層存儲(chǔ)格式解耦，每個(gè)算子基于統(tǒng)一 run(storage) 接口，通過(guò) 鍵綁定（key-based I/O）靈活適配任意數(shù)據(jù)格式。無(wú)論后端是本地 JSONL、Parquet 還是分布式數(shù)據(jù)庫(kù)，算子只需關(guān)注字段操作。

同時(shí)，DataFlow 構(gòu)建了統(tǒng)一 LLM 服務(wù)接口（Serving Interface），兼容 vLLM、SGLang 等本地推理引擎及 GPT-4 等在線(xiàn) API。系統(tǒng)自動(dòng)處理批處理（Batching）、重試及限速邏輯，使開(kāi)發(fā)者能專(zhuān)注于 Prompt 策略而非后端工程細(xì)節(jié)。

模塊化算子生態(tài)

DataFlow 將近 200 個(gè)內(nèi)置算子嚴(yán)格劃分為四類(lèi)，建立了標(biāo)準(zhǔn)化的語(yǔ)義命名規(guī)范：

算子被設(shè)計(jì)為具備獨(dú)立生命周期的原子轉(zhuǎn)換單元。 在初始化階段，算子通過(guò)聲明式配置完成 LLM 服務(wù)實(shí)例與提示模板的依賴(lài)注入；在執(zhí)行階段，則通過(guò) input_* / output_ 鍵名與全局存儲(chǔ)層進(jìn)行非侵入式交互。這種設(shè)計(jì)實(shí)現(xiàn)了計(jì)算邏輯與數(shù)據(jù) Schema 的深度解耦，在確保狀態(tài)隔離的同時(shí)，大幅提升了復(fù)雜 Pipeline 的組合靈活性與復(fù)用性。

確定性流水線(xiàn)與靜態(tài)檢查

DataFlow 支持將算子組織為有序程序或 DAG。通過(guò) compile() 機(jī)制，系統(tǒng)在任務(wù)運(yùn)行前會(huì)對(duì)字段缺失、類(lèi)型沖突進(jìn)行靜態(tài)檢查和。配合延遲執(zhí)行（Lazy Execution）和斷點(diǎn)續(xù)傳（Checkpoints），極大地提升了大規(guī)模分布式任務(wù)的可靠性。

3 DataFlow-Agent：從自然語(yǔ)言到可執(zhí)行流水線(xiàn)的自動(dòng)編排

為了解決“專(zhuān)家經(jīng)驗(yàn)碎片化”的問(wèn)題，DataFlow 引入了Agentic 編排機(jī)制。用戶(hù)只需輸入自然語(yǔ)言指令（如“幫我生成高質(zhì)量 Python 算法題數(shù)據(jù)”），Agent 即可完成：拆解意圖 → 檢索 / 合成算子 → 組裝 DAG → 沙箱驗(yàn)證 → 輸出可執(zhí)行 pipeline。

這標(biāo)志著 agent 首次通過(guò)“檢索 - 復(fù)用 - 合成 - 驗(yàn)證”閉環(huán)，遠(yuǎn)超傳統(tǒng)僅參數(shù)化配置的 agent，同時(shí)數(shù)據(jù)工程從“代碼編寫(xiě)”向“邏輯定義”躍遷，顯著降低了構(gòu)建 SOTA 級(jí)領(lǐng)域流水線(xiàn)的門(mén)檻。

4 性能驗(yàn)證：小規(guī)模高質(zhì)量數(shù)據(jù)的“杠桿效應(yīng)”

為了驗(yàn)證 DataFlow 的系統(tǒng)化治理能力，我們?cè)诙鄠€(gè)領(lǐng)域構(gòu)建了 SOTA 級(jí)流水線(xiàn)。實(shí)驗(yàn)結(jié)果表明，通過(guò)精準(zhǔn)的算子編排，能夠以極小的數(shù)據(jù)規(guī)模實(shí)現(xiàn)模型性能的跨越式提升。

文本預(yù)訓(xùn)練與 SFT

在基礎(chǔ)文本治理上，DataFlow 證明了語(yǔ)義提純優(yōu)于單純的規(guī)模堆砌：

• 預(yù)訓(xùn)練階段：DataFlow-30B 在 6 個(gè)通用基準(zhǔn)上的均分為 35.69，優(yōu)于 FineWeb-Edu（35.57）和 Qurating（35.02）。

• 指令微調(diào) (SFT)：使用 15K 高質(zhì)量合成樣本，模型在數(shù)學(xué)上的得分（49.3）顯著高于經(jīng)過(guò)過(guò)濾的 Alpaca（39.8）和 WizardLM（44.8）。

• 對(duì)話(huà)合成：DataFlow-Chat-15K 將 AlpacaEval 評(píng)分從 7.05 提升至 10.11，超越 ShareGPT 和 UltraChat。

數(shù)學(xué)與代碼推理

在邏輯密集型任務(wù)中，DataFlow 的算子閉環(huán)展現(xiàn)了強(qiáng)大的邏輯構(gòu)建能力：

• 數(shù)學(xué)推理：使用 DataFlow-Reasoning-10K 微調(diào)后，Qwen2.5-32B 在 8 個(gè)數(shù)學(xué)基準(zhǔn)上平均得分為 55.7，超越了 Open-R1（54.2）和 Synthetic-1（54.0）。

• 代碼生成：

• • 7B 模型：DataFlow-Code-10K 平均得分 46.2，優(yōu)于 Code Alpaca-1K 和 SC2-Exec-Filter-1K。

  • 14B 模型：DataFlow-Code-10K 平均得分 51.0，LiveCodeBench 從 21.9（Code Alpaca）提升至 33.2。

Text-to-SQL

在 Text-to-SQL 任務(wù)中，DataFlow 驗(yàn)證了高語(yǔ)義密度合成數(shù)據(jù)在特定工程場(chǎng)景下的極致上限。以 Qwen2.5-Coder-7B 為基座，通過(guò)在 DataFlow-Text2SQL-90K 數(shù)據(jù)集訓(xùn)練，模型在核心基準(zhǔn)上均實(shí)現(xiàn)了跨越式增長(zhǎng)：

• 核心性能躍升：Spider-dev 執(zhí)行準(zhǔn)確率從 73.4% 提升至 82.0%（+8.6%）；BIRD-dev 從 50.9% 提升至 59.2%（+8.3%），在 EHRSQL 基準(zhǔn)上，準(zhǔn)確率由 24.3% 飆升至 56.1%，漲幅高達(dá) 31.8%。

• 數(shù)據(jù)經(jīng)濟(jì)性驗(yàn)證：實(shí)驗(yàn)結(jié)果顯示，DataFlow-50K 的表現(xiàn)已優(yōu)于同規(guī)模的 SynSQL；而 DataFlow-90K 的微調(diào)收益已逼近 SynSQL-2.5M。

Agentic RAG

在分布外（OOD）評(píng)估中，DataFlow 產(chǎn)出的 DF-AgenticRAG-10k 具備更強(qiáng)的魯棒性：

• 超過(guò) HotpotQA-10k（37.4 vs. 36.4）

• 超過(guò) Musique-20k（43.6 vs. 42.4）

知識(shí)抽?。ㄡt(yī)學(xué) QA）

• 模型在 DataFlow-Knowledge 上 sft 后，PubMedQA 和 Covert 性能提升了 15–20 個(gè)百分點(diǎn)，PubHealth 提升 11 個(gè)百分點(diǎn)，顯著優(yōu)于傳統(tǒng)的 Zero-shot CoT 方案。

統(tǒng)一多領(lǐng)域微調(diào)

我們驗(yàn)證了“小規(guī)模、高質(zhì)量、領(lǐng)域特化”數(shù)據(jù)的核心假設(shè)：

• 使用僅 10K 的多領(lǐng)域合成樣本（DataFlow-Instruct-10K），模型在數(shù)學(xué)和代碼領(lǐng)域的表現(xiàn)已接近官方 Instruct 版本，且通用知識(shí)能力（MMLU）未出現(xiàn)退化，證明了高質(zhì)量合成數(shù)據(jù)對(duì)大規(guī)模指令數(shù)據(jù)的替代潛力。

Agent 自動(dòng)化性能實(shí)測(cè)

• 在文本規(guī)范對(duì)齊（Pipeline-level）評(píng)估中獲得 0.80 的高分。

• 在代碼實(shí)現(xiàn)一致性（code-level）評(píng)估中，平均得分 0.49。

• 在復(fù)雜代碼實(shí)現(xiàn)（Hard 級(jí)任務(wù)）上，一致性得分僅為 0.23，這揭示了自動(dòng)化治理在處理極端模糊描述時(shí)仍有技術(shù)迭代空間。

5 結(jié)語(yǔ)：邁向 Data-Centric AI 的開(kāi)源生態(tài)

AI 研發(fā)的職能正在發(fā)生轉(zhuǎn)型：開(kāi)發(fā)者的核心工作將從“代碼邏輯實(shí)現(xiàn)”轉(zhuǎn)向“數(shù)據(jù)價(jià)值發(fā)現(xiàn)”與“質(zhì)量紅線(xiàn)把控”。DataFlow 團(tuán)隊(duì)希望通過(guò)這套開(kāi)源框架，將 DCAI 的工程經(jīng)驗(yàn)沉淀為可復(fù)用的算子與流水線(xiàn)協(xié)議。

目前，DataFlow 及其自動(dòng)化 Agent 框架已在 GitHub 開(kāi)源。我們歡迎社區(qū)開(kāi)發(fā)者參與貢獻(xiàn)，共同探索數(shù)據(jù)驅(qū)動(dòng)的無(wú)限可能。

關(guān)于作者

北京大學(xué) DCAI 團(tuán)隊(duì)，專(zhuān)注于大模型數(shù)據(jù)系統(tǒng)研究與 Data-Centric AI 基礎(chǔ)設(shè)施建設(shè)。

開(kāi)源項(xiàng)目地址：

• DataFlow (3k+ Stars): https://github.com/OpenDCAI/DataFlow

• 技術(shù)報(bào)告: https://arxiv.org/abs/2512.16676

• DataFlow 圖文教程：https://wcny4qa9krto.feishu.cn/wiki/I9tbw2qnBi0lEakmmAGclTysnFd

• DataFlow 視頻教程：https://b23.tv/it5sssq

• DataFlow-WebUI 用戶(hù)文檔（中文）：https://wcny4qa9krto.feishu.cn/wiki/F4PDw76uDiOG42k76gGc6FaBnod