告別Docker：北大開源「迷你沙盒」，無容器也能訓練SWE Agent

本工作來自北京大學王選所趙東巖、張輝帥老師團隊，第一作者為北京大學前沿交叉學院三年級碩士袁旦龍。

AI 編程這么火，想訓練個 SWE Agent 卻沒有資源怎么辦？

最近，軟件工程智能體（后統(tǒng)稱 SWE Agent）由于其清晰的落地場景和巨大的應(yīng)用價值受到了學術(shù)界和工業(yè)界的廣泛關(guān)注。

然而，當上手訓練 SWE Agent 時，卻發(fā)現(xiàn)事情并不簡單。當前 SWE Agent 的訓練都是通過容器（Docker 或 Podman）來實現(xiàn)運行環(huán)境的隔離和復現(xiàn)。但是，容器的高昂開銷卻把很多從業(yè)者拒之門外。

那么能不能做一個不依賴容器的低成本框架，讓資源不多的從業(yè)者也能訓練自己的 SWE Agent 呢？SWE-MiniSandbox 正是在這樣的初衷下開源了～

• 論文標題：SWE-MiniSandbox: Container-Free Reinforcement Learning for Building Software Engineering Agents
• 論文鏈接：https://arxiv.org/abs/2602.11210
• 代碼鏈接：https://github.com/lblankl/SWE-MiniSandbox
• 文檔鏈接：https://lblankl.github.io/SWE-MiniSandbox/
• 鏡像鏈接：https://hub.docker.com/repository/docker/lblankl/swe-minisandbox/general
• 訓練曲線 Demo 鏈接：https://wandb.ai/open_source_blank/SWE-MiniSandbox

SWE-MiniSandbox 是一個無需容器（Container-Free）的軟件工程沙盒環(huán)境。其目標是解決當前 SWE Agent 訓練中依賴容器的痛點：需要構(gòu)建和維護大量的容器鏡像，并運行高性能的容器服務(wù)器集群，導致了高昂基礎(chǔ)設(shè)施和運維成本。因此，當擴展批量規(guī)?；蛱岣?rollout 數(shù)量時，容器服務(wù)器承載量成為主要性能瓶頸，造成計算資源受限情況下訓練無法擴展，而缺乏容器管理權(quán)限或沒有專用編排基礎(chǔ)設(shè)施的從業(yè)人員則無法訓練自己的 Agent。

與容器環(huán)境相對，SWE-MiniSandbox 在實現(xiàn)進程和文件系統(tǒng)隔離的過程中繞過了對容器或重型鏡像的依賴，通過按實例劃分的掛載命名空間（mount namespaces）和基于 chroot 的文件系統(tǒng)隔離機制，為每個實例創(chuàng)建隔離的終端會話和私有目錄。

在此基礎(chǔ)上，SWE-MiniSandbox 實現(xiàn)了一套環(huán)境預(yù)緩存流水線：構(gòu)建基于輕量級 Python conda+venv 的混合環(huán)境，安裝特定任務(wù)的依賴項，并在不同運行間復用壓縮的緩存產(chǎn)物。通過將環(huán)境和代碼倉庫打包成緩存，利用基于 Ray 的資源控制和信號量來限制并發(fā)解壓，從而實現(xiàn) I/O 的精細管理。

通過直接與現(xiàn)有核心 SWE 工具集成 ——SWE-Rex（終端管理）、SWE-agent（任務(wù)求解）和 SkyRL（可擴展的多節(jié)點 RL），SWE-MiniSandbox 成為了 SWE Agent 任務(wù)中容器后端的一個無縫、即插即用的替代品。

在實際效果上，SWE-MiniSandbox 使環(huán)境緩存大小降低至同類基于容器方法的5%左右，將環(huán)境準備時間縮短至容器基線的25%，并且消除了對額外容器服務(wù)器的需求。

而在這樣低資源依賴下，該環(huán)境在同等數(shù)據(jù)和參數(shù)設(shè)置下訓練出的 SWE Agent 和容器環(huán)境下訓練出的 Agent 在 SWE-bench Verified 上評測效果相當，可以說，大幅降低了 SWE Agent 的入門門檻。

具體方法

I. 無容器隔離機制（Container-Free Isolation）

核心優(yōu)化：Chroot + Mount Namespaces + Terminal Isolation

Chroot

• 將每個任務(wù)的根目錄（/）重定向到一個獨立的、預(yù)先配置好的目錄。
• 任務(wù)進程只能訪問該目錄下的文件，形成「虛擬根文件系統(tǒng)」，實現(xiàn)文件系統(tǒng)隔離。例如：任務(wù) A 的根目錄是 /sandbox/A，任務(wù) B 是 /sandbox/B，彼此隔離。

Mount Namespaces（掛載命名空間）

• 每個任務(wù)擁有獨立的掛載視圖。可以在不干擾宿主機的情況下，掛載宿主文件系統(tǒng)（如 tmpfs、dev、mnt 等）。
• 混合只讀，可寫掛載模式保證任務(wù)間不沖突。

Terminal Isolation（終端隔離）

• 每個任務(wù)分配一個獨立的偽終端，通過 SWE-Rex 進行終端會話管理。
• 支持標準輸入 / 輸出、信號傳遞（如 Ctrl+C 中斷），確保交互式執(zhí)行的完整性。

? 優(yōu)勢：

• 內(nèi)核開銷比容器小，速度更快

II. 環(huán)境預(yù)緩存流水線（Pre-Caching Pipeline）

傳統(tǒng)解決方案

每個任務(wù)都需要建立獨立鏡像，并基于 conda 安裝獨立 python 環(huán)境

SWE-MiniSandbox 解決方案

1. 構(gòu)建輕量級 Python 環(huán)境（conda+venv）

• 預(yù)制不同 python 版本的 conda 環(huán)境，每個任務(wù)根據(jù)需求選擇對應(yīng)的 conda 版本創(chuàng)建 venv 虛擬環(huán)境。
• 僅包含任務(wù)所需依賴（如 numpy, requests, pytest 等），體積平均不到 100MB。
• 摒棄直接用 conda（太重，通常 >500MB）。
• 將創(chuàng)建出的 venv 打包成 tar 文件，再次啟動環(huán)境時直接解壓加速啟動。

2.I/O 瓶頸管理與并發(fā)控制

為解決任務(wù)高并發(fā)下磁盤隊列擁堵問題，為并發(fā)任務(wù)總吞吐量設(shè)置上界:

SWE-MiniSandbox 通過結(jié)合信號量和 ray 資源標簽機制對并發(fā)數(shù)進行控制。

III. 與現(xiàn)有工具鏈的集成

在 RL 分布式擴展方面，該框架基于 Ray 構(gòu)建，支持多節(jié)點資源分配調(diào)度，適應(yīng)大規(guī)模 RL 訓練需求。

實驗效果

I. 更小體積

傳統(tǒng)容器方法需要維護動輒 GB 級的容器鏡像，而 SWE-MiniSandbox 單環(huán)境僅需維護 100MB 左右輕量化 venv 緩存。例如在 SWE-smith 數(shù)據(jù)集上，SWE-MiniSandbox 環(huán)境緩存大小僅為傳統(tǒng)容器鏡像的 5%。

II. 相同訓練效果，更快的環(huán)境啟動時間

實驗結(jié)果顯示 SWE-MiniSandbox 框架的訓練質(zhì)量（SWE-bench Verified）和傳統(tǒng) Docker 框架幾乎一致，同時在環(huán)境準備時間上僅僅是 Docker 的 25% ，顯著減少了 rollout 的平均時間開銷。

III. 優(yōu)秀的多節(jié)點可擴展性

在多節(jié)點訓練中 SWE-MiniSandbox 會被平均分配到各個節(jié)點上，因此在負載合理的情況下多節(jié)點的平均環(huán)境啟動速度和單節(jié)點幾乎一致。

IV. 可視化

通過拆解強化學習 rollout 的時間代價并對各部分進行可視化分析，發(fā)現(xiàn) SWE-MiniSandbox 在環(huán)境準備時間（藍色）上明顯短于 Docker 環(huán)境。

除此之外，使用 1600 條數(shù)據(jù)在 SWE-Agent-LM-7B 上訓練 200 步后對比 SWE-MiniSandbox 和 Docker 環(huán)境的 Reward 曲線，發(fā)現(xiàn)二者走勢基本一致，從而進一步驗證了 SWE-MiniSandbox 提供的無容器環(huán)境能夠?qū)崿F(xiàn)和傳統(tǒng) Docker 環(huán)境一致的訓練效果。

未來展望

在 SWE-MiniSandbox 開源基礎(chǔ)上，團隊認為未來有幾個方向可以考慮：

• 在現(xiàn)有自動構(gòu)建環(huán)境基礎(chǔ)上，引入 Agent 工作流，打造適配 SWE-MiniSandbox 框架的環(huán)境自動化構(gòu)建流程，并擴展對更多開源 SWE 數(shù)據(jù)集的支持。
• 將 SWE-MiniSandbox 的應(yīng)用生態(tài)拓展至更廣泛的任務(wù)場景，如 Terminal Bench、Skill Bench 等。
• 優(yōu)化環(huán)境啟動機制，例如基于 BranchFS 實現(xiàn)分支隔離從而避免緩存的解壓拷貝開銷。優(yōu)化強化學習的訓練機制，通過實現(xiàn)環(huán)境啟動與梯度反向傳播的異步重疊等方式，提升訓練效率。