開源RL框架Verlog來了，專為LLM智能體打造，400回合不成問題

機(jī)器之心報(bào)道

機(jī)器之心編輯部

AI 時(shí)代，智能體對(duì)短期對(duì)話的處理能力已不再是難題。真正的挑戰(zhàn)是讓智能體在數(shù)百步的探索中依然保持清晰的推理與穩(wěn)健的決策。

傳統(tǒng)的強(qiáng)化學(xué)習(xí)框架在幾十步內(nèi)尚能應(yīng)付，但一旦任務(wù)延展至數(shù)百步，獎(jiǎng)勵(lì)稀疏、歷史冗長、策略崩塌便接踵而至。

為了應(yīng)對(duì)這些挑戰(zhàn)，來自卡內(nèi)基梅隆大學(xué)、香港大學(xué)等機(jī)構(gòu)的研究者提出了 Verlog ，試圖打破這一困境。

具體而言，Verlog 是一個(gè)多輪強(qiáng)化學(xué)習(xí)框架，專為具有高度可變回合（episode）長度的長時(shí)程（long-horizon） LLM-Agent 任務(wù)而設(shè)計(jì)。

它在繼承 VeRL 和 BALROG 的基礎(chǔ)上，并遵循 pytorch-a2c-ppo-acktr-gail 的成熟設(shè)計(jì)原則，引入了一系列專門優(yōu)化手段，從而在任務(wù)跨度從短暫交互到數(shù)百回合時(shí)，依然能夠?qū)崿F(xiàn)穩(wěn)定而高效的訓(xùn)練。

以往的框架（如 VeRL 和 RAGEN）能夠較好地處理約 10 回合的任務(wù)，verl-agent 則可擴(kuò)展至 50 回合。而 Verlog 則被設(shè)計(jì)用于超過 400 回合的環(huán)境，使其在復(fù)雜的長期決策任務(wù)中具備獨(dú)特優(yōu)勢。

這一能力已在 BabyAI、BabaIsAI 和 Crafter 等高難度領(lǐng)域得到驗(yàn)證。以 Crafter 為例，其回合長度范圍在 70 到 400 步之間，平均約為 190 步。在這些充滿挑戰(zhàn)的環(huán)境中，Verlog 都能夠開箱即用地展現(xiàn)出強(qiáng)勁的性能。

• 博客地址：https://blog.ml.cmu.edu/2025/09/15/verlog-a-multi-turn-rl-framework-for-llm-agents/
• 項(xiàng)目主頁：https://agentic-intelligence-lab.org/2025/08/15/technical-post.html

方法介紹

基礎(chǔ)模型

在模型方面，本文基于 Qwen-2.5 的 Instruct 變體（Qwen-2.5-3B/7B-Instruct）構(gòu)建。

這樣做主要有兩個(gè)原因：

一是，它可以與 BALROG 無縫集成（BALROG 是一個(gè)旨在評(píng)估 Instruct 模型在一系列基準(zhǔn)測試中零樣本性能的框架）；

其次，它允許研究者可以直接使用基準(zhǔn)測試提示，而無需太多修改。

BabyAI 使用的提示模板

記憶機(jī)制

本文不是將整個(gè)軌跡全部放入上下文窗口中，而是僅保留最新的 n + 1 個(gè)回合。

這樣做帶來的影響是，對(duì)于 3B 參數(shù)的 Qwen 模型，性能在 n = 1 或 2 時(shí)達(dá)到峰值，而當(dāng) n 增加到 4 或 8 時(shí)性能下降。

作者推測，模型性能下降的原因是 3B 模型在處理長上下文方面的能力有限，例如，當(dāng) n = 8 時(shí)，提示詞長度約為 4600 個(gè) token。

不過，這一趨勢是否適用于更大規(guī)模的模型，仍待研究。

Dual Discounting GAE 算法

此外，本文 GAE 是遞歸計(jì)算的：

其中，

遞歸從最后一輪的最后一個(gè) token 開始，向后進(jìn)行。處理完最后一輪的所有 token 后，移至倒數(shù)第二輪的最后一個(gè) token，并繼續(xù)遞歸執(zhí)行此過程。在此過程中，所有狀態(tài) token 都會(huì)被跳過。

實(shí)驗(yàn)結(jié)果

該研究在三個(gè)頗具挑戰(zhàn)性的基準(zhǔn)上測試了 Verlog：包括 Crafter、BabyAI 和 BabaIsAI。實(shí)驗(yàn)?zāi)Ｐ桶?Qwen2.5-Instruct 。

在 Crafter 環(huán)境中，本文使用 8 張 H100（82GB 顯存）GPU 對(duì) Qwen2.5-7B-Instruct 模型訓(xùn)練了大約 36 小時(shí)。此外，針對(duì) BabyAI 與 BabaIsAI 環(huán)境，本文采用 4 張 A40（48GB 顯存）GPU 對(duì) Qwen2.5-3B-Instruct 模型訓(xùn)練約 24 小時(shí)。

三個(gè)實(shí)驗(yàn)環(huán)境表明，Verlog 展現(xiàn)出穩(wěn)定的訓(xùn)練能力，不管是在長周期、稀疏獎(jiǎng)勵(lì)，還是在可變 episode 長度條件下。這也證明了該框架能自然適應(yīng)從短周期到超長周期多回合任務(wù)的規(guī)模化訓(xùn)練。

總結(jié)

Verlog 針對(duì)在構(gòu)建長時(shí)程、多回合任務(wù)的 LLM Agent 時(shí)面臨的若干核心工程挑戰(zhàn)，提出了系統(tǒng)性的解決方案，包括：

• 長交互歷史的處理：通過記憶機(jī)制和回合級(jí)抽象來管理歷史信息。
• 稀疏獎(jiǎng)勵(lì)下的訓(xùn)練穩(wěn)定性：結(jié)合 dual-discounting GAE 和價(jià)值函數(shù)預(yù)訓(xùn)練來增強(qiáng)穩(wěn)定性。
• 軌跡長度可變的管理：通過固定回合批處理（fixed-turn batching）和自舉式價(jià)值估計(jì)來處理變長軌跡。
• 提升動(dòng)作有效性：利用針對(duì)性的提示工程和默認(rèn)動(dòng)作替換，使訓(xùn)練過程中 >95% 的動(dòng)作均為有效動(dòng)作。

作者表示，Verlog 的定位是一個(gè)靈活的研究平臺(tái)，目的是推動(dòng)長時(shí)程 LLM-Agent 強(qiáng)化學(xué)習(xí)的發(fā)展。