VinciCoder：多模態(tài)統(tǒng)一代碼生成框架和視覺反饋強(qiáng)化學(xué)習(xí)

長期以來，多模態(tài)代碼生成（Multimodal Code Generation）的訓(xùn)練嚴(yán)重依賴于特定任務(wù)的監(jiān)督微調(diào)（SFT）。盡管這種范式在 Chart-to-code 等單一任務(wù)上取得了顯著成功 ，但其 “狹隘的訓(xùn)練范圍” 從根本上限制了模型的泛化能力，阻礙了通用視覺代碼智能（Generalized VIsioN Code Intelligence）的發(fā)展 。同時，「SFT-only」的范式在確保代碼可執(zhí)行性和高視覺保真度方面存在顯著瓶頸 。

在此背景下，中科院 & 美團(tuán)研究團(tuán)隊推出了 VinciCoder，一個旨在打破 SFT 瓶頸的統(tǒng)一多模態(tài)代碼生成模型。VinciCoder首次將強(qiáng)化學(xué)習(xí)的獎勵機(jī)制從文本域轉(zhuǎn)向視覺域，提出視覺強(qiáng)化學(xué)習(xí)（ViRL），專攻 SFT 無法解決的視覺保真度難題。

本文提出的系統(tǒng)性框架VinciCoder，通過 “大規(guī)模 SFT + 粗細(xì)粒度 ViRL” 的兩階段策略，有效統(tǒng)一了從圖表、網(wǎng)頁、SVG 到科學(xué)繪圖（LaTeX、化學(xué)分子）等多樣化代碼生成任務(wù) 。

• 論文標(biāo)題：VinciCoder: Unifying Multimodal Code Generation via Coarse-to-fine Visual Reinforcement Learning
• 論文鏈接：https://arxiv.org/abs/2511.00391
• Github 鏈接：https://github.com/DocTron-hub/VinciCoder

數(shù)據(jù)代碼模型權(quán)重已開源。

核心創(chuàng)新與技術(shù)突破

該論文同樣對傳統(tǒng) SFT 范式的局限性進(jìn)行了深入分析，發(fā)現(xiàn)其關(guān)鍵問題在于訓(xùn)練目標(biāo)與最終任務(wù)之間存在 “視覺鴻溝”：

• 目標(biāo)是局部的：SFT 采用自回歸的 “下一詞元預(yù)測” 目標(biāo) ，這本質(zhì)上是局部的，無法為代碼 “可執(zhí)行性” 等全局屬性提供監(jiān)督信號 。
• 缺乏視覺反饋：模型在訓(xùn)練時完全看不到代碼的渲染結(jié)果 。這是一個致命缺陷，因為在代碼中 “微小的修改就可能導(dǎo)致渲染圖像發(fā)生巨大變化” 。

這種 “視覺 - 代碼” 監(jiān)督的缺失，直接導(dǎo)致了兩個關(guān)鍵問題：

• 保真度低且不可靠：模型僅在詞元層面（token-level）進(jìn)行優(yōu)化 ，無法保證渲染出的圖像在視覺上與輸入對齊，也無法保證代碼可以成功執(zhí)行 。
• 泛化能力差：依賴特定任務(wù)的數(shù)據(jù)集進(jìn)行 SFT，難以形成一個統(tǒng)一的多模態(tài)代碼生成框架 。

考慮到 SFT 的根本局限性，研究者認(rèn)為必須引入一個能夠提供全局視覺反饋的機(jī)制。然而，傳統(tǒng)的 RL 方法依賴難以泛化的 “基于規(guī)則的文本獎勵” 。VinciCoder 的破局點在于 ——將獎勵機(jī)制從文本域徹底轉(zhuǎn)向視覺域

VinciCoder 的核心思路是：用大規(guī)模、多樣化的 SFT 構(gòu)建強(qiáng)大的代碼基礎(chǔ)能力 ，再通過創(chuàng)新的 ViRL 策略專門優(yōu)化 SFT 無法觸及的視覺保真度和可執(zhí)行性 。訓(xùn)練框架由「1.6M 大規(guī)模 SFT 階段」和「42k 粗細(xì)粒度 ViRL 階段」兩部分組成 ，核心是通過兩階段協(xié)作，同時實現(xiàn)強(qiáng)大的代碼理解與高保真的視覺對齊。

1. 大規(guī)模 SFT 語料庫與代碼優(yōu)化任務(wù)

研究團(tuán)隊首先構(gòu)建了一個包含1.6M 圖像 - 代碼對的大規(guī)模監(jiān)督微調(diào)（SFT）語料庫 。該語料庫不僅覆蓋了直接代碼生成任務(wù)，還引入 “視覺代碼優(yōu)化” 的新任務(wù) 。在這項任務(wù)中，模型會接收到一個目標(biāo)圖像和一個 “有缺陷” 的代碼片段（包含邏輯錯誤或只能部分渲染）。模型的目標(biāo)是修正這段代碼，使其視覺輸出與目標(biāo)圖像精確對齊 。這一設(shè)計極大地提升了模型在代碼層面的糾錯和優(yōu)化能力，為后續(xù)的強(qiáng)化學(xué)習(xí)階段奠定了堅實基礎(chǔ) 。

2. 從 “文本獎勵” 到 “視覺獎勵”：粗細(xì)粒度 ViRL 框架

傳統(tǒng) SFT 訓(xùn)練在多模態(tài)代碼生成上存在根本缺陷：它缺乏 “視覺 - 代碼” 的閉環(huán)反饋 ，且無法保證代碼的全局可執(zhí)行性 。

為解決此問題，VinciCoder 引入了視覺強(qiáng)化學(xué)習(xí) (ViRL) 框架。該框架摒棄了傳統(tǒng)強(qiáng)化學(xué)習(xí)中脆弱的、基于規(guī)則的 “文本獎勵” ，轉(zhuǎn)而從視覺直接獲取獎勵信號 。

其核心突破在于一套粗 - 細(xì)粒度（Coarse-to-fine）視覺獎勵機(jī)制：

• 渲染與編碼：模型生成的代碼被實時渲染成圖像 。
• 粗粒度（全局）：通過下采樣生成縮略圖，評估整體結(jié)構(gòu)的相似性 。
• 細(xì)粒度（局部）：將高分辨率圖像分割為多個局部圖塊（patches），精確計算局部細(xì)節(jié)的保真度 。
• ViT 獎勵模型：使用 DINOv2-L 計算渲染圖像與目標(biāo)圖像在兩個粒度上的視覺相似度，作為獎勵信號。
• 對齊獎勵：引入一個輔助的語言對齊獎勵，用于懲罰生成了錯誤代碼語言（如要求 Python 卻生成了 LaTeX 的行為）
• 策略優(yōu)化：采用群組相對策略優(yōu)化 (GRPO) 算法 對模型進(jìn)行微調(diào)，顯著提升視覺對齊度和代碼可執(zhí)行性。

據(jù)我們所知，VinciCoder 是第一個應(yīng)用強(qiáng)化學(xué)習(xí)（RL）來實現(xiàn)統(tǒng)一視覺代碼生成領(lǐng)域中 “跨領(lǐng)域視覺保真度” 提升的視覺語言模型

實驗結(jié)果與性能表現(xiàn)

論文在五大多模態(tài)代碼生成基準(zhǔn)上進(jìn)行了全面實驗，對比了包括 Qwen、InternVL 等開源模型以及 Gemini-2.5-Pro、Claude-4.5、GPT-5 等閉源模型 ，核心結(jié)果如下：

實驗結(jié)果令人矚目：VinciCoder 在多個主流多模態(tài)代碼生成基準(zhǔn)上均取得了卓越表現(xiàn)。

• SOTA 性能：VinciCoder 在開源模型對比中樹立了新的 SOTA 標(biāo)準(zhǔn) ，其性能顯著優(yōu)于所有同等規(guī)模的競爭對手 。
• 媲美閉源模型：在如 Image-to-SVG 和化學(xué)分子式生等高難度任務(wù)上，VinciCoder 展現(xiàn)出超越頂尖閉源模型的卓越性能 。
• 策略有效性：消融實驗證明，僅 SFT 階段的 VinciCoder-SFT 就已建立起強(qiáng)大的基線 ；而 ViRL 階段的引入，則成功將模型性能提升至 SOTA 水平 ，充分驗證了 SFT-ViRL 兩階段策略的壓倒性優(yōu)勢。

研究意義與應(yīng)用前景

VinciCoder 的研究不僅在技術(shù)上取得了重大突破，也為多模態(tài)代碼生成領(lǐng)域提供了全新的研究范式：

• 驗證 RL 新路徑：證明了 “視覺強(qiáng)化學(xué)習(xí)” 是突破 SFT 瓶頸、提升代碼視覺保真度的有效途徑，將獎勵機(jī)制從文本域成功擴(kuò)展到視覺域 。
• 統(tǒng)一框架的實現(xiàn)：打破了過去模型 “各自為戰(zhàn)” 的狹隘范式 ，提供了一個強(qiáng)大的統(tǒng)一框架，能夠處理包括 Python、HTML、SVG、LaTeX 乃至化學(xué) SMILES 在內(nèi)的多樣化代碼生成任務(wù) 。
• 高保真度獎勵機(jī)制：“粗 - 細(xì)粒度” 獎勵設(shè)計為處理高分辨率、高復(fù)雜度視覺輸入的 RL 任務(wù)提供了健壯且可擴(kuò)展的解決方案 。

結(jié)論

VinciCoder 的核心價值并非單純地堆砌 SFT 數(shù)據(jù)，而是通過 “SFT + 粗細(xì)粒度 ViRL” 的組合，證明了 “以視覺反饋指導(dǎo)代碼生成” 的可行性與優(yōu)越性。這一思路不僅解決了傳統(tǒng) SFT 范式在可執(zhí)行性與視覺保真度上的痛點，也為后續(xù)通用多模態(tài)智能體的研發(fā)提供了新的思路。

在總體思路上，該論文的思路與 R1-Style 方法高度相關(guān)，都驗證了強(qiáng)化學(xué)習(xí)在提升基礎(chǔ)模型高級能力上的巨大潛力。VinciCoder 的成功探索表明，RL 不僅可以用于優(yōu)化數(shù)學(xué)推理等文本任務(wù)，更可以作為連接 “視覺” 與 “代碼” 兩大模態(tài)的橋梁，解決 SFT 無法企及的跨模態(tài)對齊難題。

更多細(xì)節(jié)請參閱原論文。