看1100萬(wàn)小時(shí)錄像學(xué)會(huì)操作電腦，四人團(tuán)隊(duì)打造通用計(jì)算機(jī)行為模型

2026 年 2 月 23 日，一家名為 Standard Intelligence 的舊金山初創(chuàng)公司發(fā)布了 FDM-1（Forward Dynamics Model，前向動(dòng)力學(xué)模型），并稱其為“首個(gè)完全通用的計(jì)算機(jī)行為模型”。

這個(gè)模型在一個(gè)包含 1,100 萬(wàn)小時(shí)屏幕錄制視頻的數(shù)據(jù)集上進(jìn)行訓(xùn)練，能夠以每秒 30 幀的速率直接處理視頻流，在 CAD 建模、網(wǎng)站安全測(cè)試甚至真實(shí)世界的自動(dòng)駕駛場(chǎng)景中展示出令人意外的泛化能力。

圖丨相關(guān)推文（來(lái)源：X）

當(dāng)前主流的計(jì)算機(jī)使用代理（computer-use agent）走的是另一條路線。Anthropic 在 2024 年 10 月推出了 Claude 的 Computer Use 功能，讓 AI 通過(guò)截屏、識(shí)別界面元素、模擬點(diǎn)擊和鍵入來(lái)操作計(jì)算機(jī)，到 2026 年 2 月 Claude Sonnet 4.6 在 OSWorld 基準(zhǔn)上已達(dá)到 72.5％ 的得分。

OpenAI 在 2025 年 1 月發(fā)布了名為 Operator 的 Computer Using Agent（CUA，計(jì)算機(jī)使用代理），基于 GPT-4o 的視覺(jué)能力加上強(qiáng)化學(xué)習(xí)實(shí)現(xiàn)網(wǎng)頁(yè)操控。Google DeepMind 也有 Project Mariner 和 Gemini 2.5 Computer Use 在布局同一賽道。

這三家巨頭的做法有一個(gè)共同特征：都是在已有的視覺(jué)語(yǔ)言模型（VLM，Vision-Language Model）基礎(chǔ)上疊加工具調(diào)用能力，依賴截屏分析和像素級(jí)定位來(lái)理解界面，本質(zhì)上仍然是“看圖說(shuō)話”的思路。

Standard Intelligence 認(rèn)為，這條路走不遠(yuǎn)。

他們的核心論點(diǎn)是：要造出真正通用的計(jì)算機(jī)操作智能體，需要的不是在截屏上做分類和推理，而是直接從大規(guī)模視頻中學(xué)習(xí)人類操作計(jì)算機(jī)的行為模式。就像 GPT-3 需要互聯(lián)網(wǎng)規(guī)模的文本語(yǔ)料庫(kù)才能涌現(xiàn)出語(yǔ)言能力，通用的計(jì)算機(jī)行為模型需要互聯(lián)網(wǎng)規(guī)模的視頻語(yǔ)料庫(kù)。

目前最大的公開(kāi)計(jì)算機(jī)操作數(shù)據(jù)集還不到 20 小時(shí)的 30 FPS 視頻，而互聯(lián)網(wǎng)上累積了數(shù)以百萬(wàn)計(jì)小時(shí)的剪輯制作、編程直播、游戲?qū)崨r和各類軟件操作錄像，這些數(shù)據(jù)從未被系統(tǒng)性地利用過(guò)。FDM-1 正是瞄準(zhǔn)這個(gè)缺口。

Standard Intelligence 的路線，更接近 2022 年 OpenAI 發(fā)布的 VPT（Video PreTraining，視頻預(yù)訓(xùn)練）方法。VPT 的核心思路是：互聯(lián)網(wǎng)上有海量人類玩 Minecraft 的游戲錄像，但這些視頻只記錄了畫面，沒(méi)有標(biāo)注每一幀對(duì)應(yīng)的鍵盤鼠標(biāo)操作。

OpenAI 當(dāng)時(shí)的解決辦法是，先花錢請(qǐng)承包商標(biāo)注少量帶操作標(biāo)簽的數(shù)據(jù)，用這些數(shù)據(jù)訓(xùn)練一個(gè) IDM（Inverse Dynamics Model，逆向動(dòng)力學(xué)模型）。IDM 能從前后幀的變化中反推出中間發(fā)生了什么操作——比如屏幕上多出來(lái)一個(gè)字母“K”，那大概率就是按下了 K 鍵。然后用訓(xùn)練好的 IDM 去給約 7 萬(wàn)小時(shí)的 YouTube 游戲視頻自動(dòng)打上操作標(biāo)簽，再用這些帶標(biāo)簽的數(shù)據(jù)做行為克隆訓(xùn)練。

VPT 最終甚至學(xué)會(huì)了合成鉆石鎬這種需要連續(xù) 24,000 步操作、人類熟手也要花 20 分鐘以上的任務(wù)。這在當(dāng)時(shí)是一項(xiàng)突破，但它有兩個(gè)顯著局限：一是只適用于 Minecraft 這個(gè)特定環(huán)境，二是上下文窗口極短，只有大約六秒。真正的計(jì)算機(jī)工作，比如 CAD 設(shè)計(jì)、金融交易、文檔編輯，動(dòng)輒需要數(shù)分鐘到數(shù)小時(shí)的連貫操作上下文。六秒遠(yuǎn)遠(yuǎn)不夠。

Standard Intelligence 的 FDM-1 試圖在兩個(gè)維度上同時(shí)突破：數(shù)據(jù)規(guī)模和上下文長(zhǎng)度。

在數(shù)據(jù)規(guī)模上，他們先是在 4 萬(wàn)小時(shí)的標(biāo)注員錄屏數(shù)據(jù)上訓(xùn)練了一個(gè) IDM，然后用這個(gè) IDM 對(duì) 1,100 萬(wàn)小時(shí)的互聯(lián)網(wǎng)視頻語(yǔ)料庫(kù)進(jìn)行自動(dòng)標(biāo)注。IDM 的工作原理比較直觀：屏幕上突然出現(xiàn)了一個(gè)字母“K”，那大概率是有人按了 K 鍵；光標(biāo)從屏幕左側(cè)移動(dòng)到了右側(cè)，那一定發(fā)生了相應(yīng)方向和距離的鼠標(biāo)位移。通過(guò)觀察前后幀的變化來(lái)反推操作動(dòng)作，這在技術(shù)上是可行的，雖然存在噪聲和歧義。

圖丨逆動(dòng)力學(xué)模型（IDM）架構(gòu)（來(lái)源：Standard Intelligence）

他們?cè)?IDM 的架構(gòu)選擇上做了一個(gè)有意思的決策：采用了掩碼擴(kuò)散（masked diffusion）架構(gòu)。原因在于，給視頻標(biāo)注動(dòng)作這件事天然是非因果（non-causal）的。比如你看到有人按了 Cmd+C，單看這一幀是無(wú)法確認(rèn)的，你得看到后面出現(xiàn)了粘貼的內(nèi)容才能確認(rèn)之前確實(shí)發(fā)生了復(fù)制操作。掩碼擴(kuò)散模型可以同時(shí)參照所有幀來(lái)推斷每個(gè)時(shí)間步的動(dòng)作，先標(biāo)注高置信度的簡(jiǎn)單動(dòng)作，再把計(jì)算資源集中在模糊的難例上。

按他們的說(shuō)法，這種方法比純因果模型過(guò)擬合更慢，數(shù)據(jù)效率更高，且 IDM 標(biāo)注數(shù)據(jù)訓(xùn)練出的模型在鼠標(biāo)移動(dòng)和界面操作等任務(wù)上甚至超過(guò)了人工標(biāo)注數(shù)據(jù)的效果。

在上下文長(zhǎng)度上，突破來(lái)自他們自研的視頻編碼器。現(xiàn)有 VLM 處理屏幕錄制視頻的方式極度浪費(fèi) token：一分鐘的 30 FPS 視頻就要消耗大約 100 萬(wàn)個(gè) token。這意味著在 200k token 的上下文窗口里，GPT 大約只能裝下 240 幀，Gemini 約 775 幀，Claude 約 162 幀——連幾秒鐘的視頻都看不完。

（來(lái)源：Standard Intelligence）

Standard Intelligence 的視頻編碼器聲稱能把近兩小時(shí)（約 36,000 幀）的 30 FPS 視頻壓縮進(jìn)同樣的 token 預(yù)算，比此前最優(yōu)方案高效 50 倍，比 OpenAI 的編碼器高效 100 倍（需要注意的是，博客中提到的 36,000 幀／200k token 是“屏幕錄制”場(chǎng)景下的數(shù)字，而用來(lái)對(duì)比的 GPT、Gemini、Claude 的幀／token 比是通用視覺(jué)接口的數(shù)字。

兩者的任務(wù)和優(yōu)化目標(biāo)不同，直接放在同一張圖表里對(duì)比有些不完全對(duì)等。不過(guò)，即使打個(gè)折扣，這個(gè)壓縮能力也是相當(dāng)可觀的）。

他們?cè)?200k token 上下文中能裝入約 20 分鐘視頻，1M token 中則能裝入約一小時(shí) 40 分鐘。這個(gè)壓縮比是通過(guò)在屏幕錄制數(shù)據(jù)上訓(xùn)練掩碼壓縮目標(biāo)來(lái)實(shí)現(xiàn)的。

他們觀察到，屏幕錄制與自然視頻有本質(zhì)不同：信息密度的波動(dòng)劇烈。鼠標(biāo)劃過(guò)空白桌面時(shí)幾乎沒(méi)有信息量，而滾動(dòng)瀏覽密集文本時(shí)信息量極大。固定大小的嵌入空間必然在語(yǔ)義細(xì)節(jié)和壓縮比之間取舍。他們的編碼器在一個(gè)文本轉(zhuǎn)錄基準(zhǔn)測(cè)試上，相比標(biāo)準(zhǔn) ViT（Vision Transformer，視覺(jué)變換器）收斂速度快約 100 倍。

有了大規(guī)模的 IDM 標(biāo)注數(shù)據(jù)和高效的視頻編碼器，他們就可以訓(xùn)練 FDM 本身了。FDM 是一個(gè)標(biāo)準(zhǔn)的自回歸模型，接收此前的視頻幀和動(dòng)作序列，預(yù)測(cè)下一個(gè)動(dòng)作 token。輸出空間由鍵盤按鍵和鼠標(biāo)移動(dòng)增量組成。

由于鼠標(biāo)每幀可以移動(dòng)任意數(shù)量的像素，直接離散化會(huì)導(dǎo)致?tīng)顟B(tài)空間過(guò)于龐大。因此他們將鼠標(biāo)位移分解為 X 和 Y 分量，用屏幕寬高進(jìn)行歸一化，然后使用指數(shù)分箱（exponential binning）將其映射到 49 個(gè)指數(shù)尺寸遞增的箱中。小而頻繁的移動(dòng)分入細(xì)粒度箱，大而稀少的移動(dòng)分入粗粒度箱。同時(shí)，每個(gè)鼠標(biāo)移動(dòng) token 還附帶預(yù)測(cè)下一個(gè)點(diǎn)擊位置，幫助生成更精確的軌跡。

圖丨FDM-1 訓(xùn)練方法的示意圖（來(lái)源：Standard Intelligence）

與 VLM 路線形成對(duì)比的是，F(xiàn)DM 完全不使用鏈?zhǔn)剿季S推理、字節(jié)對(duì)編碼或工具調(diào)用。它直接在視頻和動(dòng)作 token 上運(yùn)作，這使得推理延遲很低，也使模型能夠處理滾動(dòng)、3D 建模、游戲操控等 VLM 框架難以建模的連續(xù)性任務(wù)。

評(píng)估基礎(chǔ)設(shè)施方面，團(tuán)隊(duì)建了一套可運(yùn)行 8 萬(wàn)臺(tái)分叉虛擬機(jī)的系統(tǒng)，每小時(shí)能跑超過(guò) 100 萬(wàn)次 rollout。每臺(tái) VM 是一個(gè)最小化的 Ubuntu 桌面環(huán)境，配 1 個(gè) vCPU 和 8 GB 內(nèi)存；一塊 H100 GPU 能同時(shí)控制 42 臺(tái)。分叉機(jī)制允許他們對(duì)操作系統(tǒng)狀態(tài)做完整內(nèi)存快照并復(fù)制到新的 VM 上，從而在同一個(gè)起始狀態(tài)上并行跑數(shù)千次評(píng)估。

這基本上是在把測(cè)試時(shí)計(jì)算（test-time compute）的思路用到了行為模型評(píng)估上。他們還把 GPU 和 VM 放在同一云區(qū)域、使用低延遲 VNC 配置和自定義 Rust 輸入綁定，把從屏幕截取到動(dòng)作執(zhí)行的往返延遲壓縮到 11 毫秒。

他們公布的初步評(píng)測(cè)結(jié)果顯示，IDM 標(biāo)注數(shù)據(jù)在鼠標(biāo)操作、目標(biāo)點(diǎn)擊、符號(hào)記憶和 UI 操控等方面的表現(xiàn)已經(jīng)超過(guò)了人工標(biāo)注的承包商數(shù)據(jù)。不過(guò)在打字和語(yǔ)言理解任務(wù)上，IDM 數(shù)據(jù)上的進(jìn)步速度慢于承包商數(shù)據(jù)，團(tuán)隊(duì)認(rèn)為這是 IDM 標(biāo)注噪聲造成的，未來(lái)計(jì)劃混合使用兩種數(shù)據(jù)。

（來(lái)源：Standard Intelligence）

在自動(dòng)駕駛的微調(diào)實(shí)驗(yàn)中，F(xiàn)DM-1 在不到 1 小時(shí)的駕駛數(shù)據(jù)上微調(diào)后，就能用方向鍵控制汽車在舊金山繞街區(qū)轉(zhuǎn)彎，起始準(zhǔn)確率為 50%（在“無(wú)操作/左轉(zhuǎn)/右轉(zhuǎn)”三選一中），明顯高于僅有視頻編碼器而沒(méi)有互聯(lián)網(wǎng)視頻預(yù)訓(xùn)練的基線模型。

關(guān)于這支團(tuán)隊(duì)。Standard Intelligence 于 2024 年 3 月在舊金山注冊(cè)成立，自我定位為“對(duì)齊的 AGI 實(shí)驗(yàn)室”。研究團(tuán)隊(duì)的核心作者是 Neel Redkar、Yudhister Kumar、Devansh Pandey 和 Galen Mead。Neel Redkar 來(lái)自 UCLA，曾在高中時(shí)期就憑借用于碳捕獲的金屬有機(jī)框架神經(jīng)網(wǎng)絡(luò)獲得 ISEF 大獎(jiǎng)，在 Notion 的 AI 團(tuán)隊(duì)實(shí)習(xí)過(guò)，2023 年底還在 NeurIPS 上展示過(guò)文本與材料生成的跨模態(tài)研究。

Yudhister Kumar 的個(gè)人網(wǎng)站顯示他曾參與過(guò) MATS（ML Alignment Theory Scholars，機(jī)器學(xué)習(xí)對(duì)齊理論學(xué)者）5.0 項(xiàng)目，研究過(guò)“預(yù)言機(jī)在合作 AI 中的應(yīng)用”以及 Ramsey 理論中的非標(biāo)準(zhǔn)方法。這是一個(gè)背景相當(dāng)年輕但研究嗅覺(jué)敏銳的團(tuán)隊(duì)。

在 FDM-1 之前，Standard Intelligence 已經(jīng)有過(guò)兩個(gè)引起關(guān)注的項(xiàng)目。一個(gè)是 2024 年中在舊金山市中心建造的 30 PB 存儲(chǔ)集群，專門用來(lái)存放 9,000 萬(wàn)小時(shí)的視頻數(shù)據(jù)。他們?cè)诓┛椭兴氵^(guò)一筆賬：如果用 AWS 存儲(chǔ)，每年要花 1,200 萬(wàn)美元；通過(guò)租用舊金山的托管機(jī)房，包含折舊在內(nèi)的成本降到了每年約 35.4 萬(wàn)美元，低了大約 40 倍。

另一個(gè)是 2024 年 11 月開(kāi)源的 hertz-dev，一個(gè) 85 億參數(shù)的全雙工音頻基礎(chǔ)模型，在單張 RTX 4090 上實(shí)現(xiàn)了約 120 毫秒的實(shí)際對(duì)話延遲。這兩個(gè)項(xiàng)目分別對(duì)應(yīng)了 FDM-1 所需要的兩個(gè)關(guān)鍵能力：大規(guī)模數(shù)據(jù)基礎(chǔ)設(shè)施和跨模態(tài)學(xué)習(xí)。

回到此次推出的 FDM-1，其最大的價(jià)值或在于提出了一條與當(dāng)前行業(yè)主流截然不同的技術(shù)路徑。Anthropic、OpenAI、Google 的計(jì)算機(jī)操控代理本質(zhì)上是“大腦外接手臂”，用已經(jīng)訓(xùn)練好的強(qiáng)大語(yǔ)言／視覺(jué)推理模型去截圖、識(shí)別 UI 元素、再生成點(diǎn)擊指令。

這種方法的優(yōu)點(diǎn)是可以利用現(xiàn)有模型的通用推理能力，缺點(diǎn)是操作頻率低（每步都要截圖－推理－動(dòng)作），無(wú)法處理需要高幀率連續(xù)控制的任務(wù)，且受限于截屏分辨率下的 UI 理解。

FDM-1 則更接近端到端的行為克隆路線：直接從視頻到動(dòng)作，不經(jīng)過(guò)語(yǔ)言中介。這讓它天然擅長(zhǎng)連續(xù)控制任務(wù)（比如 3D 建模中的連續(xù)拖拽、滾輪操作），但也意味著它可能缺乏 VLM 方案所擁有的抽象推理和自然語(yǔ)言理解能力。

目前，F(xiàn)DM-1 現(xiàn)在還遠(yuǎn)不是一個(gè)可用的產(chǎn)品。它沒(méi)有指令跟隨能力，所有演示都是模型自主探索或執(zhí)行預(yù)設(shè)行為，沒(méi)有任何自然語(yǔ)言驅(qū)動(dòng)的展示。你沒(méi)法用中文或英文告訴它“請(qǐng)打開(kāi)瀏覽器搜索某個(gè)關(guān)鍵詞”。

它也沒(méi)有在任何公開(kāi)標(biāo)準(zhǔn)化基準(zhǔn)（如 OSWorld 或 CUB）上報(bào)告結(jié)果，所有評(píng)測(cè)都基于內(nèi)部任務(wù)套件，缺乏與 Anthropic、OpenAI、Google 等主流方案的直接可比性。不使用任何語(yǔ)言模型能力遷移，意味著 FDM-1 可能在 CAD 建模、游戲操控、連續(xù)滾動(dòng)瀏覽這些 VLM 完全做不了的任務(wù)上有獨(dú)特優(yōu)勢(shì)，但也意味著產(chǎn)品化落地時(shí)需要解決指令理解、任務(wù)規(guī)劃等一系列問(wèn)題。

未來(lái)，F(xiàn)DM-1 代表的路線和 VLM 代理路線最終可能會(huì)趨于融合。一個(gè)能在 30 FPS 下連續(xù)操控 3D 建模軟件的模型，如果加上語(yǔ)言條件化（language conditioning）和高級(jí)規(guī)劃模塊，有機(jī)會(huì)兼得兩種路線的優(yōu)點(diǎn)。

這個(gè)判斷是不是成立暫且不論。但可以更加明確的是：在計(jì)算機(jī)行為建模這個(gè)賽道上，數(shù)據(jù)規(guī)模和上下文長(zhǎng)度的重要性被嚴(yán)重低估了，而 Standard Intelligence 可能是第一個(gè)認(rèn)真把這兩個(gè)要素推向極致的團(tuán)隊(duì)。至于這條路最終能走多遠(yuǎn)，還需要更多定量驗(yàn)證、更多場(chǎng)景泛化、以及與 VLM 路線在真實(shí)生產(chǎn)任務(wù)上的正面比較。

參考資料：

1.https://si.inc/posts/fdm1/

運(yùn)營(yíng)/排版：何晨龍