會玩3A大作還能跨游戲打工，字節這款AI花了1500萬訓練

“原神，啟動！”這句玩家圈耳熟能詳的梗，如今被一個AI給實現了，字節跳動Seed團隊最近推出的Lumine智能體，還別說，我覺得真有點厲害。

它不光能在《原神》里自主完成長達五個小時的主線劇情，還會戰斗、解謎、開寶箱、和NPC聊天，甚至能連續玩七個小時的《崩壞：星穹鐵道》都不在話下。

更驚人的是，你不僅能清楚看到它的“思路”是如何推演的，還能直觀的看見它對鼠標與鍵盤進行一系列抽象化、可解釋的操作過程，完全模仿了人類玩家的行為。

這就讓人有點好奇了：現在的AI已經發展到這個水平了？

▌游戲高手

作為一個AI，Lumine在《原神》里的表現確實可圈可點，它不僅能在蒙德地區完成了五小時的主線劇情，還能在完全沒訓練過的璃月區域自主探索，甚至成功抵達了璃月港并拜訪深山中的仙人居所。

說實話，對于一個AI來說，能在這么復雜開放的世界里不迷路就已經很不容易了。

戰斗方面，Lumine也展現出了超乎預期的能力，它能夠動態的追蹤敵人位置，用弓箭精準射擊遠處的目標，流暢切換角色進行連招攻擊，甚至在戰斗后，還能記得去尋找并開啟寶箱。

面對BOSS戰的時候，它也不只是無腦的輸出，而是真的能理解并應對特定機制，比如躲避風魔龍的攻擊、抓住時機，攻擊弱點。

我印象最深的是，它處理游戲里那些令人頭疼的解謎能力，比如演示中的它，能夠沿著風場的方向收集風神瞳，切換角色為凱亞，不斷釋放E技能凍結水面來收集浮在水面上的風神瞳；

這種操作需要精確的空間感知和時機把握，感覺很多真人玩家都未必能一次就成功。

▌跨游戲打工

如果說Lumine只會在《原神》里折騰，那可能還只算是個“專才”。但它真正厲害的地方在于強大的跨游戲泛化能力——說白了，就是它還能用同一套大腦玩轉多款不同的游戲。

在《崩壞：星穹鐵道》里，Lumine通關了黑塔空間站第一章全部主線任務，大概花了7小時左右。

雖然比人類玩家的平均速度慢了2.3小時，但考慮到這也是它第一次玩，而且《崩鐵》是和《原神》完全是不同類型的回合制游戲，這個表現已經的相當驚人了。

而在另一款開放世界游戲《鳴潮》中，Lumine完成了約100分鐘的主線劇情，有趣的是，由于基礎模型的知識庫截止時間，早于《鳴潮》上線，它在推理的時候還會借用《原神》的術語來描述《鳴潮》的內容。

更讓人意想不到的是，團隊居然還對Lumine在《黑神話：悟空》里的表現進行了測試，盡管沒有能夠完成整個挑戰，不過它在新手教程以及第一章的前半部分堅持了2.1小時，完成的比例達到了85.7%。

考慮到這款游戲的高難度和寫實畫風對AI視覺識別的干擾，能取得這個成績也已經相當不容易了。

▌技術揭秘

那么，Lumine是怎么做到這些的呢？我認為關鍵可能在于它模仿了人類玩家的學習方式。

Lumine采用了三階段訓練的流程：首先用1731小時的人類游戲數據預訓練，學會根據游戲的畫面輸出鍵鼠操作；然后用200個小時的指令跟隨數據，將語言和操作對應；

最后再用15個小時的推理數據，讓模型具備靈活思考的能力。

這種訓練的方式實際上就跟我們人類學玩游戲差不多：先是把基本的操作給熟悉了，接著學會按照指示去完成任務，最后能夠自己動腦子去解決那些復雜的問題。

值得一提的是，Lumine的效率也很高，它以5Hz的頻率處理原始圖像（也就是每秒處理5幀），同時還能以30Hz的頻率生成精確的鍵盤鼠標操作。

關鍵就是，它不是始終處在“思考”這種狀態里，而是只有在有需求的時候，才會去進行復雜的推理。這樣的話，既可以節省計算所需要的資源，又能夠保證行動的流暢性。

▌背后的代價

當然，培養這么一個AI游戲高手的代價也是相當高昂的，根據公開的資料，訓練整個Agent模型需要64塊H100顯卡，成本至少1500萬元。

要是再把AI領域那高昂的人力成本算進去，那么整個項目推進下來，最少也得耗費好幾千萬。

單單是用于推理的主機，就搭載了4塊H20顯卡，價格超過30萬人民幣，所以這些可不是普通玩家或者小團隊就能負擔得起的投入。

那么，花這么大代價搞一個會玩游戲的AI，字節游戲到底圖什么呢？在我看來，游戲可能是訓練通用AI的最佳試驗場。

當一個智能體能夠在《原神》這樣的復雜世界中看屏幕、按鍵鼠完成數小時任務的時候，它本質上已經掌握了“屏幕智能”或者說“UI智能”的能力。

《原神》

而這種能力也完全可以遷移到其他的軟件上——比如說網頁瀏覽、辦公軟件操作、3D建模工具使用等等，想象一下，如果未來的AI能夠像玩《原神》那樣熟練地使用Photoshop、Excel或者編程的軟件，那對我們的工作效率會是多大的提升。

再從更實際的角度來看，Lumine這類技術至少可以在兩個領域立即發揮作用：自動化游戲測試和反推游戲的設計。

傳統的游戲測試比較依賴人力，而AI可以24小時不間斷的工作，模擬真實玩家的復雜操作，高效地發現極端情況下的BUG，同時，再通過分析AI玩游戲的數據，設計師也能更好地了解玩家的行為，優化游戲的體驗。

*每天推送游戲資訊、新游推薦、游戲雜談等，帶你了解不一樣的游戲世界。