IT之家 2 月 17 日消息,據銀河通用機器人官方微信公眾號消息,馬年春晚上,銀河通用機器人“小蓋”的一系列操作驚艷了全場:從精細地盤核桃、撿玻璃碎片、貨架取物,到生活化的疊衣服、串烤腸,全都輕松拿捏,動作靈巧且自然擬人。而且,與傳統機器人表演依賴預編程不同,銀河通用此次展示干活技能的實現是端到端自主感知、自主決策、自主執行。
![]()
IT之家附官方詳細介紹如下:
銀河通用的核心能力,源于一條迥異于傳統機器人技術的大模型路徑。公司自主創新并應用了一條融合超大規模虛實數據端到端訓練大小腦協同具身大模型的新范式:即基于自主構建的百億級具身智能數據集,打造的全球首個集成“大腦-小腦-神經控制”于一模的全身全手端到端大模型 ——“銀河星腦 AstraBrain”。
今天,我們就透過這些絕活,首次官方深度解密這個全身全手、大小腦端到端協同的大模型是怎么練成的。
絕活背后的技術突破
春晚舞臺上,“小蓋”展示的每一個干活動作都不是提前編寫程序的“表演”,而是 AstraBrain 自主決策能力的實時、自主干活能力。讓我們透過這些最具代表性的絕活,拆解背后的技術密碼。
絕活一:盤核桃 —— AstraBrain 中的小腦賦予指尖“手感”
當“小蓋”將兩枚核桃置于掌心,手指靈巧地搓動、翻轉,這背后是靈巧操作領域的世界級難題。

盤核桃的挑戰在于:核桃表面不規則、重量分布不均,手掌握持狀態下每根手指的受力點時刻變化,任何細微的力矩偏差都會導致核桃滑落。
銀河通用自主研發的 AstraBrain 中的靈巧手神經動力學小腦模型,正是破解這一難題的關鍵。想要練好靈活的盤核桃小腦,機器人需要先是在虛擬世界里打基礎,讓機器手在虛擬世界里瘋狂練習,系統會給它喂各種大小、重量的虛擬核桃,讓它靠不斷試錯,練出一套適應性極強的“基礎盤法”。
其次是在現實中加糾偏:因為電腦模擬和現實(比如真實的摩擦力、機械誤差)總有差別,所以我們讓真實的機器手去接觸各種實物,積累真實的“物理手感”。等它真正在現實里盤核桃時,系統就會利用這種手感,在后臺悄悄微調動作指令,把虛擬和現實的誤差給補齊。簡單來說,就是在虛擬世界練招式,在真實世界找手感,兩者結合,機器手就能在現實里把核桃盤得十分溜了。

剛開始盤不動還總掉

逐步盤起來但還不夠流暢

逐漸流程自然,速度也提升
絕活二:撿玻璃碎片 ——AstraBrain 中的大腦挑戰感知極限
在春晚舞臺上,“小蓋”被要求從淺色桌面上撿起散落的玻璃碎片。這是一個對人類都頗具風險的精細操作,對機器人而言更是感知與控制的雙重極限。

玻璃碎片的難點在于:透明物體在視覺上近乎“隱形”,尤其是放置在淺色桌面上時,其邊緣、厚度、反光特征極易與環境融為一體。傳統視覺算法難以準確識別透明物體的三維輪廓和位姿,更無法判斷抓取點。
AstraBrain 的突破在于,通過在仿真環境中生成海量的透明物體數據 —— 不同厚度、不同碎裂形狀、不同光照條件下的玻璃碎片 —— 讓機器人在虛擬世界中“見過”各種可能的透明形態。結合多模態感知融合技術,“小蓋”能夠從微弱的反光邊緣和陰影變化中“看見”玻璃的存在,并精準規劃抓取策略。
更關鍵的是,模型賦予的力覺感知讓它在接觸玻璃時能夠感知到硬度和滑動趨勢,以恰到好處的力度穩穩捏起碎片,既不會捏碎,也不會滑落。
這一能力,為機器人在家庭清潔、工業回收等場景中的透明物體處理打開了全新可能。
絕活三:貨架取貨 ——AstraBrain 大小腦協同在動態環境中精準抓取
在春晚舞臺上,“小蓋”需要從貨架上取下一瓶礦泉水。
這看似簡單的動作,實則暗藏玄機 —— 水瓶被緊密排列在貨架層板之間,周圍商品間距極小,稍有不慎便會碰倒鄰品或抓取失敗。

這要求機器人必須同時處理三重難題:一是通過大腦精準判斷水瓶在貨架上的位置;二是用擬人的動作伸手拿到水瓶,并過程中不能碰倒周圍的商品;三是靈巧操作,水瓶上半身較細、下半身較粗,且通常被緊密卡位,直接平移取出極易卡頓。
AstraBrain 的強化學習框架讓“小蓋”在虛擬世界中經歷了億萬次“取貨試錯”:碰到旁邊商品扣分,成功取下加分。經過這樣的自我博弈,它“悟”出了一條人類都未必想到的最優路徑 —— 先以靈巧的手指輕輕扣住水瓶上半身的瓶蓋處,微微傾斜以避讓兩側鄰品,感知到阻力后順勢調整角度,再穩穩向外抽出。
這一過程不是預設軌跡,而是實時決策的結果。每一次扣動、每一次傾斜、每一次抓取,都是機器人在毫秒級時間內根據當前環境做出的自主判斷。
絕活四:疊衣服 ——AstraBrain 對柔性物體的泛化靈巧操作
疊衣服被認為是機器人操作領域的最大的命題之一:因為衣服是柔性的,沒有固定形狀,每一次拿起來的狀態都完全不同。
春晚現場,“小蓋”面對的是隨機擺放的 T 恤,沒有預設的折疊軌跡,沒有固定的抓取點。它需要實時判斷布料當前的褶皺狀態,預測折疊后的形態,并規劃出一系列抓、拉、折、壓的動作序列。

AstraBrain 的解決方案是:在仿真環境中生成數以萬計的柔性物體變形數據,讓機器人在虛擬世界中“見過”各種可能的褶皺形態,并學會從當前狀態推演出最優操作路徑。當“小蓋”的手指輕輕撫平衣角、精準對折時,它不是在執行程序,而是在調用海量仿真經驗基礎上的實時決策 —— 這正是“舉一反三”能力的終極體現。
絕活五:串烤腸 —— 雙手協作與工具使用的雙重突破
如果說盤核桃考驗的是單手的靈巧,那么烤腸則是對雙手協同與工具操作能力的極限挑戰。
在春晚舞臺上,“小蓋”需要一手操控烤鉗進行烤制,另一只手抓取簽子,雙手協作、精準完成串烤腸,并遞給明星 —— 整個動作絲滑如水,這背后涉及雙手的空間協同、力度的獨立控制,以及對工具這一“身體延伸”的理解。

AstraBrain 的端到端大模型架構,讓機器人的“大腦”能夠同時處理雙手的獨立指令流,并在執行過程中實時調整。更關鍵的是,通過對海量仿真數據的學習,“小蓋”理解了“工具”的本質:烤鉗不是需要被控制的“物體”,而是手的延伸,是完成任務的媒介。這種對工具操作的泛化能力,讓它能夠像人類一樣,拿到任何新工具都能快速上手。
在以上所有的干活任務中,細心的觀眾可能還發現了,小蓋機器人干起活來的舉手投足比其他機器人都更像真人,透著一股親切感。
這背后全靠“銀河星腦 AstraBrain”對人類動作數據的大規模仿真生成機制。
為什么要死磕人類數據仿真生成”?因為相比去一點點采集機器人的生硬動作,我們人類每天的生活動作不僅海量,而且獲取起來極其容易。把這種最豐富、最易得的人類數據結合仿真生成,能夠把人類的動作先驗利用到極致,正是當前通往機器人大模型技術突破最可能的方向。
銀河星腦 AstraBrain :拒絕“死記硬背”,掌握“舉一反三”
透過上述絕活,我們可以清晰地看到 AstraBrain 的核心哲學:拒絕對特定動作的機械設定,而是讓機器人掌握一套可以泛化到新場景、新任務的通用能力。
![]()
圖: AstraBrain 銀河星腦技術框架
我們就以“小蓋”應用最廣泛的“貨架取物”為例,拆解它經歷了哪幾個步驟的修煉:
第一步:人類少樣本示范
過去教機器人一個新技能,往往需要遙操作手把手地教成千上萬遍。
AstraBrain 徹底改變了這一模式。
它僅需少量人類示范,機器人便能理解任務的核心意圖,將這些動作“記住”,并在自身硬件上等效地展示出來。這是“小蓋”快速適應春晚舞臺復雜光線、多變道具擺放的基礎。

第二步:仿真數據合成
現實中學習效率太低、數據成本太高。
AstraBrain 的第二招,是把機器人扔進一個“虛擬世界”—— 高精度物理真實的仿真環境。
在這里,系統可以自動生成數萬種不同的場景:貨架擺法隨機變化、光照條件任意切換,并通過生成式模型批量產出擬人化的抓取動作。機器人通過在海量仿真數據中模仿學習,掌握了應對各種復雜情況的操作精髓。

第三步:強化學習閉環
僅有模仿,還不足以支撐極致的精細化操作和動態避障。
為此,AstraBrain 引入強化學習機制,讓機器人的末端執行器在虛擬世界中進行高強度的“自我博弈”:碰到旁邊的商品就扣分,完美避障順利取出就加分。經過億萬次這樣的試錯迭代,機器人自己“悟”出了一條連人類示范都未必能給出的最優路徑 —— 這就練就了春晚上那種“舉重若輕”的絲滑手感。

第四步:真實世界再“見習”
虛擬世界訓練得再好,回到物理現實也難免存在誤差。AstraBrain 修煉的最后一步,就是讓機器人在真實環境中進行少量實際操作,收集這些真機數據進行“微調”。這一步看似簡單,卻是徹底打通虛擬與現實隔閡的關鍵一躍。

數據金字塔:從基石到塔尖的修煉邏輯
上述四步完成的基石,是銀河通用技術體系中虛實融合的數據基建 —— “銀河星坊”(AstraSynth),其具體包括以下基層:
基石層(人類數據): 為機器人構建通用的任務認知,讓“小蓋”理解“什么是盤核桃”“什么是抓取”。
中間層(仿真合成數據): 通過海量、低成本、多樣化的虛擬數據,讓機器人在仿真中遍歷各種可能性,從而跨越虛實鴻溝。
塔尖層(真機實戰數據): 在虛擬訓練成熟后,用極少量但高質量的真實世界操作數據,完成實戰場景下的最后打磨。
![]()
銀河星坊 AstraSynth 數據金字塔
用虛擬仿真解決數據不夠的難題,用強化學習解決動作不準的瓶頸 —— 這就是銀河通用機器人的通關秘籍。
這套邏輯不僅能用來抓取貨架上的商品,同樣能用來盤核桃、疊衣服、烤腸。正如春晚舞臺上“小蓋”展現的那樣,它并不是學會了某一個孤立動作,而是真正掌握了一種可以快速學習任何新技能的通用能力。
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.