面壁智能開源全模態模型MiniCPM-o4.5，邊看邊聽還能主動搶答

henry 發自 凹非寺
量子位 | 公眾號 QbitAI

空氣炸鍋“叮”了一聲。

我還沒反應過來，AI先開口了：“好了，它已經叮了。”

這不是語音助手升級，而是面壁智能剛開源的全模態模型MiniCPM-o4.5

手機往廚房一放，它能一邊跟你說話，一邊盯著灶臺、聽動靜。

不再是“你問一句、它答一句”，而是邊看、邊聽、主動說的AI。

AI開始豎起耳朵，瞪大眼睛

既然這AI這么能盯，還能提醒，那是不是干脆給它掛在教室、樓道門口？

老師家長一來就提醒我，豈不美哉？（doge）

Wwwwwait！AI肯定不是這么用的。

不過，在實測和官方用例里，我們確實發現了一件挺有意思的事：它能干的事兒，已經和以前的AI不一樣了。

先說最直觀的。

這次面壁的MiniCPM-o4.5，最大的變化，其實就一句話：它能一邊聽、一邊看，還能主動說

比如逛超市，人往前走，貨架在變，商品也在變。

隨口問一句：水果都什么價？它立馬接得上。

這里的關鍵不在“答得快”，而在于它在回答我的同時，眼睛其實沒停，一直跟著你看。

你走著，貨架在變，它也能馬上接話，就像旁邊有個朋友。

要是放在以前的AI身上，基本就是你問一句，它答一句。

等它下一次再說話，才重新“看”一次世界，加載的圓圈多少要重新開始轉幾圈。

再比如出門上班。你走進電梯，刷著手機，腦子已經在想別的事了。

你只需要在一開始告訴它提醒你，它就能持續識別電梯樓層的變化，在你該下的時候，直接開口提醒。

還有一點也很關鍵：MiniCPM-o4.5不需要你先開口，也能主動應答

這一點，在開頭的測試里表現得特別明顯。因為在現實場景中，等你再去問一句“好了沒”，往往已經晚了。

真正有用的是——你沒問，AI聽到“叮”的一聲，直接來一句：“加熱好了。”

此外，我們還發現MiniCPM-o4.5一個挺反直覺的地方：它在說話的時候，也還在聽

因為大家都知道，人一旦開口說話，注意力基本就不在“聽”上了。

但o4.5不一樣，一方面，它能一邊跟你聊天，一邊留意外界的動靜——

敲門聲、燒水聲、空氣炸鍋“叮”的那一下，都不會被漏掉。

更狠的是，在它自己說話的時候，也能聽見你新插進來的指令，能實現即時自由對話

為此，我們刻意做了件有點“為難”模型的事。

它正在解說畫面的藍色鴨子在哪里，這時我突然插一句新的要求，讓它告訴我小黃（鴨子）在哪里。

結果是，MiniCPM-o4.5在說完上句話后，立馬回答了這句突然插入的話。

這也讓MiniCPM-o4.5跟那種一問一答的AI不一樣。

它不是等你說完一句再輪到它，而是一邊聽、一邊說，一邊隨時改口

換句話說，今年的AI已經不玩回合制問答，開始整臨場反應，學會搶答了。

順帶一提，除了上面這些，還有更“邪修”的玩法。比如讓AI解說實況比賽，或者盯著你練組數、數次數。

我們就不一一演示了，鏈接在最后，留給大家自己去慢慢折騰。

首個可以「即時自由對話」的大模型

那么，上面這些“自由對話”是怎么做到的？

關鍵在于MiniCPM-o4.5對交互方式本身做了重構

以往的多模態模型，本質是串行的：先聽完，再想，再說。

一旦開始輸出，模型對外界輸入的感知就會被暫停，形成典型的I/O阻塞，這是無法邊看邊聽邊說的原因。

在MiniCPM-o4.5中，面壁團隊首次引入了全雙工（Full-Duplex）多模態實時流機制。模型可以一邊持續接收視頻和音頻輸入，一邊同步生成語音或文本輸出，兩條信息流并行運行，互不阻塞。

在實現上，MiniCPM-o4.5將原本離線的模態編碼器與解碼器，升級為支持流式輸入/輸出的在線版本；

語音側采用文本與語音token交錯建模，既支持全雙工語音生成，也提升了長語音生成的穩定性。

同時，通過時分復用機制，對在毫秒級時間線上對齊的多模態輸入與輸出進行統一建模，實現高效的流式處理。

在整體架構上，MiniCPM-o4.5采用端到端的全模態設計，通過稠密特征將各模態的編碼器與解碼器直接連接到大語言模型主干，視覺、音頻等模態在模型生成輸出的同時仍能持續更新。

除了并行處理，MiniCPM-o4.5還改變了對話時機的判斷方式。模型會持續進行語義層面的判斷，并以1Hz的頻率決定是否介入回應，而不再依賴“檢測到靜音就回答”的VAD（語音互動檢測）機制。

（傳統語音助手往往依賴外部的VAD：一旦檢測到短暫靜音，就認為用戶“說完了”并開始回答）

這使得模型不僅能被自然打斷，還能基于對場景的持續理解，主動發起提醒或評論。

這也是為什么前面我還沒把話說完，它就已經“搶答”了。

此外，值得一提的是，在Benchmark測試上，MiniCPM-o4.5的表現同樣亮眼。

在僅9B參數規模下，模型在全模態理解、視覺理解、文檔解析、語音理解與生成，聲音克隆等多個方向上，均達到了當前全模態模型的領先水平

那么像MiniCPM-o4.5這樣，邊看、邊聽、主動說的AI，意味著什么？

最近，Clawdbot（現已更名為OpenClaw）的爆火，其實已經提前給了答案：人們真正需要的，可能不是“更聰明的問答機”，而是能持續運行、一直在場的AI

不是你問它一句，它才醒一下；而是它本來就在運行，在看、在聽，也隨時準備說話。

這，正是這類“邊看、邊聽、主動說”的模型真正產生價值的地方。

過去的AI，更像對講機。你說完，它才聽；它一開口，外界就等于被按了暫停鍵。

而這一次，面壁做的嘗試是：讓AI在說話的時候，世界周遭事物依然是流動的。它在持續感知世界的同時，也在持續參與對話和行為，而不是僅在節點式的“提問/回復”之間來回倒騰。

也正因為這樣，它能自然地延展到更多地方：

對具身智能來說，感知、決策、動作本來就不該被拆開；對車端或終端助手來說，真正有用的往往不是“回答問題”，而是在合適的時機接話；對復雜系統來說，“等一下再想”本身就是一種失效。

因此，全雙工并不是體驗升級，而是AI能否真正進入現實連續世界的分水嶺。

也正是在這個意義上，面壁將MiniCPM-o4.5定義為一款全模態的基礎模型，并以此作為后續賦能汽車、手機、機器人等各類終端形態的起點。

面壁智能：只做端，把端做到極致

面壁智能成立于2022年8月。

在端側AI還遠沒成為行業熱詞、討論重心仍集中在云端和算力堆疊時，面壁就已經把方向押在了端側AI模型這條路上。

這次發布的MiniCPM-o4.5，由清華大學人工智能學院助理教授、面壁智能多模態首席科學家姚遠牽頭研發。

在整場發布中，面壁反復強調了兩個關鍵詞：軟硬一體，端側部署

以MiniCPM-o4.5為例，它主打的是持續感知視覺和聽覺環境。而這種“全天候伴隨”的AI形態，本身就無法以云端為主要形態存在。

一方面是不可回避的隱私風險；另一方面，是延遲、穩定性和可用性在工程上根本扛不住。

也正因為如此，MiniCPM-o4.5從一開始就被定義為一款端側模型，并且與面壁長期堅持的端側路線保持高度一致。

面壁智能聯合創始人、CEO李大海在采訪中提到：

• 端側模型的目標，本來就是賦能終端，而賦能終端天然就要跟端側芯片要做更深的結合。

據透露，過去近兩年，面壁與多家芯片廠商形成了一種高度協同的工作方式：

芯片在設計階段就向模型側開放，驗證架構是否匹配未來模型需求；模型研發也同步反向輸入，對算子形式與硬件能力提出明確要求。

這種軟硬一體、雙向奔赴，已經成為模型演進的前提條件。

在具體的路徑上，面壁智能聯合創始人、COO雷升濤則給出了更清晰的拆解：

• 端原生模型：不把云端模型壓縮下來跑，而是在訓練階段就以端側芯片為目標環境，讓模型“生來就能跑在端上”。
• 軟硬協同的Infra層：包括量化、精度壓縮之后能力如何保持。這一層技術難度極高，依賴長期積累，是最核心的壁壘。
• 產品化交付：把這些能力打包成可直接使用的方案，交付給客戶和合作伙伴，跑在不同終端上。

像面壁計劃在年中發布的首款AI硬件松果派（Pinea Pi），用于支持硬件場景的全棧開發，以及過去一年多在智能座艙等方向的落地，都是這條軟硬協同路線的具體體現。

從這個角度看，MiniCPM-o4.5本身也可以被理解為一款端側原生的全模態模型。

據面壁智能介紹，MiniCPM-o4.5將與松果派這款AI Native的端側智能開發板配套推出，計劃于今年上市，在開發板上實現“開箱即用”，面向開發者快速構建端側智能硬件。

與此同時，松果派等端側硬件本身，也構成了面壁在生態層面的能力：

在發布模型的同時，就明確指定并深度適配好的硬件平臺，讓開發者更快上手，讓終端廠商更快把能力真正跑進場景里。

本質上，這是在打通端側模型到應用的最后一公里

當被問及如何看待有越來越多玩家進入端側市場時，面壁也指出了一個常被誤解的地方：很多人把“端側”當成一個統一市場。

但在面壁看來，其實恰恰相反——端側由大量差異化終端和長尾高價值場景構成。

從技術上看，端側的關鍵不是規模，而是用盡可能少的參數，實現盡可能強的能力。

從商業上看，這也意味著：這是一個可以同時容納很多創業公司的市場，而不是必須打“陣地戰”的地方。

也正是在這種背景下，面壁給出的差異化非常明確：

• 我們最大的差異化就是我們只做端，而且我們把端做到極致。如果一家公司專注于做端的話，那我覺得其他公司可能很難跟我們相比把端做得這么好。

從兩三年前手機、車、機器人普遍質疑“真的需要大模型嗎”，到今天逐漸成為共識，端側AI正在不斷被重新定義。

而MiniCPM-o4.5所呈現的，并不是一次炫技式的能力展示，而是面壁這條路線走到今天的自然結果：

只做端，把端做到極致

GitHub：https://github.com/OpenBMB/MiniCPM-o
HuggingFace：https://huggingface.co/openbmb/MiniCPM-o-4_5
ModelScope：https://www.modelscope.cn/models/OpenBMB/MiniCPM-o-4_5
體驗鏈接-全雙工全模態模式：https://huggingface.co/spaces/openbmb/minicpm-omni
體驗鏈接-圖文對話模式：http://211.93.21.133:18121/