聲音克隆+視頻通話，豆包猜出了我住哪個小區

豆包的新功能，大家都試了嗎？

在最新版的豆包APP里，已經有“視頻通話”的功能。

也就是說，你現在可以打開攝像頭，讓豆包直接“看”了。

我測試的時候，豆包不僅一眼看出我家龜背竹是仿真的假貨，還通過窗景猜出了我家小區的名字，真是刺激。

目前，“視頻通話”已經是各家AI廠商爭相上線的功能：OpenAI的ChatGPT、谷歌的Gemini，以及國內的智譜等，都已經讓AI“開眼”。騰訊緊緊跟上，預計下周就會在元寶中看到類似功能。

別忘了，下一代硬件的尋找和創造，正在世界范圍里上演。當我們不再需要舉起攝像頭，視頻通話還會帶來更多想象力。

01

“視頻通話”，相當于豆包有了眼睛

豆包的視頻通話入口在“打電話”里，只不過從前點擊通話，僅有語音通話的功能，現在出現了一個攝像機按鈕。實際體驗下來，這樣的安排符合使用邏輯。

點擊按鈕，畫面上出現你手機鏡頭拍攝的實時畫面。

所以要注意的是，和豆包視頻通話，與和人視頻通話有很大區別，不是說豆包作為一個虛擬形象和你面對面，而只會有你單方面的視頻畫面。更像是在給豆包做一對一的視頻直播，或者說邀請豆包通過你的攝像頭看你的世界。

我們進行了以下測試：

第一，這是什么？

作為熱身項目，先測試一下豆包對各種事物的判斷是否準確。

攝像頭打開后，豆包主動發言，描述我正坐在電腦前，后方的電視正在播放美劇。

對家具、電器等的判斷沒有難度，輕松回答。令人驚訝的是以下三件：

在刻意搖晃鏡頭的情況下，一個看起來是大馬克杯的保溫杯，一盆（很多來我家的朋友都以為是真植物的）仿真龜背竹，在貓窩里只露出兩只腳和尾巴（且堆疊在一起）的橘貓，豆包都回答正確。

第二，我在哪兒？

判斷物品沒問題，我試圖將豆包帶到更有挑戰的場景里。

鏡頭對準窗外，讓豆包幫我看看我在哪里。豆包先是根據街景和綠化度，給出了三個城市的名稱，其中包括正確答案，另外兩個城市也距離很近。接著看到了路牌上的街名，這條街道非常長，有幾公里，但是豆包準確說出了我所在的小區的名字。

第三，這怎么用？

接下來是一個日常的“有用”場景，讓豆包教我使用電器。

鏡頭對準一個小電器，豆包準確判斷這是一款“膠囊咖啡機”。我隨后便問“膠囊是什么”邊用鏡頭快速掃過桌面，它用很自然的語言告訴我：“就在那兒啊，一個米色袋子里”。

隨后，豆包又指導我將膠囊放入咖啡機并按下按鈕，在我表示按了按鈕沒反應后，又指導我檢查水箱。全程豆包并非機械式地“背誦使用說明”，而是根據看到的畫面進行指導，比如“機器后方的兩個黑色按鈕”“把機器側一下，我看看水箱在哪里”“就是后面帶刻度、塑料的那個”。

整個過程非常絲滑、自然。

第四，我該買點啥？

很多人已經在用AI輔助減肥，比如制定飲食、健身計劃，但是人嘛，自述情況很有可能有偏差，要是直接讓AI看呢？

打開冰箱，讓豆包猜猜我的飲食習慣，并給出采購建議。豆包準確總結我的食物種類很多，肉食和速凍食品比較多，建議我購買綠葉蔬菜。可以說是一針見血了。

幾個簡單的測試走下來，可以看出豆包可以透過鏡頭，頗為準確地判斷看到的事物，并且和用戶產生實時的互動。這提供了很多想象力，如在旅游時提供幫助、在采購時提供建議、教用戶使用物品等。

02

視頻通話仍擺脫不了“AI味兒”

特別要指出的一點是，豆包在視頻通話時，語言平實，表達方式生活化、口語化，不會有很機械、死板的感受，這非常重要。

順便推薦一個“進階”玩法：豆包語音克隆+視頻通話。語音克隆的功能已經在豆包里很久了，用戶不僅可以選擇豆包提供的預設音色，還可以通過簡單的步驟獲得克隆的音色。

我的豆包里一直用的是姐姐的克隆音，豆包在視頻通話中的語言又非常日常，也因此，視頻通話時真的有一種在和我姐打視頻的錯覺。

不敢想象如果我給我媽的豆包安排一個我的克隆音，再教會她怎么視頻通話，她會有多愛用。

我們也同步測試了ChatGPT，在視頻通話模式下，二者的準確度都很高。但是ChatGPT沒有看出彩色馬克杯實際上是一個保溫杯，進一步追問才給出判斷，且在“看窗景猜地點”的小測中，ChatGPT的回答離正確答案差得很遠。

另外很明顯的感受是，ChatGPT在視頻通話模式下的表達方式“更AI”，措辭比較書面化，不確定使用英文的話，ChatGPT會不會更自然一些。

但也不是沒有遺憾，目前豆包視頻通話還是要“等一下”AI的回復。而且有時候可能是問題比較難回答，“思考”時間會更長一些，經常出現以為AI卡住了，結果和AI一起開口的情況。

另一個遺憾是，在視頻通話中，依然遵循用戶說話、AI回答的模式。在實際體驗中，豆包會在自己的句尾主動和用戶互動，比如“你在看《無恥之徒》嗎”，但是它做不到“主動出擊”。

如當我告訴豆包，我現在要打字，當看到“2”的時候立刻告訴我。雖然豆包欣然答應，但是它并不會在看到“2”的時候立刻指出，而是必須等我詢問，它再回答。同樣地，對“看到掃地機器人就立刻告訴我”的請求，它也同樣無法做到。它的確看到了機器人，但是需要等我再說一句話，才輪到它發言。

當然，這些不僅是豆包視頻通話的遺憾，ChatGPT也是同理。和已經普及的“語音通話”一樣，AI依然需要遵循既定的對話模式，而非像人與人溝通時那般靈活。

03

AI交互方式再次迭代

“視頻通話”可以帶來很多想象力，尤其是在如今“AI代理”成為風口、“超級AI助理”成為桂冠上的明珠之時。

豆包此次的升級基于“豆包·視覺理解模型”。該模型去年年底發布，此后又經歷了升級，同時具備內容識別能力、理解和推理能力以及更細膩的視覺描述能力。

從2022年底ChatGPT橫空出世之后，我們與AI的交互方式已經不斷進化：純文本交互（你打字給AI，AI也回復文字）、實時語音交互（直接和AI說話，AI也用聲音回復）、圖像交互（你發給AI一張圖片或視頻，AI可以解讀）、實時圖像交互（視頻通話）。

能直接打開攝像頭，讓AI自己“看”，直接邀請AI“進入”所處的世界，相當于揭開了我們和AI之間始終隔著的一層名為“描述”的薄紗。從實際體驗來說，在視頻通話時，AI的“Agent”屬性更加凸顯，而非一個手機里的小小工具。

去年12月，OpenAI就給ChatGPT加入了視頻通話的功能，谷歌的項目Project Astra也已經啟動。在國內，包括智譜在內的頭部AI玩家也已經配上了視頻通話。此外，就在上周，騰訊旗下語音通話模型Hunyuan-Voice宣布將于6月登陸元寶APP，直接對標字節跳動旗下豆包AI的視頻通話功能。

讓AI“開眼”，已經越來越普遍。

對此，前不久在谷歌I/O開發者大會上，谷歌DeepMind創始人兼CEO戴密斯·哈薩比斯（Demis Hassabis）稱，他們將Gemini打造成一個世界模型，是開發一種新型、更通用、更有用AI助手的關鍵一步。

這家巨頭目標直接指向構建通用AI助手。大會上宣布，Gemini Live正式向 iOS 和安卓用戶開放。這項功能可以實時識別并回應用戶手機攝像頭和屏幕上的內容。

更值得注意的是，Gemini Live是Project Astra的延伸，而后者也在大會上展示了新的進展：更主動。比如AI“看”著用戶做題，在發現錯誤的時候會直接指出。

這也對應了在使用現有AI視頻通話功能時的那個困擾，即雖然AI已經看到了某個物品，但仍然要“用戶一句，它一句”，等著輪到自己發言。

而以上討論還僅限于手機這個核心硬件。但未來的“AI硬件”未必還會是手機，如果下一代硬件比手機更小巧、更靈活，那視頻通話的能力還會發揮更大潛力。

比如如今已經被AI廠商積極嘗試的XR眼鏡，通過這個設備“觀察”世界，不需要用戶舉起手機。可以想象，如果你戴著一副AR眼鏡，打開攝像頭，AI將可以更“無形”地提供幫助（甚至只是陪伴）。

隨處可見“自言自語”的人類，這樣的未來也許已經不遠了。

歡迎在評論區留言~
如需開白請加小編微信：dongfangmark