豆包的新身份曝光：在國際藝術展當起了“AI講解員”

夢瑤 發自 凹非寺
量子位 | 公眾號 QbitAI

前兩天聽同事說豆包在浦東美術館接活兒了，不光帶人逛展，還包講解的那種。（震驚.jpg）

我一聽立馬就不困了：AI講解？還是豆包？有這新鮮事兒，咱高低得到現場圍觀一下啊！

于是我火速翹班找老板請假，打了趟飛的，直接閃現「AI與藝術」豆包講解體驗日活動現場。

but，進館沒多久我就意識到一個現實問題：我對這些展品的理解，基本為零…（純·一點藝術細胞都沒有）

既然如此，那就不為難自己了，索性直接搖豆包，一個「視頻電話」打過去，藏品重點、展品背景全講解得明明白白～

此外活動現場還有個大彩蛋，浦美當場給豆包頒發了個AI講解員證書，真·官方權威認證了：

這一下午的展逛下來，腦子是真有點宕機了，我平時也沒少用豆包，只是沒成想，這AI啥時候都進化成這樣了……

實測“AI講解員”豆包的業務水平

不知道大家跟我一不一樣，對看展逛展這件事本身很感興趣，可奈何自身沒啥《藝術細胞》。

去是去了，但逛一圈下來感覺啥也沒看懂……但！這回有「豆包」帶著我逛可就不一樣了。

這一次，咱勢必要把這展看個明！明！白！白！正好看看這位AI講解員的業務能力到底能不能打～

這個AI講解員，超會篩重點的

看展第一步，當然是要先「鎖定」自己感興趣的展品。

但隨之而來的問題是：現場同時有盧浮宮和畢加索兩個主題展區，展品密度極高，站在原地掃一圈，多少有點無從下手……

我索性直接打了通視頻電話求助豆包，讓這位AI講解員幫我把真正值得重點關注的展品先挑出來：

• 豆包，我現在在浦東美術館畢加索展區門口，請你幫我推薦一些比較重要的一些展品吧～

接到需求后，講解員豆包迅速結合視頻通話中的「實時畫面」與「音頻信息」，完成了對當前展區的即刻判斷，并直接為我圈出了畢加索展區里的幾件重點藏品。

像畢加索的經典作品《牛頭》、《裝扮成喜劇丑角的保羅》等展品都被豆包明確點了出來，告訴我這些值得重點看一看～

不僅如此，這位AI講解員還給出了自己的打call理由——

在它看來，這其中的部分藏品屬于「首次」來華展出，本身就具備稀缺性，所以在整個展區里自然更值得被優先關注。

有理有據啊有理有據，哪怕我的需求再猝不及防，豆包也能調用自己的知識庫把藏品重點快速挑出來～

隨逛隨講，狀態全程在線

重點藏品確定了，接下來，咱就重點考驗一下這位AI講解員豆包最核心的一項業務能力——展品講解。

依托強大「實時視覺感知能力」，豆包在視頻通話中能夠持續理解當前呈現的畫面信息。

因此整個逛展過程幾乎無需額外操作，只需打開視頻、移動鏡頭，對準自己關注的內容，豆包就能馬上跟上畫面節奏進行實時講解：

• 豆包，幫我介紹一下我面前的這個藏品。

溫馨提示：和豆包一起逛展時，如果現場人比較多，可以試試佩戴耳機、輕聲提問，豆包也能聽得很清楚。

可以看到，這個AI講解員在講解具體的展品時，先點出了展品所承載的地位象征，再補充具體的工藝特征，最后延伸到其時代意義，講解節奏清晰，也很有層次感。

不但告訴你眼前的東西是什么，還順著藏品把背景故事和相關知識一起展開，讓講解從信息說明變成了一次完整的科普體驗，咱就是說有點高知感內味兒了啊！

此外，相比傳統的「拍照—發送—提問—再拍照—再提問」的多鏈路操作，這樣的視頻通話方式更像一次持續在線的理解過程，讓信息交流本身保持連貫，也更貼近人與人之間的溝通方式。

當畫面理解、講解輸出、主動交互三者同步進行時，整個講解過程自然也就擺脫了單點問答的節奏，而是變成了一個絲滑連貫的持續體驗。

說實話，這真的很接近我心目中最理想的逛展狀態了。

不夠用的知識，現場直接補全

除了懂藏品、會講解之外，這個AI講解員還有一個很厲害的業務本領——在逛展過程中能實時調用工具補充知識。

一旦聊到藏品更深層背景、已經超出常規講解范圍的問題時，豆包并不會卡殼，它會在視頻通話持續進行的同時，自主去查資料，把相關信息順著當前畫面即時補充進來：

• 豆包，這類圖案在當時屬于日常用品，還是只有貴族才能用？現在還有人在用這種圖案嗎？

豆包不僅自主調用公域網絡和知識庫進行了資料的實時搜索，還能將查到的內容直接融入到我和它的視頻通話中，整個過程幾乎感受不到「它在后臺幫我查資料」的存在感。

持續主動的視覺感知，隨時補位的知識儲備，超有活人感的說話方式，這AI講解員豆包的業務水平是真能打啊…

入職浦美，豆包靠的是什么？

我們在驚嘆之余，也不禁會問：它這一身過人的本事到底哪兒來的？

答案，其實指向了背后模型的核心能力——VLM（視覺語言理解）。

在豆包大模型家族里，目前視覺理解表現最頂尖的，是近期在火山冬季Force大會上發布的豆包大模型1.8（Doubao-Seed-1.8）。

當然，豆包能夠擔任「AI講解員」，優勢并不來自某一個單點能力，而在于豆包大模型1.8整體具備了更成熟的多模態處理能力，在信息檢索、代碼編寫，以及需要直接操作圖形用戶界面的交互場景中，它都能穩定應對較為復雜的任務流程。

具體來說，在多模態推理任務中，豆包大模型1.8的整體完成度距離上一代模型有顯著提升，這也意味著模型在理解畫面內容時，不再只停留在識別層面，而是更容易形成整體判斷。

此外，在視頻理解能力上，豆包大模型1.8在涉及視頻推理、運動與感知、長視頻理解的任務里，也都展現出了較強的適應性，面對畫面持續變化的情況，也能更好地跟住節奏、抓住重點：

豆包大模型1.8能夠在視頻流場景下很好地完成實時交互。比如在用戶操作過程中，模型既能結合實時視覺內容，對用戶的提問與指令做出即時響應，又能主動監測畫面中的物體與動作。

發起聊天或提醒同時，模型的回復過程完全不阻塞視覺信號輸入，可實現邊感知邊反饋的持續監控。

這也是為什么豆包能夠成為一個優秀的「逛展搭子」。

此外，這個模型在「GUI Agent」能力上的表現也是可圈可點，之前爆火的“豆包手機”的操作能力，就是基于這一模型的支持。

在搜索任務層面，這款模型的表現同樣突出，在部分測試維度中，它的成績超過了Gemini-3-Pro等一線模型，在多組公開的Agent搜索評測中，整體水平穩定處在行業第一梯隊。

再往更復雜的場景走，在智能編程以及高經濟價值工作流相關評測中，該模型也展現出了面向真實軟件工程和現實業務流程的穩定執行能力：

（emm…這也就不難理解為什么豆包在信息檢索和判斷環節反應又快又準了？？）

當然了，豆包大模型1.8的優勢可不是僅僅體現在聰明的大腦，它在語言理解這條能力線上，同樣具備扎實的基礎。

在多項公開的「LLM」基準測試中，它長期維持在第一梯隊水位，在數學、推理、復雜指令理解和知識掌握等核心能力上，已經接近當前頂尖通用模型的水平。

同時，在更偏向實際應用的場景里，它在信息處理、意圖識別、關鍵信息提取，以及復雜工作流的理解和執行上，也展現出了穩定的競爭力。

目前，豆包大模型1.8（Doubao-Seed-1.8）不僅通過豆包App向用戶提供圖像理解、視頻理解等能力，還通過火山方舟提供API服務。

話說回來，落到實際體驗中，我們最直觀的感受是：在和豆包打視頻電話時，它的交流方式更接近人與人之間的交流節奏，回應銜接自然，幾乎不會讓人意識到自己是在和一個AI對話。

當復雜指令可以被穩定執行，推理過程足夠可靠，多模態理解又能持續跟住畫面變化，在一個視頻通話窗口里，把「看、聽、想、講」完整串起來，也就成了一件順理成章的事。

這一趟藝術展逛下來，我最大的感觸其實不在于看展本身，而是突然意識到一件事：AI開始真正具備「感知力」了。

在實時視頻通話這樣的高動態場景中，AI需要同時處理視覺、語音、上下文語境，以及不斷變化的交互焦點，還要在被頻繁打斷和追問的情況下保持邏輯完整性，這本身就是對多模態模型綜合能力的極限考驗。

而豆包，已經開始通過實時視頻交互的方式，參與進具體生活場景中，逐步承擔起一種新的角色——陪你一起看、一起想、一起理解。

當知識問答不再只是識別圖片或理解語音，而是能在真實場景中持續工作，AI視頻通話這件事，才真正從「能用」走向「好用」。

以后再遇到那些看不懂、想不通、想找人聊天的時刻，可能真的只差——掏出手機，給豆包打個視頻電話了。