豆包與浦東美術(shù)館達(dá)成合作，成為盧浮宮、畢加索雙展官方AI講解員

1月20日，字節(jié)跳動(dòng)旗下豆包與上海浦東美術(shù)館達(dá)成合作，成為該館兩項(xiàng)國(guó)際大展——“圖案的奇跡：盧浮宮印度、伊朗與奧斯曼的藝術(shù)杰作”與“非常畢加索：保羅?史密斯的新視角”的官方AI講解員。雙方通過(guò)獨(dú)家數(shù)據(jù)合作和定向搜索優(yōu)化，進(jìn)一步提升了豆包識(shí)別和講解的準(zhǔn)確性。這是AI產(chǎn)品首次成為美術(shù)館的官方講解工具。

展覽期間，觀眾可隨時(shí)通過(guò)豆包App的“視頻通話”功能或拍照提問(wèn)方式，獲取針對(duì)具體展品的專(zhuān)業(yè)講解，即使輕聲提問(wèn)，豆包也能準(zhǔn)確識(shí)別。同時(shí)，豆包還提供通用和親子兩種解說(shuō)風(fēng)格。

“圖案的奇跡”是盧浮宮在中國(guó)舉辦的規(guī)模最大的展覽，匯集來(lái)自印度、伊朗與奧斯曼帝國(guó)的約300件16世紀(jì)至19世紀(jì)藝術(shù)珍品，涵蓋陶瓷、珠寶、地毯等多種類(lèi)型。“非常畢加索”則是巴黎畢加索博物館國(guó)際巡展的中國(guó)首站，展出80件畢加索代表作品，空間由英國(guó)設(shè)計(jì)大師保羅?史密斯特別設(shè)計(jì)，構(gòu)成國(guó)內(nèi)迄今最完整的畢加索藝術(shù)呈現(xiàn)。

陸家嘴集團(tuán)副總經(jīng)理、浦東美術(shù)館董事長(zhǎng)李旻坤表示，此次浦東美術(shù)館與豆包的跨界合作讓觀眾可以借助AI與藝術(shù)家隔空對(duì)話、解鎖展覽背后的故事，實(shí)現(xiàn)藝術(shù)的“千人千面”，美育資源也將突破時(shí)空限制。“我們希望AI解說(shuō)能夠成為連接觀眾與國(guó)際藝術(shù)瑰寶之間的智慧紐帶，希望豆包讓看展更美好。”

發(fā)布會(huì)現(xiàn)場(chǎng)，字節(jié)跳動(dòng)副總裁朱駿也就豆包看展體驗(yàn)和媒體人陳魯豫進(jìn)行了對(duì)談。朱駿表示，AI和用戶(hù)的交互本質(zhì)上是一種對(duì)話體驗(yàn)。在觀展過(guò)程中，希望豆包通過(guò)共情式的提問(wèn)和啟發(fā)式的對(duì)話，把用戶(hù)已有的感受和經(jīng)驗(yàn)調(diào)動(dòng)出來(lái)，形成更有參與感的理解過(guò)程。

在觀展過(guò)程中，用戶(hù)可以讓豆包從藝術(shù)風(fēng)格、歷史背景、創(chuàng)作技法與文化意義等多個(gè)維度，對(duì)作品進(jìn)行解讀。例如，當(dāng)觀眾在“非常畢加索”展廳面對(duì)畢加索的《閱讀》時(shí)，可以向豆包提問(wèn)“畫(huà)面中寧?kù)o的氛圍是如何營(yíng)造的”。豆包會(huì)結(jié)合畫(huà)作創(chuàng)作于1932年的特定背景，分析其中柔和曲線與鮮明色塊如何共同塑造出私密而寧?kù)o的閱讀場(chǎng)景，闡述這一時(shí)期畢加索以其繆斯瑪麗–特蕾茲·瓦爾特為靈感的創(chuàng)作風(fēng)格特征，如何在具象與變形之間取得平衡。

此前，豆包就曾與中國(guó)國(guó)家博物館、中國(guó)錢(qián)幣博物館、河南博物院、山東博物館、安徽博物院、成都博物館以及洛陽(yáng)博物館七家國(guó)家一級(jí)博物館達(dá)成合作，共同打造數(shù)字化看展體驗(yàn)區(qū)。

豆包逛展項(xiàng)目負(fù)責(zé)人表示：“在博物館場(chǎng)景中運(yùn)用AI講解，最大的挑戰(zhàn)是保證內(nèi)容的準(zhǔn)確性。模型不僅要能區(qū)分外觀高度相似的文物、理解小眾且缺乏公開(kāi)資料的展品，還要能在觀眾移動(dòng)觀展、從不同角度和距離觀察同一件展品時(shí)，始終保持穩(wěn)定識(shí)別。”她舉例說(shuō)明：“比如這次展覽中有一件伊朗15世紀(jì)的《牡丹紋盤(pán)》，其風(fēng)格與明代永樂(lè)年間的青花牡丹紋盤(pán)非常接近，這就要求模型必須從細(xì)節(jié)入手進(jìn)行精準(zhǔn)區(qū)分。”

伊朗15世紀(jì)《牡丹紋盤(pán)》

明代永樂(lè)年間（1403-1424年在位）青花牡丹紋盤(pán)

據(jù)悉，為實(shí)現(xiàn)展覽場(chǎng)景下的高可靠講解，豆包與浦東美術(shù)館通過(guò)獨(dú)家數(shù)據(jù)合作與定向搜索優(yōu)化，進(jìn)一步提升了其在文物識(shí)別與內(nèi)容講解方面的準(zhǔn)確性，并在交互中支持連續(xù)、深入追問(wèn)。例如，在“圖案的奇跡”展廳，當(dāng)觀眾對(duì)伊朗17世紀(jì)中葉的《賽詩(shī)會(huì)飾板》的畫(huà)面場(chǎng)景感到好奇時(shí)，只需向豆包提問(wèn)，它便能從畫(huà)面所描繪的特定波斯文學(xué)場(chǎng)景講起，并進(jìn)一步說(shuō)明這類(lèi)藝術(shù)品在當(dāng)時(shí)宮廷與文人生活中的文化功能。若觀眾追問(wèn)“這種技法特別在哪里”，豆包可立即切換到對(duì)其材質(zhì)與技法細(xì)節(jié)的補(bǔ)充說(shuō)明，剖析細(xì)密畫(huà)所采用的礦物顏料、金箔貼飾等精微工藝，說(shuō)明其何以體現(xiàn)薩法維王朝的藝術(shù)巔峰。若觀眾在此過(guò)程中追問(wèn)“畫(huà)中詩(shī)人可能吟誦的是什么內(nèi)容”，豆包可順勢(shì)切入對(duì)波斯詩(shī)歌美學(xué)與哲學(xué)內(nèi)涵的延伸解讀，真正實(shí)現(xiàn)“即看即問(wèn)、即問(wèn)即答”的智能導(dǎo)覽體驗(yàn)。

《賽詩(shī)會(huì)飾板》伊朗 17世紀(jì)中葉

相關(guān)項(xiàng)目負(fù)責(zé)人介紹，視頻講解功能基于Seed1.8模型的視頻理解能力。目前Seed1.8在視頻感知、流式、視頻理解方面都達(dá)到了 SOTA 水平。它不再局限于“拍圖、發(fā)送、提問(wèn)，再拍圖、再提問(wèn)”的模式，而是能持續(xù)理解觀眾眼前不斷變化的視角和場(chǎng)景，從而實(shí)現(xiàn)連續(xù)、自然、像人一樣的對(duì)話交互。

豆包逛展項(xiàng)目負(fù)責(zé)人在發(fā)布會(huì)現(xiàn)場(chǎng)

著名藝術(shù)家陳丹青與北京大學(xué)教授、藝術(shù)史學(xué)者朱青生表示，AI已深度參與到了他的日常工作中，豆包已經(jīng)成為他工作的助手。但同時(shí)他也表示，人文精神是人所特有的，它永遠(yuǎn)在AI之外，隨著AI的發(fā)展，人們也更應(yīng)珍惜它所不能到的地方。

1月20日下午1點(diǎn)至晚上9點(diǎn)，浦東美術(shù)館與豆包面向公眾舉辦AI解說(shuō)主題體驗(yàn)日活動(dòng)。當(dāng)日，觀眾在現(xiàn)場(chǎng)體驗(yàn)豆包AI導(dǎo)覽，并參與現(xiàn)場(chǎng)互動(dòng)環(huán)節(jié)。此外，為深化公眾對(duì)展覽的理解，著名藝術(shù)家陳丹青與北京大學(xué)教授、藝術(shù)史學(xué)者朱青生也于當(dāng)日下午在館內(nèi)舉行兩場(chǎng)主題講座，分別圍繞“展覽與時(shí)差”與“畢加索的藝術(shù)史貢獻(xiàn)”展開(kāi)分享。

此次豆包與浦東美術(shù)館的合作，標(biāo)志著AI技術(shù)在專(zhuān)業(yè)藝術(shù)普及領(lǐng)域的進(jìn)一步落地。通過(guò)提供可交互、可拓展、個(gè)性化的導(dǎo)覽服務(wù)，AI產(chǎn)品將為觀眾帶來(lái)兼具深度與趣味的觀展新體驗(yàn)，推動(dòng)藝術(shù)文化傳播與互動(dòng)體驗(yàn)融合。