五秒鐘！完美補(bǔ)全千年壁畫

王格 中青報·中青網(wǎng)記者孫海華

點(diǎn)擊上傳一張左下角缺損的永樂宮《朝元圖》壁畫中諸神持笏朝拜的局部圖，僅僅大約5秒鐘后，系統(tǒng)就可將缺損處修補(bǔ)完好，肉眼難以看出補(bǔ)全痕跡。這便是西安電子科技大學(xué)人工智能學(xué)院焦李成教授團(tuán)隊研發(fā)的“絲路逸旅：文旅資源修復(fù)與生成基礎(chǔ)模型”。

不僅能智能“診斷”，還能助力現(xiàn)實“補(bǔ)全”

對于毫無歷史、考古等專業(yè)背景的團(tuán)隊來說，在沒有高質(zhì)量原圖參考的情況下，如何將壁畫修補(bǔ)正確且具備歷史性、藝術(shù)性，是面臨的第一個難題。

要想修補(bǔ)得好，首先得對壁畫有正確的“診斷”。

為解決傳統(tǒng)病害勘察依賴人工、效率低且診斷難的痛點(diǎn)，“絲路逸旅”模型搭載起了“壁畫病害檢測與分析”方案，從壁畫病害的檢測、分析到修復(fù)方案的生成，全過程都可實現(xiàn)無人工干預(yù)的自動化智能處理。

生成式大模型知識引導(dǎo)壁畫補(bǔ)全流程示意圖。西安電子科技大學(xué)供圖

當(dāng)把有所殘缺的《唐惠妃武氏墓山水屏風(fēng)》和《韓休墓山水圖》電子版依次上傳到系統(tǒng)中，便可一鍵生成圖文并茂的文物“體檢報告”。

這份“報告”中，可以很清晰地看到系統(tǒng)用藍(lán)色、紫色、白色和黑色在原圖中的標(biāo)注，這些標(biāo)注色彩分別代表剝落、褪色、霉斑、裂縫等病害，在對相應(yīng)區(qū)域給出壁畫病害類別定義、病害程度分析的同時，還提出了“霉斑去除”“補(bǔ)充線條”等對策，甚至可以給出使用何種礦物顏料進(jìn)行填補(bǔ)的精細(xì)化建議。

實驗室里，團(tuán)隊成員、博士二年級學(xué)生高子涵熟練進(jìn)行著演示，“這個方案以視覺分割網(wǎng)絡(luò)和多模態(tài)基礎(chǔ)模型為內(nèi)核，能夠?qū)崿F(xiàn)對裂縫、剝落等病害區(qū)域的像素級精準(zhǔn)識別，并通過知識檢索增強(qiáng)技術(shù)關(guān)聯(lián)考古文獻(xiàn)，給出分析和應(yīng)對建議，不僅為數(shù)字化修復(fù)開出‘藥方’，還能為現(xiàn)實中的壁畫修補(bǔ)提供一定的輔助”。

高效壁畫病害檢測示例圖。西安電子科技大學(xué)供圖

基于這樣一份全面的“體檢報告”，系統(tǒng)不僅能對因病害導(dǎo)致的褪色、模糊等問題進(jìn)行修復(fù)，還可對缺損的部分進(jìn)行補(bǔ)全。

“我們國家的歷史朝代多，不同時期的壁畫、器物等都具有不同的歷史特征，所以我們在前期花費(fèi)了大量時間用于數(shù)據(jù)和信息的收集，整個過程需要反復(fù)驗證，以保證修復(fù)后的準(zhǔn)確度。”團(tuán)隊成員、博士二年級學(xué)生王子韜介紹，“對于壁畫文物中無法考證的缺失部分，我們和華清宮文保中心聯(lián)合提出了基于生成式大模型知識引導(dǎo)的壁畫補(bǔ)全方法”。

生成式大模型就像一位善于學(xué)習(xí)的優(yōu)秀學(xué)生，可以廣泛涉獵、準(zhǔn)確理解學(xué)習(xí)到的歷史文獻(xiàn)和考古資料，并把所學(xué)到的內(nèi)容進(jìn)行結(jié)構(gòu)化梳理，應(yīng)用到模型對壁畫的修補(bǔ)過程中，從而確保補(bǔ)全內(nèi)容在藝術(shù)風(fēng)格、器物形制等方面均符合歷史事實與審美規(guī)范。

個性化定制，提升文旅新體驗

在進(jìn)行壁畫“查—修—補(bǔ)”的過程中，團(tuán)隊成員開始越來越多地了解陜西歷史文化，也開始思考如何能讓游客擁有更好的文旅體驗。

“請幫我搜集信息，給出完整的旅游規(guī)劃：我想在西安安排3天的旅游行程，我患有‘三高’，還有兩個孩子，想在西安這個‘碳水之城’盡可能玩得痛快，應(yīng)該如何安排飲食？規(guī)劃的路線希望既適當(dāng)又不累，還能讓孩子體驗Citywalk，讓旅途的文化體驗感、科技體驗感都‘拉滿’？”輸入這樣一段需求，“絲路逸旅”大模型會很快從行程總覽、飲食建議、行程特色、交通建議、注意事項等方面，生成一份詳盡的定制版旅行攻略。

“相比其他大模型，我們會更精準(zhǔn)。”團(tuán)隊成員、博士二年級學(xué)生張潔解釋，得益于與當(dāng)?shù)匚穆貌块T的合作，“絲路逸旅”大模型獲取的信息會更加全面、準(zhǔn)確。“除了用文字提問，還可以上傳照片，大模型都可以為大家進(jìn)行多語種解答。”

以“瓊漿”為例的模型流程示意圖。西安電子科技大學(xué)供圖

上傳一張《黑神話：悟空》游戲中的“瓊漿”道具圖片，模型即可通過圖片檢索，發(fā)現(xiàn)其類似來通杯（流行于古代亞歐大陸的角狀飲酒器），指出在陜西歷史博物館中有相似展品“鑲金獸首瑪瑙杯”，定位出其珍藏于博物館負(fù)一層，并給出路徑規(guī)劃建議，還可對來通杯的歷史來源進(jìn)行問答和講解。

這一模型將“人找信息”變?yōu)椤靶畔⒄胰恕保瑸橛慰吞峁└哔|(zhì)量的定制化伴隨化智能服務(wù)。“經(jīng)過與陜西旅游集團(tuán)有限公司深度合作，我們面向游客需求，不斷更新模型，不僅可以為游客旅行前和旅行中提供攻略、文博知識講解，還與西安市漢服文化協(xié)會等聯(lián)合打造AI古風(fēng)換裝、AI盲盒設(shè)計等服務(wù)。”團(tuán)隊指導(dǎo)老師劉旭介紹。

古畫換裝與3D生成示意圖。西安電子科技大學(xué)供圖

據(jù)了解，未來，團(tuán)隊將依托人工智能、大數(shù)據(jù)與多模態(tài)感知等技術(shù)，在歷史文化遺產(chǎn)數(shù)字化保護(hù)、文旅資源智能推薦、沉浸式交互體驗等方向持續(xù)探索，同時拓展與更多地方文旅部門的合作，用“西電方案”助力智能化文物修復(fù)，推動優(yōu)秀歷史文化的創(chuàng)新傳播與可持續(xù)發(fā)展。

來源：中國青年報客戶端