綜述：多模態(tài)大型語言模型

多模態(tài)大型語言模型：綜述

Multimodal Large Language Models : A Survey

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5314015

摘要：

多模態(tài)大語言模型（Multimodal Large Language Models, MLLMs）代表了人工智能領(lǐng)域的一項重大進(jìn)展，其將文本、圖像、音頻和視頻等多種模態(tài)整合到一個統(tǒng)一的框架中。本綜述全面概述了MLLMs，考察了其模型架構(gòu)、訓(xùn)練方法、應(yīng)用場景及所面臨的挑戰(zhàn)。我們探討了實(shí)現(xiàn)跨模態(tài)能力的基礎(chǔ)技術(shù)，包括自監(jiān)督學(xué)習(xí)（Self-Supervised Learning, SSL）、混合專家模型（Mixture of Experts, MoE）、基于人類反饋的強(qiáng)化學(xué)習(xí)（Reinforcement Learning from Human Feedback, RLHF）以及思維鏈（Chain-of-Thought, CoT）提示等。此外，本文還梳理了MLLMs的發(fā)展歷程，重點(diǎn)介紹了關(guān)鍵模型及其對領(lǐng)域的貢獻(xiàn)。綜述同時討論了MLLMs當(dāng)前的局限性與未來發(fā)展方向，強(qiáng)調(diào)了開發(fā)高效、可解釋且具有良好泛化能力模型的必要性。

關(guān)鍵詞：多模態(tài)大語言模型，視覺語言模型，大語言模型，自監(jiān)督學(xué)習(xí)，混合專家模型，基于人類反饋的強(qiáng)化學(xué)習(xí)，思維鏈提示，跨模態(tài)能力，模型架構(gòu)，訓(xùn)練方法，應(yīng)用，挑戰(zhàn)，未來方向。

引言
人工智能（AI）領(lǐng)域隨著大語言模型（Large Language Models, LLMs）的發(fā)展取得了顯著進(jìn)展，例如GPT-3和BERT等模型在理解和生成人類語言方面展現(xiàn)出卓越的能力［1］。這些模型主要聚焦于基于文本的任務(wù)，在自然語言處理（NLP）應(yīng)用中表現(xiàn)優(yōu)異，如文本生成、情感分析和語言翻譯等。然而，其對文本的單一關(guān)注限制了它們在現(xiàn)實(shí)場景中的適用性——現(xiàn)實(shí)場景通常涉及多種模態(tài)，如圖像、音頻和視頻。

為應(yīng)對這些局限性，多模態(tài)大語言模型（Multimodal Large Language Models, MLLMs）的研發(fā)已成為一個關(guān)鍵研究方向。這類模型旨在通過將文本、視覺內(nèi)容，甚至音頻和視頻整合到一個統(tǒng)一的框架中，彌合不同數(shù)據(jù)類型之間的鴻溝。通過融合來自多種模態(tài)的信息，MLLMs能夠提供更全面的理解與生成能力，從而適用于更廣泛的應(yīng)用場景［2］。例如，視覺問答、圖像描述生成和多模態(tài)對話系統(tǒng)等任務(wù)均受益于MLLMs處理和理解多模態(tài)數(shù)據(jù)的能力，不僅提升了模型響應(yīng)的質(zhì)量，也增強(qiáng)了交互式人工智能系統(tǒng)中的用戶體驗［3］。

MLLMs利用先進(jìn)的架構(gòu)和訓(xùn)練技術(shù)來應(yīng)對多模態(tài)數(shù)據(jù)的復(fù)雜性。諸如Transformer和視覺Transformer（Vision Transformers, ViTs）等架構(gòu)已被改進(jìn)以同時處理文本和圖像數(shù)據(jù)，使模型能夠理解不同模態(tài)之間的關(guān)聯(lián)［4］。此外，自監(jiān)督學(xué)習(xí)（Self-Supervised Learning, SSL）和對比學(xué)習(xí)（contrastive learning）等技術(shù)被用于在大規(guī)模多模態(tài)數(shù)據(jù)集上對模型進(jìn)行預(yù)訓(xùn)練，從而提升其在各類任務(wù)中的泛化能力［5］。

盡管潛力巨大，MLLMs在實(shí)現(xiàn)廣泛應(yīng)用之前仍面臨若干挑戰(zhàn)。其中一個主要障礙是缺乏大規(guī)模、多樣化且高質(zhì)量的多模態(tài)數(shù)據(jù)集，而這類數(shù)據(jù)集對于訓(xùn)練能夠理解并處理多種信息來源的模型至關(guān)重要。此外，MLLMs的訓(xùn)練還面臨高昂的計算成本問題，因為高效處理多模態(tài)數(shù)據(jù)需要大量計算資源。再者，模型的可解釋性與公平性仍是關(guān)鍵關(guān)切點(diǎn)，尤其是在醫(yī)療健康和自動駕駛等敏感領(lǐng)域部署時尤為突出［6］。

1. 架構(gòu)基礎(chǔ)

多模態(tài)大語言模型（Multimodal Large Language Models, MLLMs）的架構(gòu)在高效整合與處理跨模態(tài)數(shù)據(jù)方面起著至關(guān)重要的作用。這些模型需要專門設(shè)計的架構(gòu)，以應(yīng)對多模態(tài)學(xué)習(xí)中固有的復(fù)雜性。下文將討論已成為MLLMs發(fā)展核心的關(guān)鍵架構(gòu)基礎(chǔ)。

基于Transformer的架構(gòu)

Transformer已成為自然語言處理（NLP）和計算機(jī)視覺（CV）領(lǐng)域眾多最先進(jìn)模型的骨干架構(gòu)。最初由Vaswani等人提出用于機(jī)器翻譯［7］，Transformer依賴于自注意力機(jī)制，使模型能夠根據(jù)輸入序列中不同部分的重要性進(jìn)行加權(quán)，而不受其位置限制。該架構(gòu)在處理序列數(shù)據(jù)方面極為有效，并顯著推動了多模態(tài)模型的發(fā)展。

在MLLMs的背景下，Transformer通過提供一個可擴(kuò)展且靈活的框架，促進(jìn)了不同模態(tài)的融合。例如，Radford等人提出的CLIP模型（Contrastive Language–Image Pretraining）利用Transformer將視覺和文本信息投影到一個共享的潛在空間中，從而實(shí)現(xiàn)圖像與文本的對齊，支持零樣本圖像分類和圖文檢索等任務(wù)。CLIP等基于Transformer的架構(gòu)所取得的成功，凸顯了其通過統(tǒng)一表征處理和理解多模態(tài)數(shù)據(jù)的潛力，并展示了其在圖像描述生成、視覺問答和跨模態(tài)檢索等多模態(tài)任務(wù)中的強(qiáng)大能力。

此外，Transformer還具備良好的可擴(kuò)展性，使其能夠利用大規(guī)模數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練和微調(diào)，這對于MLLMs在多樣化任務(wù)上實(shí)現(xiàn)高性能至關(guān)重要。掩碼語言建模（masked language modeling）和對比學(xué)習(xí)（contrastive learning）等方法的引入，進(jìn)一步拓展了Transformer從海量非結(jié)構(gòu)化數(shù)據(jù)中學(xué)習(xí)的能力，增強(qiáng)了其多模態(tài)學(xué)習(xí)性能。

視覺Transformer（Vision Transformers, ViTs）

視覺Transformer（ViTs）通過將圖像建模為圖像塊（patches）序列，為圖像數(shù)據(jù)處理提供了一種新穎的方法——這與Transformer處理文本的方式類似。起初，卷積神經(jīng)網(wǎng)絡(luò)（CNNs）主導(dǎo)了圖像相關(guān)任務(wù)，但ViTs通過捕捉圖像塊之間的長程依賴關(guān)系，在圖像分類及其他計算機(jī)視覺任務(wù)中展現(xiàn)出卓越的性能［4］。

與CNN相比，ViTs具有顯著優(yōu)勢，尤其是在建模圖像中相距較遠(yuǎn)區(qū)域之間的全局關(guān)系方面。通過將圖像塊視為序列，ViTs能夠?qū)W習(xí)比傳統(tǒng)基于卷積的方法更豐富的表征，從而在需要捕捉復(fù)雜視覺模式的任務(wù)中實(shí)現(xiàn)更優(yōu)性能。

在MLLMs的背景下，ViTs在處理和理解視覺信息方面發(fā)揮著關(guān)鍵作用，使得文本輸入能夠以提升整體多模態(tài)理解的方式被整合進(jìn)來。例如，視覺-語言Transformer（Vision-and-Language Transformer, ViLT）等模型利用視覺Transformer同時處理圖像和文本輸入，從而在圖像描述生成、視覺問答和視覺推理等任務(wù)上取得改進(jìn)［8］。ViTs能夠無縫集成到多模態(tài)框架中，顯著提升了模型的整體效能，尤其在處理高分辨率圖像和更復(fù)雜的視覺數(shù)據(jù)時表現(xiàn)突出。

統(tǒng)一架構(gòu)
近期的進(jìn)展催生了能夠在單一框架內(nèi)同時處理多種模態(tài)的統(tǒng)一架構(gòu)。這些架構(gòu)旨在跨模態(tài)共享表征，并采用交叉注意力（cross-attention）等機(jī)制，對來自圖像、文本甚至音頻等不同來源的信息進(jìn)行對齊與融合。統(tǒng)一架構(gòu)在需要多模態(tài)推理與理解的復(fù)雜任務(wù)中，有望生成更加連貫且具備上下文感知能力的輸出。

例如，F(xiàn)lamingo 和 Gemini 等模型采用共享表征，在單一模型中處理多模態(tài)輸入，并利用交叉注意力機(jī)制實(shí)現(xiàn)跨模態(tài)特征的對齊。特別是 Flamingo，它利用少樣本學(xué)習(xí)（few-shot learning）以極少的監(jiān)督信息快速適應(yīng)新任務(wù)，從而有效實(shí)現(xiàn)對多種模態(tài)的理解與推理［9］。這類統(tǒng)一架構(gòu)在多模態(tài)對話系統(tǒng)、圖文檢索和跨模態(tài)推理等任務(wù)中，促進(jìn)了更自然、更具上下文感知能力的交互。

統(tǒng)一架構(gòu)不僅增強(qiáng)了模型的多模態(tài)能力，還減少了為每種模態(tài)單獨(dú)構(gòu)建模型的需求。這使其在現(xiàn)實(shí)世界應(yīng)用中尤為具有吸引力——在這些應(yīng)用中，高效整合多模態(tài)數(shù)據(jù)對于系統(tǒng)成功至關(guān)重要。例如，OpenAI 的 GPT-4 能夠同時處理文本和圖像，充分展示了統(tǒng)一架構(gòu)在彌合視覺與語言處理之間鴻溝方面的有效性［10］。

1. 訓(xùn)練方法

   
   多模態(tài)大語言模型（Multimodal Large Language Models, MLLMs）的訓(xùn)練涉及一系列復(fù)雜的方法論，使這些模型能夠有效處理并融合來自多種模態(tài)（如文本、圖像和音頻）的數(shù)據(jù)。這些訓(xùn)練技術(shù)在提升MLLMs的性能、可擴(kuò)展性和效率方面發(fā)揮了關(guān)鍵作用。以下各節(jié)將討論在MLLMs開發(fā)中應(yīng)用的一些核心訓(xùn)練方法。

自監(jiān)督學(xué)習(xí)（Self-Supervised Learning, SSL）
自監(jiān)督學(xué)習(xí)（SSL）已成為一種無需標(biāo)注數(shù)據(jù)即可高效訓(xùn)練模型的技術(shù)。該方法對MLLMs尤其有益，因為MLLMs需要處理大規(guī)模多模態(tài)數(shù)據(jù)集，而為這些數(shù)據(jù)集進(jìn)行人工標(biāo)注往往耗時且昂貴。在SSL中，模型通過輸入數(shù)據(jù)的一部分來預(yù)測另一部分，從而構(gòu)建一個不依賴顯式標(biāo)簽的預(yù)設(shè)任務(wù)（pretext task）。

在MLLMs的背景下，SSL使模型能夠利用數(shù)據(jù)內(nèi)在的結(jié)構(gòu)，學(xué)習(xí)到豐富且高層次的表征。例如，在視覺-語言模型中，對比學(xué)習(xí)（contrastive learning）等SSL技術(shù)允許模型通過預(yù)測不同模態(tài)之間的關(guān)系，學(xué)習(xí)圖像與文本描述之間的關(guān)聯(lián)［1］。這種方法對于在大量未標(biāo)注數(shù)據(jù)上預(yù)訓(xùn)練MLLMs至關(guān)重要，使其能夠理解復(fù)雜的多模態(tài)關(guān)系，并在極少監(jiān)督的情況下適應(yīng)新任務(wù)。CLIP和SimCLR的成功便是SSL技術(shù)應(yīng)用于視覺-語言融合的典型范例，這些模型能夠從海量未標(biāo)注的視覺和文本數(shù)據(jù)中有效學(xué)習(xí)［4］。

混合專家模型（Mixture of Experts, MoE）混合專家模型（MoE）是一種在神經(jīng)網(wǎng)絡(luò)中引入動態(tài)路由機(jī)制的技術(shù)，其中針對每個輸入僅激活模型參數(shù)的一個子集——即所謂的“專家”。這種方法在保持模型學(xué)習(xí)復(fù)雜表征能力的同時，顯著降低了大規(guī)模模型的訓(xùn)練計算成本。MoE 對多模態(tài)模型尤其有益，因為融合多種模態(tài)通常需要龐大的模型架構(gòu)。

在 MLLMs 中，MoE 通過為不同類型輸入（如文本、圖像或音頻）激活不同的參數(shù)子集，實(shí)現(xiàn)了高效的模型擴(kuò)展。這種動態(tài)路由機(jī)制使 MLLMs 能夠更高效地處理多模態(tài)數(shù)據(jù)，同時不犧牲性能［11］。例如，在 Switch Transformers——一種先進(jìn)的 MoE 模型中——每個輸入僅激活少數(shù)專家，大幅降低了計算需求，同時仍能勝任圖像描述生成、跨模態(tài)檢索和多模態(tài)推理等復(fù)雜任務(wù)［12］。這類模型在處理多模態(tài)數(shù)據(jù)方面取得了顯著成果，同時提升了訓(xùn)練效率和推理速度。

基于人類反饋的強(qiáng)化學(xué)習(xí)（Reinforcement Learning from Human Feedback, RLHF）

基于人類反饋的強(qiáng)化學(xué)習(xí)（RLHF）是一種利用人類評估者提供的反饋對模型進(jìn)行微調(diào)的技術(shù)。該方法使模型能夠更好地與人類偏好對齊，特別適用于模型輸出需符合主觀人類判斷的應(yīng)用場景。對于 MLLMs 而言，RLHF 可用于預(yù)訓(xùn)練后的精調(diào)階段，確保生成的響應(yīng)在語境上恰當(dāng)，并符合用戶預(yù)期。

在實(shí)踐中，RLHF 通常由人類評估者對模型輸出的質(zhì)量進(jìn)行評分，這些評分隨后作為強(qiáng)化學(xué)習(xí)的反饋信號。這一反饋閉環(huán)使模型逐步學(xué)會生成更準(zhǔn)確、更接近人類表達(dá)的響應(yīng)。例如，GPT-3 及類似模型已采用 RLHF 來優(yōu)化特定任務(wù)的響應(yīng)，如在多模態(tài)對話系統(tǒng)中生成相關(guān)答案，或改進(jìn)圖像描述的生成質(zhì)量［13］。在醫(yī)療或客戶服務(wù)等高風(fēng)險領(lǐng)域，融入人類反饋至關(guān)重要，因為在這些場景中，生成恰當(dāng)、富有同理心且具備上下文感知能力的回應(yīng)具有極高價值。

思維鏈提示（Chain-of-Thought, CoT Prompting）

思維鏈提示（CoT）是一種鼓勵模型在得出最終答案前生成中間推理步驟的技術(shù)。該方法提升了 MLLMs 在解決需要邏輯推理或多步問題求解的復(fù)雜任務(wù)時的可解釋性與可靠性。通過生成中間步驟，模型能夠清晰展現(xiàn)其推理過程，使人們更容易追溯并理解其結(jié)論的形成路徑。

在實(shí)踐中，CoT 提示在多模態(tài)推理任務(wù)中尤為有效，例如視覺問答（Visual Question Answering, VQA）或多模態(tài)對話，這些任務(wù)要求模型同時處理并推理來自文本和圖像的信息。近期關(guān)于 CoT 提示的研究表明，將推理過程分解為更小的步驟，能夠顯著提升模型在涉及邏輯推理和復(fù)雜問題求解任務(wù)中的表現(xiàn)［14］。此外，思維鏈推理增強(qiáng)了模型輸出的透明度，這對于醫(yī)療或自動駕駛等需要高度決策可問責(zé)性的應(yīng)用場景至關(guān)重要［15］。

1. 應(yīng)用多模態(tài)大語言模型（Multimodal Large Language Models, MLLMs）通過整合與處理來自多種模態(tài)的信息，在眾多領(lǐng)域展現(xiàn)出顯著進(jìn)展。其處理并融合文本、圖像、音頻和視頻的能力，使其在從視覺問答（Visual Question Answering, VQA）到跨模態(tài)檢索（Cross-Modal Retrieval）等多樣化應(yīng)用中表現(xiàn)出色。以下各節(jié)將討論MLLMs產(chǎn)生重大影響的關(guān)鍵應(yīng)用場景。

視覺問答（Visual Question Answering, VQA）

視覺問答任務(wù)要求模型基于視覺輸入（如圖像或視頻）回答相關(guān)問題。在該領(lǐng)域，MLLMs通過融合視覺與文本信息，生成更準(zhǔn)確且語境相關(guān)的答案，取得了顯著進(jìn)展。傳統(tǒng)的單模態(tài)模型（例如僅處理文本或僅處理圖像的模型）難以捕捉兩種模態(tài)之間的關(guān)聯(lián)；而MLLMs能夠同時處理這兩種模態(tài)，從而更深入地理解問題及其對應(yīng)的視覺內(nèi)容。

例如，在VQA任務(wù)中，VQAv2等模型利用圖像中的視覺上下文和問題中的文本上下文，生成更符合人類推理邏輯的答案［16］。此外，VilBERT和LXMERT等模型被專門設(shè)計用于學(xué)習(xí)視覺與語言的聯(lián)合表征，通過交叉注意力機(jī)制將視覺特征與相應(yīng)的文本信息對齊，進(jìn)一步提升了圖像描述生成和VQA等任務(wù)的性能［17］。這一能力在輔助技術(shù)等領(lǐng)域尤為有用——用戶可就圖像提出問題，模型需結(jié)合圖像內(nèi)容與自然語言理解來作答。

圖像描述生成（Image Captioning）

在圖像描述生成任務(wù)中，MLLMs通過理解圖像的視覺內(nèi)容并以自然語言表達(dá)出來，生成具有描述性的圖像標(biāo)題。該能力具有廣泛的應(yīng)用價值，尤其適用于需要對視覺數(shù)據(jù)進(jìn)行自動解讀的場景。MLLMs可通過生成詳細(xì)圖像描述來提升無障礙訪問水平，幫助視障人士更好地理解圖像內(nèi)容［18］。

此外，基于內(nèi)容的圖像檢索系統(tǒng)也因多模態(tài)模型的引入而受益。例如，搜索引擎和多媒體平臺可利用圖像描述功能，使用戶能夠通過文本查詢搜索圖像，從而提升用戶體驗和檢索準(zhǔn)確性［19］。Show and Tell 和 Att2in 等模型通過結(jié)合卷積神經(jīng)網(wǎng)絡(luò)（CNNs）進(jìn)行視覺特征提取與循環(huán)神經(jīng)網(wǎng)絡(luò)（RNNs）生成連貫且語境準(zhǔn)確的描述，推動了該領(lǐng)域的發(fā)展。此外，基于Transformer的新架構(gòu)進(jìn)一步提升了生成描述的流暢性與相關(guān)性［1］。

多模態(tài)對話系統(tǒng)（Multimodal Dialogue Systems）

多模態(tài)對話系統(tǒng)旨在通過融合語音、文本和視覺輸入等多種模態(tài)，實(shí)現(xiàn)人機(jī)之間更自然、直觀的交互。這類系統(tǒng)支持更具上下文感知能力的互動：模型可處理并整合來自不同通道的輸入，生成更連貫、準(zhǔn)確的響應(yīng)。MLLMs在此類系統(tǒng)中尤為有效，因為它們能夠綜合考慮交互的完整上下文，不僅包括文本或聽覺數(shù)據(jù)，還涵蓋面部表情、手勢和環(huán)境背景等視覺線索［20］。

例如，具備多模態(tài)能力的語音助手（如亞馬遜Alexa和谷歌助手）如今能夠處理同時涉及語音和視覺元素的指令。這些系統(tǒng)可以理解用戶針對其視覺環(huán)境中物體提出的口頭查詢，并生成融合了語音語言與視覺反饋的響應(yīng)。多模態(tài)能力的集成顯著提升了人機(jī)交互（Human-Computer Interaction, HCI）體驗，使系統(tǒng)更具動態(tài)性和上下文感知能力，這對于醫(yī)療、教育和客戶服務(wù)等領(lǐng)域的應(yīng)用至關(guān)重要［21］。

跨模態(tài)檢索（Cross-Modal Retrieval）
跨模態(tài)檢索指在不同模態(tài)之間進(jìn)行信息搜索，例如根據(jù)文本查詢檢索圖像，或反之亦然。該任務(wù)要求MLLMs學(xué)習(xí)模態(tài)間的共享表征，從而彌合不同類型數(shù)據(jù)（如文本到圖像或圖像到文本檢索）之間的鴻溝。MLLMs在此場景中極為有效，因為它們能夠在統(tǒng)一的特征空間中對視覺和文本信息進(jìn)行編碼，即使查詢與目標(biāo)數(shù)據(jù)屬于不同模態(tài)，也能實(shí)現(xiàn)精準(zhǔn)檢索。

例如，在文本到圖像檢索中，用戶輸入一段文字描述，系統(tǒng)即可返回匹配該查詢的圖像；而在圖像到文本檢索中，用戶上傳一張圖像，系統(tǒng)則返回相應(yīng)的文字描述或相關(guān)文檔列表。CLIP和VisualBERT等模型通過采用共享的視覺-語言編碼器來學(xué)習(xí)此類跨模態(tài)表征，徹底革新了該領(lǐng)域，并在跨模態(tài)檢索和零樣本學(xué)習(xí)等任務(wù)中展現(xiàn)出最先進(jìn)的性能［1］。這些進(jìn)展顯著增強(qiáng)了電子商務(wù)、數(shù)字內(nèi)容檢索和多媒體信息系統(tǒng)等多個領(lǐng)域的搜索能力。

1. 挑戰(zhàn)

   
   盡管多模態(tài)大語言模型（Multimodal Large Language Models, MLLMs）取得了顯著進(jìn)展，但要充分實(shí)現(xiàn)其潛力，仍需應(yīng)對若干關(guān)鍵挑戰(zhàn)。這些挑戰(zhàn)包括數(shù)據(jù)的可用性與質(zhì)量、計算資源需求、可解釋性與可說明性，以及倫理與社會影響。

數(shù)據(jù)可用性與質(zhì)量
MLLMs 的性能在很大程度上依賴于多模態(tài)數(shù)據(jù)集的可用性與質(zhì)量。構(gòu)建覆蓋多種模態(tài)（如圖像、視頻、音頻和文本）的大規(guī)模、多樣化且高質(zhì)量的數(shù)據(jù)集，并使其能夠反映真實(shí)世界場景，是一項重大挑戰(zhàn)。目前廣泛用于訓(xùn)練 MLLMs 的多模態(tài)數(shù)據(jù)集（如 MS COCO、Flickr30k 和 Visual Genome）主要用于圖像描述生成和視覺問答（VQA）等任務(wù)，但這些數(shù)據(jù)集在覆蓋范圍、規(guī)模和多樣性方面仍然有限［22］。例如，它們可能缺乏細(xì)粒度標(biāo)注、多元文化背景，或特定領(lǐng)域應(yīng)用（如醫(yī)學(xué)圖像分析或法律文件解讀）所需的專門知識。

此外，確保這些數(shù)據(jù)集具有代表性且無偏見，對于開發(fā)公平可靠的模型至關(guān)重要。訓(xùn)練數(shù)據(jù)中存在的偏見——如性別、種族和文化偏見——可能導(dǎo)致模型產(chǎn)生不公平的預(yù)測結(jié)果，并加劇已有的刻板印象［23］。

計算資源
訓(xùn)練大規(guī)模的多模態(tài)大語言模型（MLLMs）需要大量的計算資源，包括高性能硬件（如GPU、TPU）和高效的算法。與訓(xùn)練和推理相關(guān)的高昂計算成本可能限制MLLMs的可及性與可擴(kuò)展性，尤其對小型機(jī)構(gòu)或資源受限環(huán)境中的研究人員而言尤為明顯。例如，GPT-3和BERT等模型是在大規(guī)模數(shù)據(jù)集上使用龐大的計算集群進(jìn)行訓(xùn)練的，而這類資源通常無法被更廣泛的科研社區(qū)所獲取［1］。

此外，訓(xùn)練此類模型對環(huán)境的影響也十分顯著。人工智能社區(qū)已普遍關(guān)注大型神經(jīng)網(wǎng)絡(luò)訓(xùn)練所帶來的能源消耗問題。有研究估計，訓(xùn)練一個大型模型所產(chǎn)生的二氧化碳排放量，相當(dāng)于多輛汽車一年的排放總量。因此，開發(fā)高效的訓(xùn)練技術(shù)與硬件優(yōu)化方案，對于提升MLLMs的可持續(xù)性與可及性至關(guān)重要。目前，已有若干技術(shù)被提出以在不顯著犧牲性能的前提下減小模型規(guī)模并縮短計算時間，例如模型剪枝（model pruning）、量化（quantization）和知識蒸餾（knowledge distillation）。

可解釋性與可說明性
隨著MLLMs日益復(fù)雜，理解其決策過程變得愈發(fā)困難。文本、圖像和音頻等多種模態(tài)的融合進(jìn)一步增加了復(fù)雜性，使得厘清模型如何處理并整合來自不同來源的信息極具挑戰(zhàn)。這一問題在醫(yī)療、自動駕駛和金融等安全關(guān)鍵型應(yīng)用中尤為突出——在這些場景中，理解模型為何做出特定決策對于建立問責(zé)機(jī)制和用戶信任至關(guān)重要［24］。

目前，MLLMs本質(zhì)上仍屬于“黑箱”系統(tǒng)，即便是領(lǐng)域?qū)＜乙部赡茈y以解釋其內(nèi)部運(yùn)作機(jī)制。因此，開發(fā)用于解釋和說明多模態(tài)模型行為的方法，對于確保其可信度與問責(zé)性至關(guān)重要。近年來，注意力機(jī)制、顯著性圖（saliency maps）以及可解釋性工具（如LIME和SHAP）的進(jìn)展已開始為模型決策提供更深入的洞察，但這些方法在應(yīng)用于多模態(tài)模型時仍存在局限性［25］。未來的研究需聚焦于提升模型透明度，確保MLLMs在高風(fēng)險環(huán)境中既能保持高準(zhǔn)確性，又具備良好的可解釋性。

倫理與社會影響
MLLMs的部署引發(fā)了一系列倫理關(guān)切，尤其涉及隱私、安全以及潛在的濫用風(fēng)險。MLLMs通常在大量個人數(shù)據(jù)（包括圖像、文本和語音）上進(jìn)行訓(xùn)練，這帶來了嚴(yán)重的隱私問題。例如，在醫(yī)學(xué)影像或電子健康記錄（EHRs）上訓(xùn)練的模型可能會無意中泄露敏感信息，從而侵犯用戶隱私［26］。此外，隨著MLLMs在監(jiān)控、社交媒體和醫(yī)療等領(lǐng)域的廣泛應(yīng)用，其面臨對抗性攻擊或被惡意利用的風(fēng)險也日益凸顯，數(shù)據(jù)安全因此成為重要議題［27］。

此外，MLLMs容易放大訓(xùn)練數(shù)據(jù)中隱含的有害偏見。若不加以有效緩解，這些偏見可能導(dǎo)致招聘、執(zhí)法和信貸等應(yīng)用場景中出現(xiàn)歧視性結(jié)果［28］。應(yīng)對這些問題，既需要開發(fā)透明的模型，也需要為MLLMs的部署制定明確的倫理準(zhǔn)則。未來必須著力于偏見緩解、數(shù)據(jù)隱私保護(hù)和模型問責(zé)機(jī)制的完善，以確保MLLMs的研發(fā)與應(yīng)用符合負(fù)責(zé)任的人工智能原則。

1. 未來方向

高效模型架構(gòu)未來的研究應(yīng)聚焦于開發(fā)高效的多模態(tài)大語言模型（Multimodal Large Language Models, MLLMs）架構(gòu)，使其在有效處理多模態(tài)數(shù)據(jù)的同時盡可能降低計算成本。這包括采用諸如模型剪枝（model pruning）等技術(shù)——在不犧牲性能的前提下減少網(wǎng)絡(luò)中的參數(shù)數(shù)量；量化（quantization）——以更少的比特數(shù)表示模型權(quán)重，從而降低內(nèi)存占用；以及知識蒸餾（knowledge distillation）——訓(xùn)練一個較小的“學(xué)生”模型來模仿一個更大、已預(yù)訓(xùn)練好的“教師”模型的行為。研究表明，這些方法可顯著提升MLLMs在資源受限環(huán)境中的部署能力，使其適用于移動設(shè)備、物聯(lián)網(wǎng)（IoT）系統(tǒng)或邊緣計算等現(xiàn)實(shí)應(yīng)用場景［29］。

多模態(tài)預(yù)訓(xùn)練策略利用大規(guī)模多模態(tài)數(shù)據(jù)集的創(chuàng)新性預(yù)訓(xùn)練策略，對于增強(qiáng)MLLMs的泛化能力至關(guān)重要。通過在預(yù)訓(xùn)練階段融合多種模態(tài)（文本、圖像、音頻、視頻）和多種任務(wù)（如分類、檢索、生成），模型能夠?qū)W習(xí)到更魯棒且可遷移的表征，從而提升在各類下游任務(wù)中的表現(xiàn)。其中一項關(guān)鍵挑戰(zhàn)在于預(yù)訓(xùn)練階段如何對齊并整合多模態(tài)數(shù)據(jù)，確保模型能夠從不同模態(tài)之間的相關(guān)性和互補(bǔ)性中有效學(xué)習(xí)。CLIP和ALIGN等模型已在此方向展現(xiàn)出巨大潛力，它們通過學(xué)習(xí)文本與圖像的聯(lián)合表征實(shí)現(xiàn)跨模態(tài)連接［1］。此外，未來研究還可探索無監(jiān)督或半監(jiān)督的預(yù)訓(xùn)練方法，使多模態(tài)模型能夠在未標(biāo)注數(shù)據(jù)上進(jìn)行訓(xùn)練，進(jìn)一步提升其可擴(kuò)展性。

以人為中心的評估指標(biāo)開發(fā)與人類感知和期望相一致的評估指標(biāo)，對于衡量MLLMs的性能至關(guān)重要。傳統(tǒng)的指標(biāo)（如準(zhǔn)確率、精確率和召回率）可能無法充分捕捉多模態(tài)模型的細(xì)微之處——這些模型通常以復(fù)雜方式與人類交互。例如，考慮連貫性（生成文本或圖像的邏輯流暢性）、相關(guān)性（生成內(nèi)容與用戶期望的契合程度）和用戶滿意度（用戶評分或主觀評價）的指標(biāo)，能夠提供更有意義的模型性能洞察。在多模態(tài)系統(tǒng)背景下，既需評估各模態(tài)輸出的質(zhì)量（如圖像質(zhì)量或文本流暢度），也需評估模態(tài)間整體交互的有效性。研究人員已提出納入這些主觀因素的人類評估框架，例如通過眾包標(biāo)注更深入地理解用戶對多模態(tài)響應(yīng)的感知［30］。

跨學(xué)科協(xié)作MLLMs的發(fā)展需要自然語言處理（NLP）、計算機(jī)視覺、語音處理和認(rèn)知科學(xué)等多個領(lǐng)域的協(xié)同合作。來自不同學(xué)科的研究人員可為模態(tài)間如何交互、如何建模多模態(tài)推理，以及如何借鑒人類感知機(jī)制指導(dǎo)模型設(shè)計等問題提供獨(dú)特見解。例如，與認(rèn)知科學(xué)家的合作有助于開發(fā)更能準(zhǔn)確模擬人類多模態(tài)理解能力的模型，從而可能獲得更具可解釋性和泛化能力的系統(tǒng)。此外，與特定領(lǐng)域?qū)＜遥ㄈ玑t(yī)療、教育或自動駕駛領(lǐng)域）的合作，將確保MLLMs的研發(fā)始終面向真實(shí)世界應(yīng)用，并契合各行業(yè)的具體需求。未來的方向還可探索機(jī)器學(xué)習(xí)工程師與人機(jī)交互（HCI）研究者之間的協(xié)同，以設(shè)計出能更有效地與用戶互動的模型［31］。

1. 評估基準(zhǔn)

評估多模態(tài)大語言模型（Multimodal Large Language Models, MLLMs）需要專門設(shè)計的基準(zhǔn)，以衡量其在多種模態(tài)和任務(wù)上的表現(xiàn)。傳統(tǒng)評估指標(biāo)主要面向單模態(tài)模型，在捕捉多模態(tài)交互所固有的復(fù)雜性方面往往力不從心。這是因為MLLMs需同時整合并處理來自多個來源（如文本、圖像和音頻）的數(shù)據(jù)。因此，構(gòu)建全面且真正多模態(tài)的評估框架，對于推動MLLMs的研究進(jìn)展與實(shí)際部署至關(guān)重要。一個可靠的基準(zhǔn)不僅能支持模型間的公平比較，還能系統(tǒng)性地促進(jìn)模型設(shè)計與評估方法的發(fā)展。

多模態(tài)基

準(zhǔn)近期研究已提出多種專為MLLMs量身定制的基準(zhǔn)，每種都旨在評估模型在需要融合不同模態(tài)的任務(wù)中的表現(xiàn)。例如，視覺問答（Visual Question Answering, VQA）任務(wù)評估模型回答關(guān)于圖像問題的能力，要求模型同時理解視覺內(nèi)容和自然語言［32］。圖像描述生成（image captioning）任務(wù)則測試模型根據(jù)視覺輸入生成描述性標(biāo)題的能力，這需要模型將視覺感知與語言生成相結(jié)合［33］。其他任務(wù)，如多模態(tài)推理，則要求模型利用來自多個來源的信息進(jìn)行復(fù)雜推理或推斷，例如結(jié)合文本與圖像生成特定輸出。這類基準(zhǔn)已成為評估MLLMs在機(jī)器人、自動駕駛和醫(yī)療等現(xiàn)實(shí)應(yīng)用場景中實(shí)際能力的關(guān)鍵工具。

評估指標(biāo)

為有效評估MLLMs，研究人員開發(fā)了專門針對多模態(tài)交互特性的評估指標(biāo)。在視覺問答（VQA）等任務(wù)中，最常用的評估指標(biāo)是準(zhǔn)確率（accuracy），即模型正確回答問題的百分比。然而，在圖像描述生成任務(wù)中，則采用更復(fù)雜的指標(biāo)來評估生成標(biāo)題的質(zhì)量。BLEU、METEOR 和 CIDEr 是常用指標(biāo)，用于衡量生成文本相對于人工撰寫的參考文本在流暢性、相關(guān)性和多樣性方面的表現(xiàn)［34］。這些指標(biāo)雖能提供生成文本與預(yù)期輸出匹配程度的量化評估，但通常難以充分捕捉多模態(tài)理解中所蘊(yùn)含的語境與細(xì)微差別。因此，研究人員日益重視以人為中心的評估指標(biāo)，考慮連貫性、上下文相關(guān)性和用戶滿意度等因素——這些因素在MLLMs的實(shí)際應(yīng)用中至關(guān)重要［26］。

評估中的挑戰(zhàn)

盡管已有多種基準(zhǔn)和評估指標(biāo)，MLLMs的評估仍面臨諸多挑戰(zhàn)。一個主要問題是缺乏覆蓋廣泛多模態(tài)任務(wù)的標(biāo)準(zhǔn)化多模態(tài)數(shù)據(jù)集，導(dǎo)致不同任務(wù)間模型性能評估結(jié)果存在不一致性。例如，當(dāng)前大多數(shù)用于圖像描述生成或VQA的數(shù)據(jù)集在樣本數(shù)量和任務(wù)覆蓋范圍上相對有限，難以在多樣化的場景下全面評估模型能力。此外，圖像描述生成或情感分析等任務(wù)本身具有主觀性，使得建立客觀的評估標(biāo)準(zhǔn)變得復(fù)雜。例如，對生成文本的評估通常依賴人類對流暢性、相關(guān)性和創(chuàng)造性等要素的主觀判斷，而現(xiàn)有自動指標(biāo)難以充分反映這些維度。因此，亟需構(gòu)建更全面、標(biāo)準(zhǔn)化的評估框架，將客觀度量與人類判斷有機(jī)結(jié)合，以更好地應(yīng)對上述挑戰(zhàn)［35］。

未來方向

為克服現(xiàn)有評估挑戰(zhàn)，未來關(guān)于多模態(tài)模型評估的研究應(yīng)聚焦于創(chuàng)建覆蓋多樣化任務(wù)、場景和領(lǐng)域的標(biāo)準(zhǔn)化、大規(guī)模多模態(tài)數(shù)據(jù)集。這些數(shù)據(jù)集應(yīng)更全面、真實(shí)地反映現(xiàn)實(shí)世界中的多模態(tài)交互，從而支持可泛化模型的開發(fā)與評估。此外，設(shè)計能更好體現(xiàn)多模態(tài)理解復(fù)雜性的新評估指標(biāo)也至關(guān)重要。一種有前景的方法是更系統(tǒng)地將人類反饋納入評估流程，例如通過眾包評估或?qū)＜覙?biāo)注者提供對模型表現(xiàn)的定性反饋，并將其整合進(jìn)自動化評估系統(tǒng)。通過改進(jìn)評估方法論，研究社區(qū)將能更準(zhǔn)確地把握MLLMs的全部能力與局限，從而有效引導(dǎo)多模態(tài)人工智能領(lǐng)域的進(jìn)一步發(fā)展。

1. 應(yīng)用

多模態(tài)大語言模型（Multimodal Large Language Models, MLLMs）通過整合并處理來自多種模態(tài)（如文本、圖像、音頻和視頻）的信息，在多個領(lǐng)域展現(xiàn)出巨大潛力。其跨模態(tài)理解與內(nèi)容生成能力，推動了若干應(yīng)用領(lǐng)域的進(jìn)步，從而構(gòu)建出更魯棒、高效和智能的系統(tǒng)。

視覺問答（Visual Question Answering, VQA）

在視覺問答（VQA）任務(wù)中，模型需根據(jù)圖像回答相關(guān)問題，這要求同時理解視覺內(nèi)容和自然語言。VQA任務(wù)是融合視覺與語言模型所面臨挑戰(zhàn)的典型代表。MLLMs憑借其多模態(tài)能力，能夠分析圖像內(nèi)容并理解對應(yīng)的問題，從而生成語境相關(guān)的答案。VQA v2 和 LXMERT 等模型在此領(lǐng)域取得了顯著進(jìn)展，通過視覺與語言表征的聯(lián)合學(xué)習(xí)提升了準(zhǔn)確率［40］。例如，LXMERT 采用基于 Transformer 的架構(gòu)分別處理視覺與語言任務(wù)，并將視覺推理與語言理解更緊密地結(jié)合，從而實(shí)現(xiàn)更準(zhǔn)確、更魯棒的 VQA 性能。

圖像描述生成（Image Captioning）

在圖像描述生成任務(wù)中，MLLMs 需要為圖像生成具有描述性的標(biāo)題，這融合了視覺感知與語言生成能力。該能力在視障人士輔助工具等應(yīng)用中至關(guān)重要——模型可為無法看見圖像或場景的用戶生成文字描述。此外，基于內(nèi)容的圖像檢索系統(tǒng)也因 MLLMs 而受益，能夠通過文本查詢更有效地搜索圖像。Show and Tell 以及 Show, Attend and Tell 等技術(shù)在推動圖像描述生成方面發(fā)揮了關(guān)鍵作用，這些模型通過對圖像不同區(qū)域進(jìn)行注意力聚焦，生成更準(zhǔn)確的描述［36］。近期的發(fā)展包括采用基于 Transformer 的架構(gòu)，如 ViLT 和 DETR，它們通過聯(lián)合處理視覺與語言任務(wù)，進(jìn)一步提升了圖像描述生成及相關(guān)任務(wù)的效率。

多模態(tài)對話系統(tǒng)（Multimodal Dialogue Systems）
多模態(tài)對話系統(tǒng)旨在通過融合多種模態(tài)（如語音、文本和視覺輸入），實(shí)現(xiàn)人機(jī)之間更自然、更直觀的交互。傳統(tǒng)的對話系統(tǒng)通常僅依賴基于文本的輸入，而多模態(tài)系統(tǒng)能夠處理更廣泛的信息，從而生成更具連貫性和上下文感知能力的對話。例如，在與虛擬助手交互時，多模態(tài)系統(tǒng)可整合用戶的語音、面部表情和手勢，以更準(zhǔn)確地理解語境并作出更有效的回應(yīng)。M3ER 和 MM-Dialog 是在對話智能體中提升多模態(tài)理解能力的代表性模型，支持更動態(tài)、個性化的用戶交互。MLLMs 通過綜合考慮對話中所有可用模態(tài)，增強(qiáng)了系統(tǒng)的上下文感知能力，并有助于處理模糊或不完整的輸入。

跨模態(tài)檢索（Cross-Modal Retrieval）
跨模態(tài)檢索指在不同模態(tài)之間進(jìn)行信息搜索，例如根據(jù)文本查詢檢索圖像，或反之亦然。MLLMs 通過學(xué)習(xí)能夠彌合不同類型數(shù)據(jù)之間鴻溝的共享表征，顯著提升了跨模態(tài)檢索系統(tǒng)的效能。例如，在文本到圖像檢索中，MLLMs 可通過解析文本查詢，在龐大的圖像數(shù)據(jù)集中查找在視覺內(nèi)容和描述語境上均匹配的圖像。CLIP（Contrastive Language–Image Pretraining）在跨模態(tài)檢索任務(wù)中取得了顯著成功，其通過在共享潛在空間中對齊圖像與文本，實(shí)現(xiàn)了最先進(jìn)的性能。另一大規(guī)模多模態(tài)模型 ALIGN 也通過利用大規(guī)模數(shù)據(jù)集進(jìn)行預(yù)訓(xùn)練和微調(diào)，進(jìn)一步推動了跨模態(tài)檢索的發(fā)展。

醫(yī)療應(yīng)用（Healthcare Applications）
在醫(yī)療領(lǐng)域，MLLMs 可協(xié)助完成多種關(guān)鍵任務(wù)，包括醫(yī)學(xué)影像分析、電子健康記錄（EHR）解讀以及臨床決策支持。例如，多模態(tài)模型可被訓(xùn)練用于同時分析X光片、CT掃描或MRI等醫(yī)學(xué)影像，以及患者的病史或文本報告，從而提高診斷準(zhǔn)確性。CheXNet 等模型已展現(xiàn)出在胸部X光片中檢測肺炎的優(yōu)異表現(xiàn)，其采用深度學(xué)習(xí)方法融合視覺與文本數(shù)據(jù)［37］。MLLMs 還可用于電子健康記錄的解讀，通過提取相關(guān)醫(yī)療信息并提供預(yù)測性洞察，輔助醫(yī)護(hù)人員做出更明智的決策。此外，語音與文本數(shù)據(jù)的融合還可支持臨床對話系統(tǒng)，使醫(yī)生能夠通過語音指令和書面筆記與系統(tǒng)進(jìn)行交互。

自主系統(tǒng)（Autonomous Systems）
自動駕駛汽車、無人機(jī)和機(jī)器人等自主系統(tǒng)高度依賴多模態(tài)信息來感知和理解其所處環(huán)境。MLLMs 使這些系統(tǒng)能夠整合來自多種傳感器（如攝像頭、激光雷達(dá)和雷達(dá)）的數(shù)據(jù)，以及文本或語音指令，從而做出更明智的決策。例如，自動駕駛車輛可處理視覺數(shù)據(jù)以識別行人和其他車輛，同時解讀文本地圖或音頻提示，以應(yīng)對復(fù)雜環(huán)境中的導(dǎo)航任務(wù)。YOLO（You Only Look Once）等用于目標(biāo)檢測的深度學(xué)習(xí)模型，以及用于序列預(yù)測的基于Transformer的模型，正越來越多地應(yīng)用于自主系統(tǒng)中，以實(shí)現(xiàn)實(shí)時多模態(tài)數(shù)據(jù)處理［38］。融合來自不同模態(tài)的數(shù)據(jù)，顯著增強(qiáng)了系統(tǒng)對環(huán)境的理解能力，使其在動態(tài)場景中更加可靠且具備更強(qiáng)的適應(yīng)性。

1. 挑戰(zhàn)與局限

盡管多模態(tài)大語言模型（Multimodal Large Language Models, MLLMs）取得了顯著進(jìn)展，但若干挑戰(zhàn)仍阻礙其廣泛應(yīng)用與效能發(fā)揮。這些挑戰(zhàn)涵蓋數(shù)據(jù)可用性、計算資源、可解釋性以及倫理關(guān)切等多個方面，而這些因素對于確保MLLMs在現(xiàn)實(shí)應(yīng)用中公平、負(fù)責(zé)任地使用至關(guān)重要。

數(shù)據(jù)可用性與質(zhì)量

MLLMs 的性能在很大程度上依賴于多模態(tài)數(shù)據(jù)集的可用性與質(zhì)量。構(gòu)建覆蓋多種模態(tài)（如圖像、文本、音頻和視頻）的大規(guī)模、多樣化且高質(zhì)量的數(shù)據(jù)集，并使其真實(shí)反映現(xiàn)實(shí)世界場景，是一項重大挑戰(zhàn)。例如，盡管 MS COCO 和 Visual Genome 等數(shù)據(jù)集已被廣泛用于圖像描述生成和視覺問答（VQA）等任務(wù)，但它們在多樣性以及所涵蓋的多模態(tài)任務(wù)類型方面仍然有限。此外，確保這些數(shù)據(jù)集具有代表性、全面性且無偏見，對于開發(fā)公平可靠的模型至關(guān)重要。訓(xùn)練數(shù)據(jù)缺乏多樣性可能導(dǎo)致模型產(chǎn)生偏見性結(jié)果，影響預(yù)測的公平性，并強(qiáng)化有害的刻板印象。此外，使用存在偏見的數(shù)據(jù)集還會削弱 MLLMs 的泛化能力，尤其在醫(yī)療和執(zhí)法等高風(fēng)險應(yīng)用場景中問題尤為突出。

計算資源

訓(xùn)練大規(guī)模 MLLMs 需要大量計算資源，包括高性能硬件（如 GPU 和 TPU）以及高效的訓(xùn)練算法。現(xiàn)代多模態(tài)模型所處理的數(shù)據(jù)規(guī)模和模型參數(shù)數(shù)量極其龐大，導(dǎo)致計算成本極高。例如，GPT-4 和 DALL·E 依賴海量數(shù)據(jù)和強(qiáng)大算力才能實(shí)現(xiàn)最先進(jìn)的性能，這通常使其僅對具備雄厚計算資源的機(jī)構(gòu)開放。此外，訓(xùn)練此類模型所帶來的環(huán)境影響也引發(fā)廣泛關(guān)注——大型神經(jīng)網(wǎng)絡(luò)訓(xùn)練所消耗的能源可能非常巨大［39］。高昂的訓(xùn)練與推理成本還限制了 MLLMs 在資源受限環(huán)境（如小型企業(yè)或發(fā)展中國家）中的可及性與可擴(kuò)展性。因此，亟需開發(fā)更高效的算法和硬件優(yōu)化方案，以緩解上述挑戰(zhàn)，并提升多模態(tài)模型研發(fā)的可持續(xù)性。

可解釋性與可說明性

隨著 MLLMs 日益復(fù)雜，理解其決策過程變得愈發(fā)困難。這些模型通常采用復(fù)雜的架構(gòu)（如深度神經(jīng)網(wǎng)絡(luò)和 Transformer），使其難以被解釋和說明。“黑箱”特性帶來了顯著挑戰(zhàn)，尤其是在醫(yī)療、自動駕駛和執(zhí)法等對問責(zé)制與信任度要求極高的領(lǐng)域。例如，一輛使用 MLLM 的自動駕駛汽車可能基于多模態(tài)輸入（如攝像頭、雷達(dá)和激光雷達(dá)數(shù)據(jù)）做出決策，但要向人類操作員清晰解釋其為何決定為行人停車卻十分困難。研究人員正積極探索通過注意力機(jī)制、顯著性圖（saliency maps）以及模型無關(guān)的解釋方法（model-agnostic explanation methods）來提升模型的可解釋性與可說明性。開發(fā)透明的模型對于確保其可信度至關(guān)重要，同時也使監(jiān)管機(jī)構(gòu)能夠?qū)彶槠錄Q策過程。

倫理與社會影響
MLLMs 的部署引發(fā)了重大的倫理關(guān)切，尤其涉及隱私、安全以及潛在的濫用風(fēng)險。例如，多模態(tài)模型在監(jiān)控或人臉識別等應(yīng)用中的使用，可能導(dǎo)致隱私侵犯和誤識別問題，尤其是在模型基于存在偏見或不平衡的數(shù)據(jù)集進(jìn)行訓(xùn)練的情況下。此外，人們?nèi)找鎿?dān)憂這些模型的安全性，特別是在對抗性環(huán)境中——惡意行為者可能試圖操縱輸入（如篡改圖像或音頻信號），以誘導(dǎo)模型產(chǎn)生錯誤預(yù)測［34］。

此外，MLLMs 在醫(yī)療或執(zhí)法等敏感領(lǐng)域的潛在濫用風(fēng)險，凸顯了制定監(jiān)管框架和倫理準(zhǔn)則以規(guī)范其開發(fā)與部署的必要性。確保 MLLMs 能夠以負(fù)責(zé)任的方式被研發(fā)和使用，需要解決數(shù)據(jù)隱私、模型透明度以及有害偏見的緩解等關(guān)鍵問題［9］。因此，制定針對 MLLM 部署的倫理準(zhǔn)則和政策建議，對于在推動技術(shù)創(chuàng)新與保障公共安全之間取得平衡至關(guān)重要。

1. 未來方向

多模態(tài)大語言模型（Multimodal Large Language Models, MLLMs）領(lǐng)域正在迅速發(fā)展，未來研究有若干充滿前景的方向，有望應(yīng)對當(dāng)前挑戰(zhàn)并開辟新的機(jī)遇。這些研究方向包括高效模型架構(gòu)的開發(fā)、創(chuàng)新的預(yù)訓(xùn)練策略、以人為中心的評估指標(biāo)，以及跨學(xué)科協(xié)作，以確保MLLMs既能滿足技術(shù)需求，也能契合社會價值。

高效模型架構(gòu)

未來的研究應(yīng)聚焦于開發(fā)高效的模型架構(gòu)，在有效處理多模態(tài)數(shù)據(jù)的同時盡可能降低計算成本。大規(guī)模多模態(tài)模型的訓(xùn)練需要大量計算資源，而降低這些成本對于MLLMs在現(xiàn)實(shí)應(yīng)用中的部署至關(guān)重要，尤其是在資源受限的環(huán)境中。模型剪枝（model pruning）、量化（quantization）和知識蒸餾（knowledge distillation）等技術(shù)是構(gòu)建輕量級MLLMs且不顯著犧牲性能的有前景方法。剪枝通過移除冗余的模型參數(shù)實(shí)現(xiàn)壓縮；量化則通過降低權(quán)重的數(shù)值精度來減少計算需求［40］；知識蒸餾將大型復(fù)雜模型的知識遷移到更小、更高效的模型中，從而加快推理速度并降低資源消耗［41］。該領(lǐng)域的研究還應(yīng)致力于在模型規(guī)模、準(zhǔn)確率與推理速度之間取得平衡，使MLLMs在醫(yī)療、自主系統(tǒng)和移動應(yīng)用等行業(yè)中更具實(shí)用性。

多模態(tài)預(yù)訓(xùn)練策略

為提升MLLMs的泛化能力，未來研究應(yīng)探索利用大規(guī)模多模態(tài)數(shù)據(jù)集的創(chuàng)新性預(yù)訓(xùn)練策略。在預(yù)訓(xùn)練階段融合多種模態(tài)（文本、圖像、音頻、視頻等）和多樣化任務(wù)，可使模型學(xué)習(xí)到魯棒且可遷移的表征，從而適用于多種下游應(yīng)用。近期如CLIP和Florence等模型已展示了跨模態(tài)預(yù)訓(xùn)練的強(qiáng)大潛力——這些模型在視覺與語言任務(wù)上同步訓(xùn)練，以學(xué)習(xí)共享表征。未來研究可進(jìn)一步探索自監(jiān)督學(xué)習(xí)技術(shù)，利用未標(biāo)注的多模態(tài)數(shù)據(jù)進(jìn)行訓(xùn)練，使模型能在無需昂貴人工標(biāo)注的情況下從海量數(shù)據(jù)中學(xué)習(xí)。此外，開發(fā)將領(lǐng)域特定知識（如醫(yī)學(xué)或法律專業(yè)知識）融入預(yù)訓(xùn)練過程的策略，有望顯著提升MLLMs在專業(yè)領(lǐng)域的性能。

以人為中心的評估指標(biāo)
開發(fā)以人為中心的評估指標(biāo)，對于以符合人類感知與期望的方式評估多模態(tài)大語言模型（MLLMs）的性能至關(guān)重要。盡管準(zhǔn)確率、BLEU 和 METEOR 等傳統(tǒng)指標(biāo)在視覺問答（VQA）和圖像描述生成等任務(wù)中被廣泛使用，但它們往往無法全面捕捉模型在復(fù)雜多模態(tài)交互中的表現(xiàn)。因此，未來的研究應(yīng)致力于設(shè)計能夠衡量連貫性、相關(guān)性、用戶滿意度和現(xiàn)實(shí)適用性等因素的評估指標(biāo)。例如，可為多模態(tài)對話系統(tǒng)構(gòu)建以用戶為中心的評估框架，不僅評估模型的語言流暢度，還考察其維持上下文一致性和開展有意義對話的能力［20］。此外，針對特定任務(wù)（如醫(yī)學(xué)影像分析或自主系統(tǒng)）定制的評估方法，也能提供對模型行為更具實(shí)際意義的洞察。通過眾包評估或?qū)＜以u審將人類判斷納入評估流程，還可提供更契合人類價值觀和社會需求的寶貴反饋。

跨學(xué)科協(xié)作
MLLMs 的進(jìn)步需要計算機(jī)科學(xué)、語言學(xué)、認(rèn)知科學(xué)以及醫(yī)療、法律和人工智能倫理等特定領(lǐng)域之間的跨學(xué)科協(xié)作。融合語言學(xué)理論與認(rèn)知模型，有助于使 MLLMs 實(shí)現(xiàn)更類人的推理與理解能力，因為模型可以借鑒人類如何統(tǒng)一處理語言、視覺信息和感官數(shù)據(jù)的機(jī)制。例如，從心理學(xué)角度理解認(rèn)知負(fù)荷與感知過程，可指導(dǎo) MLLMs 如何優(yōu)先處理并整合多模態(tài)輸入。此外，與領(lǐng)域?qū)＜遥ㄈ玑t(yī)生、律師或工程師）的合作，對于開發(fā)不僅技術(shù)精湛、而且契合現(xiàn)實(shí)需求的模型至關(guān)重要。跨學(xué)科研究能夠促進(jìn)構(gòu)建更具倫理性、透明性和以用戶為中心的系統(tǒng)，充分考量在高風(fēng)險環(huán)境中部署此類模型所涉及的社會、法律與道德影響。

結(jié)論多模態(tài)大語言模型（Multimodal Large Language Models, MLLMs）是人工智能領(lǐng)域的一項突破性創(chuàng)新，旨在處理并理解來自多種模態(tài)的信息，如文本、圖像、音頻和視頻。與專注于單一數(shù)據(jù)格式的傳統(tǒng)模型不同，MLLMs 能夠融合并跨這些多樣化的輸入進(jìn)行推理，使其具備解決復(fù)雜任務(wù)的能力——這些任務(wù)需要同時理解多種形式的信息。例如，MLLMs 可以提升圖像描述生成等應(yīng)用的性能，在該任務(wù)中，視覺與文本輸入被同步分析；也可應(yīng)用于自動駕駛汽車，在這類場景中，傳感器數(shù)據(jù)與視覺識別的結(jié)合對導(dǎo)航至關(guān)重要。

盡管具有變革性潛力，MLLMs 仍面臨若干挑戰(zhàn)。數(shù)據(jù)質(zhì)量是一個主要問題——MLLMs 需要大規(guī)模、多樣化且高質(zhì)量的數(shù)據(jù)集進(jìn)行訓(xùn)練，而數(shù)據(jù)中的任何偏見或不準(zhǔn)確都可能導(dǎo)致有缺陷甚至不道德的結(jié)果。計算效率是另一大挑戰(zhàn)：處理多種數(shù)據(jù)類型需要大量計算資源，這不僅限制了小型機(jī)構(gòu)的可及性，也加劇了環(huán)境影響。可解釋性同樣令人擔(dān)憂：MLLMs 的復(fù)雜性常常使其預(yù)測或決策背后的推理過程難以理解，這在醫(yī)療或執(zhí)法等高風(fēng)險領(lǐng)域尤為成問題。最后，必須認(rèn)真應(yīng)對倫理方面的考量，包括偏見、隱私風(fēng)險和潛在濫用等問題，以確保 MLLMs 能夠負(fù)責(zé)任地部署。

歸根結(jié)底，通過持續(xù)的研究與跨領(lǐng)域協(xié)作來應(yīng)對上述挑戰(zhàn)，對于充分釋放 MLLMs 在現(xiàn)實(shí)世界應(yīng)用中的全部潛力至關(guān)重要。

https://papers.ssrn.com/sol3/papers.cfm?abstract_id=5314015