提升AI模型解釋預測能力的新方法

在醫療診斷等高風險場景中，用戶往往希望了解計算機視覺模型做出特定預測的原因，以便判斷是否信任其輸出結果。

概念瓶頸建模是一種能夠讓人工智能系統解釋其決策過程的方法。這些方法強制深度學習模型使用一組人類可以理解的概念來進行預測。在最新研究中，MIT計算機科學家開發了一種方法，可以引導模型獲得更好的準確性和更清晰、更簡潔的解釋。

模型使用的概念通常由人類專家預先定義。例如，臨床醫生可能建議使用"聚集的棕色斑點"和"不規則色素沉著"等概念來預測醫學圖像顯示黑色素瘤。

但是，預先定義的概念可能與特定任務無關或缺乏足夠的細節，從而降低模型的準確性。新方法提取模型在訓練執行特定任務時已經學到的概念，并強制模型使用這些概念，從而產生比標準概念瓶頸模型更好的解釋。

該方法利用一對專門的機器學習模型，自動從目標模型中提取知識并將其轉換為通俗語言概念。最終，他們的技術可以將任何預訓練的計算機視覺模型轉換為能夠使用概念來解釋其推理的模型。

"從某種意義上說，我們希望能夠讀懂這些計算機視覺模型的想法。概念瓶頸模型是用戶了解模型在思考什么以及為什么做出某種預測的一種方式。因為我們的方法使用了更好的概念，它可以帶來更高的準確性，最終改善黑盒AI模型的可問責性，"主要作者、米蘭理工大學研究生Antonio De Santis說，他是在MIT計算機科學與人工智能實驗室（CSAIL）擔任訪問研究生期間完成這項研究的。

與他合作完成這項工作的還有Schrasing Tong、米蘭理工大學計算機科學與工程教授Marco Brambilla，以及CSAIL首席研究科學家Lalana Kagal。該研究將在國際學習表征會議上展示。

構建更好的瓶頸

概念瓶頸模型（CBM）是改善AI可解釋性的流行方法。這些技術通過強制計算機視覺模型預測圖像中存在的概念，然后使用這些概念進行最終預測，增加了一個中間步驟。

這個中間步驟或"瓶頸"幫助用戶理解模型的推理。

例如，識別鳥類的模型可能會選擇"黃色腿部"和"藍色翅膀"等概念，然后預測為燕子。

但是，由于這些概念通常由人類或大語言模型預先生成，它們可能不適合特定任務。此外，即使給定一組預定義的概念，模型有時仍會利用不良的學習信息，這就是所謂的信息泄漏問題。

"這些模型被訓練為最大化性能，所以模型可能秘密使用我們不知道的概念，"De Santis解釋說。

MIT研究人員有了不同的想法：由于模型已經在大量數據上進行了訓練，它可能已經學會了為手頭的特定任務生成準確預測所需的概念。他們試圖通過提取這些現有知識并將其轉換為人類可以理解的文本來構建CBM。

在他們方法的第一步中，一個稱為稀疏自編碼器的專門深度學習模型有選擇地提取模型學到的最相關特征，并將其重構為少數幾個概念。然后，多模態大語言模型用通俗語言描述每個概念。

這個多模態大語言模型還通過識別每個圖像中存在和不存在的概念來注釋數據集中的圖像。研究人員使用這個注釋數據集來訓練概念瓶頸模塊識別概念。

他們將此模塊整合到目標模型中，強制其僅使用研究人員提取的學習概念集進行預測。

控制概念

在開發這種方法時，他們克服了許多挑戰，從確保大語言模型正確注釋概念到確定稀疏自編碼器是否識別了人類可理解的概念。

為了防止模型使用未知或不需要的概念，他們限制模型每次預測只使用五個概念。這也迫使模型選擇最相關的概念，并使解釋更容易理解。

當他們將自己的方法與最先進的CBM在預測鳥類種類和識別醫學圖像中皮膚病變等任務上進行比較時，他們的方法在提供更精確解釋的同時實現了最高的準確性。

他們的方法還生成了更適用于數據集中圖像的概念。

"我們已經證明，從原始模型中提取概念可以超越其他CBM，但在可解釋性和準確性之間仍然存在需要解決的權衡。不可解釋的黑盒模型仍然優于我們的模型，"De Santis說。

未來，研究人員希望研究信息泄漏問題的潛在解決方案，也許通過添加額外的概念瓶頸模塊來防止不需要的概念泄漏。他們還計劃通過使用更大的多模態大語言模型來注釋更大的訓練數據集來擴展他們的方法，這可能會提升性能。

"我對這項工作感到興奮，因為它將可解釋的AI推向了一個非常有前途的方向，并為符號AI和知識圖譜創建了自然橋梁，"維爾茨堡大學數據科學主席教授Andreas Hotho說，他沒有參與這項工作。"通過從模型自己的內部機制而不僅僅從人類定義的概念中推導概念瓶頸，它提供了一條通向對模型更忠實解釋的道路，并為結構化知識的后續工作開辟了許多機會。"

這項研究得到了Progetto Rocca博士獎學金、意大利大學和研究部在國家復蘇和韌性計劃下的支持、泰雷茲阿萊尼亞航天公司以及歐盟NextGenerationEU項目的資助。

Q&A

Q1：什么是概念瓶頸建模？它有什么作用？

A：概念瓶頸建模是一種能夠讓人工智能系統解釋其決策過程的方法。這些方法強制深度學習模型使用一組人類可以理解的概念來進行預測，增加一個中間步驟或"瓶頸"來幫助用戶理解模型的推理過程。

Q2：MIT研究人員的新方法與傳統方法有什么不同？

A：傳統方法使用人類專家或大語言模型預先定義的概念，可能不適合特定任務。MIT研究人員的新方法是從模型訓練時已經學到的概念中提取知識，使用稀疏自編碼器和多模態大語言模型將這些概念轉換為人類可理解的文本。

Q3：這種新方法在實際應用中表現如何？

A：研究人員將其方法與最先進的概念瓶頸模型在預測鳥類種類和識別醫學圖像中皮膚病變等任務上進行了比較，結果顯示他們的方法在提供更精確解釋的同時實現了最高的準確性，生成的概念也更適用于數據集中的圖像。