“經驗猜”到“智能算”：AI如何重塑微觀組織分析底層邏輯

原文發表于《科技導報》2025 年第24 期 《 人工智能在金屬材料組織圖像識別與定量分析中的應用 》

基于人工智能（AI）技術的微觀組織識別及定量化兼具高精度和高效率的優勢，有力推動了高通量組織分析技術的發展。本文聚焦AI輔助金屬材料組織圖像分析這一新興領域，以微觀組織由定性分析逐步向精細定量分析的發展為脈絡，系統綜述了傳統機器學習分類算法、深度學習分類算法、目標檢測算法、語義分割算法在金屬材料微觀組織分類、識別以及定量化方面的研究進展，尤其重點論述了廣泛采用的語義分割算法的研究現狀；同時，針對AI算法在材料微觀組織圖像分析領域面臨的組織復雜度高、標注樣本匱乏等瓶頸問題，介紹了數據增強、模型架構改進等方面的創新策略及其應用效果。最后，總結和展望了基于AI的微觀組織圖像分析方法目前存在的不足以及未來的發展方向。

在金屬材料研發中，微觀組織一直扮演著如同基因圖譜般的核心角色，為精準指導高性能合金設計及物理機制深化，實現微觀組織的精確識別及其定量化尤為重要。早期的顯微組織識別與定量化主要依賴于光學顯微鏡（OM）、掃描電鏡（SEM）等設備的組織圖像，并結合圖像處理軟件對其中定量組織信息進行統計分析。為了實現微觀組織的高精度分析，以電子背散射衍射（EBSD）為代表的基于晶體學的表征技術逐漸興起并得到了廣泛應用。

隨著大數據與AI時代的到來，基于數據驅動的材料研發范式得到了業內學者的廣泛關注與認可，也為金屬材料微觀組織的高通量精準分析提供了全新的技術路徑。如圖1所示。

圖1 金屬材料微觀組織分析中常用的AI技術及其特點

基于數據驅動的顯微組織分析已由傳統機器學習（ML）算法逐漸過渡到深度學習（DL）算法，相應地，建模過程中組織圖像特征提取也由淺層手動特征轉變為基于卷積操作的深層次自動特征，進而提升了微觀組織分析模型的識別精度。同時，隨著模型算法的迭代更新，微觀組織分析也由最初的定性研究逐漸完善為精細的定量統計。然而，數據驅動技術在材料微觀組織分析領域的應用也同樣充滿挑戰。此外，微觀組織圖像中需要識別的物相信息量通常較大，數據標簽的創建需要耗費較大人工成本，致使標注數據較為匱乏，同時微觀組織圖像中各類物相比例通常差距顯著，導致樣本類別不平衡，上述因素均嚴重制約了AI模型的精度與魯棒性。

針對上述挑戰，業內學者在數據集構建、模型網絡結構設計等方面提出了相應的應對策略，較大程度提升了AI技術在材料組織圖像分析領域的應用效果。

1 基于非ML算法的微觀組織圖像分析研究

在AI技術興起之前，傳統的微觀組織圖像數據分析方法多依賴人工經驗操作或晶體學表征技術。然而，受限于人類視覺的有限分辨能力，該人工經驗主導的分析方法通常僅可準確應用于較為簡單的微觀組織。晶體學表征技術的快速發展有效解決了金屬材料中復雜微觀組織的識別與定量分析。但上述表征技術通常實驗效率較低、實驗成本較高，并不適用于組織圖像數據的大規模、高通量分析，進而制約了所得定量結果的統計意義。

綜上所述，傳統組織分析方法難以兼顧高精度與高效率，亟需結合新興的AI技術探索全新的組織圖像分析范式，實現其精準高效分析，進而推進新材料研發。

2 基于ML算法的微觀組織圖像分類研究

以監督學習為代表的ML可以通過挖掘訓練數據獲得一個參數化的函數近似，從而建立起輸入與輸出之間的定量映射關系，為微觀組織圖像的分類預測研究提供了全新的技術路徑。常用的ML分類算法包括支持向量機（SVM）、人工神經網絡（ANN）、隨機森林（RF）等，表1中給出了各分類算法的簡介及其優缺點。

表1 常用ML算法簡介

由于ML算法無法直接處理圖像數據，因此該研究階段主要采用人工預處理的手動提取的微觀組織特征，通過ML分類算法建立其與組織類別之間的映射關系。圖2中給出該階段的常用建模思路。在獲得特征參數之后，需要通過歸一化等方法對數據進行預處理，消除不同特征之間的數值維度差異，并通過特征工程方法篩選高關聯度特征，用以構建最終的分類預測模型。該工作通過將參數化微觀組織信息與ML模型相結合，實現了可靠的組織分類，在數值型數據層面上建立組織特征參數與相類別之間的關系，形成了基于早期ML算法的組織圖像數據分析范式。

圖2 基于ML算法的微觀組織分類模型構建及應用

通過合理地提取微觀組織關鍵特征，ML分類算法有能力搭建起組織特征及類別之間的關系，實現相類別的可靠分類。此外，該類模型還具有較好的物理機制可解釋性，可根據所建模型逆向分析出不同類別組織中最為核心的微觀結構特征。此外，數據是ML建模的基礎，由于該階段的ML算法結構相對簡單，所含超參數的數量也較少，因此模型訓練過程中對數據量的要求較低。然而，該類模型的精度與合理性高度依賴于手工提取的微觀組織特征，而組織特征的提取又高度依賴于操作者經驗、圖像質量等因素，因此導致該類人工主觀經驗主導的圖像分類方法難以可靠地應用于復雜的微觀組織，此外，由于人工干預引起的數據質量差異還會導致該類模型的魯棒性和泛化能力較差。

綜上所述，基于ML的組織分類模型的物理可解釋性強，數據依賴性較低，但其模型精度與合理性嚴重依賴于基于主觀經驗的特征工程，使其難以有效地處理復雜微觀組織，仍需發展更為客觀、智能的無損失圖像特征提取技術，用以提升復雜組織圖像數據的分類精度。

3 基于DL算法的微觀組織圖像分類研究

隨著AI技術的快速發展，以卷積神經網絡（CNN）為代表的DL算法在金屬材料微觀組織分析中獲得了廣泛應用。目前，DL組織圖像分類模型的主流建模思路如圖3所示，主要分為2條技術路徑：

• 其一，利用CNN等DL網絡自動提取圖像核心特征，隨后利用局部特征聚合描述符（VLAD）等特征表示方法將高維特征轉化為特征向量，最后再利用傳統ML分類方法建立起特征向量與組織類別之間的關系；

• 其二，利用現有的CNN架構，在卷積層后面直接連入全連接層，利用全連接層建立起CNN特征與組織類別之間的關系。

圖3 DL組織圖像分類模型的主要建模策略

CNN等DL模型的應用標志著組織圖像數據分析正式邁入了智能時代，摒棄了微觀組織分析對人工經驗的依賴性。

此外，由于DL算法中采用多層卷積操作，使其可以深度感知目標圖像中各物相的形貌、紋理等局部特征，構建出由低級到高級的層次化特征表示，從而高效捕獲圖像的核心模式與空間結構，進而有效克服了前文所述ML算法對復雜圖像處理能力不足的困境，大幅提升了AI技術對復雜組織圖像的處理能力，從而獲得了優于人工經驗的圖像分類精度，是當前進行組織圖像分類研究的首選技術之一。

此外，目前分類模型功能過于單一，僅可對組織圖像進行簡單定性分類，無法對圖像中的定量組織信息開展深入分析，嚴重制約了微觀組織智能分析對理解組織性能關系乃至成分工藝設計的指導意義。

因此，亟需在現有DL模型基礎之上，通過采用計算機視覺領域的其他類別算法，實現微觀組織圖像的定性及定量分析。

4 基于目標檢測算法的微觀組織圖像分析研究

傳統的組織定量分析多依賴人工經驗主導的圖像分析軟件，但其較低的人工操作效率仍會大幅制約圖像數據的處理分析數量，進而降低了所得定量結果的統計意義。此外，相似于圖像分類領域所面臨的困境，人工經驗指導的圖像定量分析仍難以應用于復雜組織。

為了在組織定性分析的基礎上實現初步定量分析，DL技術仍是實現該目標的有效途徑。目標檢測是DL領域的核心任務之一，可通過標記邊界框實現目標物體的精準定位以及類別識別，在醫療、自動駕駛等諸多領域應用廣泛。具體算法方面，YOLO（you only look once）系列是目標檢測領域最為常用的算法之一，表2是不同版本的YOLO算法的簡介。如圖4所示，Shen等應用YOLOv3模型對FeCrAl合金中輻照缺陷的位置與尺寸演化進行檢測，獲得了與人工標注基本一致的檢測及定量精度；在他們的另一個工作中，采用區域卷積神經網絡（R?CNN）模型對TEM圖像中缺陷進行了更為細致的分類檢測及其定量分析。

表2 不同版本YOLO算法的簡介

圖4 基于目標檢測算法的微觀組織分析與定量化

目前，主流的目標檢測算法多以監督學習為主，模型訓練之前需要事先對組織圖像中目標物體進行人工標記，形成數據集。然而，不同于交通、醫療等領域的目標檢測任務，材料組織圖像中通常含有極高數量密度的目標相，并且尺寸細小，這大大增加了標簽圖的創建成本，致使當前材料領域的目標檢測往往面臨著標注樣本量不足的問題。

為了緩解上述瓶頸問題，近些年的研究也提出了數據增強、模型架構改進等策略。盡管該工作將遷移學習思想應用于小樣本下的YOLO語義分割模型，但其對基于YOLO網絡架構的目標檢測任務仍具有較高的指導意義。目標檢測算法也同樣難以可靠應用于復雜微觀組織圖像，造成該問題的根源是數據集構建過程中的主觀人工標注。針對該問題，Jacobs提出建立具有共識性的圖像數據標簽，旨在通過較大規模學者的集體投票來產生更可靠、更為共識的數據標簽，從而克服個人標注的主觀性，建立起高可靠性模型。

受制于目標檢測算法應用邊界框標定物相的特點，使得該算法僅可應用于氣孔、缺陷、顆粒等離散分布的物相，難以應用于連續交錯分布、形態復雜的物相（例如復相鋼中各類相）；此外，定量組織信息提取方面也僅能基于邊界框獲得粗略的尺寸數據，無法對物相的精細輪廓進行檢測，難以獲取更為精細的含量、形貌信息。

因此，在目標檢測算法基礎上，還需引入對物相邊界輪廓分析能力更強的計算機視覺算法，以實現對微觀組織信息的全面、精細定量描述。

5 基于語義分割算法的微觀組織圖像分析研究

為了實現對材料中各類相、析出顆粒、缺陷等微觀結構的統一分析，語義分割算法成為處理該問題的不二選擇，是當前微觀組織識別與定量分析領域應用最為廣泛的機器視覺技術，也是我們的論述重點。

語義分割算法同樣基于卷積操作自動提取組織圖像的核心特征，采用“端到端”網絡結構，訓練模型可輸出與輸入圖像相同尺寸的預測圖像，該圖中不同物相被標記不同顏色，通過對輸出圖像進行細致的像素分析，便可得到系統的組織定量信息。

目前，圖像分割算法在多類金屬材料的多樣微觀結構識別與定量化工作中得到了普遍應用，大幅加速了組織圖像數據的處理效率，但在進一步深入應用過程中也不斷暴露出材料領域組織圖像復雜、樣本量有限等瓶頸問題。

語義分割算法是計算機視覺領域的重要分支之一，其核心目的在于對輸入圖像中各個像素點進行分類，實現目標對象形態與邊界的像素級精細預測，最終輸出與輸入圖像尺寸一致的預測圖像。圖5給出了基于語義分割算法的顯微組織識別與定量化操作流程。對于語義分割算法，目前絕大多數研究均采用監督學習算法，典型的算法包括全卷積神經網絡（FCNN）、U?Net、SegNet等，表3中給出了各類語義分割算法的簡介。

圖5 基于語義分割算法的顯微組織識別與定量化流程

表3 常用語義分割算法的簡介

除了常見的相識別之外，該類語義分割算法還被應用于晶界識別、重結晶組織分析、碳化物識別、增材制造樣品中冶金缺陷識別、TEM圖像中的物相識別等多個場景。基于模型輸出的預測結果圖，通過對各類目標的像素信息進行統計計算，便可獲得豐富的顯微組織定量信息。

相較于目標檢測算法，圖像語義分割算法可獲得像素級的精確位置信息和輪廓形貌信息，具有更強的邊緣與細節處理能力，因此可獲得豐富的微觀組織信息。然而，由于語義分割算法可獲得像素級的識別精度，使其相較于目標檢測算法需要消耗更高的計算資源；極高的標注成本引起了嚴重的小樣本問題；此外，復雜微觀組織中晶界、相界模糊不清、難以辨別，對語義分割算法的像素級精細識別提出了巨大挑戰，使得當前該方法對復雜微觀組織的識別效果并不理想。

5.1 語義分割算法在復雜組織圖像分析方面的應用

目前，學界對于復雜顯微組織識別的研究多關注于如何結合高精度表征手段創建準確可靠的標簽圖像。針對這個問題，Shen等在前期工作中提出了EBSD指導下的DL建模方法，并將其成功應用于具有復雜顯微組織的實際工程鋼種。

如圖6所示，該方法的核心思路在于通過SEM?EBSD原位表征實驗，實現了對復雜微觀組織的像素級精準標定，進而建立起高質量數據集。該方法創新性地采用EBSD分析精準標定復雜鋼鐵組織中各類相，攻克了復雜組織智能識別中精準標簽獲取難的瓶頸。基于獲得的高質量數據集，便可訓練得到適用于復雜微觀組織的圖像識別模型，為高復雜度微觀組織的智能識別提供了普適性的建模框架。

然而，該類方法需要依賴較為復雜的原位表征實驗，同時標簽數據的獲取成本也較高，使其更適用于構建針對特定鋼種體系的小數據集，難以擴展應用至建立復雜、多材料體系的大規模數據集。

圖6 提升復雜顯微組織識別能力的常用策略

除了提升標簽圖像精度，改進語義分割模型計算框架也是提升其對復雜組織識別能力的有效途徑（圖6）。目前，結合圖像分類模型與語義分割模型是常用手段之一。Zhao等通過結合圖像分類模型與分割模型準確識別與定量分析了鈦合金微觀組織。

Ackermann等也通過2階段DL框架可靠識別了貝氏體鋼中復雜的馬氏體?奧氏體混合組織（M?A island），該計算框架中首先應用分類模型將馬奧島根據形貌特征進行分類，隨后針對不同形貌的馬奧島建立各自的語義分割模型。除了聯用不同算法，對已有算法的網絡結構進行改進設計也可以提升模型對復雜組織的識別效果。

綜上所述，針對復雜顯微組織識別難題，歷過多年發展，材料領域學者借助專業知識，在高質量數據集構建、模型結構設計等方面均取得了創新進展，提升了語義分割算法對工程金屬材料微觀組織的識別精度。而對于大規模、多材料體系的復雜組織識別任務，模型架構設計則是更優選擇。

5.2 語義分割算法在小樣本組織圖像分析方面的應用

語義分割算法在材料領域應用還面臨著嚴峻的小樣本問題，該問題主要來源于極其耗時的人工標注。盡管通過組織表征可以快速收集大量的組織圖像數據，但由于圖像中通常含有較高比例的相界和晶界，使得單張圖像的標注工作量極大。標注數據的匱乏將嚴重影響模型訓練過程中特征學習的多樣性以及評價指標的穩定性，最終降低了模型的精度和泛化能力。

如圖7所示，針對小樣本問題，運用計算模擬手段合成大量仿真的圖像數據、擴充數據集，是最為直接且有效的手段。目前，最為基礎且有效的數據增強方法為圖像幾何操作，該方法通過將原始訓練圖像及其標簽進行同步操作（水平翻轉、鏡像翻轉等），進而生成“新圖像數據”，快速擴充數據集。在常規圖像幾何操作的基礎上，將其與材料領域的物理冶金原理相結合，還可以實現不同條件顯微組織的模擬生成。盡管基于圖像幾何操作的數據增強方法可以快速擴充訓練樣本數據，但所謂的“生成圖像”均來自原有有限的訓練樣本，本質上并未增加新的數據信息，仍會制約模型的魯棒性和擴展應用能力。

圖7 提升小樣本數據下模型微觀組織識別能力的常用策略

為實現復雜組織的可靠模擬，近年來，以GAN為代表的生成式AI算法成為一種有力工具。Han等應用HP?VAE?GAN模型生成了高仿真的超高碳鋼顯微組織，且通過結合真實數據與模擬數據提升了組織圖像分類模型的精度，驗證了生成組織圖像數據的可靠性。Cao等利用GAN模型生成了不同工藝參數下的增材制造鈦合金組織，生成圖像的定量組織信息與真實組織圖像基本一致。

然而，現有的GAN模型只能生成組織圖像數據，并無法生成組織圖像所對應的標簽圖像，仍然無法解決語義分割任務中的小樣本問題。為此，Shen等提出了一種可以同時生成組織圖像及其標簽圖的兩步GAN模型架構。該方法被成功應用于小樣本數據下的增材制造鋼鐵顯微組織識別任務，并且證實了生成數據對語義分割模型精度的提升作用。綜上所述，基于圖像幾何變換操作的圖像增強方法本質上并無法引入新信息，對模型泛化能力的提升效果有限，但是優點在于操作簡單，實踐門檻較低。

除了數據增強外，算法開發或模型架構改進也是提升小樣本數據下模型能力的有效途徑，如圖7所示。基于涂鴉標注的弱監督模型可大幅降低語義分割模型對數據量的需求，Na等提出了一種結合弱監督語義分割算法與主動學習策略的高普適性顯微組織分割模型，使用最小的標注成本獲得了最優的模型性能。Stuckner等應用遷移學習策略構建了適用于鎳基合金等多類材料的微觀組織識別模型。Alrfou等同樣利用遷移學習策略，結合CNN和Swin Transformer預訓練權重，實現了組織圖像的特征提取及其精準分割。Ma等通過結合SAM大模型與領域知識，在無需額外模型訓練的條件下，建立起了具有優異泛化能力的合金組織分割模型，并獲得了與傳統監督模型極為接近的識別精度。Li等基于SAM視覺大模型開發出MatSAM模型，證實了視覺大模型技術的有效性。

綜上所述，弱監督學習、遷移學習以及視覺大模型均可提升AI技術對小樣本組織圖像數據的識別精度。相較之下，視覺大模型憑借極大規模數據的預訓練使其獲得了強大的泛化能力，顯著提升了小樣本下組織識別的精度，是語義分割領域未來的重點發展方向之一。

6 總結與展望

近年來，基于數據驅動的AI技術在金屬材料微觀組織識別與定量化研究方面取得了令人矚目的進展。隨著圖像分類、目標檢測、語義分割等AI算法的不斷應用，促使組織圖像數據的智能分析完成了由淺層定性分類向深度定量統計的轉變。然而，金屬材料領域中標注數據的稀缺性以及組織圖像的高復雜性長期制約AI技術的應用效果。

針對小樣本問題，學者在樣本生成、模型架構改進等方面做出了多種創新性工作，顛覆了傳統監督學習算法的建模范式，極大程度降低了建模對數據的依賴性。針對組織圖像復雜度高的問題，學者從高質量數據集構建、模型改進等方向著手提出應對策略，更有利于發揮材料領域學者的專業優勢，是解決該類問題的首選策略。

從圖像智能分析技術發展而言，材料圖像數據智能分析在未來發展中應緊跟AI領域前沿技術，將最近的算法、理念應用于本領域，實現事半功倍的效果。目前，SAM等語義分割大模型的應用極大緩解了標注數據稀缺的難題，有望替代傳統監督學習算法。

此外，在圖像識別算法結構中融入物理冶金學知識，也是未來極具前景的發展方向。除了上述結合，材料領域知識還可以嵌入或指導損失函數設計、模型架構改進等方面，形成物理機制約束。將領域知識與AI模型相結合可有力提升AI模型的性能和合理性，發展出材料科學領域特有的智能組織識別與定量化體系。

從指導新材料研發的角度而言，材料圖像數據智能分析在未來發展中應進一步加強與現有材料集成計算設計體系的結合。微觀組織智能分析在后續發展可關注于如何將該計算工具合理地嵌入材料研發體系，切實指導新材料開發。通過將圖像智能分析模型與現有的集成計算設計框架進行結合，實現金屬材料領域多模態數據的深度挖掘，進而更好地指導原型合金設計。

此外，在后續原型合金向工程構件轉化過程中，可考慮應用圖像識別技術對不同尺寸（原型合金、中試級、工業級）樣品中微觀組織進行精細分析，定量不同尺寸下組織信息差異，并將其與工藝參數信息、力學性能進行關聯，揭示微觀組織的尺寸效應規律并加速工程轉化效率。

本文作者：沈春光、孫碩、徐偉、鄭士建

作者簡介：沈春光，河北工業大學高性能軋輥材料與復合成形全國重點實驗室、河北工業大學天津市材料層狀復合與界面控制技術重點實驗室，副教授，研究方向為基于人工智能的鋼鐵材料計算設計；徐偉（通信作者），東北大學數字鋼鐵全國重點實驗室，教授，研究方向為金屬材料基因工程；鄭士建（共同通信作者），河北工業大學高性能軋輥材料與復合成形全國重點實驗室、河北工業大學天津市材料層狀復合與界面控制技術重點實驗室，教授，研究方向為金屬材料。

文章來 源 ： 沈春光, 孫碩, 徐偉, 等. 人工智能在金屬材料組織圖像識別與定量分析中的應用[J]. 科技導報, 2025, 43(24): 44?60.

本文有刪改，

內容為【科技導報】公眾號原創，歡迎轉載
白名單回復后臺「轉載」

《科技導報》創刊于1980年，中國科協學術會刊，主要刊登科學前沿和技術熱點領域突破性的研究成果、權威性的科學評論、引領性的高端綜述，發表促進經濟社會發展、完善科技管理、優化科研環境、培育科學文化、促進科技創新和科技成果轉化的決策咨詢建議。常設欄目有院士卷首語、科技新聞、科技評論、本刊專稿、特色專題、研究論文、政策建議、科技人文等。