跨條件對(duì)比學(xué)習(xí)：如何讓AI在惡劣天氣中“看”得更清楚

駕駛在暴雨、濃霧或漆黑夜路上時(shí)，人類視覺(jué)會(huì)受到嚴(yán)重挑戰(zhàn)，而自動(dòng)駕駛系統(tǒng)更是如此。如何讓人工智能在這些惡劣環(huán)境中依然能夠準(zhǔn)確識(shí)別道路、行人和障礙物？研究者們開發(fā)了一種名為＂對(duì)比模型適應(yīng)＂（CMA）的方法，它巧妙地利用同一地點(diǎn)在不同天氣條件下拍攝的圖像對(duì)，教會(huì)AI辨識(shí)本質(zhì)而忽略表象。這就像教會(huì)AI在看到被霧氣籠罩的樹木時(shí)，仍能認(rèn)出那是＂樹木＂，而不是被天氣迷惑的＂模糊物體＂。這種技術(shù)不需要大量標(biāo)注數(shù)據(jù)，卻能顯著提升AI在極端天氣下的＂視力＂，為未來(lái)自動(dòng)駕駛在全天候條件下的安全保駕護(hù)航。

盲區(qū)中的AI眼睛

當(dāng)我們開車駛?cè)霛忪F時(shí)，前方的視野會(huì)變得模糊不清。路邊的標(biāo)志牌、前方的車輛，甚至道路邊界都變得難以辨認(rèn)。這種情況下，即使經(jīng)驗(yàn)豐富的司機(jī)也需要減速慢行，更別提依賴視覺(jué)感知的人工智能系統(tǒng)了。

這正是當(dāng)前自動(dòng)駕駛技術(shù)面臨的一大挑戰(zhàn)。市面上多數(shù)自動(dòng)駕駛系統(tǒng)在晴朗白天表現(xiàn)優(yōu)異，但一旦遇到霧、雨、雪或夜晚等惡劣天氣條件，其性能就會(huì)急劇下降。瑞士蘇黎世聯(lián)邦理工學(xué)院的研究團(tuán)隊(duì)在實(shí)驗(yàn)中發(fā)現(xiàn)，一個(gè)在城市場(chǎng)景下達(dá)到80%準(zhǔn)確率的語(yǔ)義分割模型，在夜間場(chǎng)景中準(zhǔn)確率可能驟降至40%左右。

造成這種性能下降的根本原因在于訓(xùn)練數(shù)據(jù)的不平衡。以BDD100K和Mapillary Vistas這兩個(gè)廣泛使用的自動(dòng)駕駛數(shù)據(jù)集為例，它們包含的圖像絕大多數(shù)是在白天晴朗條件下采集的。在BDD100K數(shù)據(jù)集中，僅有約15%的圖像是在夜間或雨雪天氣下采集的。這導(dǎo)致訓(xùn)練出來(lái)的AI模型對(duì)正常視覺(jué)條件存在偏好，對(duì)惡劣條件缺乏適應(yīng)能力。

獲取惡劣條件下的高質(zhì)量標(biāo)注數(shù)據(jù)也面臨巨大挑戰(zhàn)。首先，這類數(shù)據(jù)本身就難以獲取，因?yàn)闃O端天氣條件出現(xiàn)頻率較低。其次，對(duì)這些圖像進(jìn)行像素級(jí)的語(yǔ)義標(biāo)注非常困難且成本高昂。想象一下，在一張霧霾彌漫的圖像中，即使人類專業(yè)標(biāo)注人員也很難準(zhǔn)確區(qū)分遠(yuǎn)處模糊的物體是汽車還是樹木。ACDC數(shù)據(jù)集的創(chuàng)建者指出，惡劣條件下的圖像標(biāo)注需要特殊的流程來(lái)處理不確定性，這大大增加了標(biāo)注成本。

傳統(tǒng)解決方法主要集中在兩個(gè)方向：一是擴(kuò)充惡劣條件下的標(biāo)注數(shù)據(jù)集，二是使用無(wú)監(jiān)督領(lǐng)域適應(yīng)技術(shù)。前者成本高昂，后者雖然不需要目標(biāo)域的標(biāo)簽，但仍需要同時(shí)訪問(wèn)源域（正常條件）的標(biāo)記數(shù)據(jù)和目標(biāo)域（惡劣條件）的未標(biāo)記數(shù)據(jù)。

然而，在實(shí)際應(yīng)用中，源域數(shù)據(jù)可能因?yàn)殡[私保護(hù)或商業(yè)機(jī)密等原因無(wú)法獲取。這就引出了一個(gè)更具挑戰(zhàn)性的問(wèn)題：如何僅使用源域訓(xùn)練好的模型和目標(biāo)域的未標(biāo)記數(shù)據(jù)，進(jìn)行有效的模型遷移？這就是模型適應(yīng)（Model Adaptation）技術(shù)需要解決的問(wèn)題。

見微知著的CMA

對(duì)比模型適應(yīng)（Contrastive Model Adaptation，CMA）方法正是為解決這一難題而生。這種方法的核心思想可以用一個(gè)簡(jiǎn)單的類比來(lái)理解：如果我給你看同一座建筑在陽(yáng)光明媚和暴風(fēng)雨天氣下的兩張照片，即使在暴風(fēng)雨照片中建筑輪廓模糊不清，你也能認(rèn)出這是同一座建筑，因?yàn)槟憧梢詮膬蓮堈掌刑崛〕霾浑S天氣變化的本質(zhì)特征。

CMA方法就是模擬這種人類認(rèn)知能力。它利用同一地點(diǎn)在不同天氣條件下拍攝的圖像對(duì)，通過(guò)對(duì)比學(xué)習(xí)技術(shù)，訓(xùn)練AI模型識(shí)別不受視覺(jué)條件影響的不變特征。例如，在ACDC數(shù)據(jù)集中，每個(gè)惡劣條件的目標(biāo)圖像都有一個(gè)對(duì)應(yīng)的參考圖像，這個(gè)參考圖像是在相同位置但在正常條件下拍攝的。

對(duì)比學(xué)習(xí)是CMA方法的核心技術(shù)。在傳統(tǒng)機(jī)器學(xué)習(xí)中，模型通常通過(guò)識(shí)別標(biāo)簽來(lái)學(xué)習(xí)特征。而在對(duì)比學(xué)習(xí)中，模型學(xué)習(xí)的目標(biāo)是：相似的事物應(yīng)該有相近的特征表示，不相似的事物應(yīng)該有遠(yuǎn)離的特征表示。CMA將這一理念應(yīng)用到跨條件場(chǎng)景中：同一位置在不同條件下拍攝的圖像應(yīng)該有相似的特征表示。

具體來(lái)說(shuō)，CMA將惡劣條件圖像的特征作為＂錨點(diǎn)＂，將對(duì)應(yīng)位置正常條件圖像的特征作為＂正樣本＂，而其他位置或其他圖像的特征則作為＂負(fù)樣本＂。通過(guò)最小化錨點(diǎn)與正樣本之間的距離，同時(shí)最大化錨點(diǎn)與負(fù)樣本之間的距離，模型逐漸學(xué)會(huì)提取不受視覺(jué)條件影響的本質(zhì)特征。

這種學(xué)習(xí)機(jī)制面臨兩個(gè)技術(shù)挑戰(zhàn)：一是如何確保參考圖像和目標(biāo)圖像在空間上對(duì)齊，二是如何處理動(dòng)態(tài)物體（如移動(dòng)的車輛和行人）在兩張圖像中位置不同的問(wèn)題。

針對(duì)空間對(duì)齊問(wèn)題，CMA采用了一種名為UAWarpC的密集匹配網(wǎng)絡(luò)，將參考圖像特征映射到目標(biāo)圖像的視角。這一步至關(guān)重要，因?yàn)榧词故荊NSS匹配的圖像對(duì)，其視角也可能存在顯著差異。例如，一張圖像可能是從道路左側(cè)拍攝的，而另一張則是從右側(cè)拍攝的。

對(duì)于動(dòng)態(tài)物體問(wèn)題，CMA采用了一種創(chuàng)新的信心調(diào)制方案。每個(gè)位置的對(duì)應(yīng)關(guān)系都會(huì)被賦予一個(gè)信心分?jǐn)?shù)，反映這一對(duì)應(yīng)關(guān)系的可靠性。在特征對(duì)比時(shí)，低信心區(qū)域（如動(dòng)態(tài)物體所在位置）會(huì)被弱化或完全忽略。例如，如果一張圖像中路邊停著一輛車，而另一張圖像中這輛車已經(jīng)不在了，那么這個(gè)位置的對(duì)應(yīng)關(guān)系就會(huì)被賦予低信心分?jǐn)?shù)。

CMA還采用了區(qū)塊級(jí)特征聚合技術(shù)，將圖像分割成多個(gè)區(qū)塊，在每個(gè)區(qū)塊內(nèi)聚合特征。這樣做有兩個(gè)好處：一是增強(qiáng)對(duì)小錯(cuò)位的容忍度，二是減少計(jì)算開銷。在實(shí)驗(yàn)中，研究者發(fā)現(xiàn)77的網(wǎng)格劃分效果最佳，既能捕捉局部細(xì)節(jié)又不會(huì)對(duì)計(jì)算資源要求過(guò)高。

與傳統(tǒng)無(wú)監(jiān)督領(lǐng)域適應(yīng)方法相比，CMA有兩個(gè)顯著優(yōu)勢(shì)：一是不需要訪問(wèn)源域標(biāo)記數(shù)據(jù)，更符合實(shí)際應(yīng)用場(chǎng)景；二是通過(guò)對(duì)比學(xué)習(xí)獲取的特征具有更好的泛化能力，能在各種未見過(guò)的惡劣條件下表現(xiàn)良好。

值得一提的是，CMA不只是一個(gè)理論構(gòu)想。研究團(tuán)隊(duì)在多個(gè)基準(zhǔn)測(cè)試上驗(yàn)證了其性能。在Cityscapes到ACDC的遷移任務(wù)中，CMA達(dá)到了69.1%的平均交并比（mIoU），比最先進(jìn)的模型適應(yīng)方法高出4個(gè)百分點(diǎn)，甚至超過(guò)了一些需要源域數(shù)據(jù)的傳統(tǒng)無(wú)監(jiān)督領(lǐng)域適應(yīng)方法。這一結(jié)果充分證明了CMA方法的有效性和實(shí)用價(jià)值。

技術(shù)巧思

CMA不只是概念創(chuàng)新，更在技術(shù)實(shí)現(xiàn)上有獨(dú)到之處。它的核心是一個(gè)名為＂交叉領(lǐng)域?qū)Ρ葥p失＂（CDC）的函數(shù)，這個(gè)損失函數(shù)的設(shè)計(jì)頗具匠心。想象一下，在一張霧天照片中的樹木和同一位置晴天照片中的樹木，雖然外觀截然不同，但本質(zhì)上是同一物體。CDC損失函數(shù)就是要讓AI理解這種本質(zhì)上的相同性。

這個(gè)損失函數(shù)采用了InfoNCE的框架，這是對(duì)比學(xué)習(xí)中常用的一種方法。在這個(gè)框架下，每個(gè)＂錨點(diǎn)＂（霧天圖像特征）都被拉向它的＂正樣本＂（對(duì)應(yīng)位置的晴天圖像特征），同時(shí)遠(yuǎn)離所有＂負(fù)樣本＂（其他位置或其他圖像的特征）。這就像告訴AI：＂看，這個(gè)霧蒙蒙的物體和這個(gè)清晰的樹是同一個(gè)東西，但它與其他任何東西都不同。＂

為了讓這個(gè)過(guò)程更加穩(wěn)健，研究者們?cè)O(shè)計(jì)了幾個(gè)技術(shù)細(xì)節(jié)。一個(gè)關(guān)鍵問(wèn)題是：如何確保錨點(diǎn)和正樣本確實(shí)對(duì)應(yīng)同一物體？畢竟，兩張圖片可能有視角差異，或者包含移動(dòng)的車輛和行人。

解決這個(gè)問(wèn)題的第一步是空間對(duì)齊。CMA使用了UAWarpC這個(gè)密集匹配網(wǎng)絡(luò)，它能夠?qū)⒁粡垐D像中的每個(gè)像素映射到另一張圖像中對(duì)應(yīng)的位置。UAWarpC通過(guò)自監(jiān)督學(xué)習(xí)在MegaDepth數(shù)據(jù)集上訓(xùn)練得到，能夠處理視角、照明等變化。關(guān)鍵的是，它不僅生成映射關(guān)系，還為每個(gè)映射提供一個(gè)信心分?jǐn)?shù)，表示這個(gè)映射有多可靠。

第二步是信心調(diào)制。即使有了空間對(duì)齊，仍有一些區(qū)域的對(duì)應(yīng)關(guān)系不可靠，比如原來(lái)停著一輛車的地方，車開走了，這個(gè)位置的對(duì)應(yīng)就不可靠。CMA通過(guò)兩種方式處理這個(gè)問(wèn)題：一是使用加權(quán)平均池化，根據(jù)信心分?jǐn)?shù)給予每個(gè)像素不同的權(quán)重；二是直接過(guò)濾掉平均信心低于0.2的區(qū)塊。

具體來(lái)說(shuō)，假設(shè)在一個(gè)77的網(wǎng)格中，每個(gè)格子內(nèi)有多個(gè)像素。CMA不是簡(jiǎn)單地平均這些像素的特征，而是根據(jù)每個(gè)像素的信心分?jǐn)?shù)進(jìn)行加權(quán)平均。如果一個(gè)格子內(nèi)的平均信心低于0.2，這個(gè)格子就會(huì)被完全忽略。這樣，只有高信心的對(duì)應(yīng)關(guān)系才會(huì)影響模型學(xué)習(xí)。

這種方法在實(shí)驗(yàn)中證明非常有效。研究者們嘗試了兩種替代方案：使用RINCE損失函數(shù)來(lái)應(yīng)對(duì)假正樣本，使用去偏對(duì)比損失來(lái)應(yīng)對(duì)假負(fù)樣本。結(jié)果顯示，雖然RINCE略有改進(jìn)，但復(fù)雜性增加，而且信心調(diào)制已經(jīng)有效減少了假正樣本，所以最終還是選擇了更簡(jiǎn)單的InfoNCE損失函數(shù)。

除了CDC損失外，CMA還結(jié)合了兩個(gè)輔助損失函數(shù)：自訓(xùn)練（self-training）和熵最小化（entropy minimization）。自訓(xùn)練使用源模型生成的偽標(biāo)簽進(jìn)行監(jiān)督，而熵最小化則鼓勵(lì)模型做出更確定的預(yù)測(cè)。這三個(gè)損失函數(shù)協(xié)同工作，共同促進(jìn)模型適應(yīng)目標(biāo)域。

CMA的設(shè)計(jì)考慮到了實(shí)際應(yīng)用的限制。比如，它只微調(diào)編碼器（encoder）部分，而保持解碼器（decoder）凍結(jié)，這有助于保留源域知識(shí)。此外，它使用指數(shù)移動(dòng)平均（EMA）模型來(lái)生成正負(fù)樣本，這提高了特征的一致性。CMA甚至使用一個(gè)隊(duì)列來(lái)累積負(fù)樣本，使得對(duì)比學(xué)習(xí)更加有效。

這些技術(shù)細(xì)節(jié)看似復(fù)雜，但背后的思想很簡(jiǎn)單：利用不同條件下的對(duì)應(yīng)關(guān)系，讓AI學(xué)會(huì)識(shí)別不變的本質(zhì)特征，而不是被表面的視覺(jué)條件所迷惑。

實(shí)力見證

理論再完美，也需要在實(shí)踐中檢驗(yàn)。研究團(tuán)隊(duì)在多個(gè)基準(zhǔn)測(cè)試上驗(yàn)證了CMA的性能，結(jié)果令人印象深刻。

在模型適應(yīng)任務(wù)中，CMA與目前最先進(jìn)的方法進(jìn)行了比較。在從Cityscapes到ACDC的遷移上，使用SegFormer架構(gòu)時(shí)，CMA達(dá)到了69.1%的平均交并比（mIoU），遠(yuǎn)高于其他方法，如TENT（59.3%）、HCL（60.8%）和URMA（65.3%）。即使使用較老的DeepLabv2架構(gòu)，CMA也達(dá)到了50.4%的mIoU，仍然優(yōu)于其他方法。

這種性能提升不僅體現(xiàn)在總體指標(biāo)上，還體現(xiàn)在各個(gè)具體類別上。無(wú)論是道路（94.0%）、人行道（75.2%）、建筑（88.6%）等靜態(tài)物體，還是行人（67.0%）、汽車（86.2%）等動(dòng)態(tài)物體，CMA都表現(xiàn)出色。這很值得注意，因?yàn)镃MA的對(duì)比損失主要針對(duì)靜態(tài)場(chǎng)景，卻能提升動(dòng)態(tài)物體的識(shí)別精度。研究者推測(cè)，這可能是因?yàn)閷W(xué)習(xí)到的條件不變特征對(duì)全局變化（如照明和反射）更加魯棒。

CMA不僅在ACDC上表現(xiàn)出色，在Dark Zurich（53.6%）、RobotCar（54.3%）和CMU（92.0%）等數(shù)據(jù)集上也顯著優(yōu)于其他模型適應(yīng)方法。這說(shuō)明CMA的有效性不限于特定數(shù)據(jù)集或特定惡劣條件。

更令人驚訝的是，CMA甚至與標(biāo)準(zhǔn)無(wú)監(jiān)督領(lǐng)域適應(yīng)（UDA）方法相媲美，盡管后者使用了標(biāo)記的源域數(shù)據(jù)。在Cityscapes到ACDC的遷移上，CMA（69.1%）超過(guò)了DAFormer（55.4%）和SePiCo（59.1%），甚至超過(guò)了HRDA（68.0%）。這證明了CMA的方法不僅簡(jiǎn)化了數(shù)據(jù)需求，還提高了性能。

為了測(cè)試CMA的泛化能力，研究團(tuán)隊(duì)編制了一個(gè)名為＂ACG＂（Adverse-Condition Generalization）的基準(zhǔn)測(cè)試，包含來(lái)自WildDash2、BDD100K、Foggy Zurich和Foggy Driving等數(shù)據(jù)集的922張惡劣條件圖像。這些圖像涵蓋了歐洲和北美的多個(gè)地區(qū)，包括121張霧天、225張雨天、276張雪天和300張夜間圖像。

在ACG上，CMA展現(xiàn)出了極強(qiáng)的泛化能力，總體mIoU為51.3%，明顯優(yōu)于其他模型適應(yīng)方法和UDA方法。特別是在最具挑戰(zhàn)性的夜間場(chǎng)景上，CMA達(dá)到了40.0%的mIoU，而其他方法如URMA（31.0%）和HRDA（27.1%）表現(xiàn)較差。這證明CMA學(xué)到的特征具有很強(qiáng)的普適性，能夠應(yīng)對(duì)各種未見過(guò)的惡劣條件，甚至是條件組合（如雨夜或雪夜）。

研究人員還進(jìn)行了全面的消融實(shí)驗(yàn)，以了解各個(gè)組件的貢獻(xiàn)。結(jié)果顯示，沒(méi)有CDC損失的CMA只能達(dá)到60.1%的mIoU，加入CDC后提升到67.2%，證明對(duì)比學(xué)習(xí)是性能提升的關(guān)鍵?？臻g對(duì)齊和信心調(diào)制也帶來(lái)了顯著改進(jìn)，分別提升了約1.2%和1.0%的mIoU。

可視化結(jié)果更直觀地展示了CMA的效果。通過(guò)t-SNE可視化，可以看到使用CDC損失后，不同條件下的相同語(yǔ)義區(qū)域（如天空、人行道）被正確地聚類在一起，而沒(méi)有CDC損失時(shí)，這些特征是分散的。

實(shí)際使用中，CMA對(duì)兩個(gè)關(guān)鍵超參數(shù)——嵌入網(wǎng)格大小和InfoNCE溫度——的敏感度較低，這意味著它在不同設(shè)置下都能穩(wěn)定工作，不需要精細(xì)調(diào)參。

CMA不僅在性能上出色，在計(jì)算效率上也有優(yōu)勢(shì)。由于采用了區(qū)塊級(jí)特征聚合，CMA的內(nèi)存和計(jì)算需求大大降低。在單個(gè)TITAN RTX GPU上，CMA只需訓(xùn)練10k次迭代即可達(dá)到良好性能，這比許多UDA方法要快得多。

這些實(shí)驗(yàn)結(jié)果共同證明了CMA是一種兼具效率和效果的模型適應(yīng)方法，特別適合需要在惡劣視覺(jué)條件下工作的實(shí)際應(yīng)用場(chǎng)景，如自動(dòng)駕駛和智能監(jiān)控。最重要的是，它不需要訪問(wèn)源域數(shù)據(jù)，也不需要目標(biāo)域的精細(xì)標(biāo)注，這大大降低了實(shí)際部署的門檻。

參考資料

1. Bruggemann， D.， Sakaridis， C.， Brodermann， T.， &； Van Gool， L. （2023）. Contrastive Model Adaptation for Cross-Condition Robustness in Semantic Segmentation. ICCV 2023.

2. Sakaridis， C.， Dai， D.， &； Van Gool， L. （2019）. ACDC: The Adverse Conditions Dataset with Correspondences.

3. Sakaridis， C.， Dai， D.， &； Van Gool， L. （2018）. Dark Zurich: A Dataset for Semantic Segmentation in Nighttime Images.