NeurIPS 2025 Spotlight | 條件表征學(xué)習(xí)：一步對(duì)齊表征與準(zhǔn)則

本文第一作者為四川大學(xué)博士研究生劉泓麟，郵箱為tristanliuhl@gmail.com，通訊作者為四川大學(xué)李云帆博士后與四川大學(xué)彭璽教授。

一張圖片包含的信息是多維的。例如下面的圖 1，我們至少可以得到三個(gè)層面的信息：主體是大象，數(shù)量有兩頭，環(huán)境是熱帶稀樹草原（savanna）。然而，如果由傳統(tǒng)的表征學(xué)習(xí)方法來處理這張圖片，比方說就將其送入一個(gè)在 ImageNet 上訓(xùn)練好的 ResNet 或者 Vision Transformer，往往得到的表征只會(huì)體現(xiàn)其主體信息，也就是會(huì)簡(jiǎn)單地將該圖片歸為大象這一類別。這顯然是不合理的。

圖 1：傳統(tǒng)表征學(xué)習(xí)（上）與條件表征學(xué)習(xí)（下）的比較。傳統(tǒng)的表征學(xué)習(xí)方法只能學(xué)習(xí)到一種通用的表征，忽略了其他有意義的信息；文章提出的條件表征學(xué)習(xí)能夠基于指定準(zhǔn)則，得到該準(zhǔn)則下表現(xiàn)力更強(qiáng)的條件表征，適應(yīng)多種下游任務(wù)。

此外，在各大電商平臺(tái)，用戶通常根據(jù)不同的標(biāo)準(zhǔn)（例如顏色、材質(zhì)或場(chǎng)合）搜索商品。例如，用戶今天可能搜索 “紅色連衣裙”，明天搜索 “正裝”，后天搜索某個(gè)全新的關(guān)鍵詞。這對(duì)于擁有龐大規(guī)模商品的平臺(tái)來說，手動(dòng)打標(biāo)簽是不現(xiàn)實(shí)的，而傳統(tǒng)的表征學(xué)習(xí)也僅僅只能獲取到 “連衣裙” 這個(gè)層面的信息。

要獲取圖片中除了 “大象”、“連衣裙” 之外的信息，一個(gè)很容易想到的方法就是進(jìn)行針對(duì)性的有監(jiān)督訓(xùn)練：基于不同的準(zhǔn)則比如環(huán)境，進(jìn)行額外的標(biāo)注，再?gòu)念^訓(xùn)練或者基于已有表征訓(xùn)練一個(gè)額外的線性層。但是基于這種方式，顯然是 “治標(biāo)不治本” 的。因?yàn)橐坏┯辛诵碌男枨螅阌中枰M(jìn)行針對(duì)性的數(shù)據(jù)收集、標(biāo)注和訓(xùn)練，需要付出大量的時(shí)間和人力成本。

很幸運(yùn)的，我們處在多模態(tài)大模型的時(shí)代，這個(gè)在以前可能會(huì)很困難的問題在今天是有很多解法的。我們可以直接通過詢問 LLaVA，它便會(huì)告訴我們圖片在指定準(zhǔn)則下的信息。但這種方式也還不夠高效，至少在 2025 年的今天，多模態(tài)大模型的使用成本還是需要考慮的。如果需要處理 ImageNet 之類的大規(guī)模數(shù)據(jù)集或者電商平臺(tái)繁雜的商品，得到其在指定準(zhǔn)則下的信息，這個(gè)開銷就比較大了。所以對(duì)大多數(shù)人來說，現(xiàn)如今要獲取圖片的多維信息，還是需要找到一個(gè)更加高效的方法。

• 論文標(biāo)題：Conditional Representation Learning for Customized Tasks
• 論文鏈接：https://arxiv.org/abs/2510.04564
• 代碼鏈接：https://github.com/XLearning-SCU/2025-NeurIPS-CRL

方法

我們知道，對(duì)于三維直角坐標(biāo)系，一組基，比如 [(1, 0, 0), (0, 1, 0), (0, 0, 1)]，其線性組合即可構(gòu)建出該坐標(biāo)系中的任何向量。類似的，對(duì)于顏色體系，只需要 “紅”、“綠”、“藍(lán)” 三原色即可調(diào)出所有的顏色。

受此啟發(fā)，我們想到，是否對(duì)于任意一個(gè)給定的準(zhǔn)則，也存在著一個(gè)對(duì)應(yīng)的 “概念空間” 及其基？如果能在這個(gè)空間中找到一組基，那么我們只需要將原始表征投影到該空間上，理論上就能獲得在該準(zhǔn)則下更具表現(xiàn)力和判別性的特征。

找到給定準(zhǔn)則對(duì)應(yīng)的基，這聽起來有些困難。但沒關(guān)系，我們不需要很準(zhǔn)確地找到，只需要接近它就好。

基于這個(gè)想法，論文提出了一種即插即用的條件表征學(xué)習(xí)方法。如圖 2 所示，給定準(zhǔn)則（例如 “顏色”），CRL 首先讓大語言模型 LLM 生成該準(zhǔn)則相關(guān)的描述文本（例如 “紅色”，“藍(lán)色” 和 “綠色” 等）。隨后，CRL 將由 VLM 得到的通用圖片表征，投影到由描述文本張成的空間中，得到該準(zhǔn)則下的條件表征。該表征在指定的準(zhǔn)則下表達(dá)更充分，并且具有更優(yōu)的可解釋性，能有效適應(yīng)下游定制化任務(wù)。

圖 2：所提出的條件表征學(xué)習(xí)（CRL）的總體框架。圖中以通用表征空間（準(zhǔn)則為隱式的 “形狀”）轉(zhuǎn)換到 “顏色” 準(zhǔn)則空間為例。

直白地說，只需要將對(duì)齊的圖片和文本表征，做個(gè)矩陣乘法就好了，甚至不需要訓(xùn)練。復(fù)現(xiàn)難度約等于：

實(shí)驗(yàn)

分類和檢索任務(wù)是衡量表征學(xué)習(xí)性能的兩個(gè)經(jīng)典下游任務(wù)。論文在兩個(gè)分類任務(wù)（少樣本分類、聚類）和兩個(gè)檢索任務(wù)（相似度檢索、服裝檢索）上進(jìn)行了充分的實(shí)驗(yàn)驗(yàn)證，部分實(shí)驗(yàn)結(jié)果如下：

圖 3：分類任務(wù)

表 1：所提出的 CRL 在少樣本分類任務(wù)上的性能。

表 2：所提出的 CRL 在聚類任務(wù)上的性能。

圖 4：相似度檢索任務(wù)。上為 “Focus on an object”（Focus），下為 “Change an Object”（Change）。

表 3：所提出的 CRL 在相似度檢索任務(wù)上的性能。

圖 5：服裝檢索任務(wù)。

表 4：所提出的 CRL 在服裝檢索任務(wù)上的性能。

從上述結(jié)果中可以看出， CRL 可以作為一個(gè)即插即用的模塊，與現(xiàn)有多模態(tài)方法相結(jié)合，在不同準(zhǔn)則下，其得到的條件表征在下游任務(wù)中都取得了比原表征更加優(yōu)異的表現(xiàn)，性能甚至超過了對(duì)應(yīng)領(lǐng)域的專用方法。更多實(shí)驗(yàn)可參見論文。

總結(jié)

與傳統(tǒng)的表征學(xué)習(xí)只得到單一的通用表征不同，本文提出了條件表征學(xué)習(xí)，通過獲取指定準(zhǔn)則下的文本基，并將圖像表征投影到該文本基張成的空間中，即可得到該準(zhǔn)則下表現(xiàn)力更強(qiáng)的條件表征，以更好地適應(yīng)各種下游任務(wù)。