NeurIPS 2025 Spotlight | 條件表征學習：一步對齊表征與準則

本文第一作者為四川大學博士研究生劉泓麟，郵箱為tristanliuhl@gmail.com，通訊作者為四川大學李云帆博士后與四川大學彭璽教授。

一張圖片包含的信息是多維的。例如下面的圖 1，我們至少可以得到三個層面的信息：主體是大象，數(shù)量有兩頭，環(huán)境是熱帶稀樹草原（savanna）。然而，如果由傳統(tǒng)的表征學習方法來處理這張圖片，比方說就將其送入一個在 ImageNet 上訓練好的 ResNet 或者 Vision Transformer，往往得到的表征只會體現(xiàn)其主體信息，也就是會簡單地將該圖片歸為大象這一類別。這顯然是不合理的。

圖 1：傳統(tǒng)表征學習（上）與條件表征學習（下）的比較。傳統(tǒng)的表征學習方法只能學習到一種通用的表征，忽略了其他有意義的信息；文章提出的條件表征學習能夠基于指定準則，得到該準則下表現(xiàn)力更強的條件表征，適應多種下游任務。

此外，在各大電商平臺，用戶通常根據(jù)不同的標準（例如顏色、材質(zhì)或場合）搜索商品。例如，用戶今天可能搜索 “紅色連衣裙”，明天搜索 “正裝”，后天搜索某個全新的關(guān)鍵詞。這對于擁有龐大規(guī)模商品的平臺來說，手動打標簽是不現(xiàn)實的，而傳統(tǒng)的表征學習也僅僅只能獲取到 “連衣裙” 這個層面的信息。

要獲取圖片中除了 “大象”、“連衣裙” 之外的信息，一個很容易想到的方法就是進行針對性的有監(jiān)督訓練：基于不同的準則比如環(huán)境，進行額外的標注，再從頭訓練或者基于已有表征訓練一個額外的線性層。但是基于這種方式，顯然是 “治標不治本” 的。因為一旦有了新的需求，便又需要進行針對性的數(shù)據(jù)收集、標注和訓練，需要付出大量的時間和人力成本。

很幸運的，我們處在多模態(tài)大模型的時代，這個在以前可能會很困難的問題在今天是有很多解法的。我們可以直接通過詢問 LLaVA，它便會告訴我們圖片在指定準則下的信息。但這種方式也還不夠高效，至少在 2025 年的今天，多模態(tài)大模型的使用成本還是需要考慮的。如果需要處理 ImageNet 之類的大規(guī)模數(shù)據(jù)集或者電商平臺繁雜的商品，得到其在指定準則下的信息，這個開銷就比較大了。所以對大多數(shù)人來說，現(xiàn)如今要獲取圖片的多維信息，還是需要找到一個更加高效的方法。

• 論文標題：Conditional Representation Learning for Customized Tasks
• 論文鏈接：https://arxiv.org/abs/2510.04564
• 代碼鏈接：https://github.com/XLearning-SCU/2025-NeurIPS-CRL

方法

我們知道，對于三維直角坐標系，一組基，比如 [(1, 0, 0), (0, 1, 0), (0, 0, 1)]，其線性組合即可構(gòu)建出該坐標系中的任何向量。類似的，對于顏色體系，只需要 “紅”、“綠”、“藍” 三原色即可調(diào)出所有的顏色。

受此啟發(fā)，我們想到，是否對于任意一個給定的準則，也存在著一個對應的 “概念空間” 及其基？如果能在這個空間中找到一組基，那么我們只需要將原始表征投影到該空間上，理論上就能獲得在該準則下更具表現(xiàn)力和判別性的特征。

找到給定準則對應的基，這聽起來有些困難。但沒關(guān)系，我們不需要很準確地找到，只需要接近它就好。

基于這個想法，論文提出了一種即插即用的條件表征學習方法。如圖 2 所示，給定準則（例如 “顏色”），CRL 首先讓大語言模型 LLM 生成該準則相關(guān)的描述文本（例如 “紅色”，“藍色” 和 “綠色” 等）。隨后，CRL 將由 VLM 得到的通用圖片表征，投影到由描述文本張成的空間中，得到該準則下的條件表征。該表征在指定的準則下表達更充分，并且具有更優(yōu)的可解釋性，能有效適應下游定制化任務。

圖 2：所提出的條件表征學習（CRL）的總體框架。圖中以通用表征空間（準則為隱式的 “形狀”）轉(zhuǎn)換到 “顏色” 準則空間為例。

直白地說，只需要將對齊的圖片和文本表征，做個矩陣乘法就好了，甚至不需要訓練。復現(xiàn)難度約等于：

實驗

分類和檢索任務是衡量表征學習性能的兩個經(jīng)典下游任務。論文在兩個分類任務（少樣本分類、聚類）和兩個檢索任務（相似度檢索、服裝檢索）上進行了充分的實驗驗證，部分實驗結(jié)果如下：

圖 3：分類任務

表 1：所提出的 CRL 在少樣本分類任務上的性能。

表 2：所提出的 CRL 在聚類任務上的性能。

圖 4：相似度檢索任務。上為 “Focus on an object”（Focus），下為 “Change an Object”（Change）。

表 3：所提出的 CRL 在相似度檢索任務上的性能。

圖 5：服裝檢索任務。

表 4：所提出的 CRL 在服裝檢索任務上的性能。

從上述結(jié)果中可以看出， CRL 可以作為一個即插即用的模塊，與現(xiàn)有多模態(tài)方法相結(jié)合，在不同準則下，其得到的條件表征在下游任務中都取得了比原表征更加優(yōu)異的表現(xiàn)，性能甚至超過了對應領(lǐng)域的專用方法。更多實驗可參見論文。

總結(jié)

與傳統(tǒng)的表征學習只得到單一的通用表征不同，本文提出了條件表征學習，通過獲取指定準則下的文本基，并將圖像表征投影到該文本基張成的空間中，即可得到該準則下表現(xiàn)力更強的條件表征，以更好地適應各種下游任務。