<cite id="ffb66"></cite><cite id="ffb66"><track id="ffb66"></track></cite>
      <legend id="ffb66"><li id="ffb66"></li></legend>
      色婷婷久,激情色播,久久久无码专区,亚洲中文字幕av,国产成人A片,av无码免费,精品久久国产,99视频精品3
      網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

      I-CON:表示學(xué)習(xí)的統(tǒng)一框架

      0
      分享至

      I-CON: A UNIFYING FRAMEWORK FOR REPRESENTATION LEARNING

      I-CON:表示學(xué)習(xí)的統(tǒng)一框架

      https://arxiv.org/pdf/2504.16929#page=1.00&gsr=0



      摘要
      隨著表示學(xué)習(xí)領(lǐng)域的發(fā)展,為了解決不同類別的問題,出現(xiàn)了大量不同的損失函數(shù)。我們提出一個統(tǒng)一的信息論方程,能夠推廣機(jī)器學(xué)習(xí)中許多現(xiàn)代損失函數(shù)。具體而言,我們引入了一個框架,表明若干廣泛的機(jī)器學(xué)習(xí)方法實際上正是在最小化兩個條件分布之間的積分KL散度:監(jiān)督表示與學(xué)習(xí)到的表示。這一觀點揭示了聚類、譜方法、降維、對比學(xué)習(xí)和監(jiān)督學(xué)習(xí)背后隱藏的信息幾何結(jié)構(gòu)。該框架使得我們能夠通過融合文獻(xiàn)中成功的各種技術(shù),開發(fā)出新的損失函數(shù)。我們不僅提供了廣泛的證明,連接了超過23種不同的方法,還利用這些理論成果構(gòu)建了當(dāng)前最先進(jìn)的無監(jiān)督圖像分類器,在ImageNet-1K上的無監(jiān)督分類任務(wù)中比先前的最先進(jìn)方法提升了+8%。此外,我們還展示了I-Con可用于推導(dǎo)出有理論依據(jù)的去偏方法,從而提升對比表示學(xué)習(xí)器的性能。

      1 引言

      在過去十年中,表示學(xué)習(xí)領(lǐng)域蓬勃發(fā)展,新的技術(shù)、架構(gòu)和損失函數(shù)層出不窮。這些進(jìn)展推動了計算機(jī)視覺、自然語言處理和多模態(tài)學(xué)習(xí)等領(lǐng)域最先進(jìn)模型的發(fā)展,通常僅需極少的人工監(jiān)督。然而,隨著該領(lǐng)域的不斷擴(kuò)展,損失函數(shù)的多樣性使得人們越來越難以理解不同方法之間的關(guān)系,以及哪些目標(biāo)函數(shù)最適合特定任務(wù)。

      在本研究中,我們提出了一種通用的數(shù)學(xué)框架,將涵蓋監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)在內(nèi)的廣泛表示學(xué)習(xí)技術(shù),統(tǒng)一到一個單一的信息論目標(biāo)之下。我們的框架——信息對比學(xué)習(xí)(Information Contrastive Learning, ICon)表明,許多看似截然不同的方法,包括聚類、譜圖理論、對比學(xué)習(xí)、降維和監(jiān)督分類,實際上都是同一底層損失函數(shù)的特例。

      盡管先前的研究已經(jīng)發(fā)現(xiàn)了表示學(xué)習(xí)方法中某些子集之間的孤立聯(lián)系,通常一次僅連接兩到三種技術(shù)(Sobal 等,2025;Hu 等,2023;Yang 等,2022;B?hm 等,2023;Balestriero & LeCun,2022),但I(xiàn)Con是首個將超過23種不同方法統(tǒng)一在一個目標(biāo)函數(shù)之下的框架。這種統(tǒng)一的視角不僅澄清了現(xiàn)有技術(shù)的內(nèi)在結(jié)構(gòu),還為在傳統(tǒng)上相互獨立的領(lǐng)域之間遷移思想和改進(jìn)方法提供了堅實的基礎(chǔ)。

      基于ICon,我們推導(dǎo)出新的無監(jiān)督損失函數(shù),在標(biāo)準(zhǔn)圖像分類基準(zhǔn)測試上顯著優(yōu)于以往方法。我們的主要貢獻(xiàn)如下:

      ? 我們提出了ICon,一種單一的信息論損失函數(shù),能夠推廣表示學(xué)習(xí)中的多個主要方法類別。

      ? 我們證明了15個定理,展示了多種不同算法如何作為ICon的特例出現(xiàn)。

      ? 我們利用ICon設(shè)計了一種去偏策略,在無監(jiān)督的ImageNet-1K任務(wù)上準(zhǔn)確率提升了+8%,在線性探針(linear probing)評估中,CIFAR-100上額外提升了+3%,STL-10上提升了+2%。

      2 相關(guān)工作

      表示學(xué)習(xí)涵蓋了一系列從復(fù)雜數(shù)據(jù)中提取結(jié)構(gòu)的方法。我們回顧了ICon所基于并推廣的若干研究方向。關(guān)于該領(lǐng)域的全面綜述,可參見(Le-Khac等,2020;Bengio等,2013;Weng,2021)。

      特征學(xué)習(xí) 旨在利用監(jiān)督信號(如成對相似性、最近鄰、數(shù)據(jù)增強(qiáng)、類別標(biāo)簽或重構(gòu)損失)來提取具有信息量的低維嵌入。經(jīng)典方法如主成分分析(PCA,Pearson,1901)和多維尺度分析(MDS,Kruskal,1964)側(cè)重于保持?jǐn)?shù)據(jù)的全局結(jié)構(gòu),而UMAP(McInnes等,2018)和t-SNE(Hinton & Roweis,2002;Van der Maaten & Hinton,2008)則通過最小化聯(lián)合分布之間的散度來關(guān)注局部拓?fù)浣Y(jié)構(gòu)。ICon采用了類似的“最小化散度”視角。

      對比學(xué)習(xí) 方法,如SimCLR(Chen等,2020a)、CMC(Tian等,2020)、CLIP(Radford等,2021)和MoCo v3(Chen*等,2021),通常利用正樣本對和負(fù)樣本對,這些樣本對常通過數(shù)據(jù)增強(qiáng)或跨模態(tài)對齊構(gòu)建。ICon在一個統(tǒng)一的基于KL散度的框架內(nèi)推廣了這些損失函數(shù),揭示了它們之間的細(xì)微差異。監(jiān)督分類器(例如ImageNet模型,Krizhevsky等,2017)也能生成有效的特征表示,ICon通過將類別標(biāo)簽視為離散的對比點,重新解釋了這類方法,從而在監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí)之間建立了橋梁。

      聚類方法 通過距離度量、圖劃分或?qū)Ρ刃员O(jiān)督來發(fā)現(xiàn)數(shù)據(jù)中的離散結(jié)構(gòu)。k均值(k-Means,Macqueen,1967)、EM算法(Dempster等,1977)和譜聚類(Shi & Malik,2000)是基礎(chǔ)性算法。近年來的方法,如IIC(Ji等,2019)、對比聚類(Contrastive Clustering,Li等,2021)和SCAN(Gansbeke等,2020),利用了不變性(invariance)和鄰域結(jié)構(gòu)。教師-學(xué)生模型(如TEMI,Adaloglou等,2023)以及基于指數(shù)移動平均(EMA)的架構(gòu)(Chen等,2020b)進(jìn)一步提升了聚類性能。ICon通過將聚類誘導(dǎo)的聯(lián)合分布與來自相似性、結(jié)構(gòu)或?qū)Ρ刃盘柕哪繕?biāo)分布對齊,涵蓋了這些方法。

      表示學(xué)習(xí)的統(tǒng)一性研究 方面,已有工作探索了對比學(xué)習(xí)與t-SNE之間的聯(lián)系(Hu等,2023;B?hm等,2023)、對比損失與交叉熵?fù)p失之間的等價性(Yang等,2022),以及譜方法與對比方法之間的關(guān)系(Balestriero & LeCun,2022;Sobal等,2025)。其他嘗試,如貝葉斯語法模型(Grosse等,2012),提供了概率視角。Tschannen等(Tschannen等,2019)強(qiáng)調(diào)了互信息框架中估計器和架構(gòu)設(shè)計的重要性,但未能實現(xiàn)更廣泛的統(tǒng)一。

      盡管先前的研究已經(jīng)將這些方法中的部分子集聯(lián)系起來,但據(jù)我們所知,ICon是首個將監(jiān)督學(xué)習(xí)、對比學(xué)習(xí)、聚類和降維等目標(biāo)統(tǒng)一于單一損失函數(shù)之下的框架。這一視角闡明了它們共有的結(jié)構(gòu),并為發(fā)展新的學(xué)習(xí)原理開辟了道路。

      3 方法
      I-Con框架將多種表示學(xué)習(xí)方法統(tǒng)一到一個單一的損失函數(shù)之下:最小化兩個條件“鄰域分布”之間的平均KL散度,這兩個分布定義了數(shù)據(jù)點之間的轉(zhuǎn)移概率。這一信息論目標(biāo)泛化了來自聚類、對比學(xué)習(xí)、降維、譜圖理論和監(jiān)督學(xué)習(xí)等多種技術(shù)。通過改變監(jiān)督分布和學(xué)習(xí)分布的構(gòu)建方式,I-Con涵蓋了大量現(xiàn)有方法以及新穎方法。我們提出了I-Con,并展示了其在統(tǒng)一不同領(lǐng)域技術(shù)方面的強(qiáng)大能力,以及在不同領(lǐng)域之間遷移思想的潛力,從而催生了一種當(dāng)前最先進(jìn)的無監(jiān)督圖像分類方法。

      3.1 信息對比學(xué)習(xí)





      3.2 使用I-Con統(tǒng)一表示學(xué)習(xí)算法
      盡管公式(1)極其簡潔,但它具有足夠的表達(dá)能力,只需選擇適當(dāng)?shù)膮?shù)化鄰域分布 pθ和 q?,即可推廣文獻(xiàn)中的多種現(xiàn)有方法,如圖1所示。我們在圖2a中對 pθ和 q?的常見選擇進(jìn)行了分類。


      表1總結(jié)了一些關(guān)鍵選擇,這些選擇可重現(xiàn)來自對比學(xué)習(xí)(SimCLR、MoCo v3、SupCon、CMC、CLIP、VICReg)、降維(SNE、t-SNE、PCA)、聚類(K-Means、譜聚類、DCD、PMI)以及監(jiān)督學(xué)習(xí)(交叉熵?fù)p失、調(diào)和損失)等領(lǐng)域的流行方法。由于篇幅限制,各定理的證明均移至補(bǔ)充材料中。我們還注意到,表1并未窮盡所有可能,鼓勵研究社區(qū)探索其他學(xué)習(xí)框架是否也在隱式地針對某種 p和 q的選擇最小化公式(1)。


      3.2.1 示例:SNE、SimCLR 和 K-Means
      盡管I-Con統(tǒng)一了廣泛的方法,我們在此通過展示 p和 q的不同選擇如何復(fù)現(xiàn)SNE、SimCLR和K-Means等經(jīng)典技術(shù)來加以說明。完整細(xì)節(jié)見附錄。


      3.3 使用I-Con創(chuàng)建新的表示學(xué)習(xí)方法
      I-Con框架在單一數(shù)學(xué)形式下統(tǒng)一了各種表示學(xué)習(xí)方法,并且關(guān)鍵的是,它促進(jìn)了不同領(lǐng)域之間技術(shù)的遷移與融合。


      本文中,我們展示了如何通過梳理現(xiàn)代表示學(xué)習(xí)方法,開發(fā)出性能超越以往水平的聚類和無監(jiān)督分類算法。具體而言,我們?nèi)诤狭俗V聚類、t-SNE 和去偏對比學(xué)習(xí)(Debiased Contrastive Learning, Chuang 等,2020)的洞見,構(gòu)建了一個當(dāng)前最先進(jìn)的無監(jiān)督圖像分類流程。

      3.3.1 去偏


      3.3.2 通過均勻分布實現(xiàn)去偏
      我們的第一個示例采用了一個簡單的均勻混合分布:


      其中 N是局部鄰域的大小,α表示混合的程度。該方法為每個“負(fù)”樣本分配一個較小的概率質(zhì)量 Nα,從而緩解了對鄰域分配過于置信的問題。在監(jiān)督學(xué)習(xí)場景中,這類似于標(biāo)簽平滑(label smoothing, Szegedy 等,2016)。相比之下,Chuang 等(2020)則保持標(biāo)簽為獨熱(one-hot)形式,直接修改softmax函數(shù)本身。

      另一種理解該方法的角度是通過更重尾部或更寬泛的分布來看待。通過添加一個均勻分布成分,我們模仿了t-SNE中使用的學(xué)生t分布(Van der Maaten & Hinton, 2008)的思想,該分布會對較遠(yuǎn)的點分配更大的概率質(zhì)量。在這兩種情況下,擴(kuò)展分布都有助于降低對狹窄定義的鄰居集合過擬合的風(fēng)險。

      表3以及圖5和圖6中的實驗結(jié)果表明,這種輕量級的修改在各種任務(wù)和批量大小下均能持續(xù)提升性能。它還能“緩解”過于置信的分布,類似于監(jiān)督學(xué)習(xí)中交叉熵?fù)p失的標(biāo)簽平滑,從而防止梯度消失問題。



      3.3.3 通過鄰居傳播實現(xiàn)去偏
      第二種策略采用基于圖的擴(kuò)展方法。如表1所示,將K均值中的高斯鄰域替換為度加權(quán)的k近鄰,即可得到譜聚類,而譜聚類以魯棒性和高質(zhì)量聚類結(jié)果著稱。受此啟發(fā),我們使用基于KNN(k近鄰)的鄰域定義來訓(xùn)練對比學(xué)習(xí)模型。在給定最近鄰圖的基礎(chǔ)上,我們可以通過進(jìn)行更長路徑的隨機(jī)游走進(jìn)一步擴(kuò)展該圖,這一過程類似于Word-Graph2Vec 或 tsNET(Li 等,2023;Kruiger 等,2017),我們將其稱為 鄰居傳播 (neighbor propagation)。



      其中 I[?]是指示函數(shù)。這種基于隨機(jī)游走的平滑方法擴(kuò)展了有效的鄰域范圍,使得模型能夠從更密集的監(jiān)督信號中進(jìn)行學(xué)習(xí)。

      表3和表4的結(jié)果證實,采用這種基于傳播的方法在無監(jiān)督圖像分類任務(wù)中帶來了顯著性能提升,凸顯了鄰域擴(kuò)展作為一種去偏策略的有效性。


      4 實驗

      在本節(jié)中,我們展示了I-Con框架能夠提出可驗證的假設(shè),并為自監(jiān)督和無監(jiān)督學(xué)習(xí)提供實用的洞見。我們的目標(biāo)不僅僅是追求最先進(jìn)的性能,更重要的是展示如何通過統(tǒng)一的信息論方法,利用I-Con來增強(qiáng)現(xiàn)有的無監(jiān)督學(xué)習(xí)方法。通過這一框架,我們還強(qiáng)調(diào)了聚類、對比學(xué)習(xí)和降維等不同機(jī)器學(xué)習(xí)領(lǐng)域技術(shù)之間相互借鑒的潛力。這種由I-Con所支持的技術(shù)遷移,能夠顯著改進(jìn)現(xiàn)有方法,并為未來探索開辟新的方向。

      我們將實驗重點放在聚類任務(wù)上,因為與對比學(xué)習(xí)相比,聚類在當(dāng)前研究中相對較少被深入探討,而如今已有多種技術(shù)可以適配到這一任務(wù)中。通過在I-Con框架下將k均值、SimCLR和t-SNE等經(jīng)典方法聯(lián)系起來,我們發(fā)現(xiàn)了大量改進(jìn)聚類方法的可能性。我們通過實驗驗證了這些理論洞見,展示了I-Con的實際影響。

      我們使用ImageNet-1K數(shù)據(jù)集(Deng等,2009)進(jìn)行評估,該數(shù)據(jù)集包含1000個類別和超過一百萬張高分辨率圖像。由于其規(guī)模龐大且內(nèi)容復(fù)雜,該數(shù)據(jù)集被認(rèn)為是無監(jiān)督圖像分類最具挑戰(zhàn)性的基準(zhǔn)之一。為了與先前的研究進(jìn)行公平比較,我們嚴(yán)格遵循Adaloglou等(2023)提出的實驗協(xié)議。評估聚類性能的主要指標(biāo)是匈牙利準(zhǔn)確率(Hungarian accuracy),該指標(biāo)通過匈牙利算法(Ji等,2019)尋找預(yù)測聚類與真實標(biāo)簽之間的最優(yōu)匹配,從而衡量聚類分配的質(zhì)量。這種方法在訓(xùn)練過程中缺乏直接標(biāo)簽監(jiān)督的無監(jiān)督場景下,提供了對聚類性能的穩(wěn)健評估。

      在特征提取方面,我們采用了三種不同規(guī)模的DiNO預(yù)訓(xùn)練視覺Transformer(ViT)模型:ViT-S/14、ViT-B/14 和 ViT-L/14(Caron等,2021)。選擇這些模型既是為了與先前工作保持可比性,也是為了探究I-Con框架在不同模型容量下的表現(xiàn)。實驗設(shè)置(包括訓(xùn)練協(xié)議、優(yōu)化策略和數(shù)據(jù)增強(qiáng)方法)均與TEMI中使用的方法保持一致,以確保方法論的一致性。

      訓(xùn)練過程包括在DiNO模型提取的特征之上優(yōu)化一個線性分類器。每個模型均訓(xùn)練30個epoch,使用ADAM優(yōu)化器(Kingma & Ba,2017),批量大小為4096,初始學(xué)習(xí)率為1e-3。每10個epoch將學(xué)習(xí)率衰減為原來的一半,以確保穩(wěn)定收斂。我們不對特征向量進(jìn)行額外的歸一化處理。在訓(xùn)練過程中,我們應(yīng)用了多種數(shù)據(jù)增強(qiáng)技術(shù),包括隨機(jī)縮放、裁剪、顏色抖動和高斯模糊,以生成魯棒的特征表示。此外,為了提升聚類性能,我們使用余弦相似度預(yù)先計算了數(shù)據(jù)集中每張圖像的全局最近鄰。這使得我們在每個訓(xùn)練批次中可以為每張圖像采樣兩個增強(qiáng)版本和兩個最近鄰樣本,從而將局部和全局信息都融入到學(xué)習(xí)到的表示中。我們在表2中將所提出的方法稱為“InfoNCE Clustering”(信息對比聚類)。具體而言,我們的監(jiān)督鄰域由數(shù)據(jù)增強(qiáng)樣本、KNN(k=3)以及長度為1的KNN游走構(gòu)成。我們采用k均值中的“按類別共享的聚類似然”鄰域(詳見表1中的具體公式)作為學(xué)習(xí)到的鄰域函數(shù),以驅(qū)動聚類學(xué)習(xí)過程。


      4.1 基線方法
      我們將我們的方法與幾種當(dāng)前最先進(jìn)的聚類方法進(jìn)行了比較,包括TEMI、SCAN、IIC和對比聚類(Contrastive Clustering)。這些方法依賴于數(shù)據(jù)增強(qiáng)和學(xué)習(xí)到的表示,但通常需要額外的正則化項或損失函數(shù)調(diào)整,例如控制聚類大小或降低相似性損失的權(quán)重。相比之下,我們基于I-Con的損失函數(shù)具有自平衡特性,無需此類人工調(diào)參,使其成為一種更簡潔、理論基礎(chǔ)更扎實的方法。這使得我們在三種不同規(guī)模的主干網(wǎng)絡(luò)上均實現(xiàn)了更高的準(zhǔn)確率和更穩(wěn)定的收斂。

      4.2 實驗結(jié)果
      表2對比了去偏的InfoNCE聚類方法(Debiased InfoNCE Clustering)在不同DiNO變體(ViT-S/14、ViT-B/14、ViT-L/14)以及其他多種現(xiàn)代聚類方法上的匈牙利準(zhǔn)確率。I-Con框架在所有模型規(guī)模下均持續(xù)優(yōu)于之前的最先進(jìn)方法。具體而言,對于DiNO ViT-B/14和ViT-L/14模型,去偏的InfoNCE聚類方法相比此前最先進(jìn)的ImageNet聚類方法TEMI,匈牙利準(zhǔn)確率分別提升了+4.5%和+7.8%。我們將這些性能提升歸因于兩個主要因素:

      自平衡損失:與TEMI或SCAN等需要人工調(diào)參正則化項(例如平衡聚類大小或調(diào)整相似性損失的權(quán)重)的方法不同,I-Con的損失函數(shù)能夠自動平衡這些因素,無需額外的正則化超參數(shù)調(diào)優(yōu),因為我們使用了與k均值相同的聚類核函數(shù)。這一理論基礎(chǔ)使得聚類結(jié)果更加魯棒且準(zhǔn)確。

      跨領(lǐng)域洞見:I-Con借鑒了對比學(xué)習(xí)中的思想,通過基于圖像嵌入表示的成對關(guān)系來優(yōu)化聚類,將數(shù)據(jù)增強(qiáng)樣本和鄰近樣本同等對待。這種在對比學(xué)習(xí)中已被證明成功的方法,很好地遷移到了聚類任務(wù)中,顯著提升了在噪聲大、高維圖像數(shù)據(jù)上的性能。

      4.3 消融實驗

      我們進(jìn)行了多項消融研究,以通過實驗驗證從I-Con框架分析對比聚類所衍生出的架構(gòu)改進(jìn)的有效性。這些消融實驗主要聚焦于兩個關(guān)鍵方面:將去偏機(jī)制引入目標(biāo)分布空間和嵌入空間的效果,以及不同鄰居傳播策略的影響。

      我們對目標(biāo)分布中不同水平的去偏進(jìn)行了實驗,其中去偏程度由參數(shù) α 控制,并測試了以下幾種配置:僅在目標(biāo)側(cè)進(jìn)行去偏、在兩側(cè)(目標(biāo)分布和學(xué)習(xí)到的表示)都進(jìn)行去偏,以及完全不進(jìn)行去偏。如圖6所示,引入去偏能夠提升性能,最優(yōu)值通常在 α = 0.6 到 α = 0.8 之間,尤其是在學(xué)習(xí)過程的兩側(cè)都應(yīng)用去偏時效果最佳。該方法類似于對比學(xué)習(xí)中的去偏機(jī)制,即假設(shè)每個負(fù)樣本都有一定的非零概率(α/N)實際上是錯誤的(即可能是正樣本)。圖5展示了在不同批量大小下,改變 α 值對性能的提升效果。

      在第二組實驗中(如表4所示),我們考察了鄰居傳播策略的影響。我們評估了在對比損失計算中引入局部和全局鄰居時對聚類性能的影響。鄰居傳播(尤其是小尺度下,如 s = 1 和 s = 2)在所有模型規(guī)模上均顯著提升了性能,表明捕捉嵌入空間中的局部結(jié)構(gòu)至關(guān)重要。而更大的傳播步長(例如 s = 3)帶來的增益逐漸減小,表明過度傳播可能會稀釋來自最近且最相關(guān)點的信息。需要注意的是,只有 DiNO-L/14 模型更偏好較大的步長,這可能是因為其具有更強(qiáng)的k近鄰識別能力,因此擴(kuò)展的連接更可能是正確的。

      我們的消融研究表明,對去偏參數(shù)和鄰居傳播策略進(jìn)行微小調(diào)整,即可通過一個簡單的損失函數(shù)實現(xiàn)顯著性能提升,達(dá)到當(dāng)前最先進(jìn)的效果。此外,不同模型對 α 和傳播步長的敏感性有所不同:更大的模型通常能從更大的傳播范圍中獲益更多,但需要對 α 進(jìn)行精細(xì)調(diào)參以達(dá)到最佳性能。我們建議將 α 設(shè)置在 0.6 到 0.8 之間,并將鄰居傳播限制在較小的范圍內(nèi),以在性能和計算效率之間取得良好平衡。

      5 結(jié)論
      綜上所述,我們提出了I-Con:一個單一的信息論方程,統(tǒng)一了廣泛類別的機(jī)器學(xué)習(xí)方法。我們提供了超過15個定理,證明了該方程適用于當(dāng)前在聚類、譜圖理論、監(jiān)督與無監(jiān)督對比學(xué)習(xí)、降維以及監(jiān)督分類與回歸等任務(wù)中廣泛使用的諸多主流損失函數(shù)。我們不僅在理論上統(tǒng)一了這些算法,還展示了這種統(tǒng)一關(guān)系能夠幫助我們發(fā)現(xiàn)新的最先進(jìn)方法,并將某一方法中取得的改進(jìn)遷移到該類別中的其他方法。我們通過構(gòu)建一種新的無監(jiān)督圖像分類方法,驗證了這一點,該方法相比先前的最佳方法實現(xiàn)了+8%的性能提升。我們相信,本工作所展示的結(jié)果僅是I-Con可能統(tǒng)一的方法中的一小部分,我們希望研究社區(qū)能夠利用這一視角,促進(jìn)不同算法和機(jī)器學(xué)習(xí)領(lǐng)域之間的協(xié)作與分析。

      原文鏈接: https://arxiv.org/pdf/2504.16929=1.00&gsr=0

      特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

      Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

      相關(guān)推薦
      熱點推薦
      一句“搞么哩”火遍全網(wǎng)!4歲重慶娃,讓千萬人看見家的幸福模樣

      一句“搞么哩”火遍全網(wǎng)!4歲重慶娃,讓千萬人看見家的幸福模樣

      江津融媒
      2026-01-27 13:05:14
      鄒市明虧光2億左眼失明,仍需打零工養(yǎng)3個孩子買不起新衣服

      鄒市明虧光2億左眼失明,仍需打零工養(yǎng)3個孩子買不起新衣服

      淡淡稻花香s
      2026-01-27 22:49:13
      重磅!總投資9600億元,海南2026年重大項目清單曝光!

      重磅!總投資9600億元,海南2026年重大項目清單曝光!

      網(wǎng)易海南房產(chǎn)
      2026-01-27 10:14:35
      廣州一乘客羊城通欠費1400萬元? 嶺南通公司回應(yīng)

      廣州一乘客羊城通欠費1400萬元? 嶺南通公司回應(yīng)

      深圳晚報
      2026-01-27 10:15:25
      二手房雄起:天津9個區(qū)上漲,最高漲幅26.5%

      二手房雄起:天津9個區(qū)上漲,最高漲幅26.5%

      濱海房叔
      2026-01-27 09:56:28
      蹉跎半生的樊振東父母沒想到,兒子一則動態(tài),讓他們迎來無上榮光

      蹉跎半生的樊振東父母沒想到,兒子一則動態(tài),讓他們迎來無上榮光

      以茶帶書
      2026-01-27 17:20:57
      哈梅內(nèi)伊藏身地堡!48小時內(nèi)有45架美軍運輸機(jī)飛抵中東

      哈梅內(nèi)伊藏身地堡!48小時內(nèi)有45架美軍運輸機(jī)飛抵中東

      項鵬飛
      2026-01-25 20:25:40
      斯諾克最新:中國8人進(jìn)32強(qiáng),趙心童凌晨戰(zhàn)福德,火箭對卡特

      斯諾克最新:中國8人進(jìn)32強(qiáng),趙心童凌晨戰(zhàn)福德,火箭對卡特

      老牛體育解說
      2026-01-28 01:27:25
      梁羽生的《云海玉弓緣》只此一節(jié),便足以和金庸相媲美了

      梁羽生的《云海玉弓緣》只此一節(jié),便足以和金庸相媲美了

      青霄
      2026-01-27 22:27:32
      中國有源相控陣?yán)走_(dá)真實水平:并非世界第一,和美差距有多大

      中國有源相控陣?yán)走_(dá)真實水平:并非世界第一,和美差距有多大

      黑翼天使
      2026-01-10 03:28:16
      中國股市:換手率一旦大于7%,果斷進(jìn)入,不是漲停就是漲不停!

      中國股市:換手率一旦大于7%,果斷進(jìn)入,不是漲停就是漲不停!

      一方聊市
      2026-01-23 08:00:03
      醫(yī)生發(fā)現(xiàn):早期腦梗不是頭暈,而是頻繁出現(xiàn)這5個異常,別忽視

      醫(yī)生發(fā)現(xiàn):早期腦梗不是頭暈,而是頻繁出現(xiàn)這5個異常,別忽視

      蜉蝣說
      2026-01-20 15:16:24
      5局惜敗+4場關(guān)鍵戰(zhàn)拉胯!陳方的固執(zhí)坑慘天津女排,本土名宿才是救命稻草

      5局惜敗+4場關(guān)鍵戰(zhàn)拉胯!陳方的固執(zhí)坑慘天津女排,本土名宿才是救命稻草

      畫夕
      2026-01-28 04:00:46
      何慶魁:我一個人支撐本山傳媒好幾年!網(wǎng)友:黑土,有人喊你打錢

      何慶魁:我一個人支撐本山傳媒好幾年!網(wǎng)友:黑土,有人喊你打錢

      手工制作阿殲
      2026-01-28 03:17:23
      為什么全國人民都在拒接電話?連10086打來也是瞄一眼就掛掉了!

      為什么全國人民都在拒接電話?連10086打來也是瞄一眼就掛掉了!

      今朝牛馬
      2026-01-08 16:05:10
      車門緊鎖拍窗毫無反應(yīng),上海一司機(jī)疑似車內(nèi)昏迷,民警當(dāng)機(jī)立斷破窗救人,送醫(yī)及時最終脫離危險

      車門緊鎖拍窗毫無反應(yīng),上海一司機(jī)疑似車內(nèi)昏迷,民警當(dāng)機(jī)立斷破窗救人,送醫(yī)及時最終脫離危險

      縱相新聞
      2026-01-27 20:13:03
      如果不及時快速的解決臺灣,有可能出現(xiàn)無法挽回的局面

      如果不及時快速的解決臺灣,有可能出現(xiàn)無法挽回的局面

      曉楖科普
      2026-01-26 22:34:40
      賈家被抄家的真實原因,就是賈元春省親,可惜他們沒懂皇帝的用意

      賈家被抄家的真實原因,就是賈元春省親,可惜他們沒懂皇帝的用意

      銘記歷史呀
      2026-01-26 19:39:13
      76歲上海知青回江西訪友,竟發(fā)現(xiàn)當(dāng)年的女友終生未嫁:我對不住你

      76歲上海知青回江西訪友,竟發(fā)現(xiàn)當(dāng)年的女友終生未嫁:我對不住你

      五元講堂
      2026-01-19 11:13:16
      山東一66歲大媽喜歡睡前泡腳,不久腦梗去世,醫(yī)生怒斥:太無知了

      山東一66歲大媽喜歡睡前泡腳,不久腦梗去世,醫(yī)生怒斥:太無知了

      華庭講美食
      2026-01-25 12:26:25
      2026-01-28 06:19:00
      CreateAMind incentive-icons
      CreateAMind
      CreateAMind.agi.top
      1182文章數(shù) 18關(guān)注度
      往期回顧 全部

      科技要聞

      馬化騰3年年會講話透露了哪些關(guān)鍵信息

      頭條要聞

      美報告稱中國是其19世紀(jì)以來面對過的最強(qiáng)大國家

      頭條要聞

      美報告稱中國是其19世紀(jì)以來面對過的最強(qiáng)大國家

      體育要聞

      冒充職業(yè)球員,比賽規(guī)則還和對手現(xiàn)學(xué)?

      娛樂要聞

      張雨綺風(fēng)波持續(xù)發(fā)酵,曝多個商務(wù)被取消

      財經(jīng)要聞

      多地對壟斷行業(yè)"近親繁殖"出手了

      汽車要聞

      標(biāo)配華為乾崑ADS 4/鴻蒙座艙5 華境S體驗車下線

      態(tài)度原創(chuàng)

      手機(jī)
      時尚
      教育
      家居
      房產(chǎn)

      手機(jī)要聞

      蘋果連發(fā)4版系統(tǒng):從iPhone 5s到iOS 26,果粉福音來了!

      這些韓系穿搭最適合普通人!多穿深色、衣服基礎(chǔ),簡潔耐看

      教育要聞

      對話陳妤頡:閃閃發(fā)光的賽道,追逐夢想

      家居要聞

      現(xiàn)代古典 中性又顯韻味

      房產(chǎn)要聞

      實景兌現(xiàn)在即!綠城,在海棠灣重新定義終極旅居想象!

      無障礙瀏覽 進(jìn)入關(guān)懷版