![]()
本文第一作者林俊一,共同第一作者薛敦耀來(lái)自中國(guó)人民大學(xué)。通訊作者為中國(guó)人民大學(xué)許洪騰副教授與孟澄助理教授。其他作者還包括來(lái)自北京理工大學(xué)的虞俊副教授。
在衡量3D 點(diǎn)云、高分子構(gòu)型等結(jié)構(gòu)性數(shù)據(jù)之間的距離關(guān)系時(shí),一個(gè)關(guān)鍵要求是對(duì)剛體/等距變換保持不變:即對(duì)樣本施加旋轉(zhuǎn)、平移后,分布間距離不應(yīng)改變。本文將這一性質(zhì)記為SE(p) 不變性
但要同時(shí)滿(mǎn)足SE(p) 不變性、嚴(yán)格的度量(Metric)性質(zhì),并具備高效且可擴(kuò)展的計(jì)算,現(xiàn)有方法往往難以兼顧:要么需要顯式求解幾何對(duì)齊或引入復(fù)雜優(yōu)化,計(jì)算開(kāi)銷(xiāo)高;要么計(jì)算更高效,卻難以滿(mǎn)足嚴(yán)格的度量性質(zhì),從而削弱其作為通用距離的理論保證與下游適用性
為此,本文提出一種具有 SE(p) 不變傳輸性質(zhì)的度量 SEINT:通過(guò)構(gòu)造無(wú)需訓(xùn)練的 SE(p) 不變表示,將高維結(jié)構(gòu)信息壓縮為可用于 Optimal Transport (OT) 對(duì)齊的一維表征,從而在保持不變性與嚴(yán)格度量性質(zhì)的同時(shí)顯著提升效率。
![]()
- 代碼地址:https://github.com/junyilin559/SEINT
- 論文地址:https://openreview.net/forum?id=oyxExc7TEl
要點(diǎn)速覽
- 新表征:本文創(chuàng)新性地提出了兩種等距不變的分布表征(PTD / DcPTD),無(wú)需訓(xùn)練即可將任意維度空間中的分布映射為一維表示
- 新度量:基于上述一維表示構(gòu)建由一維 OT 對(duì)齊實(shí)現(xiàn)的 SE(p) 不變距離SEINT,該距離可被嚴(yán)格證明為在范數(shù)空間等距類(lèi)上的度量
- 跨空間:除旋轉(zhuǎn)/平移不變外,SEINT 還能比較任意等距類(lèi)分布,因此支持跨空間分布距離的定義。
- 可拓展:SEINT 方法目前已在范數(shù)空間得到了廣泛應(yīng)用,其形式還可進(jìn)一步拓展到任意度量空間中。
最優(yōu)傳輸(OT)在分布匹配與對(duì)齊任務(wù)中應(yīng)用廣泛,也是衡量分布差異的核心工具之一。但當(dāng)我們希望一個(gè)距離同時(shí)滿(mǎn)足:SE(p)(旋轉(zhuǎn) + 平移)不變、嚴(yán)格的度量性質(zhì)(Metric)、以及可擴(kuò)展的高效計(jì)算時(shí),現(xiàn)有方法往往難以兼顧這些方面。通常來(lái)說(shuō),強(qiáng)調(diào)度量性與等距不變性的內(nèi)蘊(yùn)式(基于關(guān)系結(jié)構(gòu))方法計(jì)算代價(jià)較高;而更快的外蘊(yùn)式/表征式對(duì)齊雖高效,卻難同時(shí)保證這些理論性質(zhì)。
![]()
三類(lèi) SE(p) 不變的對(duì)齊策略:外蘊(yùn)式、內(nèi)蘊(yùn)式與表征式
![]()
SEINT在計(jì)算/度量/跨空間指標(biāo)上表現(xiàn)優(yōu)異
![]()
![]()
![]()
![]()
![]()
![]()
![]()
其中,inf 表示在兩側(cè)分布間尋找最優(yōu)耦合(對(duì)齊方式),而 sup 則表示在候選參考分布中選擇最能區(qū)分兩者差異的「最不利」參考,以減弱參考選擇的偶然性,并支撐其 Metric/Isometry 相關(guān)性質(zhì)。SEINT 方法流程圖如下。
![]()
SEINT 的數(shù)值實(shí)現(xiàn)流程示意圖。 給定來(lái)自?xún)蓚€(gè)空間的分布,先取樣本范數(shù);再結(jié)合隨機(jī)一維參考 z 計(jì)算 PTD,并與距離矩陣卷積得到 DcPTD;最后計(jì)算兩側(cè) DcPTD 的一維 Wasserstein 距離,得到 SEINT。
![]()
實(shí)驗(yàn)
本文從作為度量指標(biāo)(Distance Metric)的幾何性質(zhì)和作為正則化項(xiàng)(Regularizer)的下游應(yīng)用兩個(gè)核心維度出發(fā),與現(xiàn)有的多個(gè) OT 基線方法進(jìn)行了全面比較。
- 嚴(yán)格的 SE(p) 不變性與極高的計(jì)算效率
![]()
![]()
此外,本文通過(guò)多維縮放(MDS)展示了不同度量方法在旋轉(zhuǎn)干擾下的表現(xiàn)。如下圖所示,在對(duì)原始點(diǎn)云施加隨機(jī)旋轉(zhuǎn)后,只有 SEINT、GW 和 AE 能夠完美保留數(shù)據(jù)原本的閉環(huán)幾何拓?fù)浣Y(jié)構(gòu),而 SW 和 SGW 的結(jié)構(gòu)則完全崩塌。這一直觀結(jié)果再次強(qiáng)有力地證明了 SEINT 在處理幾何對(duì)稱(chēng)性方面的優(yōu)越性,且其計(jì)算代價(jià)遠(yuǎn)低于 GW。
![]()
- 跨空間比較能力與高維穩(wěn)定性
本文進(jìn)一步評(píng)估了 SEINT 在跨空間(Cross-Space)場(chǎng)景下的表現(xiàn)。在 Horse-Gallop 實(shí)驗(yàn)中,SEINT 成功通過(guò)比較 2D 投影與 3D 參考空間,準(zhǔn)確捕捉到了馬匹奔跑的步態(tài)周期,展現(xiàn)了比 EGW 更強(qiáng)的幾何結(jié)構(gòu)感知力。
![]()
此外,在高維混合高斯數(shù)據(jù)的測(cè)試中,SEINT 克服了常見(jiàn)的「維度災(zāi)難」,隨著分布差異的增大,其距離度量保持了平滑且單調(diào)的增長(zhǎng)趨勢(shì),表現(xiàn)出優(yōu)于其他 OT 方法的數(shù)值穩(wěn)定性。
![]()
- 下游任務(wù) SOTA:3D 分子生成
為了驗(yàn)證其實(shí)用價(jià)值,本文將 SEINT 作為正則化項(xiàng)集成到主流的擴(kuò)散生成模型(EDM 和 UniGEM)中,在 QM9 和 GEOM-Drugs 數(shù)據(jù)集上進(jìn)行了預(yù)訓(xùn)練和微調(diào)實(shí)驗(yàn)。下表結(jié)果顯示,引入 SEINT 顯著提升了生成分子的原子穩(wěn)定性(Atom Stability)和分子穩(wěn)定性(Mol Stability)。特別是在 UniGEM 模型中,SEINT 幫助模型在關(guān)鍵指標(biāo)上達(dá)到了State-of-the-Art (SOTA)的性能,證明了其能夠有效引導(dǎo)模型學(xué)習(xí)正確的幾何結(jié)構(gòu)。
![]()
![]()
總結(jié)
本文提出了一種新的表征路徑:引入了兩種無(wú)需訓(xùn)練的無(wú)監(jiān)督表征技術(shù)(PTD 與 DcPTD),直接生成具有 SE(p) 不變性的 1D 特征,為構(gòu)建不變性度量奠定基礎(chǔ)。
本文奠定了堅(jiān)實(shí)的度量基礎(chǔ):從理論上證明了 SEINT 是賦范空間等距類(lèi)上的一個(gè)嚴(yán)格度量,該性質(zhì)保證了數(shù)據(jù)嵌入的 SE(p) 不變性,并支持跨空間的分布比較。
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶(hù)上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.