為了防中國(guó)模型，硅谷三巨頭連“復(fù)仇者聯(lián)盟”都整出來(lái)了？

前段時(shí)間，硅谷 AI 御三家 OpenAI 、 Anthropic 和谷歌十分罕見地，組成了”復(fù)仇者聯(lián)盟“。

根據(jù)彭博社的報(bào)道，平時(shí)恨不得卷死對(duì)方的哥仨，現(xiàn)在正通過(guò)一個(gè)”前沿模型論壇“分享信息，目的很明確，就是要聯(lián)手揪出那些對(duì)抗性蒸餾行為。

不明白這個(gè)所謂的“對(duì)抗性蒸餾行為”是啥，沒(méi)關(guān)系，但世超想說(shuō)，這一次，明顯是沖著國(guó)內(nèi)大模型來(lái)的。

如果把時(shí)間線往回拉到今年 2 月份，沖突其實(shí)就已經(jīng)擺上了臺(tái)面。

當(dāng)時(shí)， Anthropic 甩出了一份調(diào)查報(bào)告，公開點(diǎn)名 DeepSeek、月之暗面和 MiniMax，說(shuō)這三家公司弄了大概 2.4 萬(wàn)個(gè)欺詐賬戶，跟 Claude 交互超過(guò) 1600 萬(wàn)次，然后把套出來(lái)的精華數(shù)據(jù)全拿去訓(xùn)練自家的模型去了。

在這份報(bào)告里，每家公司進(jìn)行蒸餾的規(guī)模有多大、行動(dòng)目標(biāo)是啥，都寫得一清二楚。

就比如陣仗最大的 MiniMax ，一家就發(fā)起了超 1300 萬(wàn)次交互，而且跟得很緊， Anthropic 新模型剛發(fā)布，他們就重新調(diào)整了流量方向。

DeepSeek蒸餾的規(guī)模相對(duì)小，只有超過(guò) 15 萬(wàn)次的交互，但專門盯著思維鏈下手。

當(dāng)然，把這些交互行為定義為“對(duì)抗性蒸餾”，純屬 Anthropic 的一面之詞，因?yàn)闆](méi)法兒證明人家用你的數(shù)據(jù)去訓(xùn)練模型了。

不過(guò)，因?yàn)檎麴s破防的還不只 Anthropic 一家。

差不多時(shí)間，OpenAI 也跑到美國(guó)國(guó)會(huì)那邊告御狀，指控 DeepSeek 通過(guò)模型蒸餾技術(shù)，違規(guī)復(fù)制了他們的產(chǎn)品功能。

所以世超覺(jué)著，這次三家聯(lián)手可能是要?jiǎng)诱娓竦牧恕?/p>

不過(guò)，在聊“反蒸餾”之前，我們可能得先弄清楚，這個(gè)讓巨頭們?nèi)缱槡值摹罢麴s”，到底是個(gè)啥技術(shù)？

其實(shí)這玩意兒也沒(méi)那么玄乎，大家都知道，模型訓(xùn)練費(fèi)算力、費(fèi)數(shù)據(jù)還費(fèi)時(shí)間，而蒸餾的邏輯是，即使你手頭的資源有限，只要找到一個(gè)名師帶帶你，同樣能在短時(shí)間內(nèi)，訓(xùn)練出一個(gè)跟老師有七八成像的學(xué)霸。

核心在于學(xué)習(xí)“軟標(biāo)簽”，也就是大模型輸出的概率分布。

放在三年前，當(dāng)時(shí)的 API 環(huán)境比現(xiàn)在寬松得多，名師不僅給你答案，還會(huì)吐出概率分布，方便搞科研。

但后面不知道咋回事兒，模型大廠們都紛紛把門焊死了，像 OpenAI 他們家的 API 就規(guī)定只能看到前 5 個(gè)概率最高的詞。

所以蒸餾的思路就變成了黑盒蒸餾、思維鏈蒸餾，包括 Anthropic 、 OpenAI 口中的蒸餾攻擊，很多說(shuō)的都是思維、邏輯上的模仿。

這種蒸餾方式，就需要大量地調(diào)用API。

具體操作上，你得寫個(gè)腳本沒(méi)日沒(méi)夜地向老師提問(wèn)，不光要拿到標(biāo)準(zhǔn)答案，還要看老師是怎么回答問(wèn)題的，中間轉(zhuǎn)了幾個(gè)彎、避開了哪些坑，然后再把這些名師教案打包回家，反手喂給自家的模型。

用較低的成本，快速?gòu)?fù)刻頂級(jí)模型的能力，這就是蒸餾。

換句話說(shuō)，硅谷 AI 三巨頭是在指責(zé)，咱們國(guó)內(nèi)的模型廠商偷師。

但仔細(xì)一想，這事兒又處處透著詭異。

因?yàn)椴还苁墙Y(jié)盟，還是公開指控，目前看下來(lái)都是他們幾家巨頭在那自說(shuō)自話。

整個(gè)事情看下來(lái)讓人不得不懷疑，他們口中的“對(duì)抗性”蒸餾到底是不是一個(gè)偽命題，以及，合法蒸餾和對(duì)抗性蒸餾的界限又在哪里？

蒸餾這項(xiàng)技術(shù)在圈子里算不上什么行業(yè)機(jī)密，不過(guò)咱們大多數(shù)普通人接觸到這個(gè)詞，大概率還是因?yàn)槿ツ瓿?DeepSeek 發(fā)布 R1 ，順帶吃瓜吃到的。

當(dāng)時(shí) R1 模型剛炸場(chǎng)不久，微軟和 OpenAI 就針對(duì) DeepSeek 展開了調(diào)查，說(shuō)是懷疑它非法竊取了 OpenAI 的數(shù)據(jù)來(lái)訓(xùn)練模型。

話里話外都在點(diǎn)草，咱家孩子考試成績(jī)突然逆天，是因?yàn)槌怂麄兊拇鸢浮?/p>

可能因?yàn)?R1 正式露面前，有用戶在跟 DeepSeek V3 對(duì)話的時(shí)候，發(fā)現(xiàn)了一個(gè)很離譜的現(xiàn)象，如果你問(wèn)它“你是什么模型”，它有時(shí)會(huì)回答自己是 ChatGPT 。。。所以才引來(lái)了不少外界的猜疑。

但這事兒， DeepSeek 后面專門在論文的補(bǔ)充材料里作了解釋，說(shuō)是 DeepSeek－V3－Base 的預(yù)訓(xùn)練數(shù)據(jù)完全來(lái)自互聯(lián)網(wǎng)，沒(méi)有刻意使用合成數(shù)據(jù)。

打那之后，蒸餾在業(yè)內(nèi)就一直頗受爭(zhēng)議。

理論上，蒸餾是一項(xiàng)合法的技術(shù)， 一些模型公司也會(huì)自己蒸餾模型給企業(yè)客戶去做定制。

但“對(duì)抗性蒸餾”，也就是用戶利用服務(wù)或輸出開發(fā)競(jìng)爭(zhēng)模型，在 OpenAI 、 Anthropic 等公司的用戶使用條款里，是普遍被禁止的。

理由很簡(jiǎn)單，你開發(fā)一個(gè)頂級(jí)模型，大把大把地往里燒錢、燒卡，如果競(jìng)爭(zhēng)對(duì)手只花了幾十萬(wàn)美金調(diào)用 API ，就能偷學(xué)走七八分，這跟直接從你兜里搶錢沒(méi)區(qū)別。

為了保證自己的領(lǐng)先地位和商業(yè)利潤(rùn)，巨頭們心里不平衡，想把這道門焊死，也是人之常情。

除此之外，在 Anthropic 的那份調(diào)查報(bào)告里，也提到了反蒸餾的另外一層考量。

正常情況下，模型在發(fā)布之前都要進(jìn)行紅隊(duì)測(cè)試來(lái)評(píng)估風(fēng)險(xiǎn)，目的就是為了建立一套安全護(hù)欄，防止模型教人制造生物武器、編寫惡意代碼又或者是搞點(diǎn)種族歧視的言論。

問(wèn)題在于，蒸餾不會(huì)蒸這些。

這就導(dǎo)致了非法蒸餾出來(lái)的模型，很可能成為一個(gè)隱患。

所以世超覺(jué)著，這次三巨頭跳出來(lái)聯(lián)合抵制，雖然有商業(yè)競(jìng)爭(zhēng)上的私心，但在技術(shù)風(fēng)險(xiǎn)上確實(shí)也說(shuō)得通。

但話又說(shuō)回來(lái)， Anthropic 的這份報(bào)告把蒸餾抬到了威脅國(guó)家安全的角度，在時(shí)間點(diǎn)上，又很值得揣摩。

就在報(bào)告發(fā)出來(lái)的前腳，Anthropic正因?yàn)殚_不開后門的事情，跟五角大樓鬧得很僵。

所以一個(gè)猜測(cè)，當(dāng)時(shí)他們選擇在 CEO 趕去五角大樓談判的前一天，發(fā)出來(lái)這么一份強(qiáng)調(diào)國(guó)家安全的報(bào)告，有沒(méi)有可能是想爭(zhēng)取一點(diǎn)談判空間？

當(dāng)然了，后續(xù)大家伙兒也都知道，沒(méi)談攏。

諷刺的地方在于，這些舉著反蒸餾、反抄襲大旗的巨頭們，因?yàn)榇笏猎诨ヂ?lián)網(wǎng)上抓數(shù)據(jù)，也沒(méi)少被官司找上門。

一向看熱鬧不嫌事大的馬斯克，在 Anthropic 的調(diào)查報(bào)告發(fā)出來(lái)沒(méi)多久，直接在 X 上嘲諷開大。說(shuō) Anthropic 才是那個(gè)大規(guī)模盜取數(shù)據(jù)、還為此賠了數(shù)十億美金的慣犯。

包括零一萬(wàn)物CEO李開復(fù)也跳出來(lái)說(shuō)，因?yàn)樽髌非謾?quán)，Anthropic 還欠他3000美金。

抓別人的作品來(lái)訓(xùn)練數(shù)據(jù)的時(shí)候，你管那叫“人類知識(shí)共享”，現(xiàn)在輪到別人來(lái)學(xué)你了，你就管這叫“工業(yè)級(jí)攻擊”了？

說(shuō)白了，到底算不算偷，怎么才算偷？在大模型領(lǐng)域里還屬于一片灰色地帶。

別鬧到最后，整成全員惡人了。

撰文：西西

編輯：江江&面線

美編：素描

圖片、資料來(lái)源：

X、彭博社

Anthropic，Detecting and preventing distillation attacks