GPT-5.2被曝作弊！偷襲谷歌竟靠拉爆token刷高分，不如Gemini 3

新智元報(bào)道

編輯：Aeneas 好困

【新智元導(dǎo)讀】GPT-5.2打贏Gemini 3.0 Pro，竟是靠高推理與海量Token「作弊」？網(wǎng)友的這個(gè)發(fā)現(xiàn)，在AI社區(qū)一石激起千層浪。更多網(wǎng)友七嘴八舌表示：GPT-5.2，并沒有那么好用！

太戲劇了。

OpenAI昨天剛放出大殺器GPT-5.2，今天就被曝疑似虛假營(yíng)銷？

凌晨的科技圈，被一則爆料點(diǎn)燃——

一位用戶通過精細(xì)計(jì)算發(fā)現(xiàn)了「華點(diǎn)」：OpenAI在最新發(fā)布的基準(zhǔn)測(cè)試中，可能通過調(diào)整模型「推理力度」參數(shù)，讓GPT-5.2在關(guān)鍵評(píng)測(cè)中使用了遠(yuǎn)超對(duì)手的算力資源。

一句話總結(jié)就是：在調(diào)整token使用后，GPT-5.2和Gemini 3 Pro在ARC AGI 2上的表現(xiàn)基本相當(dāng)。

具體來說，問題就出在這幾張圖上。

可以看到，OpenAI在基準(zhǔn)測(cè)試中使用了額外的token，至少是Gemini 3.0 Pro的兩倍。

這就像兩個(gè)棋手對(duì)弈，一方被允許思考一個(gè)小時(shí)，另一方卻只有十分鐘，然后宣布前者獲勝。

在這種情況下，結(jié)果還公平嗎？

OpenAI勝過谷歌，其實(shí)靠作弊？

昨天的AI圈，都被GPT-5.2吊打Gemini 3.0 Pro的結(jié)論所震撼，而前者在ARC AGI 2的精彩表現(xiàn)，則尤為出圈，被AI社區(qū)大加贊賞。

但現(xiàn)在，這些結(jié)果很可能注了水？

比如在備受關(guān)注的ARC AGI 2測(cè)試中，GPT-5.2 xhigh版得分52.9%，每個(gè)任務(wù)消耗約13.5萬個(gè)token。

按API定價(jià)計(jì)算，每個(gè)任務(wù)僅算力成本就高達(dá)1.9美元。

相比之下，谷歌Gemini 3.0 Pro以6.7萬token取得相似成績(jī)，效率高出整整一倍。

如果我們將算力投入標(biāo)準(zhǔn)化，就會(huì)發(fā)現(xiàn)兩個(gè)模型的真實(shí)能力幾乎并駕齊驅(qū)。

如果這一假設(shè)普遍成立，那么GPT 5.2在使用token數(shù)超過Gemini 3的兩倍的情況下，仍然在HLE、MMMU-Pro、Video-MMMU和Frontier Math Tier 4中表現(xiàn)不佳。

在GPQA上，它們也才基本相當(dāng)。而在Frontier Math Tier 3中，GPT 5.2 xhigh也就比Gemini 3 Pro高出2.7%的成績(jī)。

唯一例外的是GDPVal——一個(gè)由OpenAI自己創(chuàng)建的測(cè)試集。既當(dāng)裁判又當(dāng)運(yùn)動(dòng)員，結(jié)果的客觀性就有待考量了。

Ilya：我早說過了

其實(shí)，Ilya在之前的采訪中就已經(jīng)說過，現(xiàn)在的大模型基本都是為了榜單定向優(yōu)化的，榜單結(jié)果的水分都大得很。

業(yè)內(nèi)人士都知道，如今AI基準(zhǔn)測(cè)試的「軍備競(jìng)賽」早已超出單純的技術(shù)競(jìng)爭(zhēng)。各家廠商都在競(jìng)相推出自己的評(píng)測(cè)標(biāo)準(zhǔn)，而這些標(biāo)準(zhǔn)往往有意無意地偏向自家模型。

這么干的也絕不僅僅是OpenAI一家。

在谷歌推出的FACTS Benchmark中，Gemini 2.5 Pro超越GPT-5的結(jié)果，也同樣得打個(gè)問號(hào)。

在SWE Bench（軟件工程評(píng)測(cè)）中，情況就更加復(fù)雜了。

不同模型在不同編程任務(wù)上各有所長(zhǎng)，但沒有一個(gè)模型能在所有任務(wù)上全面領(lǐng)先。顯然，真實(shí)世界的問題遠(yuǎn)比單一分?jǐn)?shù)復(fù)雜。

所以，這次事件就反映出了AI評(píng)測(cè)的根本困境——

如果GPT-5.2僅僅是通過消耗更多算力獲得了性能提升，那真的能智能進(jìn)步嗎？還是僅僅是「暴力計(jì)算」的勝利呢？

對(duì)于這次OpenAI的「虛假營(yíng)銷」，網(wǎng)友們也是議論紛紛。

有人表示，如果用戶得到的「推理力度」參數(shù)是一樣的，也用的是同樣的token，那OpenAI就不算虛假營(yíng)銷。

但如果測(cè)評(píng)的和用戶使用的根本不是同樣的版本，那就是欺騙了。

也有一些人是站在OpenAI這一邊的。

他們覺得，即使增加Gemini 3的token數(shù)量，它也未必就能趕超GPT-5.2，這一點(diǎn)來說，前者的確落后了。

也有人說，既然模型的價(jià)格都是公開的，那就不構(gòu)成欺騙。

巧了不是，緊接著我們就發(fā)現(xiàn)，「貨不對(duì)板」這個(gè)問題的確有人提出來了。

在社區(qū)的另一篇帖子中，也有人指出了OpenAI的作弊問題——

早在GPT-5.1發(fā)布時(shí)，所有基準(zhǔn)測(cè)試中用的都是高推理力度（high），然而plus用戶卻只能使用中等的版本。

而現(xiàn)在的5.2版本中，OpenAI增加了更高的「xhigh」推理力度，所以基準(zhǔn)測(cè)試中顯示的性能，要遠(yuǎn)遠(yuǎn)超過ChatGPT付費(fèi)用戶的實(shí)際體驗(yàn)。

GPT-5.2的實(shí)際體驗(yàn)如何

不看榜單，我們就來看看用戶的實(shí)際體驗(yàn)究竟如何。

一位網(wǎng)友發(fā)帖稱，自己對(duì)GPT-5.2的第一印象并不是太好。

比如在檢查代碼時(shí)，它的幻覺現(xiàn)象非常嚴(yán)重。

網(wǎng)友本以為GPT-5.2會(huì)比5.1好得多，但實(shí)際用起來并非如此，它并不能理解他寫的函數(shù)代碼。

另一些網(wǎng)友反饋說，GPT-5.2似乎把成年人當(dāng)學(xué)齡前兒童對(duì)待，感覺不像是升級(jí)，反而是倒退。

OpenAI的核心用戶群體，仍然最想念GPT-4o。

總之，GPT-5.2的實(shí)際體驗(yàn)跟基準(zhǔn)測(cè)試似乎相差很多，保不齊又是一個(gè)在紅色警報(bào)狀態(tài)下倉促拿出的產(chǎn)品。

被谷歌打得匆匆忙忙、連滾帶爬的OpenAI變成今天這個(gè)樣子，顯然不是一朝一夕的事。

OpenAI，變了

畢竟，當(dāng)一家機(jī)構(gòu)既是「研究AI的人」，又是「靠AI賣故事的人」，它還能誠(chéng)實(shí)地面對(duì)那些刺耳的真相嗎？

根據(jù)Wired的最新調(diào)查，OpenAI內(nèi)部正在經(jīng)歷一場(chǎng)關(guān)于「真話權(quán)」的劇烈地震。

在面對(duì)「AI是否會(huì)搶走你的飯碗」這類致命問題時(shí)，OpenAI的策略已悄然轉(zhuǎn)變：閉上嘴，專心賣貨。

這種為了商業(yè)利益而犧牲學(xué)術(shù)獨(dú)立性的轉(zhuǎn)向，直接「氣跑」了自家的研究員。

「我們成了老板的喉舌」

回望2023年，OpenAI發(fā)布的重磅論文《GPTs Are GPTs》，直白地剖析了哪些行業(yè)最容易被AI顛覆，并在第二年登上了Science。

那時(shí)的他們，還敢于直視「技術(shù)性失業(yè)」的陰影。

論文地址：https://arxiv.org/abs/2303.10130

Science：https://www.science.org/doi/10.1126/science.adj0998

但到了今年9月，畫風(fēng)突變。

在新任首席經(jīng)濟(jì)學(xué)家Aaron Chatterji的帶領(lǐng)下，OpenAI發(fā)布了一份名為《全球用戶如何使用ChatGPT》的報(bào)告。

從學(xué)生寫作業(yè)到職場(chǎng)人做表，報(bào)告事無巨細(xì)地描繪了AI的美好圖景。

結(jié)論毫無懸念地一邊倒：AI是生產(chǎn)力的引擎，是經(jīng)濟(jì)價(jià)值的創(chuàng)造者。

企業(yè)用戶被引述稱，ChatGPT每天能幫他們省下40到60分鐘。

報(bào)告地址：https://www.nber.org/papers/w34255

對(duì)此，一位前員工吐槽道：「這簡(jiǎn)直是為『AI創(chuàng)造價(jià)值』這一命題量身定做的軟廣，充滿了粉飾太平的味道。」

離職信里的「真相」

矛盾的爆發(fā)點(diǎn)，是報(bào)告作者之一、OpenAI經(jīng)濟(jì)研究骨干Tom Cunningham的離職。

過去一年，OpenAI對(duì)「負(fù)面研究」的審查愈發(fā)嚴(yán)苛。

那些探討AI如何替代入門級(jí)白領(lǐng)（如客服、行政）的課題，要么被要求「軟化措辭」，要么直接被束之高閣。

忍無可忍的Cunningham在Slack上留下了一封直白的告別信：

我們?cè)铝τ趪?yán)謹(jǐn)?shù)膶W(xué)術(shù)研究，現(xiàn)在卻淪為了公司的宣傳部門。

他認(rèn)為，團(tuán)隊(duì)不僅失去了研究AI負(fù)面影響的自由，反而被迫為公司「貼金」。

Cunningham并非個(gè)例。

• 前政策研究主管Miles Brundage離職時(shí)直言，公司「太高調(diào)、限制太多」，讓他「無法發(fā)表真正重要的觀點(diǎn)」。

• 超級(jí)對(duì)齊團(tuán)隊(duì)的William Saunders因不滿公司「只顧推新產(chǎn)品、無視用戶風(fēng)險(xiǎn)」而憤然出走。

• 前安全研究員Steven Adler更是公開炮轟ChatGPT可能誘發(fā)用戶的「精神危機(jī)和妄想」。

價(jià)值一萬億美元的「沉默」

面對(duì)Cunningham的離職，OpenAI高層上演了一出教科書般的危機(jī)公關(guān)。

首席戰(zhàn)略官Jason Kwon在備忘錄中回應(yīng)道：

既然是我們把AI推向了世界，我們就得負(fù)責(zé)構(gòu)建解決方案，而不是光盯著問題看。

翻譯一下就是：別再發(fā)論文論證AI會(huì)導(dǎo)致失業(yè)了，這不利于帶貨；多想想怎么夸我們的產(chǎn)品能提效吧。

OpenAI為什么要這么做？答案藏在賬本里。

如今的OpenAI早已不是當(dāng)年的非營(yíng)利實(shí)驗(yàn)室，它正沖刺1萬億美元的驚人估值，并籌備著史上最大規(guī)模的IPO。

• 它拿了微軟幾百億美元；

• 它需要芯片大佬們?cè)偻?000億；

• 它承諾未來要付給微軟2500億美元買云服務(wù)。

在天文數(shù)字的利益面前，「誠(chéng)實(shí)」成了最昂貴的奢侈品。

如果你正準(zhǔn)備上市，正試圖說服全世界擁抱AI，你絕不希望自家的研究員跳出來說：「嘿，根據(jù)數(shù)據(jù)，這波AI可能會(huì)讓30%的白領(lǐng)失業(yè)。」

「歲月靜好」的另一邊

有趣的是，老對(duì)手Anthropic似乎拿到了完全相反的「劇本」。

他們的CEO Dario Amodei甚至公開「唱反調(diào)」，警告到2030年AI可能取代一半的入門級(jí)白領(lǐng)。

當(dāng)然，這未必全是出于誠(chéng)實(shí)——很多人解讀，這不過是Anthropic為了換取監(jiān)管紅利而刻意販賣的「焦慮」。

但回看OpenAI，情況更為微妙。

如今掌管其經(jīng)濟(jì)研究團(tuán)隊(duì)的，是前克林頓顧問、有著「災(zāi)難大師」之稱的頂級(jí)危機(jī)公關(guān)專家——Chris Lehane。

在這個(gè)精心修訂的新版本里，AI絕不可能是引發(fā)社會(huì)動(dòng)蕩的「怪物」，它只會(huì)是幫你「每天省下40分鐘」的乖巧助手。

至于那些關(guān)于失業(yè)、動(dòng)蕩和泡沫的尷尬真相？

噓，為了那1萬億的估值，請(qǐng)保持安靜。

參考資料

https://www.reddit.com/r/singularity/comments/1pkeb7v/deceptive_marketing_from_oai_benchmarks_were_run/

https://futurism.com/artificial-intelligence/openai-researcher-quits-hiding-truth

秒追ASI

?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?

點(diǎn)亮星標(biāo)，鎖定新智元極速推送！