無需訓(xùn)練、即插即用，這個(gè)解碼方法讓模型學(xué)會(huì)謹(jǐn)慎思考

你有沒有發(fā)現(xiàn)這樣一種現(xiàn)象：面對(duì)同一個(gè)問題，大模型可能在每次回答時(shí)都給出不同答案。一個(gè)不容忽視的問題是，這種不確定性，是否意味著推理仍不穩(wěn)定？

隨著技術(shù)的發(fā)展，大模型在自然語言處理和多模態(tài)任務(wù)中已經(jīng)表現(xiàn)出越來越強(qiáng)的性能。傳統(tǒng)解碼策略主要包括隨機(jī)采樣（random sample）和貪婪解碼（greedy decoding）。例如，ChatGPT、Claude、Gemini 等大模型默認(rèn)的是隨機(jī)采樣（random sample），即便是回答相同的問題，它們可能每次都會(huì)給出不同的答案。

而貪婪解碼（greedy decoding）在一般的基準(zhǔn)測(cè)試（benchmark）上表現(xiàn)會(huì)有所提升，特別是在推理性任務(wù)上。但是，模型在不確定情況下的表現(xiàn)仍不理想。

為解決上述問題，美國東北大學(xué)與 Adobe、美國凱斯西儲(chǔ)大學(xué)聯(lián)合團(tuán)隊(duì)提出了一種無需訓(xùn)練的新型解碼策略，名為“謹(jǐn)慎下一步預(yù)測(cè)（CNTP，Cautious Next Token Prediction）”。

該策略旨在通過在模型不確定性高的步驟采樣多個(gè)候選路徑，并選擇困惑度最低的路徑。相較于隨機(jī)采樣和貪婪解碼等傳統(tǒng)策略，CNTP 顯著提升了大模型在多種任務(wù)上的推理準(zhǔn)確度，可應(yīng)用場(chǎng)景包括語音助手、視覺助手、聊天機(jī)器人等。

圖丨相關(guān)論文（來源：arXiv）

“我們的研究證明了 Transformer 模型下一個(gè)詞元預(yù)測(cè)（next token prediction）的范式，有可能實(shí)現(xiàn)真正的智能?！痹撜撐牡谝蛔髡咄跻嘀軐?duì) DeepTech 表示。他目前正在東北大學(xué)攻讀博士學(xué)位，主要研究方向包括大模型、多模態(tài)模型和計(jì)算機(jī)視覺，即將加入 Adobe 擔(dān)任研究科學(xué)家/工程師。

圖丨王亦周（來源：王亦周）

Safe Superintelligence 公司創(chuàng)始人、前 OpenAI 首席科學(xué)家伊爾亞·蘇茨克維（Ilya Sutskever）曾公開表示，如果模型足夠強(qiáng)大，對(duì)下一個(gè) token 的預(yù)測(cè)能力可能反映對(duì)世界的某種理解，這可能是實(shí)現(xiàn)更深層智能的關(guān)鍵路徑。

也就是說，next token prediction 是智能的核心。要實(shí)現(xiàn)這一點(diǎn)，需要在模型內(nèi)部進(jìn)行強(qiáng)推理，再通過一系列計(jì)算預(yù)測(cè)下一個(gè) token。

受此啟發(fā)，研究團(tuán)隊(duì)從人類認(rèn)知行為中尋找靈感：人在思考時(shí)，往往越謹(jǐn)慎回答，結(jié)果的準(zhǔn)確率越高，那么大模型會(huì)不會(huì)也和人腦有類似的機(jī)制？

王亦周解釋道：“這種過程類似于我們?cè)趨⒓涌荚嚂r(shí)的解題過程，我們可能會(huì)先想下有哪些解法，然后從中挑選一種認(rèn)為最有把握的方法，確認(rèn)無誤后再進(jìn)行下一步，直到得到完整的證明。”

圖丨 CNTP 方法概述（來源：arXiv）

這里的謹(jǐn)慎指的是，當(dāng)面對(duì)不確定性的情況，需要多嘗試幾條不同的路徑，然后選擇一條最穩(wěn)妥、最可信的路徑。

研究團(tuán)隊(duì)用熵作為模型不確定性的衡量標(biāo)準(zhǔn)：熵越高越不可信。在自然語言處理（NLP）中，困惑度（perplexity）越低代表對(duì)答案越可信。因此在 CNTP 策略下，一旦熵值較高，模型會(huì)采樣多個(gè)候選路徑，并選擇其中困惑度最低的一條，再一步步迭代。

研究人員通過消融研究證明，由于思維鏈推理的回答往往較長，每條路徑長度也不同，如果算完整評(píng)估的困惑度無法很好地衡量答案的可靠性。基于此，他們采取了每到一句話的標(biāo)點(diǎn)符號(hào)截止的方式來計(jì)算困惑度。相當(dāng)于每句話、每個(gè)小的推理單元，即每個(gè)局部自洽能夠?qū)崿F(xiàn)較理想的效果。

為控制采樣次數(shù)，研究團(tuán)隊(duì)通過設(shè)置最小熵 Hmin 和最大熵 Hmax 兩個(gè)閾值和最大試驗(yàn)次數(shù) Nmax。該方法在提高解碼準(zhǔn)確性的同時(shí)，還有效地限制了計(jì)算成本，避免了在每個(gè)步驟大量采樣而帶來的高計(jì)算開銷。

（來源：arXiv）

在實(shí)驗(yàn)驗(yàn)證方面，該團(tuán)隊(duì)在數(shù)學(xué)推理（GSM8K、MATH）、常識(shí)推理（StrategyQA）和開放問答（TruthfulQA）等任務(wù)中證明，與包括貪婪解碼、隨機(jī)解碼和束搜索在內(nèi)的傳統(tǒng)方法相比，CNTP 策略的結(jié)果更具優(yōu)勢(shì)。

例如，在 TruthfulQA 任務(wù)中，Llama-2-7B 在使用 CNTP 方法后，真實(shí)性準(zhǔn)確率提升到了 84.8%，相較于隨機(jī)解碼提升 6.8%。

值得關(guān)注的是，CNTP 策略無需訓(xùn)練，僅解碼即可直接實(shí)現(xiàn)提升性能。王亦周解釋道：這種方法在某種程度上像“免費(fèi)午餐”，盡管可能會(huì)帶來更多的 token 消耗，但在實(shí)際應(yīng)用中有很多優(yōu)化的方法可解決該問題。

（來源：arXiv）

此外，該方法搭配自一致性（self-consistency）后，可進(jìn)一步提升性能（注：自一致性是取多個(gè)樣本，然后選一個(gè)出現(xiàn)頻率最高的答案），且計(jì)算成本遠(yuǎn)低于后者。原因在于，利用多樣性和隨機(jī)性集思廣益后，選取多數(shù)投票。

研究團(tuán)隊(duì)證明，每個(gè)樣本也是越謹(jǐn)慎越好。“我們的方法會(huì)在一定程度上限制它的多樣性，但通過調(diào)高溫度可以解決這一點(diǎn)，所以它能進(jìn)一步提升。”王亦周說。

此外，CNTP 策略具有較好的普適性，可用于廣泛的對(duì)話任務(wù)。除了有固定答案的數(shù)學(xué)題或代碼題，它也可以用于開放式問題，研究團(tuán)隊(duì)未來將嘗試將該策略用于圖像或視頻生成。

該研究為大模型的推理優(yōu)化提供了一種新思路，有望成為下一代解碼策略的重要候選方案。

參考資料：

1.相關(guān)論文：https://arxiv.org/abs/2507.03038v2

2.code link：https://github.com/wyzjack/CNTP

排版：劉雅坤