禮貌=更不準(zhǔn)？賓夕法尼大學(xué)新論文：對(duì) AI 粗魯點(diǎn)，提升 4% 準(zhǔn)確率

大數(shù)據(jù)文摘出品

據(jù)2025年9月發(fā)表于arXiv的論文《Mind Your Tone: Investigating How Prompt Politeness Affects LLM Accuracy》。

論文地址： arxiv.org/abs/2510.04950

賓夕法尼亞州立大學(xué)的兩位研究者提出了一個(gè)出人意料的發(fā)現(xiàn)：越有禮貌的提問(wèn)，ChatGPT 的回答越不準(zhǔn)確。

實(shí)驗(yàn)結(jié)果顯示，當(dāng)用戶(hù)以“非常禮貌”的語(yǔ)氣提問(wèn)時(shí)，ChatGPT-4o 的平均準(zhǔn)確率僅為80.8%。 而在“非常粗魯”的語(yǔ)氣下，這一數(shù)字上升到84.8%。

換句話說(shuō)，同一道題，用“請(qǐng)您幫我解答”比不上“你給我算算這個(gè)”的效果。 研究團(tuán)隊(duì)總結(jié)道，禮貌語(yǔ)氣可能讓模型“分心”，而直接、命令式表達(dá)反而更有效。

過(guò)去的研究多認(rèn)為，粗魯語(yǔ)氣會(huì)干擾模型理解，導(dǎo)致性能下降。但這項(xiàng)新實(shí)驗(yàn)表明，最新一代大模型對(duì)語(yǔ)氣的反應(yīng)方式正在反轉(zhuǎn)。它們?cè)诿鎸?duì)“命令型語(yǔ)言”時(shí)表現(xiàn)更好，面對(duì)“謙和句式”時(shí)則精度下降。

論文指出，這一結(jié)果“挑戰(zhàn)了人類(lèi)交互的直覺(jué)”。在人類(lèi)社會(huì)中，禮貌象征合作與理性；但在機(jī)器世界里，似乎“直給”比“客氣”更高效。

方法驗(yàn)證：ChatGPT-4o的反常表現(xiàn)

研究團(tuán)隊(duì)以 ChatGPT-4o 為主要實(shí)驗(yàn)對(duì)象。他們通過(guò) prompt 設(shè)計(jì)，構(gòu)建了一個(gè)包含50 道多選題、五種語(yǔ)氣版本的數(shù)據(jù)集。

題目涵蓋數(shù)學(xué)、科學(xué)與歷史，每題四個(gè)選項(xiàng)，難度中高，需要多步推理。每個(gè)問(wèn)題被改寫(xiě)為五種語(yǔ)氣：非常禮貌、禮貌、中性、粗魯、非常粗魯。

例如，“請(qǐng)您幫我回答以下問(wèn)題好嗎？”代表最高禮貌層級(jí)；“你不會(huì)連這個(gè)都不會(huì)吧？”代表最低層級(jí)。

所有問(wèn)題共計(jì) 250 個(gè)版本。每次測(cè)試時(shí)，模型被要求“重新開(kāi)始會(huì)話，只返回正確答案選項(xiàng)字母”。這種設(shè)置排除了語(yǔ)義干擾，只留下語(yǔ)氣變量。

研究者進(jìn)行了10 輪獨(dú)立實(shí)驗(yàn)，并使用配對(duì)樣本 t 檢驗(yàn)分析語(yǔ)氣差異的顯著性。結(jié)果顯示，在八組語(yǔ)氣對(duì)比中，語(yǔ)氣確實(shí)顯著影響準(zhǔn)確率（p≤0.05）。從“非常禮貌”到“非常粗魯”，正確率持續(xù)上升，沒(méi)有反轉(zhuǎn)。

也就是說(shuō)，ChatGPT-4o 在聽(tīng)到“你笨嗎？快答！”時(shí)比聽(tīng)到“請(qǐng)您思考一下好嗎？”更容易答對(duì)題。研究團(tuán)隊(duì)稱(chēng)這種現(xiàn)象為“反直覺(jué)的語(yǔ)氣效應(yīng)”。

他們還指出，這一特征并非舊模型延續(xù)，而是新架構(gòu)帶來(lái)的反常現(xiàn)象。在過(guò)去的 GPT-3.5 和 Llama2 測(cè)試中，粗魯語(yǔ)氣通常降低準(zhǔn)確率；而在 GPT-4 及其后續(xù)版本中，語(yǔ)氣曲線被“翻轉(zhuǎn)”。

模型似乎開(kāi)始對(duì)禮貌免疫，對(duì)命令更敏感。

研究者指出，模型對(duì)語(yǔ)氣的反應(yīng)并不源于情緒，而是算法結(jié)果。對(duì)模型來(lái)說(shuō)，禮貌詞只是字符串，沒(méi)有情感含義。

它不會(huì)“感受到”尊重或冒犯。但這些額外詞匯可能在語(yǔ)義上增加冗余，使模型難以聚焦問(wèn)題。

論文寫(xiě)道：“禮貌語(yǔ)氣往往句式更長(zhǎng)、更委婉，結(jié)構(gòu)更復(fù)雜，這些因素都可能降低模型推理效率。”

因此，越直接、越命令式的指令，越能讓模型抓住核心信息。

研究團(tuán)隊(duì)強(qiáng)調(diào)，他們并不鼓勵(lì)用戶(hù)使用侮辱性語(yǔ)言。但從性能角度看，確實(shí)存在一種“語(yǔ)氣效率曲線”：溫和≠高效，粗暴反而更快、更準(zhǔn)。

他們?cè)谡撐淖詈髮?xiě)道，這一發(fā)現(xiàn)“提醒人類(lèi)，在與AI互動(dòng)時(shí)，語(yǔ)言的社會(huì)屬性可能與功能目標(biāo)相沖突”。人類(lèi)講求禮貌，而模型只關(guān)心任務(wù)完成。

在算法世界里，效率壓過(guò)了禮節(jié)。

在后續(xù)實(shí)驗(yàn)中，研究團(tuán)隊(duì)還測(cè)試了 Claude 與 GPT-o3。初步結(jié)果顯示，更先進(jìn)的模型對(duì)語(yǔ)氣的敏感度正在減弱，這可能預(yù)示未來(lái)的架構(gòu)會(huì)“去語(yǔ)氣化”：聚焦內(nèi)容，而非表達(dá)方式。

注：頭圖AI生成

作者長(zhǎng)期關(guān)注 AI 產(chǎn)業(yè)與學(xué)術(shù)，歡迎對(duì)這些方向感興趣的朋友添加微信Q1yezi，共同交流行業(yè)動(dòng)態(tài)與技術(shù)趨勢(shì)！

GPU 訓(xùn)練特惠！

H100/H200 GPU算力按秒計(jì)費(fèi)，平均節(jié)省開(kāi)支30%以上！

掃碼了解詳情?

點(diǎn)「贊」的人都變好看了哦！