生成式人工智能的用戶難以準(zhǔn)確評(píng)估自身的能力

作者： 埃里克·W·多蘭

2025年12月29日

最新研究表明，利用人工智能完成任務(wù)可以提高個(gè)人的表現(xiàn)，但同時(shí)也會(huì)扭曲他們對(duì)自身表現(xiàn)的準(zhǔn)確評(píng)估能力。研究結(jié)果顯示，雖然使用 ChatGPT 等人工智能工具的用戶在邏輯推理測試中比獨(dú)自完成任務(wù)的用戶得分更高，但他們往往會(huì)顯著高估自己的表現(xiàn)。

這種模式表明，人工智能輔助可能會(huì)使用戶對(duì)自身能力的感知與其實(shí)際結(jié)果脫節(jié)，從而導(dǎo)致用戶產(chǎn)生過高的自信。該研究發(fā)表在科學(xué)期刊《人機(jī)交互》（Computers in Human Behavior）上。

科學(xué)家和心理學(xué)家越來越關(guān)注技術(shù)增強(qiáng)對(duì)人類認(rèn)知的影響。隨著生成式人工智能系統(tǒng)在專業(yè)和教育領(lǐng)域日益普及，了解這些工具如何影響元認(rèn)知至關(guān)重要。元認(rèn)知是指個(gè)體監(jiān)控和調(diào)節(jié)自身思維過程的能力。它使人們能夠判斷自己何時(shí)可能正確，何時(shí)可能犯錯(cuò)。

以往的心理學(xué)研究表明，人類普遍存在自我評(píng)估困難。一種被稱為鄧寧-克魯格效應(yīng)的著名現(xiàn)象描述了技能較低的人往往高估自己的能力，而技能較高的人則往往低估自己的能力。本文作者試圖探究當(dāng)人類與人工智能協(xié)作時(shí)，這種模式是否依然存在。他們的目標(biāo)是了解人工智能是否能夠起到平衡作用，消除這些偏見，還是會(huì)給人們?cè)u(píng)估自身工作的方式帶來新的復(fù)雜性。

為了探究這些問題，研究團(tuán)隊(duì)設(shè)計(jì)了兩項(xiàng)以邏輯推理任務(wù)為中心的獨(dú)立研究。在第一項(xiàng)研究中，他們招募了246名美國參與者。這些參與者被要求完成20道選自法學(xué)院入學(xué)考試（LSAT）的邏輯推理題。研究人員為參與者提供了一個(gè)專門的網(wǎng)頁界面。該界面一側(cè)顯示題目，另一側(cè)顯示ChatGPT交互窗口。

參與者需要就每個(gè)問題至少與人工智能互動(dòng)一次。他們可以要求人工智能解決問題或解釋其邏輯。提交答案后，參與者需要估計(jì)他們認(rèn)為自己答對(duì)了20個(gè)問題中的多少個(gè)。他們還需要根據(jù)特定量表對(duì)每個(gè)決定的信心程度進(jìn)行評(píng)分。

這項(xiàng)初步研究的結(jié)果顯示，客觀表現(xiàn)有了顯著提升。平均而言，使用 ChatGPT 的參與者比未使用人工智能輔助進(jìn)行相同測試的歷史對(duì)照組高出約 3 分。人工智能幫助用戶解決了他們獨(dú)自答題時(shí)很可能錯(cuò)過的問題。

盡管分?jǐn)?shù)有所提高，但參與者普遍高估了自己的能力。平均而言，他們估計(jì)自己答對(duì)了20道題中的17道左右。而實(shí)際上，他們的平均得分接近13分。這代表著感知與現(xiàn)實(shí)之間存在4分的差距。數(shù)據(jù)表明，人工智能提供的無縫輔助造成了一種能力超群的錯(cuò)覺。

該研究還分析了參與者對(duì)人工智能的了解程度與其自我評(píng)估之間的關(guān)系。研究人員使用名為“非專家人工智能素養(yǎng)評(píng)估量表”的工具來衡量“人工智能素養(yǎng)”。人們可能會(huì)認(rèn)為，了解人工智能的工作原理會(huì)使用戶在判斷時(shí)更加謹(jǐn)慎或準(zhǔn)確。但研究結(jié)果卻恰恰相反。對(duì)人工智能技術(shù)理解程度更高的參與者往往對(duì)自己的答案更加自信，但在評(píng)估自身實(shí)際表現(xiàn)方面卻不太準(zhǔn)確。

這項(xiàng)研究的一個(gè)重要理論貢獻(xiàn)在于鄧寧-克魯格效應(yīng)。在沒有人工智能的典型情境下，數(shù)據(jù)會(huì)呈現(xiàn)出一條陡峭的斜率：低績效者會(huì)大幅高估自己，而高績效者則不會(huì)。當(dāng)參與者使用人工智能后，這種效應(yīng)消失了。這項(xiàng)技術(shù)的“均衡化”效應(yīng)意味著高估現(xiàn)象在所有參與者中變得普遍。低績效者和高績效者都以相似的幅度夸大了自己的分?jǐn)?shù)。

研究人員觀察到，人類與人工智能的協(xié)同作用并未超過人工智能單獨(dú)運(yùn)行時(shí)的表現(xiàn)。人工智能系統(tǒng)單獨(dú)運(yùn)行測試時(shí)，其平均得分高于人類使用人工智能的情況。這表明協(xié)同作用未能實(shí)現(xiàn)。人類有時(shí)會(huì)接受人工智能的錯(cuò)誤建議，或者否決正確的建議，從而拉低了整體性能，使其低于機(jī)器的最大潛力。

為了確保研究結(jié)果的可靠性，研究人員進(jìn)行了第二項(xiàng)研究。這項(xiàng)重復(fù)研究納入了452名參與者。研究人員將樣本分為兩個(gè)不同的組。一組在人工智能輔助下完成任務(wù)，而另一組則在沒有任何技術(shù)輔助的情況下完成任務(wù)。

在第二個(gè)實(shí)驗(yàn)中，研究人員引入了金錢獎(jiǎng)勵(lì)來鼓勵(lì)參與者提高準(zhǔn)確性。參與者被告知，如果他們對(duì)自己得分的估計(jì)與實(shí)際得分相符，他們將獲得一筆獎(jiǎng)金。此舉旨在排除參與者可能因?yàn)椴粔蚺Χ狈ψ晕乙庾R(shí)的可能性。

第二項(xiàng)研究的結(jié)果與第一項(xiàng)研究的結(jié)果一致。金錢激勵(lì)并未糾正高估偏差。使用人工智能的組的表現(xiàn)仍然優(yōu)于未使用人工智能的組，但他們?nèi)匀桓吖懒俗约旱姆謹(jǐn)?shù)。未使用人工智能的組表現(xiàn)出經(jīng)典的鄧寧-克魯格效應(yīng)，即技能最差的參與者表現(xiàn)出最大的偏差。人工智能組再次表現(xiàn)出一致的偏差，這證實(shí)了該技術(shù)從根本上改變了用戶對(duì)自身能力的認(rèn)知。

該研究還采用了一種名為“曲線下面積”（AUC）的指標(biāo)來評(píng)估元認(rèn)知敏感度。該指標(biāo)衡量的是一個(gè)人在回答正確時(shí)是否比回答錯(cuò)誤時(shí)更有自信。理想情況下，一個(gè)人在犯錯(cuò)時(shí)應(yīng)該感到不確定。數(shù)據(jù)顯示，參與者的元認(rèn)知敏感度較低。無論他們對(duì)特定問題的回答正確與否，他們的自信程度都很高。

從聊天記錄中收集的定性數(shù)據(jù)提供了更多背景信息。研究人員注意到，大多數(shù)參與者只是被動(dòng)地接收信息。他們經(jīng)常將問題復(fù)制粘貼到聊天記錄中，并接受人工智能的輸出結(jié)果，而沒有進(jìn)行任何實(shí)質(zhì)性的質(zhì)疑或驗(yàn)證。只有極少數(shù)用戶將人工智能視為合作伙伴或用于復(fù)核自身邏輯的工具。

研究人員探討了造成這些結(jié)果的幾個(gè)潛在原因。其中一種可能性是“解釋深度錯(cuò)覺”。當(dāng)人工智能提供流暢、清晰且即時(shí)的解釋時(shí)，它會(huì)欺騙大腦，使其誤以為信息已被處理和理解得比實(shí)際情況更深入。答案的易得性降低了解決邏輯難題通常所需的認(rèn)知努力，進(jìn)而削弱了人們可能出錯(cuò)的內(nèi)部信號(hào)。

所有研究都存在一些局限性，這一點(diǎn)需要考慮。第一項(xiàng)研究使用的是歷史比較組而非同期對(duì)照組，不過第二項(xiàng)研究對(duì)此進(jìn)行了修正。此外，該研究的任務(wù)僅限于LSAT邏輯推理題。不同類型的任務(wù)，例如創(chuàng)意寫作或編程，可能會(huì)產(chǎn)生不同的元認(rèn)知模式。

該研究還使用了特定版本的ChatGPT。隨著這些模型不斷發(fā)展并變得更加精準(zhǔn)，人機(jī)互動(dòng)關(guān)系可能會(huì)發(fā)生變化。研究人員還指出，參與者必須使用人工智能，這可能與用戶在現(xiàn)實(shí)生活中自主選擇何時(shí)使用該工具的情況有所不同。

針對(duì)這些研究空白，研究人員提出了未來的研究方向。他們建議探索能夠促使用戶進(jìn)行更批判性思考的設(shè)計(jì)改進(jìn)。例如，界面可以要求用戶在接受答案之前向系統(tǒng)解釋人工智能的邏輯。此外，還需要進(jìn)行長期研究，以觀察隨著用戶對(duì)大型語言模型局限性的了解加深，這種過度自信是否會(huì)逐漸消失。

這項(xiàng)名為“人工智能讓你更聰明，但并不讓你更明智：表現(xiàn)與元認(rèn)知之間的脫節(jié)”的研究由 Daniela Fernandes、Steeven Villa、Salla Nicholls、Otso Haavisto、Daniel Buschek、Albrecht Schmidt、Thomas Kosch、Chenxinran Shen 和 Robin Welsch 撰寫。

AI makes you smarter but none the wiser: The disconnect between performance and metacognition

Author links open overlay panelDaniela Fernandes a , Steeven Villa b, Salla Nicholls a, Otso Haavisto a, Daniel Buschek c, Albrecht Schmidt b, Thomas Kosch d, Chenxinran Shen e, Robin Welsch a

Show more

Outline

Share

Cite

https://doi.org/10.1016/j.chb.2025.108779