人均不到3元！被AI作弊逼急的教授玩“邪修”：“花105元，給全班36人辦了場(chǎng)AI口試”

編譯 | 鄭麗媛

出品 | CSDN（ID：CSDNnews）

最近，紐約大學(xué)斯特恩商學(xué)院數(shù)據(jù)科學(xué)教授 Panos Ipeirotis 遇到了一種“詭異的幸?！薄?/p>

在他與 Konstantinos Rizakos 聯(lián)合授課的全新課程《AI/ML 產(chǎn)品管理》上，學(xué)生們的課前作業(yè)質(zhì)量突然整體飆升，好得有點(diǎn)反常：不是“優(yōu)秀學(xué)生”的那種好，而是“像咨詢公司報(bào)告、被反復(fù)精修三輪”的那種好。

于是，Panos 和 Konstantinos 干了一件十分原始的事情：課堂隨機(jī)點(diǎn)名，讓學(xué)生現(xiàn)場(chǎng)解釋自己寫的作業(yè)內(nèi)容。結(jié)果非常“魔幻”：很多作業(yè)看起來(lái)?xiàng)l理清晰、結(jié)構(gòu)完美的學(xué)生，在被追問兩三個(gè)細(xì)節(jié)后就露餡了——連自己為什么這么做都講不清楚，還有些學(xué)生干脆全程“當(dāng)機(jī)”。

“這種現(xiàn)象不可能只是緊張或運(yùn)氣不好”，Panos 直言：“如果一個(gè)人連自己交的作業(yè)都講不明白，那么這份書面作業(yè)，就根本沒測(cè)出我們想要評(píng)估的真實(shí)能力?！?/p>

發(fā)現(xiàn)這個(gè)問題后，Panos 突然想到了幾個(gè)月前，芝加哥大學(xué)布斯大學(xué)商學(xué)院 Brian Jabarian 領(lǐng)導(dǎo)的一項(xiàng)研究結(jié)果：AI 在做招聘面試時(shí)，反而比人類更好，原因很簡(jiǎn)單：人會(huì)累、有偏見、執(zhí)行標(biāo)準(zhǔn)不一致，而 AI 不會(huì)。

而這個(gè)結(jié)論，讓 Panos 他們產(chǎn)生了一個(gè)放在兩年前聽起來(lái)像笑話的想法：

既然這樣，要不直接讓語(yǔ)音 AI 代理來(lái)當(dāng)期末口試的考官？

有人會(huì)問：為什么要現(xiàn)在口試？

這個(gè)問題的核心，其實(shí)既簡(jiǎn)單又殘酷：現(xiàn)在，學(xué)生可以隨時(shí)調(diào)用 LLM來(lái)應(yīng)對(duì)傳統(tǒng)意義上的大部分考題，過去那種“通過課后作業(yè)就能衡量學(xué)生理解程度”的舊模式，已經(jīng)徹底失效了。

那改成課堂閉卷筆試不就行了？確實(shí)，Panos 他們?cè)谄谥锌荚嚂r(shí)就這么干了，但還有一個(gè)更棘手的問題：小組項(xiàng)目。

以前，Panos 擔(dān)心的是“搭便車”，即學(xué)生把任務(wù)甩給隊(duì)友；而現(xiàn)在，更可怕的事情出現(xiàn)了：Gemini 3.0 發(fā)布，NotebookLM 能直接生成毫無(wú)破綻的演示文稿。

一瞬間，哪怕一個(gè)學(xué)生對(duì)項(xiàng)目毫無(wú)參與，他也能在臺(tái)上講得天花亂墜——而老師根本無(wú)從分辨。

基于此，口試成了自然而然的應(yīng)對(duì)方案：

● 它要求學(xué)生進(jìn)行實(shí)時(shí)推理、對(duì)全新問題靈活應(yīng)用知識(shí)、并為自己的每一個(gè)決策辯護(hù)；

● 沒有 LLM 在旁“提示”，更沒有“我查一下”的時(shí)間讓 ChatGPT 生成答案；

● 整個(gè)過程，只有你、你的知識(shí)儲(chǔ)備，以及考官。

但唯一的問題是：口試的規(guī)模化落地，簡(jiǎn)直是一場(chǎng)后勤噩夢(mèng)。

以 Panos 的這門課為例，有 36 名學(xué)生、2位授課老師，勉強(qiáng)還能應(yīng)付。但不少學(xué)生要求協(xié)調(diào)考試時(shí)間：“我 15 號(hào)要趕飛機(jī)”、“那天我還有三門期末考”、“我要回家參加家庭活動(dòng)”……Panos 感慨，這些理由全都合情合理：“但試想一下，如果班級(jí)規(guī)模擴(kuò)大十倍，協(xié)調(diào)考試時(shí)間就會(huì)變成一場(chǎng)曠日持久的拉鋸戰(zhàn)。”

這就是為什么口試一直難以規(guī)模化的原因——除非換個(gè)思路，用 AI“走個(gè)捷徑”。

用語(yǔ)音 AI 代理，搞定口試規(guī)?；?/strong>

Panos 他們選擇用 ElevenLabs 的對(duì)話式 AI 平臺(tái)，打造了一個(gè)“語(yǔ)音口試智能體”。

據(jù)介紹，這個(gè)平臺(tái)把 ASR、TTS、打斷處理、輪次控制等臟活全都封裝好了。針對(duì)低風(fēng)險(xiǎn)場(chǎng)景（比如日常作業(yè)）的基礎(chǔ)版 AI 考官，甚至幾分鐘就能搭建好了——只需要寫一段提示詞，明確 AI 需要向?qū)W生提問的方向，整個(gè)系統(tǒng)就可以上線運(yùn)行。

在 Panos 的方案中，有兩個(gè)功能起到了關(guān)鍵作用：

● 動(dòng)態(tài)變量：將學(xué)生姓名、項(xiàng)目細(xì)節(jié)等個(gè)性化信息作為參數(shù)傳入對(duì)話流程，實(shí)現(xiàn)真正的 “個(gè)性化口試”。

● 工作流設(shè)計(jì)：用多個(gè)子 Agent 構(gòu)建結(jié)構(gòu)化流程，而不是通用一個(gè)“話癆大模型”去亂聊。

這場(chǎng) AI 口試長(zhǎng)什么樣？

具體而言，Panos 他們?cè)O(shè)計(jì)的口試分為兩部分：

（1）環(huán)節(jié)一：“聊聊你的項(xiàng)目”

AI 代理將圍繞學(xué)生的結(jié)課項(xiàng)目展開提問，包括項(xiàng)目目標(biāo)、數(shù)據(jù)來(lái)源、模型選型依據(jù)、評(píng)估指標(biāo)設(shè)計(jì)、以及項(xiàng)目中遇到的失敗與不足。這正是“用 LLM 代寫作業(yè)”的學(xué)生的死穴——你可以讓 ChatGPT 幫你寫，但你很難即興編出一套自洽的決策邏輯。

（2）環(huán)節(jié)二：“現(xiàn)場(chǎng)分析一個(gè)案例”

AI 代理將從課程講過的案例中隨機(jī)抽取一個(gè)，圍繞案例涉及的知識(shí)點(diǎn)進(jìn)行提問——本質(zhì)上是檢驗(yàn)學(xué)生是真的吸收了知識(shí)，還是僅僅來(lái)課堂“打個(gè)卡”。

為了支撐這套結(jié)構(gòu)化流程，他們把口試工作流拆分成了三個(gè)各司其職的子 Agent：

● 身份驗(yàn)證 Agent：要求學(xué)生提供學(xué)號(hào)，只有輸入有效學(xué)號(hào)才能進(jìn)入考試環(huán)節(jié)。

● 項(xiàng)目討論 Agent：通過參數(shù)注入學(xué)生的項(xiàng)目背景，提示詞中包含每個(gè)項(xiàng)目的詳細(xì)信息，確保 AI 能提出有針對(duì)性的問題。

● 案例討論 Agent：負(fù)責(zé)隨機(jī)抽取案例并進(jìn)行結(jié)構(gòu)化提問。

這種“多個(gè)小 Agent 協(xié)作”的模式，絕非為了追求技術(shù)上的“好看”，它不僅能有效防止對(duì)話偏離預(yù)設(shè)軌道，還能讓系統(tǒng)調(diào)試變得清晰可控。

成本與效果如何？用數(shù)字說話

把這套 AI 口試系統(tǒng)實(shí)踐之后，Panos 他們初步統(tǒng)計(jì)了一下：

● 36 名學(xué)生，9 天內(nèi)完成全部口試

● 平均耗時(shí) 25 分鐘（最短 9 分鐘，最長(zhǎng) 64 分鐘）

● 每場(chǎng)對(duì)話平均交互 65 輪

● 成本：0.42 美元/人，總計(jì) 15 美元

● 三個(gè) AI 模型評(píng)分一致度：89% 在 1 分以內(nèi)

● 最短考試時(shí)間 9 分鐘的學(xué)生，反而拿了最高分 19 分（滿分 20 分）

對(duì)此，Panos 還仔細(xì)算了一筆賬：36 名學(xué)生的口試總成本為 15 美元（約人民幣 105 元），具體開銷如下：Claude（主評(píng)分模型）8 美元、Gemini 2 美元、OpenAI 0.3 美元、ElevenLabs 語(yǔ)音時(shí)長(zhǎng)費(fèi)用約 5 美元——平攤下來(lái)，每個(gè)學(xué)生僅需 0.42 美元（約人民幣 2.9 元）。

要是換成純?nèi)斯さ脑挘?6 名學(xué)生 × 每人 25 分鐘 × 2 名考官 = 30 小時(shí)的人工工時(shí)。哪怕按助教時(shí)薪 25 美元計(jì)算，總成本也高達(dá) 750 美元，如果按教授時(shí)薪計(jì)算，成本更是高到 Panos “根本就不會(huì)考慮組織口試”的地步。

可如今僅花費(fèi)15 美元，Panos 就實(shí)現(xiàn)了：實(shí)時(shí)口試評(píng)估、Claude + Gemini + ChatGPT 三模型評(píng)審委員會(huì)、包含原文引用的結(jié)構(gòu)化反饋、完整的考試審計(jì)追蹤。更重要的是，通過這次嘗試，他們還發(fā)現(xiàn)了自己教學(xué)過程中存在的漏洞。

踩過的坑，比你想象的多

不過，對(duì)于這套 AI 口試系統(tǒng)的打磨，Panos 他們也并非一步到位，在實(shí)踐中踩了不少坑。

（1）聲音太“嚇人”

Panos 他們?cè)具x擇了 Foster Provost 的聲音，結(jié)果大多學(xué)生反饋：像在被罵。

解決方案：以后 A/B Test 多種聲音，優(yōu)化“理解體驗(yàn)”，而不是一味強(qiáng)調(diào)“權(quán)威感”。

（2）一次性問四個(gè)問題

Agent 會(huì)說：請(qǐng)解釋你的指標(biāo)選擇，并告訴我你試過哪些基線，為什么沒用 X，以及你下一步打算做什么——顯然，這一下子問了 4 個(gè)問題。口試本身就要求學(xué)生實(shí)時(shí)思考，認(rèn)知負(fù)荷已經(jīng)很高，疊加多個(gè)問題只會(huì)讓學(xué)生不堪重負(fù)。

解決：在 Prompt 中加入硬性規(guī)則，一次只提一個(gè)問題，如果需要進(jìn)行多維度追問，必須拆分成多個(gè)對(duì)話輪次。

（3）重復(fù)問題時(shí)偷偷改寫

過程中，學(xué)生會(huì)問：“能重復(fù)一下問題嗎？”有時(shí) Agent 會(huì)換種問法，結(jié)果把原本的題目都變了。

解決：在 Prompt 中明確指令，當(dāng)學(xué)生要求重復(fù)問題時(shí)，必須逐字復(fù)述，嚴(yán)禁改寫，一個(gè)字都不能變。

（4）不給學(xué)生思考時(shí)間

學(xué)生剛一停頓思考，AI 就立刻插話追問，甚至?xí)殉聊?dāng)成“學(xué)生沒聽懂”，直接跳過當(dāng)前問題。解決：在 Prompt 中要求 AI 留出思考時(shí)間，避免過度追問。把 AI 觸發(fā)“你還在嗎？”的超時(shí)等待時(shí)間，從 5 秒延長(zhǎng)到了 10 秒。

（5）LLM 根本不懂什么叫隨機(jī)

Panos 原本要求 AI “隨機(jī)抽取” 一個(gè)案例進(jìn)行提問，結(jié)果 12 月 12-18 日期間，只要案例列表里有“Zillow”（美國(guó)房產(chǎn)平臺(tái)），AI 選中它的概率就高達(dá) 8%。

解決：把隨機(jī)性從 Prompt 層面轉(zhuǎn)移到代碼層面，即生成一個(gè)顯式的隨機(jī)數(shù)，再將隨機(jī)數(shù)與案例進(jìn)行確定性映射。隨機(jī)性由代碼來(lái)保證，而非依賴 LLM 的選擇。

評(píng)分委員會(huì)：三模型互相“掰頭”真的有效

借鑒 Andrej Karpathy 的思路，Panos 他們采用了“LLM 評(píng)分委員會(huì)”的模式：

讓 Claude、Gemini、ChatGPT 三個(gè)模型，分別獨(dú)立評(píng)估每場(chǎng)口試的對(duì)話記錄；之后，讓每個(gè)模型看到另外兩個(gè)模型的評(píng)分和理由，并據(jù)此修正自己的評(píng)分；最后，由 Claude 擔(dān)任 “主考官”，綜合所有模型的意見，生成最終評(píng)分和詳細(xì)依據(jù)。

第一輪的結(jié)果簡(jiǎn)直慘不忍睹：三個(gè)模型的評(píng)分完全一致的情況為 0%，僅有 23% 的評(píng)分誤差在 2 分以內(nèi)；在 20 分滿分的體系下，評(píng)分的最大平均誤差接近 4 分。

甚至，不同模型的“打分風(fēng)格”也不一樣：Gemini 堪稱“心軟的老好人”，平均分高達(dá) 17分；而 Claude 的平均分只有 13.4 分——3.6 分的差距，剛好是 B+ 和 B- 的區(qū)別。而 Claude 和 OpenAI 的打分尺度在第一輪就已經(jīng)比較接近：70% 的評(píng)分誤差不超過 1 分。

而當(dāng)模型們進(jìn)入 “審議環(huán)節(jié)”（看到彼此的評(píng)分和理由）后，評(píng)分一致性發(fā)生了質(zhì)的飛躍：Gemini 在參考了 Claude 和 OpenAI 更嚴(yán)格的評(píng)分依據(jù)后，平均分直接下調(diào)了 2 分——因?yàn)樗鼰o(wú)法再為那些“實(shí)驗(yàn)討論存在明顯 bug”的答卷，給出 17 分的高分。

更有意思的是，模型之間的評(píng)分分歧并不是隨機(jī)出現(xiàn)的。

在“問題框架設(shè)計(jì)”和“評(píng)估指標(biāo)選擇”這兩個(gè)維度上，三大模型在 1 分以內(nèi)的一致率是 100%；但在“實(shí)驗(yàn)設(shè)計(jì)”上，一致率只有 57%。

為什么會(huì)這樣？原因其實(shí)很直觀： 當(dāng)學(xué)生給出的回答清晰、具體、有結(jié)構(gòu)時(shí)，不論是人還是 AI，評(píng)分都高度一致；當(dāng)學(xué)生的回答開始變得空泛、含糊、全是套話時(shí)，評(píng)分者就會(huì)在“到底該給多少部分分”上產(chǎn)生巨大分歧。所以，“實(shí)驗(yàn)設(shè)計(jì)”這一項(xiàng)的一致率低，反映的不是模型不靠譜，而是學(xué)生的回答本身就存在模糊性。

除此之外，Panos 坦言這套系統(tǒng)給出的評(píng)分，比他平時(shí)給學(xué)生的要嚴(yán)格一些。關(guān)于這一點(diǎn)，他認(rèn)為是好事：“畢竟學(xué)生走出校園后，這個(gè)世界可不會(huì)習(xí)慣性給他們打高分。”

AI的反饋質(zhì)量，已遠(yuǎn)超人類水平

Panos 還提到，AI 系統(tǒng)會(huì)自動(dòng)生成“優(yōu)點(diǎn) / 不足 / 改進(jìn)行動(dòng)”三段式反饋，并直接引用學(xué)生原話作為證據(jù)。

以最高分學(xué)生的反饋為例：

“你對(duì)指標(biāo)權(quán)衡與 Goodhart 定律風(fēng)險(xiǎn)的理解非常出色—— 你用‘熱水浴缸’的例子，完美闡釋了優(yōu)化單一指標(biāo)如何導(dǎo)致其他指標(biāo)失效?！?/blockquote>

再以一位 B- 學(xué)生的反饋為例：

“請(qǐng)練習(xí)完整闡述 A/B 測(cè)試方案：明確提出假設(shè)、定義隨機(jī)化單元、指定監(jiān)控指標(biāo)閾值、并建立方案上線或回滾的決策標(biāo)準(zhǔn)?！?/blockquote>

這些反饋都具體、可落地，還附帶實(shí)證支撐。Panos 感慨：“說實(shí)話，換成人類評(píng)分者，根本不可能為每個(gè)學(xué)生都做到這一步?！?/p>

而當(dāng) Panos 他們開始按考點(diǎn)拆分學(xué)生成績(jī)時(shí)，一個(gè)短板暴露得淋漓盡致——實(shí)驗(yàn)設(shè)計(jì)。這個(gè)考點(diǎn)的平均分僅為 1.94 分（滿分 4 分），對(duì)比“問題框架設(shè)計(jì)”考點(diǎn)的 3.39 分，差距一目了然。

具體的分?jǐn)?shù)分布更是觸目驚心：

● 3 名學(xué)生（8%）得 0 分——完全無(wú)法就該考點(diǎn)展開論述

● 7 名學(xué)生（19%）得 1 分——僅具備表層理解

● 15 名學(xué)生（42%）得 2 分——具備基礎(chǔ)理解

● 0 名學(xué)生得 4 分——無(wú)人達(dá)到精通水平

這些數(shù)據(jù)讓 Panos 他們意識(shí)到了自己的問題：課程中講解 A/B 測(cè)試方法論的部分太過倉(cāng)促。而這場(chǎng)由 AI 主導(dǎo)的口試，把這個(gè)教學(xué)漏洞赤裸裸地?cái)[在了他們面前，想忽視都不行。

另一個(gè)令他們頗感意外的發(fā)現(xiàn)是：口試時(shí)長(zhǎng)與最終得分完全不相關(guān)（相關(guān)系數(shù) r = -0.03）。耗時(shí)最短的一場(chǎng)口試（9 分鐘），反而拿到了最高分 19 分；而耗時(shí)最長(zhǎng)的一場(chǎng)（64 分鐘），得分只有 12 分。

也就是說，時(shí)間長(zhǎng)并不代表懂得多，而真正的理解，反而是高效的。

那么，學(xué)生怎么說？

在公布成績(jī)前，Panos 他們對(duì)學(xué)生做了問卷調(diào)查，收集他們對(duì)AI口試的感受，結(jié)果很有意思：

● 僅 13% 的學(xué)生更喜歡 AI 口試模式，57% 的學(xué)生還是傾向于傳統(tǒng)筆試

● 83% 的學(xué)生認(rèn)為 AI 口試比筆試更有壓力

但與此同時(shí)：70% 的學(xué)生認(rèn)同，AI 口試能更準(zhǔn)確地檢驗(yàn)他們的真實(shí)理解水平——這也是所有調(diào)查選項(xiàng)中認(rèn)可度最高的一項(xiàng)。簡(jiǎn)單來(lái)說，大多數(shù)學(xué)生都認(rèn)可這種評(píng)估方式，但對(duì)體驗(yàn)過程并不滿意。

所以，結(jié)論很顯然：核心思路是可行的，只是執(zhí)行細(xì)節(jié)還需迭代優(yōu)化。

在分享的最后，Panos 提到，課后作業(yè)的時(shí)代已經(jīng)落幕，而退回傳統(tǒng)的線下紙筆考試，更像是一種技術(shù)上的倒退。當(dāng)今教師需要的，是一種能獎(jiǎng)勵(lì)真正的理解能力、決策能力和實(shí)時(shí)推理能力的評(píng)估方式：

“口試曾經(jīng)是主流的評(píng)估手段，只是受限于規(guī)模問題才被淘汰；如今，AI 正在讓口試重新變得規(guī)模化、可落地?！?/p>

Panos 補(bǔ)充道，還可以把整套 AI 口試系統(tǒng)直接開放給學(xué)生，讓他們反復(fù)練習(xí)、充分備考。因?yàn)榕c傳統(tǒng)考試“考題泄露即災(zāi)難”不同，AI 口試的考題是實(shí)時(shí)生成的——學(xué)生練得越多，掌握得就越扎實(shí)。

“而這，才是學(xué)習(xí)本該有的樣子”，他表示，“以毒攻毒，方為上策?！?/p>

原文鏈接：https://www.behind-the-enemy-lines.com/2025/12/fighting-fire-with-fire-scalable-oral.html