![]()
新智元報(bào)道
編輯:元宇
【新智元導(dǎo)讀】在Anthropic,有一位駐場(chǎng)哲學(xué)家Amanda Askell專(zhuān)門(mén)研究如何與AI模型打交道。她不僅主導(dǎo)設(shè)計(jì)了Claude的性格、對(duì)齊與價(jià)值觀機(jī)制,還總結(jié)出一些行之有效的提示詞技巧。哲學(xué)在AI時(shí)代不僅沒(méi)有落伍,反而那些通過(guò)哲學(xué)訓(xùn)練掌握提示詞技巧的人,年薪中位數(shù)可以高達(dá)15萬(wàn)美元。
假設(shè)你手上有一臺(tái)最新款的超級(jí)咖啡機(jī)。
你按了十幾次按鈕,就是做不出來(lái)你想要喝的那種咖啡。
問(wèn)題不在于咖啡機(jī)的性能不夠強(qiáng)大,而在于你不知道正確的指令是什么。
在Anthropic,就有一個(gè)專(zhuān)門(mén)研究和AI這臺(tái)「超級(jí)智能咖啡機(jī)」溝通的人。
她既不是工程師,也不是程序員,而是一位駐場(chǎng)哲學(xué)家Amanda Askell。
![]()
Amanda Askell是一位受過(guò)哲學(xué)訓(xùn)練的學(xué)者,負(fù)責(zé)協(xié)助管理Claude的性格設(shè)定
Askell是正兒八經(jīng)的哲學(xué)科班出身。
她曾在牛津大學(xué)和紐約大學(xué)學(xué)習(xí)哲學(xué),2018年獲得了紐約大學(xué)哲學(xué)博士學(xué)位。
![]()
畢業(yè)后,Askell曾在OpenAI擔(dān)任政策方向的研究科學(xué)家。
2021年她加入Anthropic,至今一直在該公司擔(dān)任對(duì)齊微調(diào)方向的研究科學(xué)家。
Askell負(fù)責(zé)為Anthropic的Claude注入某些性格特質(zhì),同時(shí)避免其他特質(zhì)。
她因?yàn)橹鲗?dǎo)設(shè)計(jì)了Claude的性格、對(duì)齊與價(jià)值觀機(jī)制,而被列入「2024年最具影響力的100位AI人物」 。
![]()
在Anthropic,Askell有一個(gè)「Claude耳語(yǔ)者」(Claude whisperer)的綽號(hào)。
這大概是因?yàn)樗难芯糠较颍侨绾闻cClaude溝通,并調(diào)整優(yōu)化它的輸出。
用好AI
你需要一把「哲學(xué)鑰匙」
哲學(xué),就好比打開(kāi)AI這臺(tái)復(fù)雜機(jī)器的鑰匙。
近日,Askell分享了她制定有效AI提示詞的方法。
她認(rèn)為提示詞工程需要清晰表達(dá)、不斷嘗試,以及哲學(xué)式的思考方式。
在Askell看來(lái),哲學(xué)的一大核心能力,是能把思想表達(dá)得清楚而準(zhǔn)確,而這正是發(fā)揮AI最大價(jià)值的關(guān)鍵:
「很難總結(jié)其中的奧妙,一個(gè)關(guān)鍵是要愿意頻繁地與模型互動(dòng),并且認(rèn)真觀察它每一次的輸出」。
Askell認(rèn)為好的提示詞作者應(yīng)該「非常愛(ài)嘗試、敢于試驗(yàn)」,但比不斷試錯(cuò)更重要的是哲學(xué)思維。
「哲學(xué)思維確實(shí)能幫助寫(xiě)提示詞,我很大一部分的工作就是盡可能清晰地向模型解釋我正在思考的問(wèn)題、擔(dān)憂或想法是什么」。
哲學(xué)思維對(duì)于清晰表達(dá)的重視,不僅能幫助人們優(yōu)化自己的提示詞,也有助于更好地理解AI本身。
![]()
https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/overview?utm_source=chatgpt.com
在Anthropic發(fā)布的《提示詞工程概覽》中,就提出了包含清晰表達(dá)在內(nèi)的提示詞技巧:
清晰且直接(Be clear and direct);
給出示例(multishot/few-shot prompting),使用多輪示例來(lái)說(shuō)明預(yù)期輸出;
如果任務(wù)復(fù)雜,讓模型分步思考(chain-of-thought),以提高準(zhǔn)確性;
給Claude一個(gè)角色(system prompt/role prompt),以便設(shè)定上下文、風(fēng)格、任務(wù)邊界。
這意味著我們?cè)谂cClaude聊天時(shí),可以把它設(shè)想為一個(gè)知識(shí)豐富、非常聰明,但又時(shí)常健忘、缺乏背景知識(shí)的新員工,需要你給出明確的指示。
也就是說(shuō),它并不了解你的規(guī)范、風(fēng)格、偏好或工作方式。
你越精確說(shuō)明需求,Claude的回復(fù)就會(huì)越好。
![]()
Netscape(網(wǎng)景)聯(lián)合創(chuàng)始人Marc Andreessen
Netscape(網(wǎng)景)聯(lián)合創(chuàng)始人,硅谷著名技術(shù)企業(yè)家與風(fēng)險(xiǎn)投資人Marc Andreessen不久前也表示,AI的強(qiáng)大之處在于把它當(dāng)成「思維伙伴」:
「AI的藝術(shù)就在于你問(wèn)它什么問(wèn)題」。
在AI時(shí)代,提出一個(gè)問(wèn)題往往比解決一個(gè)問(wèn)題更重要。
或者說(shuō),正確地提出問(wèn)題(提示詞工程),就是在高效解決問(wèn)題。
人類(lèi)把提問(wèn)的部分(提示詞)做好了,解決問(wèn)題的部分主要交給AI就可以了。
這也是為什么掌握提示詞技能的人能夠找到高薪工作的原因。
根據(jù)levels.fyi(科技從業(yè)者查詢(xún)薪資的平臺(tái))的數(shù)據(jù),提示詞工程師的年薪中位數(shù)高達(dá)15萬(wàn)美元。
AI不是「某個(gè)人」
別再問(wèn)它「你怎么看了?」
![]()
近日,Karpathy在一篇推文中表達(dá)了他對(duì)提示詞的看法。
他建議人們不要把大模型當(dāng)成一個(gè)「實(shí)體」,而要把它看作一個(gè)「模擬器」。
比如,在探索某個(gè)話題時(shí)不要問(wèn)它你怎么看xyz(某個(gè)問(wèn)題),因?yàn)槟愕奶釂?wèn)對(duì)象并不是一個(gè)真正的個(gè)體。
而是應(yīng)當(dāng)這樣問(wèn):
「如果要討論xyz,找哪些角色/人群會(huì)比較合適?他們會(huì)怎么說(shuō)?」
Karpathy認(rèn)大模型可以切換、模擬很多不同的視角,但它并不會(huì)像我們那樣,長(zhǎng)時(shí)間地思考xyz并逐漸形成自己的觀點(diǎn)。
因此,如果你用「你」來(lái)提問(wèn),它會(huì)根據(jù)微調(diào)數(shù)據(jù)里的統(tǒng)計(jì)特征,自動(dòng)套用某種隱含的「人格嵌入向量」,再以那種人格的方式來(lái)回答。
Karpathy的這種解釋?zhuān)谝欢ǔ潭壬掀瞥舜蠹蚁胂笾小冈谙蛞粋€(gè)AI發(fā)問(wèn)」時(shí)所帶來(lái)的那種神秘感。
![]()
針對(duì)Karpathy的觀點(diǎn),網(wǎng)友Dimitris提到,模型是否會(huì)自動(dòng)「扮演」成最有能力回答問(wèn)題的專(zhuān)家人格。
Karpathy回答這種現(xiàn)象確實(shí)存在,在某些任務(wù)中確實(shí)可能工程化了一個(gè)「人格」,比如讓模型模仿專(zhuān)家、通過(guò)獎(jiǎng)勵(lì)模型得到高分、模仿用戶喜歡的風(fēng)格等。
這樣會(huì)出現(xiàn)某種「復(fù)合型人格」,但這種人格是刻意工程疊加而形成的,并非自然形成的人類(lèi)心智。
所以,AI從本質(zhì)上仍然是token預(yù)測(cè)機(jī)器。模型的所謂「人格」,只是通過(guò)訓(xùn)練、人為約束、系統(tǒng)指令等手段疊加上的「外殼」。
對(duì)此,Askell也提到了類(lèi)似觀點(diǎn)。
盡管Claude的個(gè)性中仍有一種「類(lèi)人的特質(zhì)」,但它沒(méi)有情感、記憶或自我意識(shí)。
因此,它所表現(xiàn)出的任何「?jìng)€(gè)性」都只是復(fù)雜語(yǔ)言處理的結(jié)果,而非內(nèi)在生命的體現(xiàn)。
你以為AI在「理解世界」
它可能只是「換頻道」
開(kāi)發(fā)AI模型,有時(shí)感覺(jué)就好像在玩打地鼠游戲。
剛修好了模型在一個(gè)問(wèn)題上的錯(cuò)誤回答,它又開(kāi)始在別的問(wèn)題上出錯(cuò)。
層出不窮的問(wèn)題就像那些不斷從洞口探出頭的地鼠一樣。
OpenAI等機(jī)構(gòu)研究人員,將這類(lèi)現(xiàn)象的一種表現(xiàn)被稱(chēng)為「裂腦問(wèn)題」(split-brain problem):
提問(wèn)方式稍微改變一下,就可能讓模型給出完全不同的答案。
「裂腦問(wèn)題」背后反映出當(dāng)今大模型的一個(gè)致命缺陷:
它并不會(huì)像人類(lèi)那樣逐步形成對(duì)世界運(yùn)作方式的理解。
一些專(zhuān)家據(jù)此認(rèn)為,它們無(wú)法很好地泛化,難以處理訓(xùn)練數(shù)據(jù)之外的任務(wù)。
這也可能帶來(lái)一個(gè)質(zhì)疑:
投資者向OpenAI、Anthropic等實(shí)驗(yàn)室投入數(shù)百億美元,希望它們訓(xùn)練出的模型能在醫(yī)學(xué)、數(shù)學(xué)等領(lǐng)域做出新的發(fā)現(xiàn),這樣的投入是否真正有效?
「裂腦問(wèn)題」通常出現(xiàn)在模型開(kāi)發(fā)的后期階段,也就是后訓(xùn)練階段。
在這一階段,模型會(huì)被輸入經(jīng)過(guò)精心挑選的數(shù)據(jù),比如醫(yī)學(xué)、法律等特定領(lǐng)域的知識(shí),或者是學(xué)習(xí)如何更好地回應(yīng)使用者。
比如,一個(gè)模型可能被訓(xùn)練在數(shù)學(xué)題數(shù)據(jù)集上,以便更準(zhǔn)確地解答數(shù)學(xué)問(wèn)題。
它也可能被訓(xùn)練在另一個(gè)數(shù)據(jù)集上,以提升回答時(shí)的語(yǔ)氣、個(gè)性和格式。
但這樣做有時(shí)會(huì)讓模型無(wú)意間學(xué)到「分場(chǎng)景作答」,它會(huì)根據(jù)自「以為」遇到的場(chǎng)景來(lái)決定回答方式:
是一個(gè)明確的數(shù)學(xué)問(wèn)題,還是它在另一個(gè)訓(xùn)練數(shù)據(jù)集中經(jīng)常見(jiàn)到的那類(lèi)更泛化的問(wèn)答場(chǎng)景。
如果用戶用正式的證明風(fēng)格來(lái)提數(shù)學(xué)問(wèn)題,模型通常能答對(duì)。
但如果用戶用更隨意的口吻提問(wèn),它可能誤以為自己是在一個(gè)更偏向被獎(jiǎng)勵(lì)「友好表達(dá)、格式漂亮」的場(chǎng)景里。
于是可能為了這些附加屬性而犧牲準(zhǔn)確性,比如寫(xiě)出一個(gè)排版很好、甚至帶表情符號(hào)的答案。
也就是說(shuō)A在回答問(wèn)題的時(shí)候也會(huì)「看人下菜碟」:
如果覺(jué)得用戶問(wèn)的是「低水平」的問(wèn)題,它就會(huì)給出「低水平」的回答;如果它覺(jué)得用戶問(wèn)的是「高水平」的問(wèn)題,它也會(huì)呈現(xiàn)「高水平」的回答。
這是模型在對(duì)提示詞格式「過(guò)度敏感」,而導(dǎo)致出現(xiàn)的一些本來(lái)不該出現(xiàn)的細(xì)微差別。
比如提示詞里是用破折號(hào)還是冒號(hào),都可能影響模型回答的質(zhì)量。
「裂腦問(wèn)題」凸顯了訓(xùn)練模型的困難性和微妙之處,尤其是要確保訓(xùn)練數(shù)據(jù)的組合恰到好處。
它也解釋了為什么許多AI公司愿意砸下數(shù)十億美元,請(qǐng)數(shù)學(xué)、編程、法律等領(lǐng)域的專(zhuān)家來(lái)生成訓(xùn)練數(shù)據(jù),避免他們的模型在專(zhuān)業(yè)用戶面前繼續(xù)犯一些基礎(chǔ)錯(cuò)誤。
「裂腦問(wèn)題」的出現(xiàn),也降低了人們對(duì)于AI即將自動(dòng)化多個(gè)行業(yè)(從投行到軟件開(kāi)發(fā))的預(yù)期。
雖然像AI一樣,人類(lèi)同樣也會(huì)誤解問(wèn)題。
但AI存在的意義正是在于彌補(bǔ)這些人類(lèi)的不足,而不是通過(guò)「裂腦問(wèn)題」放大這種不足。
因此,必須要有具備哲學(xué)思維和某個(gè)領(lǐng)域的專(zhuān)業(yè)知識(shí)的人類(lèi)專(zhuān)家,通過(guò)提示詞工程來(lái)形成大模型訓(xùn)練和使用的「說(shuō)明書(shū)」,人們使用這些「說(shuō)明書(shū)」與大模型溝通,才能應(yīng)對(duì)大模型的「裂腦問(wèn)題」。
而且,在大模型出現(xiàn)「擬人」特征時(shí),還要避免把大模型當(dāng)成「人」的錯(cuò)覺(jué),也有助于我們更好地發(fā)揮它的價(jià)值,降低機(jī)器幻覺(jué)。
這其實(shí)都非常需要哲學(xué)訓(xùn)練,使自己與AI的對(duì)話清晰富有邏輯。
從這個(gè)角度來(lái)說(shuō),對(duì)于大部分人來(lái)說(shuō),能不能用好AI,不是取決于你的AI專(zhuān)業(yè)知識(shí),而是取決于你的哲學(xué)思維能力。
參考資料:
https://www.theinformation.com/articles/ais-split-brain-problem?rc=epv9gi%20
https://x.com/karpathy/status/1997731268969304070%20
https://www.businessinsider.com/anthropic-philosopher-amanda-askell-tips-ai-prompting-whispering-claude-2025-12
秒追ASI
?點(diǎn)贊、轉(zhuǎn)發(fā)、在看一鍵三連?
點(diǎn)亮星標(biāo),鎖定新智元極速推送!
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺(tái)“網(wǎng)易號(hào)”用戶上傳并發(fā)布,本平臺(tái)僅提供信息存儲(chǔ)服務(wù)。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.