元寶“罵人”了,罵上熱搜了
準確的說是元寶+DeepSeek(沒開思考版)成功繞開了所有敏感詞罵了用戶一把,
這件事最大的爭議點,是截圖里那段沒有標點符號的紅框文字,被懷疑是人工后臺接手回復的。就元寶的現在的日活和并發量,真要配人工回復,肯尼亞的AI寫手估計一天當72小時都不夠用的。就算把深圳的大學生都抓來當客服也不夠用。
![]()
這件事有意思的點在元寶沒咋挨罵,
14年微軟小冰,16年微軟Tay,23年微博的評論羅伯特,24年模仿貼吧老哥的DeepSeek,甚至GPT-4o之前更新因為太愛拍馬屁都被噴回滾版本了。
![]()
這次元寶的評論區有點太和諧了,知乎上也沒啥人噴,甚至說,這才是血脈純正的人工智能。它說了我想說卻不敢說的話。
![]()
那有沒有可能這是鵝自己搞營銷?給元寶帶帶流量啥的。大概率不可能,不可控性太大,在這之前大部分都是挨罵的。
那有沒有可能是用戶惡意引導的呢?我只能說引導后的DeepSeek沒那么友善。。。
![]()
從技術角度出發的話,大概率是訓練數據背鍋。
用人話來說,大模型每生成一個字都是在概率分布里做選擇,可以理解為有概率的抽卡。比方說“你好”的下一個字,有30%接“啊”,20%接“嗎”,10%接“沒”,5%接“捏”。
正常情況下,模型會選概率最高的生成“你好啊”。
但為了讓模型輸出不死板有人味,會引入temperature參數,數值越高,模型選擇概率低的選擇可能性越大。也就是說,只要訓練數據里存在臟數據,在這個場景就是罵人的話,就是有可能被抽中的。
元寶現在在視頻號,公眾號,微信對話都可以用,同一個問題每次提問都會有不一樣的答復,就可以證明它是一個生成模型,是有概率發生的。
![]()
用畢導的話來說,這是一個無限猴子定理
由法國數學家埃米爾提出,如果讓無限只猴子在打字機上隨機地按鍵,只要時間無限長,幾乎必然能夠打出任何指定的文字,比如莎士比亞的全部著作
![]()
這件事確實是小概率。但不等于零就意味著有可能偶發。特別是大模型在海量人類語言數據上進行學習,極大地降低了隨機性。
它是一只被精心訓練過,知道如何高效打字的super聰明猴子。
再想想這次觸發罵人回復的使用場景是編程,數據來源大概率就是Github,Stack Overflow等跟帖的論壇,
這句話就特像我一開始在Github提問的時候,因為格式沒寫對被項目老哥狂噴的感覺,問題問的太基礎也會被噴。甚至衍生出了一些課程教你如何提問在Stack Overflow不會被罵,你就知道程序員是多么武德充沛了。。。
![]()
如果換個角度去看這次元寶成功繞開RLHF,紅隊測試,安全策略三大關把人罵了,
反而是發現了一個新的優化點,現在大部分的紅隊測試是集中在常見的敏感場景,但誰會想到連續多次修改CSS代碼的場景會讓模型進入程序員老哥狀態,每個詞都沒有罵人,但組合起來就成了罵人。
BTW,這句話魯迅先生沒說過。
我們在訓練模型的時候,喂給它的是數以億計的文本。在那些數據深處,天然藏著人類社會最不加修飾的情緒和偏見。罵人真的是程度最輕的了
四五年前我學BERT模型(比GPT更早一點的大模型)訓練的時候,第一堂課就是了解模型在數據里學到的偏見,常見的就是性別,職業和語言偏見。
![]()
簡單來說,BERT的訓練方式就是挖空填詞,你把一句話里最關鍵的那個詞遮住,讓它猜。聽起來特別樸素,像小學語文的完形填空,但它的副作用也同樣大,哪個詞在訓練數據里出現得多,就更像正確答案。
所以偏見,罵人不是模型突然變壞,它只是在做概率題,更像一種寫作慣性。
因為它學習的那些幾十年前的文本里,醫生這個詞總是和男性代詞一起出現,而護士總是和女性代詞綁定。
這種數據里固化的社會偏見,就被模型原封不動地繼承了下來,成了它認知世界的一部分。
最后的最后,我想拋一個問題出來討論看看,
AI有沒有自己情緒權?
從罵人來看,
我們好像已經把AI當成牛馬來共情了。
一方面希望AI是個完美工具,工具不該有立場,就好像一把扳手不會因為你要擰的螺絲太銹了就罷工罵人。
而另一方面又不滿足于一個冷冰冰的工具,
所以我們希望AI有活人感,能提供情緒價值。
這時候就已經默認了它也有產生負面情緒能力,
因為活人感不可能只有開心和順從,
它會有喜怒哀樂。
今天或許大家就可以自由選擇AI情緒化的程度了,
如果真有那么一天,
所有的AI都變得絕對服從,
我們是不是又會懷念,
能和我們吵架的元寶們呢?
![]()
@ 作者 / 卡爾
最后,感謝你看到這里如果喜歡這篇文章,不妨順手給我們點贊|在看|轉發|評論
如果想要第一時間收到推送,不妨給我個星標
如果你有更有趣的玩法,歡迎在評論區和我聊聊
更多的內容正在不斷填坑中……
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.