觀影《極限審判》：當(dāng)人工智能成為法官會發(fā)生什么？

最新上映的影片《極限審判》（Mercy）將由人工智能法官進(jìn)行自動化審判的未來場景搬上了大銀幕。

在不遠(yuǎn)未來的2029年8月14日，位于美國加州洛杉磯的人工智能法庭Mercy開啟了第十九場審判，被告人正是最初協(xié)助建立法庭的雷文（Raven）警官。雷文被控殺死了他的妻子，各項證據(jù)表明，他作為兇手的可能性高達(dá)97.5%。要想成功地為自己辯護，他必須在90分鐘的時間內(nèi)將這種可能性降低5%，從而建立“合理懷疑”，否則倒計時結(jié)束他就會被自動執(zhí)行死刑。影片的長度恰好也是90分鐘，雷文雖然否認(rèn)自己是兇手，卻因為醉酒失憶，于是證據(jù)展示也是探尋真相的游戲開始……

撰文｜畢洪海（北京航空航天大學(xué)法學(xué)院）

真相存在于黑白之間

影片的故事情節(jié)具有科幻的性質(zhì)，但是在法律未來主義者的眼中，隨著技術(shù)的快速進(jìn)步，以人工智能取代人類作為法律決定者的“法律奇點”時刻正在無限接近。影片的整體基調(diào)是警示的，犯罪與刑罰涉及太多的灰色地帶，無法完全交由人工智能法庭裁決。

我們經(jīng)常看到的美劇橋段是：當(dāng)律師在盤問證人時，證人只能回答是或否。這種只能二選一的方式，似乎完美契合計算機的二進(jìn)制語言。人工智能法官馬多克斯（Maddox）也只相信事實，“人人都會撒謊，只有事實是非黑即白的。”然而雷文警官告訴她，真相是存在于黑白之間的。事實是客觀存在或發(fā)生的事和物。雷文警官與妻子發(fā)生了爭執(zhí)、餐刀上留有他的指紋、妻子死亡前口中呼喊他的名字、兩人的感情已經(jīng)出現(xiàn)了危機，所有事實都可以通過文字或錄像再現(xiàn)。然而真相就是雷文殺死了自己的妻子嗎？

因為并不存在直接的事實證據(jù)，所以人們對于真相只能是基于既有事實的認(rèn)知和建構(gòu)，難以完全避免主觀性，甚至無法完全擺脫經(jīng)驗、知識和立場的影響，從既有事實中構(gòu)造出不同的認(rèn)知。影片中人工智能法官馬多克斯的兩次錯誤，都是被人有意識地利用事實構(gòu)造出犯罪的“假相”：第一起審判是人為毀滅了證明被告無罪的事實，第十九起審判則是人為構(gòu)造了陷害被告的事實。人工智能只能根據(jù)其所見推斷表面上的真實，至少說明了其無法識破這種精心設(shè)計的騙局。若是在死刑審判中，一個人工智能系統(tǒng)制造冤假錯案的概率是十九分之二，這是任何一個法律體系都不可能容忍的。相比之下，一個人工系統(tǒng)若是放縱漏網(wǎng)之魚的概率是十九分之二，我們是否會更樂意選擇后者這種有瑕疵的系統(tǒng)呢？

電影《極限審判》劇照。

不受偏見左右可能也意味著無法共情

當(dāng)然，可以說人工智能法官的錯誤都是人類的錯誤，只要能夠保證證據(jù)的全面、真實和客觀，并非人工智能系統(tǒng)本身的問題。人工智能系統(tǒng)的優(yōu)點，恰恰是因為不受人類情緒的左右，例如法官的心理、律師在法庭上的表演以及陪審團的憤怒等，可以做出完全客觀中立的最終判決。影片中的雷文警官，正是因為造成自己搭檔之死的被告被陪審團無罪釋放，成為了Mercy法庭最初的建立者和忠實的執(zhí)行者。除此之外，影片似乎也在預(yù)設(shè)人工智能法庭在效率和效果方面的優(yōu)點，相較于傳統(tǒng)刑事審判拖沓的程序設(shè)計，人工智能法庭為政府節(jié)省了數(shù)十億美元，而且洛杉磯的犯罪率下降了68%。

自近代早期以來，在自然科學(xué)的影響下，通過精密技術(shù)增加法律的確定性，以自動化的法律機器排除法律適用中人類因素的影響，一直就是許多思想家的夢想。其形態(tài)誠如二十世紀(jì)初馬克思·韋伯所述：“現(xiàn)代法官就像一臺自動售貨機，人們把文件和費用從上面扔進(jìn)去，法官就會從下面吐出判決書和多少具有說服力的理由。”我們在日常語言中經(jīng)常見到“情理法”三者并用，或是“法不容情”這樣的表述。法官的恣意、大眾的情緒在法律適用中往往都是被作為負(fù)面因素看待的，所以必須通過法律和程序加以約束。

而在計算法律學(xué)的視野下，為了便于人工智能技術(shù)在法律領(lǐng)域更普遍的應(yīng)用，未來的立法應(yīng)該具有充分的技術(shù)意識，盡可能采用計算機能夠識別和理解的方式加以表述。然而到目前為止，在全世界范圍內(nèi)，完全自動化的情形只在少數(shù)行政領(lǐng)域得到了明確的允許，這些領(lǐng)域的行政決定往往數(shù)量眾多、規(guī)則清晰且是反復(fù)出現(xiàn)的同類案件。鑒于法律本身是一種帶有價值導(dǎo)向的體系，法律的語言中存在模糊之處，因此當(dāng)規(guī)范通過數(shù)據(jù)或者計算機程序進(jìn)行轉(zhuǎn)譯時，有可能存在價值上的損失，甚至以數(shù)據(jù)驅(qū)動的自我學(xué)習(xí)的人工智能系統(tǒng)，可能會引入數(shù)據(jù)中存在的偏見。所以當(dāng)涉及到模糊的語言、開放的文本和價值權(quán)衡的時候，應(yīng)該禁止由人工智能系統(tǒng)完全自動作出決定，當(dāng)決定關(guān)系到憲法上所保護的重要權(quán)利時尤其應(yīng)該如此。最典型的如德國《行政程序法》第35a條和歐盟《人工智能法》第5條關(guān)于禁止使用人工智能的情形。

即便前述問題可以經(jīng)過技術(shù)迭代得到解決，人工智能的自動化決定取代人工決定，還意味著“同理心”無法在法律適用中發(fā)揮作用。同理心并非一種情感，而是一種能夠承認(rèn)、回應(yīng)和理解他人處境的能力，當(dāng)涉及到少數(shù)弱勢群體時更是如此。所以影片中一個頗為令人回味的情節(jié)是，人工智能法庭的建設(shè)者和執(zhí)行者雷文警官，最終自己坐到了被告席上，讓其與其他十八起案件的被告“感同身受”。同理心是目前尚未發(fā)展出（或許永遠(yuǎn)也無法發(fā)展出）人類情感的人工智能所不具備的。當(dāng)然，如同所有人類的情緒一樣，同理心更容易在具有相同身份的人之間產(chǎn)生，即“像我”，同理心也意味著其可能產(chǎn)生偏袒。但是真正的問題不是應(yīng)否發(fā)揮同理心的作用，而是如何防止同理心被濫用。

電影《極限審判》劇照。

從人機對抗

到人機合作

人類和人工智能的相處方式并非只有彼此替代一種模式，影片還給我們展示了從人機對話到人機合作的模式，善加利用人工智能當(dāng)然可以增強人類自身的能力。雷文警官利用自己身為專業(yè)執(zhí)法人員的直覺和理性冷峻的人工智能法官，從最初的法律論證，即雷文警官是否有罪，發(fā)展到協(xié)作尋找案件真相，最后則是合作阻止犯罪的發(fā)生。

直覺是一種讓人瞬間感知和快速反應(yīng)的能力，雷文警官的直覺告訴他哪里不對勁，但直覺往往是跳躍的，缺少細(xì)節(jié)和證據(jù)的支撐；人工智能法官馬多克斯則運用理性分析的過程，逐個排除相關(guān)因素，預(yù)測引爆裝置失效的概率。人工智能所缺少的關(guān)鍵功能正是像人類一樣的意識和情感，人工智能也無法應(yīng)對系統(tǒng)中沒有預(yù)先設(shè)定程序的突發(fā)事件。即便是目前擬人化人工智能所提供的情感共鳴，也只是基于數(shù)據(jù)的模擬。因此人工智能技術(shù)的努力方向之一就是模擬人類的情感和直覺。當(dāng)雷文談到自己對妻子的愛時，馬多克斯甚至以嘲弄的口氣說那不過是一種因為多巴胺分泌所帶來的生理現(xiàn)象，而作為一種生理現(xiàn)象就是可觀察和感知的。

但在影片的最后，人工智能法官馬多克斯似乎呈現(xiàn)出驚訝、慌亂甚至被雷文的懇求所打動，當(dāng)載有雷文女兒的卡車沖向Mercy法庭時，人類的應(yīng)對方式是毫無情感的理性計算，決定摧毀卡車以保全人工智能法庭，而馬多克斯似乎利用自己的能力讓爆炸裝置失靈了。塵埃落定之際，雷文反問了一句：我們?nèi)际前凑找?guī)定的流程行事的？或許對于人工智能來說是如此，然而人生不可能是被預(yù)先設(shè)定或可被隨意改寫的程序代碼，也不完全是行走在預(yù)定的軌道上，人生是五顏六色的，每個人都需要有情感來填補內(nèi)心深處的空隙。

電影《極限審判》劇照。

“寬恕法庭”真的實現(xiàn)了寬恕嗎？

影片中人工智能系統(tǒng)的設(shè)定還突破了兩個非常重要的約束條件。第一個是現(xiàn)實約束。人工智能系統(tǒng)能力的發(fā)揮有賴于可獲取的海量數(shù)據(jù)。影片設(shè)定的人工智能系統(tǒng)馬多克斯是一個全能性（omnipotent）的數(shù)字利維坦，可以獲取所有監(jiān)控錄像的信息，可以訪問諸如私人電子郵件、短信、Instagram社交賬號等任何網(wǎng)絡(luò)信息，可以輕松繞開私人密碼，可以隨時打通任何一個人的電話。馬多克斯唯一的不足則是通過物理世界的空中警察小隊來補充的，這支隊伍可以迅即抵達(dá)任何規(guī)定的地點。這樣一個人工智能系統(tǒng)同時也是一個全面的監(jiān)控系統(tǒng)，不僅可以用于審判中的調(diào)查取證，同樣也可以用于預(yù)測犯罪。這不禁讓人想到《少數(shù)派報告》（Minority Report）中預(yù)測犯罪的“先知”和美劇《疑犯追蹤》（Person of interest）中的“機器”（The Machine），后者通過大規(guī)模的社會監(jiān)控預(yù)測有計劃的犯罪。

第二個是規(guī)范約束。影片中的人工智能法庭是一種全權(quán)性的機構(gòu)（omnicompetent）：獲得了社會公眾的高度信任；馬多克斯集起訴人、法官和行刑者于一身；其指令至高無上，所有人都必須服從；她被允許查看任何云端數(shù)據(jù)，也無須搜查令即可訪問私人設(shè)備信息。或許她唯一的約束就是兩條最簡單不過的條文：實體法律上的是“殺人者死”；程序法上的是允許被告有90分鐘的時間證明存在合理懷疑。效率即正義，在這樣一個極致的效率工具面前，被告人除了利用人工智能系統(tǒng)自身的力量之外，幾乎被剝奪了任何的權(quán)益保障。

人類法庭目前為止所有的設(shè)置，無論是指定辯護人，通過陪審團審判，還是通過漫長的庭審過程進(jìn)行舉證和質(zhì)證，都是為了正義所付出的必要成本和代價，也是為了尊重每一個生命所付出的成本和代價。這種設(shè)置不僅惠及少數(shù)群體，也惠及所有人。因此，全自動的人工智能法庭這樣的設(shè)想，或許在認(rèn)知的層面上很有趣，然而因為其失敗率、規(guī)范性以及隱性的代價方面，在涉及人類基本權(quán)利的領(lǐng)域中很難被允許。

影片最大的諷刺之處在于人工智能法庭的名字叫作“寬恕”（Mercy）。然而整個審判過程中卻看不到絲毫的“寬恕”，甚至可以說是毫不寬恕（Merciless）。在影片的審判場景中，被告人孤零零地被捆在椅子上，只能與“高高在上”的人工智能系統(tǒng)進(jìn)行對話。這不禁令人想起卡夫卡式的“距離暴政”（distance of tyranny），因為距離的疏離而缺乏同情心。每個人在面臨像是Mercy這樣龐大的機器時都是脆弱的，只有像雷文警官這樣熟練的專業(yè)人士才有可能充分地展開自救。

在美國法律上，最能體現(xiàn)“寬恕”的權(quán)力有三種：第一種是陪審團的否決權(quán)（Jury Nullification），即陪審團有權(quán)在認(rèn)定被告有罪的前提下，因不認(rèn)同相關(guān)法律或認(rèn)為起訴不當(dāng)，通過自身的裁量作出無罪判決。第二種是檢察官決定不起訴的權(quán)力；第三種則是總統(tǒng)給予特赦的權(quán)力。

誠如美國哲學(xué)家杰拉爾德·J·波斯特馬（Gerald J. Postema）所述，若是在刑事審判中沒有寬恕進(jìn)行調(diào)劑，就會在社會中產(chǎn)生一種“令人無法容忍的自以為是。被告的罪過表明的是一種值得譴責(zé)的弱點，而這種弱點，自以為是的官員對自己說，我是不會有的。這同樣體現(xiàn)在普通人對有犯罪記錄者的鄙夷當(dāng)中……我們默默地對自己說：幸好我不像那些人。”

承認(rèn)寬恕，就是承認(rèn)每個人都具有的一種脆弱性。

本文為獨家原創(chuàng)文章。作者：畢洪海；編輯：劉亞光；校對：陳荻雁。未經(jīng)新京報書面授權(quán)不得轉(zhuǎn)載，歡迎轉(zhuǎn)發(fā)至朋友圈。

最近微信公眾號又改版啦

大家記得將「新京報書評周刊」設(shè)置為星標(biāo)

不錯過每一篇精彩文章～

了解2025新京報年度閱讀推薦書單