大模型中常提的快慢思考會對自動駕駛產(chǎn)生什么影響？

[首發(fā)于智駕最前沿微信公眾號]2024年7月，理想汽車發(fā)布的基于端到端模型、VLM視覺語言模型和世界模型的全新自動駕駛技術(shù)架構(gòu)標志著其全棧自研的智能駕駛研發(fā)進入了新階段。該架構(gòu)的算法原型創(chuàng)新性地受到了諾貝爾獎得主丹尼爾·卡尼曼提出的“快慢系統(tǒng)”理論啟發(fā)，旨在讓自動駕駛系統(tǒng)模擬人類的思考與決策過程。理想汽車結(jié)合端到端與VLM模型，推出了業(yè)界首個在車端部署的雙系統(tǒng)方案，并成功將VLM視覺語言模型部署于車端芯片上。這套“系統(tǒng)1”與“系統(tǒng)2”相互配合的擬人化設(shè)計，目標正是讓自動駕駛在處理95%的常規(guī)場景時高效敏捷，在應(yīng)對5%的復(fù)雜未知場景時深入周全，從而提供更智能、更擬人的駕駛體驗。那所謂的“快慢系統(tǒng)（思維）”到底是個啥？

什么是“快思維”和“慢思維”？

我們可以把“快思維”和“慢思維”理解為兩種不同的認知模式。快思維反應(yīng)迅速，依賴直覺和模式匹配；慢思維則講究逐步推敲，進行多步邏輯推理或長期規(guī)劃。把這一框架對應(yīng)到大模型上，快思維相當于模型在時間有限的情況下做出的即時、一次性預(yù)測或決策；慢思維則是模型通過多輪推理、檢索外部證據(jù)、模擬驗證等過程得出的結(jié)論。兩者并無絕對的“聰明”之分，而是適用于不同場景的工具，有的任務(wù)要快，有的任務(wù)要深。

圖片源自：網(wǎng)絡(luò)

在大模型內(nèi)部，這兩種“思維”可以體現(xiàn)在模型結(jié)構(gòu)或運行策略上。快思維表現(xiàn)為輕量化的前向推理、緩存或索引命中、近似決策機制；慢思維則表現(xiàn)為多步鏈式推理、檢索增強生成、多次抽樣與自我驗證，或?qū)栴}交由更大模型或模擬器進行深度計算。合理組合這兩種能力，才能讓系統(tǒng)既反應(yīng)迅速，又能應(yīng)對復(fù)雜和不確定的情況。

在自動駕駛中，為什么要區(qū)分快/慢思維？

自動駕駛是一個既需要毫秒級響應(yīng)，又需要理解數(shù)秒甚至數(shù)分鐘情境的系統(tǒng)。日常行駛中，車輛需要不斷做出如保持車道、跟車、剎車等短時決策，這些都對延遲極為敏感；同時，系統(tǒng)還要對更長時間尺度的情況進行判斷，例如預(yù)測其他車輛的意圖、處理復(fù)雜路口的優(yōu)先權(quán)問題、根據(jù)地圖和交通規(guī)則制定策略規(guī)劃等。引入快思維與慢思維的概念，有助于設(shè)計分層、高效且可驗證的系統(tǒng)架構(gòu)。

快思維在車輛中承擔類似“反射”和“低階控制”的角色。當感知模塊檢測到障礙物，或雷達、激光、攝像頭融合出緊急預(yù)警時，決策模塊必須在極短時間內(nèi)輸出制動或避讓指令。這就要求系統(tǒng)具備高確定性、低延遲、可驗證性，并依賴經(jīng)過優(yōu)化的模型和硬件。慢思維則負責更復(fù)雜的推理任務(wù)，例如在視覺信息不全時補全場景、在密集車流中做多步交互預(yù)測、在規(guī)則沖突或罕見場景下進行合規(guī)評估并生成安全策略。慢思維可以調(diào)用更多數(shù)據(jù)、仿真工具和外部知識庫，允許檢驗與回滾。

圖片源自：網(wǎng)絡(luò)

這兩種能力互為支撐。快思維保障即時安全，慢思維提升長期正確性與系統(tǒng)穩(wěn)健性。沒有快思維，車輛在突發(fā)情況下會因計算延遲錯失響應(yīng)時機；沒有慢思維，車輛在復(fù)雜或模糊場景中容易犯邏輯錯誤或應(yīng)對不當。

如何將兩種思維融入系統(tǒng)？

要將“快”與“慢”落地，不是簡單地將一個大模型一分為二，而是構(gòu)建一個分層、異步、具備監(jiān)控與回退機制的系統(tǒng)。感知與低階控制部分通常運行在車端實時操作系統(tǒng)上，采用裁剪后的深度網(wǎng)絡(luò)、確定性濾波器及規(guī)則約束，以實現(xiàn)低延遲和高可靠性。這一層還集成了置信度估計與安全邊界機制，一旦檢測到不確定性上升，即可觸發(fā)更保守的操作。

圖片源自：網(wǎng)絡(luò)

慢思維模塊可部署在車端，也可部署在邊緣或云端，具體取決于延遲和隱私要求。其任務(wù)包括檢索歷史軌跡、運行多模型預(yù)測、基于物理或世界模型進行前瞻模擬，以及利用更大的語言或推理模型進行語義理解與法規(guī)解釋。為提高穩(wěn)健性，系統(tǒng)可采用自我一致性抽樣、多次推理取多數(shù)結(jié)果，以及后驗驗證器來篩選輸出。此外，將慢思維得出的策略或模型“折疊”回快思維層是常見做法，例如通過知識蒸餾、生成訓(xùn)練樣本或直接更新小模型參數(shù)，從而將深度推理的成果固化為低延遲的運行時行為。

快、慢思維在工程上的關(guān)鍵點包括頻率分層與接口定義。不同模塊運行頻率各異，信息通過明確的異步接口傳遞，高頻信號保障控制穩(wěn)定，低頻的慢思維輸出則作為意圖或策略建議供高頻控制器參考。冗余與仲裁機制也至關(guān)重要，當快慢思維意見沖突時，需要一套可驗證的仲裁規(guī)則，而非簡單采信某一方。系統(tǒng)還需具備完善的日志與可追溯能力，慢思維的推理鏈路應(yīng)被完整記錄，以支持審計與回放。

具體應(yīng)用與注意事項

可以現(xiàn)象一下這樣一個交通場景，前方車輛突然減速并靠近路肩，旁邊有行人可能隨時穿越。此時，快思維負責立即計算出當前如減速、保持車道或在有空間時瞬時避讓等最安全的動作。這一步依賴傳感器融合與優(yōu)化后的控制器，時間尺度在毫秒到幾十毫秒之間。與此同時，慢思維并行工作，基于歷史軌跡與周邊車輛的行為模型，預(yù)測該車、行人及其他交通參與者在未來幾秒到十幾秒內(nèi)可能的動作，評估多種情境下的風險。如果慢思維判斷存在高概率的復(fù)雜交互，如相鄰車輛可能強行切入，它會將更保守的策略下發(fā)給快思維層，比如提前降速或發(fā)出更強警示等。

圖片源自：網(wǎng)絡(luò)

當然，一定要警惕大模型的“幻覺”與不確定性。慢思維模型在缺乏真實傳感器細節(jié)時可能給出不可靠的推理，這對自動駕駛而言十分危險。因此，必須將慢思維定位為決策支持而非唯一裁決者。實施“可驗證的否決權(quán)”非常關(guān)鍵，任何來自慢思維的建議，都必須通過一套可測試的安全條件，才能被高頻控制器采納。還有一個風險是延遲與資源競爭，若慢思維占用了本應(yīng)屬于快思維的計算資源，系統(tǒng)整體性能將受損。因此要通過資源隔離、優(yōu)先級調(diào)度和模型壓縮來避免這一問題。

智駕最前沿以為，在高保真仿真環(huán)境和閉環(huán)測試中持續(xù)驗證慢思維策略，確保其在極端邊界條件下仍輸出可控結(jié)果；將慢思維的結(jié)論通過數(shù)據(jù)蒸餾等方式部分固化到快思維的小模型中，兼顧深度推理與低延遲響應(yīng)；部署時設(shè)置包括實時健康檢查、置信度閾值等多層監(jiān)控，并在置信度降低時立即觸發(fā)保守模式或路邊停靠。同時，保持慢思維的可解釋性，記錄推理軌跡以支持事故回放、責任認定與監(jiān)管合規(guī)。

最后的話

將大模型的“快思維”和“慢思維”引入自動駕駛，不是簡單地把兩個智能體放入車內(nèi)，而是要將它們設(shè)計為互補的模塊，快思維保障毫秒級的安全響應(yīng)與可驗證的低階控制；慢思維提供跨時間維度的預(yù)測、策略評估與復(fù)雜語義理解。兩者之間需有清晰的接口、優(yōu)先級設(shè)定、冗余與仲裁機制，避免“深度思考”影響“即時反應(yīng)”。

他們的重點在于分層架構(gòu)、資源隔離、仿真驗證，以及將慢思維輸出的知識通過蒸餾或規(guī)則化固化到快思維中。安全性與可追溯性不容妥協(xié)，任何慢推理的建議在采納前都必須經(jīng)過安全檢查。如此，車輛才能在突發(fā)情況下“做對事”，在復(fù)雜場景中“想清楚為什么這樣做”，兩種能力協(xié)同作用，才能真正提升自動駕駛系統(tǒng)的穩(wěn)健性與可部署性。