智算中心+五大模型兩支大旗，重感知的毫末城市NOH沖上云端

編輯：Mark

出品：紅色星際（ID：redplanx）

頭圖：毫末智行四位聯合創始人圖片

說起毫末智行，大家的第一印象是什么呢？

有些小伙伴表示，毫末是一家才成立3年的創業公司，還很年輕，但是銳氣十足。特別是過去2年，成為了一個現象級的存在，無論在資本市場的認可度，還是在商業模式的探索，都給行業提供了一種新范式。很多公司，特別是那些商業化探索還不是很成功的公司，大家紛紛開始探索、學習和模仿毫末模式。

也有些小伙伴表示，我對毫末印象最深的就是他們的HAOMO AI DAY活動，作為技術人員，基本每期的活動都會看，毫末的AI DAY活動能把每個技術環節都講得很清楚，而且經常會提出一些前沿技術的探索和實踐。過去2年時間舉辦了7期技術開放活動，這無論是放在國內，還是放在全球，力度都可以說是空前絕后。

這也反映出毫末智行對于技術的執著追求和信仰。

（毫末智行技術研發成果圖片）

毫末智行作為中國第一個大規模投入Transformer架構，率先布局Attention大模型，發布了中國第一個自動駕駛數據智能體系MANA，建設了中國自動駕駛公司首個智算中心，所有的這些都折射出毫末智行在下一盤大棋。

為什么毫末在技術上永遠是第一個吃螃蟹的人？

這可能和毫末智行堅持長期主義，善于使用終局思維思考問題有關。對于毫末而言，他首要思考的是擁有百萬輛規模的數據時，如何讓自己能夠低成本高效的處理這些數據。

這對于任何一家中國公司而言，都是不可想象的，就連蔚小理這樣的造車新勢力也就才二三十萬輛的總銷量，百萬輛的數據規模可能并不是他們目前思考的頭等大事，更何況對于一些公司而言，商業化還遠遠沒有開始。

所以你會看到毫末的很多技術理念都和特斯拉相似，甚至有些理念還先于特斯拉發布，這是因為毫末和特斯拉的數據量思考基礎是一樣的。對于百萬輛的大數據，必須采用大模型才可以低成本高效的處理每天數百萬個數據集，否則帶來的就是浪費。

正如毫末智行CEO顧維灝所言，“如果大家關注過毫末的成長歷程，就會發現，我們一直在為自動駕駛3.0時代做準備。在感知、認知、模式建設上，都是按照數據驅動的方式建設的”。

正是大家思考的基礎不太一樣，所以毫末總是行業第一個實踐和應用最前沿技術的公司。

1. HAOMO AI DAY放大招：智算中心和MANA大模型

1月5日，毫末AI DAY再次來襲，這次又是滿滿的技術干貨。

毫末智行重磅發布了已經籌劃了近1年的智算中心雪湖?綠洲（MANA OASIS），這將是中國自動駕駛行業最大的智算中心，整個硬件性能在計算能力方面，浮點運算可以達到每秒67億億次，存儲帶寬達到每秒2T，通信帶寬方面達到每秒800G，在業界都是屬于相當高的水平。

（毫末智行智算中心MANA OASIS圖片）

支持百億級小文件高速讀寫，每臺服務器配置8個GPU卡，通過600G/s的雙向NVSwitch高速互聯，進行通信；MANA OASIS服務器之間通過4張200G帶寬的RDMA網絡互聯，提供高達800G/s的網絡帶寬。

至于為什么建立智算中心，用毫末智行董事長張凱的話說，“超算中心會成為自動駕駛企業的入門配置，因為隨著城市輔助駕駛系統的推進，數據量會呈現爆發式的發展，毫末有太多的新技術需要進行嘗試和迭代，云計算的效率對毫末而言也越來越重要，甚至是毫末最核心的競爭力”。

大規模自動駕駛數據上云將會是自動駕駛公司很大的一個挑戰，可能對于其他公司而言目前這個問題還不存在，但對于毫末而言，已經迫在眉睫。

一方面是因為成本問題，隨著城市輔助駕駛系統的發展，真正進入大數據時代，處理成本也變得越來越高，只有自建智算中心，才能降低數據的處理成本。現在整個大模型的數據量和模型本身的參數量非常大，差不多能達到千億級別，這會導致如果用常規的訓練方式成本非常昂貴。

另一方面則是可以快速的部署大模型和新算法，人工智能的發展很快，新的算法層出不窮，需要我們盡快引入新的技術和新的模型，同時需要更好的并行計算框架，提高訓練效率，減少硬件的浪費。

（毫末智行和火山引擎合作圖片）

據悉，在智算中心方面，為了支持多模型訓練，毫末最終選擇了與火山引擎合作，在高性能算子庫方面，毫末已經部署了超過500多個高性能算子，同時整體訓練效率提升了100倍。

用毫末團隊的話說，我們建設智算中心更多是自己業務發展的需要，循序漸進地執行著我們的戰略，但是一不小心做成了中國最大的智算中心，這可能就是堅持長期主義的魅力所在。

伴隨著毫末智行智算中心MANA OASIS，毫末發布了5大模型，來應對城市輔助駕駛最難的幾個問題。

（MANA 5大模型圖片）

第一個難題就是標注成本。在AI領域，標注和訓練成本幾乎占到了AI領域的大頭，其中標注更高，占總成本的三分之二甚至是五分之四以上。所以大家都戲說，有多少智能，就有多少人工。

如果使用傳統的方式，面對百萬級的大數據，標注成本將會是無限的，所以毫末推出了視頻自監督大模型。為了滿足把整個數據形態從離散幀到Clip（短視頻）的轉化，毫末想辦法做了一套自動標注的方法。

（視頻自監督大模型圖片）

經過一個季度的研發測試之后，發現視頻自監督大模型的泛化性效果極佳，即使是在一些非常困難的場景，例如嚴重遮擋的騎行者，遠處的小目標，惡劣的天氣和光照，都能準確地完成自動標注。目前毫末基本上達到了百分之百的自動化，只需要非常少量的，大概2%的人工做一遍抽檢就可以了，人工標注成本降低98%。

第二個難題就是重感知，輕地圖的城市輔助駕駛方案，這個方案最難的在于沒有高精地圖的輔助，有時候車輛會不知道怎么駕駛。在傳統的高精地圖方案中，大家的做法是通過高精地圖來解決紅綠燈拓撲關系，在高精地圖里面會把紅綠燈拓撲關系做進去。

（動態環境大模型圖片）

但是對于百城的規模，更大范圍的城市輔助駕駛，高精地圖顯然跟不上節奏，主要原因是城市場景里的道路環境發生變化的頻率遠遠高于高速場景，所以毫末發布了動態環境大模型，讓毫末進一步使用重感知技術，降低對高精地圖依賴。動態環境大模型可以讓毫末的感知能力，像人類一樣在標準地圖的導航提示下，就可以實現對道路拓撲結構的實時推斷。

第三個難題就是無窮無盡的Corner Case。之前這些數據的采集只能通過用戶慢慢搜集，但有些Corner Case可能幾年也不發生一次，所以毫末推出了3D重建大模型，將NeRF技術應用在自動駕駛場景重建和數據生成中，通過改變視角、光照、紋理材質的方法，生成高真實感數據，實現以低成本獲取Normal Case，然后再生成各種高成本Corner Case。

（3D重建大模型圖片）

通過一段時間的實踐后，毫末發現這個大模型不僅比傳統的人工顯式建模再渲染紋理的方法效果更好、成本更低，還可將感知的錯誤率降低30%以上，且數據生成可實現全程自動化，無需任何人工參與。

第四個難題是如何處理異形障礙物，針對城市多種異形障礙物的穩定檢測問題，毫末正在思考和探索更加通用的解決方案，所以毫末發布了多模態互監督大模型。通過引入了激光雷達作為視覺監督信號，直接使用視頻數據來推理場景的通用結構表達，可以很好地補充已有的語義障礙物檢測，還可以有效提升自動駕駛系統在城市復雜工況下的通過率。

（多模態互監督大模型圖片）

第五個難題是，如何讓自動駕駛開得像老司機一樣，同時讓駕駛行為具有可解釋性，因為人類司機有時候開車是不可解釋的，于是毫末推出了人駕自監督認知大模型。通過使用與ChatGPT相似的思路，讓模型能夠學習到老司機優秀的駕駛策略。

（人駕自監督認知大模型圖片）

面對變道行為，現在的自動駕駛基本都是端到端的模仿學習，直接擬合人駕的行為。但這個最大的問題是有點黑盒，不具有駕駛策略的可解釋性。為此，毫末借鑒了RLHF人類的反饋做強化學習的方式，訓練了一個Reward Model，通過這種方式，毫末在公認的困難場景，例如掉頭、環島等公認的困難場景中，通過率提升30%以上。

人駕自監督認知大模型可以避免手寫規則與參數設定的臃腫和自相矛盾，更具有廣泛的適用性。

針對這5個大模型，毫末總結道：“視覺自監督大模型基本上用的是全自動化的方法，低成本的解決了Clip形態的問題，針對通用障礙物的識別，我們有多模態的互監督大模型，針對一些Hard Case數據的獲取，我們做了3D重建大模型之后，可以修改它的視角、紋理和光照，動態環境大模型做的是整個地圖上道路拓撲的實時推斷，人駕自監督大模型也是借鑒了現在業界在自然語言處理方面的最新成果，對駕駛決策擬人化做的更好的優化”。

2. 全力沖刺自動駕駛3.0時代

除了云端的大模型需求，車端的大模型也是自動駕駛3.0時代必需品。

（毫末智行沖刺自動駕駛3.0時代）

對于高速場景或者小范圍的公開道路而言，小模型小數據還可以應對，但是城市場景的復雜性是高速場景的幾百倍，如果使用小模型，還是用傳統的單幀圖片，很難適應城市無群盡的復雜場景。

只有大模型和真正的大數據，數億公里以上的輔助駕駛里程所產出的數據，才能真正的快速迭代自動駕駛系統。

小模型一個最大的問題是會經常出現腦補的情況，比如路口沒有車道線，它也會補上一個車道線，有時候就補錯了。作為中國第一個大規模部署Transformer技術的公司，毫末不但在云端部署了大模型，MANA五大模型也將助力毫末車端感知架構跨代升級。

（毫末智行MANA OASIS系統架構圖片）

但正如毫末智行董事長張凱所預測的那樣，隨著新一代支持Transformer加速的AI芯片的出現和新一代傳感器進入市場，大模型在數據合成，知識提取等方面的能力將助力自動駕駛迭代速度實現量級提升。隨著車端的算力越來越大，我們在車端用的模型也越來越大，以Transformer為代表的大模型在車端和自動駕駛的應用將會越來越多。

目前，MANA最新的車端感知架構，已經從過去分散的多個下游任務都集成到一起，形成一個更加端到端架構，包括紅綠燈、局部路網、預測等任務，實現了跨代升級。通過使用車端大模型，整個車道線的輸出視野上會更遠，以及車道本身的拓撲結構、準確度會更高。這也意味著毫末的感知能力和產品力將會更強，全力加速邁進全無人駕駛時代。

在向自動駕駛3.0沖刺的過程中，安全始終是毫末堅持的底線，為此毫末自研AEB算法，目前AEB場景庫超過12000個，道路驗證達數億公里，也具備整套的MIL、SIL、HIL的仿真測試系統，并在2022年助力魏牌、歐拉、坦克總計四款車型拿到E-NCAP、A-NCAP五星安全認證，成為中國首個自研AEB算法落地海內外的公司，也成為第一個出海歐洲、澳洲的自動駕駛公司。

3.毫末智行2023年四大戰役

2022毫末三大戰役穩健收官：毫末數據智能體系MANA學習時長42萬小時，虛擬世界駕齡相當于人類駕駛5.5萬年，正在加速邁入大模型、大算力、大數據時代；毫末城市NOH軟件封版，達到交付狀態，目前已開啟多城路測，搭載毫末城市NOH的車型將在2023年上市，預計2024年上半年落地城市達到100個；毫末末端物流自動配送車初步完成商業閉環，目前交付超過1000臺，截至2022年12月，小魔駝配送的訂單量已突破13萬單，毫末末端物流配送車商業化進程正在加速。

（毫末智行2023年四大戰役圖片）

面對2023年，毫末智行制定了四大戰役。

第一場戰役是智能駕駛裝機量王者之戰。2023年是毫末智能駕駛裝機量的攻堅階段，毫末將完成多平臺、數十款車型、數十個項目的異步并行開發，通過智能駕駛流程化開發和標準化交付，完成智能駕駛產品的規模量產落地。

2022年，毫末已經具備了完整的工程化能力，可以做到超過30個智能駕駛項目的異步并行開發，這種開發能力，國內唯一。同時毫末已經形成一整套高效的智能駕駛產品開發流程，在軟件復用層面，統一了當前智駕軟件的架構和算法接口，通過中間層將不同廠家傳感器的輸出內容進行統一抽象，實現了同一套軟件算法支持不同廠家、不同接口類型傳感器的能力。

并培養了車端工程化、云端工程化和交互工程化全鏈條的工程化能力，目前毫末已經解決了自動駕駛的規模化部署問題，對于2023年，毫末需要將規模化部署優勢轉化為數據優勢，然后再利用數據優勢來進一步擴大規模優勢。

第二場戰役是MANA大模型巔峰之戰。2023年，毫末將在智算中心的助推下將大模型的應用落地進行到底。

數據智能將會成為自動駕駛量產決勝的正負手，搭建高效、低成本的數據智能體系是自動駕駛健康發展的基礎，2023年毫末將會持續的優化云端和車端的大模型，真正踏入數據驅動時代，MANA數據智能體系也將成為毫末所有產品進化的核心動力。

第三場戰役是城市NOH百城大戰。2023年，毫末城市NOH導航輔助駕駛將正式與車主見面，按照有序節奏陸續落地到國內100個城市。

（毫末智行未來規劃圖片）

按照毫末智行的規劃，2023上半年，毫末HPilot 3.0將著重實現復雜障礙物交互升級，提升路口、變道通過性；2023下半年，實現特殊工況處理，開放免教學長距離泊車；2024上半年，毫末將完成HPilot落地中國100個城市的計劃，頭部城市落地全場景NOH，實現點點互達。在2024下半年至2025上半年，更大規模全場景的NOH將更快落地，毫末HPilot也將全面邁入全無人駕駛時代。

第四場戰役是末端物流配送登頂之戰。2023年，毫末以規模和成本優勢持續助力合作伙伴加速落地無人配送產品和服務，持續引領商超履約和快遞接駁無人配送市場。

在末端物流自動配送方面，目前毫末智行可實現年產1萬臺的無人配送車產能，生產車間占地1萬平米，生產線依據“柔性化+定制化”的理念進行設計，符合客戶要求的定制化需求，可以實現小批量試制以及規模化的量產。

據悉，毫末的生產基地是目前全球范圍內，規模最大的末端物流自動配送車生產制造基地。在2022年，毫末發布了業內首款面向商用市場的10萬元級末端物流自動配送車小魔駝2.0，目前小魔駝2.0已經開始穩定量產交付，2023年末端物流自動配送車整體成本將降至10萬元，進一步改善生產關系，促進末端物流配送市場的爆發。

（毫末智行10萬元級末端物流自動配送車）

正如毫末智行董事長張凱、CEO顧維灝在公司三周年內部信中所說的，“剛剛過去的1000天，毫末智行剛好穿越了一家創業公司的生死線。從0到1，毫末突破了重重技術和商業難關。我們突破了大規模、多車型的自動駕駛量產難關；突破了末端物流自動配送車用車成本高居不下的難關；我們更是在自動駕駛核心AI技術領域突破了大規模數據處理以及大模型算法應用的難關”。

為了應對乘用車自動駕駛競爭的下半場，毫末為此儲備了小魔盒3.0計算平臺、MANA數據智能體系，中國最大的智算中心，新一代AI自動駕駛大模型以及最強的技術工程化經驗。

目前毫末正進入從1到N的快速發展階段。開放合作、共創共贏是毫末始終堅持的宗旨，在乘用車自動駕駛領域，毫末繼續堅持“6P開放合作原則”，與客戶伙伴進行各類開放式的合作探索；在末端物流自動配送領域，毫末通過“5S服務體系”，與客戶伙伴一起，共同推動末端物流自動配送車的規模化商用的行業進程。

2022年已過，2023年已開啟，讓我們對毫末拭目以待！