清華大學“天眸芯”問世 讓機器像人一樣用眼睛觀察世界

來源：高校人工智能與大數據創新聯盟

有一種芯片，能讓機器模仿人類視覺系統的特征觀察世界——這乍一聽似乎有些科幻，然而，在清華大學精儀系教授施路平、趙蓉的帶領下，由精儀系博士生楊哲宇、王韜毅、林逸晗等人組成的一支年輕科研團隊，已經將這種芯片變成了現實，它的名字叫做“天眸芯”。

“天眸芯”不僅能讓機器擁有類似人眼的視覺感知能力，更開創了全新的類腦視覺感知理論和感知芯片技術，標志著中國在類腦計算和類腦感知方向取得重要突破。

2024年5月，基于該研究成果的論文“面向開放世界感知、基于原語表示具有互補通路的視覺芯片”登上《自然》（Nature）期刊封面。該成果入選2024年清華大學最受師生關注的年度亮點成果。

“天眸芯”的《自然》封面圖。

讓機器像人一樣用眼睛觀察世界

“天眸芯”的研發開始于2018年。彼時，施路平教授團隊主導設計的世界首款異構融合類腦芯片“天機芯”取得重要進展，它給人工智能提供了一個算力足夠強大的“大腦”。也是在那時，施路平前瞻性地提出“感知與計算并重”的研究發展路徑——計算能力提高的同時，讓人工智能像人類一樣感知世界、處理大量數據的能力也不可忽視。

為了實現該目標，團隊將目光首先聚焦到了視覺感知的層次上。視覺感知作為智能無人系統獲取信息的核心途徑，發揮著至關重要的作用。但在復雜多變且不可預測的環境中實現高效、精確且魯棒的視覺感知，依然是一個艱巨的挑戰。

在“天眸芯”問世之前，傳統視覺感知芯片由于受到“功耗墻”“帶寬墻”的限制，在應對極端場景時，往往面臨失真、失效或高延遲的問題，嚴重影響了系統的穩定性和安全性。例如，在夜晚的道路上，如果有車子突然開遠光高速駛來、隨意變道，裝載傳統視覺芯片的自動駕駛系統往往很難捕捉這一類的突發情況，進而導致閃躲不及時。

主要負責硬件系統的王韜毅進一步介紹，傳統視覺感知芯片一般使用均勻時間的采樣，就如同復印機一樣，會對所有畫面一視同仁地記錄。這帶來的問題是，當數據量過多、精度要求提高時，芯片因為必須承載過多無用信息而響應不及時，就像“死機”一樣，無法及時地“看到”危險。為了克服這些挑戰，團隊聚焦類腦視覺感知芯片技術，提出了一種基于視覺原語的互補雙通路類腦視覺感知新范式。

人體具有視桿細胞與視錐細胞兩類視覺細胞，前者具有很高的感光度，即使在弱光環境下依然能夠快速感應，但其空間分辨率和色彩識別能力較低；后者的感光度較低，卻能提供較高的視覺質量。同時，人體還有兩條視覺通路，其中一條通路側重于處理顏色、細節等高精度的信息，另一條通路則側重于迅速反應，處理突發危險。前述兩類細胞感知到的視覺信號通過復雜的神經網絡，分別投射至上述兩條通路并在大腦中整合，實現感知精度與反應速度的協同優化、共同發揮作用應對不同情況。

楊哲宇用人眼與照相機等器械捕捉信息的區別，說明了人類視覺系統的特殊性：一般來說，照相機在照片拍攝時，會將每個部分平均地進行采樣，無法特別關注到畫面中的危險；然而，人類的眼睛除了能看到外界豐富的內容和顏色外，還有著挑重點的能力，它能自動聚焦關鍵信息，忽略次要細節，并且在危險出現時瞬間切換注意力。

“天眸芯”以此種視覺機制為靈感，借鑒人類視覺系統的基本原理，模仿人類視覺系統的特征，將感知到的視覺信號拆解為光強、時間變化、空間變化等不同的視覺元素，再有機組合形成兩條優勢互補、信息完備的視覺感知通路。一條通路提供高清晰、色彩豐富的畫面內容，同時模仿人眼抓重點的能力，讓注意力所在處的內容細節更加豐富的同時，比傳統視覺芯片更加“節能”；另一條通路主要負責處理突發情況，能夠快速聚焦并做出相應反應，彌補了傳統視覺芯片在應對危機時的不足與遲緩。這套系統模仿人腦的信息處理模式，將視覺元素分配到不同的感知通路中，再通過模仿人腦響應機制，對相關信息進行連接和協同，最終實現信息的高效、穩定傳輸。

“天眸芯”實物圖。

這種創新設計帶來了突破性的性能提升，不僅讓芯片的帶寬降低了90%，消耗更少，更讓其實現了每秒可處理高達10000幀的超高速畫面（遠超電影的24幀/秒）、10bit高精度、130db高動態范圍的視覺信息采集范圍。換句話說，“天眸芯”不僅看得快、看得清，還特別省電。

面向未來：讓人工智能深入日常生活

基于該芯片，團隊還自主研發了高性能軟件、算法和類腦數據集，并在開放環境車載平臺上進行了性能驗證。團隊利用“天眸芯”自行搭建了一套汽車自動駕駛系統，并在北京郊區進行了真實道路測試。

自動駕駛感知演示平臺。

回憶起實驗過程，主要負責軟件部分工作的林逸晗首先提到了“興奮”的感受：“可能因為實驗的未知性吧，大家上路的時候都很激動，當然，最后也確實獲得了很多珍貴的新數據。”實地實驗具有不確定性，然而也正是因此，團隊才能得到“天眸芯”在突發情況下的真實表現。

在多種極端場景下，該系統實現了低延遲、高性能的實時感知推理，在智能無人系統領域展現了巨大應用潛力。實地實驗為下一步的芯片提升等積累了寶貴的數據，也為未來的長遠發展打下了牢固的基礎。尤其在自動駕駛方向上，相比于過去的芯片，“天眸芯”在感知突發情況方面的表現更優秀。

自動駕駛模組外殼。

面向未來，“天眸芯”將在產業端與學術端進一步孵化、發展。在產業端，團隊將其從實驗室中的新概念、新產品轉化為針對不同領域的實用落地應用，在當前的成果基礎上，繼續迭代芯片架構。趙蓉教授預計，該芯片范式有望從類人視覺拓展至類人聽覺、嗅覺等多模態感知，構建更為全面的人工感知體系。

推動建設通用的、生活化的人工智能系統，真正讓人工智能體有機融入到人類的日常生活中，是類腦中心全體師生奮斗的目標。

“天眸芯”團隊合照，從左到右依次為：精儀系2022級博士生陳雨過、2020級博士生王韜毅、2017級博士生楊哲宇，精儀系教授施路平、教授趙蓉，精儀系2020級博士生林逸晗、2020級博士生曾輝，類腦計算研究中心工程師王佳政。

道阻且長。對此，施路平教授常說：“膽識二字，膽在識前。研究類腦的學問，就是要勇于面對困難，敢于克服困難。”不畏挑戰，勇于創新，是“天眸芯”團隊始終堅持的信念。（來源：清華大學，原文標題：“天眸芯”：以創新開拓類腦感知的未來）

全國高校人工智能與大數據創新聯盟

全國高校人工智能與大數據創新聯盟（簡稱:高校聯盟）是由清華大學、浙江大學、中南大學、東北大學、上海工程技術大學、重慶郵電大學、東北林業大學、佛山科學技術學院、曲阜師范大學、黑龍江大學、海豚大數據科技等全國54家高校、企業共同發起，于2018年5月26日在北京中國科技會堂正式成立。迄今為止，聯盟發展會員300多家, 覆蓋全國20多個省市。聯盟由一批積極投身于“人工智能、大數據、區塊鏈”教育事業的高校、科研機構、企事業單位和個人自愿組成的公益性、全國性學術交流服務平臺。中國工程院原常務副院長、中國工程院院士潘云鶴、中國科學院院士陳國良、中國工程院院士李伯虎擔任聯盟名譽理事長，中國工程院院士譚建榮擔任聯盟理事長。聯盟工作接受工信部、國家網信辦等政府部門行政管理和業務指導。聯盟主要工作是推進產教融合、校企合作、協同育人。(加盟微信13651193492)

華算人工智能研究院

華算人工智能研究院全稱是“山西省華算人工智能研究院有限公司”，是經山西轉型綜合改革示范區管理委員會批準，于2023年10月在太原成立的第一批專業研究人工智能、賦能數字經濟產業發展的獨立法人組織。華算人工智能研究院依托全國高校人工智能與大數據創新聯盟專家委員會及理事會資源，按照山西省委省政府、山西轉型綜合改革示范區管理委員會發展人工智能、數字經濟的系列文件精神和工作計劃，將研究院打造成為山西省發展人工智能、數字經濟的示范應用推廣平臺，同時面向全國開展人工智能業務。華算人工智能研究院名譽院長由中國工程院院士李伯虎擔任。研究院內設AI產業學院共建中心、實訓實習就業中心、實驗室建設中心、專家智庫等6個職能部門。歡迎加入華算人工智能研究院專家智庫，共同賦能高校AI人才培養及產教融合事業發展。

高校區塊鏈專委會

全國高校人工智能與大數據創新聯盟區塊鏈專委會（簡稱:高校區塊鏈專委會），是由北京大學、浙江大學、武漢大學、西南財經大學、北京交通大學、鄭州大學、貴州大學、桂林電子科技大學、山西農業大學、佛山科學技術學院、陜西師范大學、中國網安、海豚大數據科技等全國40多家高校、企業和機構共同發起，于2019年12月7日在廣東省佛山市正式成立。目前發展高校及企業會員70多家。中國工程院院士、浙江大學教授陳純擔任高校區塊鏈專委會名譽顧問；福州大學教授蔡維德、中國計算機學會區塊鏈專委會主任斯雪明教授、中國人民銀行數字貨幣研究所副所長狄剛擔任高校區塊鏈專委會名譽主任；北京大學信息科學技術學院區塊鏈中心主任陳鐘教授擔任高校區塊鏈專委會主任。高校區塊鏈專委會主要工作是促進高校區塊鏈教育，為高校區塊鏈專業建設及學科發展提供專家咨詢服務。

高校元宇宙專委會

全國高校人工智能與大數據創新聯盟元宇宙專業委員會（簡稱:高校元宇宙專委會），是由清華大學、湖南大學、浙江大學、四川大學、汕頭大學、河北金融學院、保定市元宇宙協會、英偉達中國、海爾衣聯網研究院、海豚大數據科技(天津)有限公司等全國20多所高校、企業和機構共同發起，于2022年11月5日在北京正式成立。中國工程院院士、計算機軟件與虛擬現實領域專家趙沁平擔任高校元宇宙專委會名譽顧問；中國工程院院士、北京航空航天大學電氣與自動化學院名譽院長、中國航天科工集團有限公司科技委高級顧問李伯虎擔任高校元宇宙專委會名譽主任；清華大學信息國研中心可信軟件和大數據部常務副主任邢春曉擔任高校元宇宙專委會主任委員。目前已發展高校及企業會員30多家。高校元宇宙專委會主要工作是促進高校元宇宙教育、加強校企合作、推動元宇宙專業建設及學科發展，為元宇宙教育教學提供專家咨詢服務。

高校數字經濟專委會

全國高校人工智能與大數據創新聯盟數字經濟專業委員會（簡稱:高校數字經濟專委會），是由華算人工智能研究院、清華大學、北京大學、中國人民大學、中國社會科學院信息化研究中心、四川大學、北京外國語大學、北京科技大學、北京工業大學、北京語言大學、北京化工大學、北京聯合大學、北京物資學院、北京印刷學院、西藏民族大學、河北金融學院、重慶財經學院、蘇州城市學院、北京中關村軟件園、百度、海豚大數據科技等全國60多家高校、企業和機構共同發起，于2024年1月12日在北京正式成立。清華大學經濟管理學院教授姜旭平、北京大學信息管理系教授賴茂生、中國社會科學院信息化研究中心主任姜奇平、中國科學院大學經濟與管理學院教授呂本富擔任高校數字經濟專委會主任委員。高校數字經濟專委會主要工作是促進高校數字經濟專業建設及學科發展，推動產學研合作，為高校數字經濟專業教育教學提供專家咨詢服務。

聯盟“資料圖書館”

微信咨詢

說明：轉載文章和圖片均來自公開網絡，推送文章除非無法確認，都會注明作者和來源，如有侵權請聯系刪除。

往期精彩文章（單擊就可查看）：

. 辦

. 》