<cite id="ffb66"></cite><cite id="ffb66"><track id="ffb66"></track></cite>
      <legend id="ffb66"><li id="ffb66"></li></legend>
      色婷婷久,激情色播,久久久无码专区,亚洲中文字幕av,国产成人A片,av无码免费,精品久久国产,99视频精品3
      網(wǎng)易首頁 > 網(wǎng)易號 > 正文 申請入駐

      一場看不見的汽車戰(zhàn)爭

      0
      分享至



      作者| 郝雨涵

      | 黃大路

      設(shè)計| 甄尤美

      “我要利用和操縱車隊方圓兩英里內(nèi),每輛車的芯片漏洞。”

      “有一千多輛呢。”

      “全給我黑掉。”

      這是2017年《速度與激情8》中,反派和手下黑客的一段對話。

      話音剛落,路邊停靠的車、正在行駛的車,甚至是展廳里陳列的車輛,都被遠程啟動自動駕駛模式,并被禁用了防撞功能。

      至此,這些本應(yīng)為消費者服務(wù)的汽車產(chǎn)品,竟成為受黑客操控的“無腦”機器,集體執(zhí)行反派指令,不顧行人安全,共同橫沖直撞向刺殺目標。

      在為好萊塢想象力買單的同時,我們也不得不意識到,這樣的情景在技術(shù)上并非天方夜譚。



      上海華時電科創(chuàng)始人兼CEO繆亮艷指出:“2024年,全球因軟件問題召回的汽車總量達1340萬輛。考慮到全球新車年銷量約9000多萬輛,這個數(shù)字已相當(dāng)驚人。更值得注意的是,該數(shù)據(jù)較2023年增長超過4倍,已占全年汽車召回總量的46%。”

      “這意味著,軟件缺陷導(dǎo)致的召回比例已與傳統(tǒng)機械設(shè)計缺陷基本持平,達到接近1:1的水平。這一趨勢清晰地表明,軟件安全問題正成為汽車行業(yè)不可忽視的系統(tǒng)性風(fēng)險。”他進一步強調(diào)。

      隨著汽車產(chǎn)業(yè)向“新四化”加速轉(zhuǎn)型,數(shù)據(jù)成為驅(qū)動汽車智能發(fā)展的同時,T-BOX、ECU等核心組件的聯(lián)網(wǎng)化,以及OTA的普及,在提升體驗的同時,也極大地擴展了車輛的攻擊面,探索如何防護汽車網(wǎng)絡(luò)安全迫在眉睫。



      2025年12月6日下午,在WNAT-CES 2025新汽車技術(shù)合作生態(tài)交流會的“西蘭花會場·汽車安全論壇”上,來自產(chǎn)學(xué)研各界的多位專家齊聚一堂,圍繞“智能汽車網(wǎng)絡(luò)安全攻防未來態(tài)勢”展開深入探討。

      不難發(fā)現(xiàn),此次論壇對于嘉賓的組成,頗具巧思。

      正如圖靈量子安全事業(yè)部天機量子總經(jīng)理陳立權(quán)所說:“今天這個論壇的嘉賓結(jié)構(gòu)很有層次——我所在的企業(yè)聚焦于最底層的算法與基礎(chǔ)技術(shù),李總等幾位專家側(cè)重方法學(xué)與系統(tǒng)性方案,而上汽與廣汽的兩位張總代表的則是最終的應(yīng)用落地方。” 參會嘉賓的安排上確實有小巧思。

      全產(chǎn)業(yè)鏈嘉賓代表悉數(shù)到場,也是大家對汽車網(wǎng)絡(luò)安全建設(shè)需要系統(tǒng)性和全棧化思維的共識。

      對此,成都電子科技大學(xué)教授、TIAA網(wǎng)絡(luò)安全委員會秘書長羅蕾表示:“安全已經(jīng)覆蓋了整個產(chǎn)業(yè)生態(tài),從芯片、底層軟件、操作系統(tǒng)到如今AI模型及其應(yīng)用,需要的是全棧式、系統(tǒng)化的解決方案。單一環(huán)節(jié)的安全防護已無法應(yīng)對復(fù)雜風(fēng)險,必須通過系統(tǒng)性設(shè)計實現(xiàn)全面防護。”

      這種理論上高屋建瓴的系統(tǒng)性思維,在汽車產(chǎn)業(yè)生產(chǎn)中慢慢落到實處。

      首先在研發(fā)流程層面,犬安科技CEO李均指出網(wǎng)絡(luò)物理系統(tǒng)安全,特別是汽車行業(yè),需要將安全設(shè)計前置。

      “在傳統(tǒng)IT領(lǐng)域,安全實踐往往遵循‘開發(fā)-測試-上線-運維’的循環(huán)。而在汽車行業(yè),安全設(shè)計必須深度前置,通過系統(tǒng)化的架構(gòu)分析與風(fēng)險預(yù)判,在研發(fā)早期構(gòu)建內(nèi)生安全能力,從而避免因后期修復(fù)成本過高甚至無法修補而引發(fā)的系統(tǒng)性風(fēng)險。”

      而以上美好構(gòu)想的實現(xiàn),都可以用AI當(dāng)作助手。對此,云馳未來創(chuàng)始人兼CEO曾劍雋提出了“AI原生安全”的理念。

      “AI不僅是一項技術(shù),更是我們規(guī)劃未來產(chǎn)品的核心思維框架。我們將以AI驅(qū)動的產(chǎn)品理念,系統(tǒng)性地重構(gòu)產(chǎn)品體系——深度運用AI技術(shù)及智能體(Agent)模型,革新安全業(yè)務(wù)的底層架構(gòu)與運行邏輯。這構(gòu)成了我們面向下一代產(chǎn)品的核心思路,即實現(xiàn)“AI原生安全”:讓安全能力內(nèi)生于系統(tǒng)設(shè)計之初,而非后續(xù)附加的獨立層級。”



      毋庸置疑,行業(yè)發(fā)展的未來圖景并非全然明朗且確定。

      廣汽集團平臺技術(shù)院車輛信息安全負責(zé)人張金池就表示,量子計算可能對現(xiàn)有算法進行顛覆,彼時將重構(gòu)網(wǎng)絡(luò)信任基石。

      “量子技術(shù)將不可避免地向前發(fā)展,其影響遠不止于汽車領(lǐng)域,而是將重構(gòu)整個網(wǎng)絡(luò)世界的信任基石。當(dāng)前可實現(xiàn)的主要是量子密鑰分發(fā),但這并非構(gòu)建未來安全體系的核心環(huán)節(jié),系統(tǒng)性的量子安全架構(gòu)仍有待長期探索與完善。”

      而一切革新,落到最終,都會在用戶體驗和信任構(gòu)建中得到反饋。以O(shè)TA技術(shù)升級為例,如何令OTA過程兼具安全性和便利性,上汽創(chuàng)新研究開發(fā)總院安全體系經(jīng)理張華發(fā)表了自己的看法。

      “在進行OTA升級前,系統(tǒng)需完成多維度狀態(tài)校驗,包括車輛是否滿足升級條件、電池電量是否充足,以及是否處于駐車或怠速等安全狀態(tài)。升級過程中,系統(tǒng)將實時向用戶反饋進度——無論是10%、50%或其他關(guān)鍵節(jié)點,均清晰透明。升級完成后,無論成功與否,系統(tǒng)都會向用戶明確傳達最終狀態(tài)與結(jié)果,全程避免用戶因信息不明確產(chǎn)生焦慮,真正做到升級過程可控、可信、可知。”

      以下為圓桌討論實錄,《汽車商業(yè)評論》整理,此處略有刪節(jié)。



      汽車網(wǎng)絡(luò)安全的

      最大顛覆性變量將是什么?

      繆亮艷(上海華時電科創(chuàng)始人兼CEO):感謝李均的分享,我們進入論壇環(huán)節(jié),我確實看完兩個PPT,我已經(jīng)想把手上的問題扔掉,我有很多新的問題出來,所以我們盡快切入下一個主題。



      很高興終于讓我今天同時看到這么大的大咖坐在一起,我自己本身15年前在沃爾沃做,是一個崇尚安全,他們不管是車身還是信息安全非常看重。

      確實有一個數(shù)字,我出于好奇這兩天查了一下,2024年全球汽車因為軟件原因召回的車輛達到1340萬輛,我們每年可能新車也就9000多萬輛在賣。

      關(guān)鍵是同比2023年的數(shù)字增加4倍,這是讓我感覺比較驚訝的,占全部召回總數(shù)的46%,意思就說,我的機械設(shè)計缺陷已經(jīng)跟軟件的缺陷是一樣的,基本上是1:1。

      其實十年前Jeep切諾基,也是因為簡單的蜂窩數(shù)據(jù)就召回了差不多140萬輛車,當(dāng)時轟動全產(chǎn)業(yè),在去年保時捷全球高端豪華品牌Macan也是因為2018年沒有嵌入式的軟件開發(fā)進去,在歐洲被停售。

      所以這些問題帶過來之后,讓我感同身受,突然無形的狀態(tài),讓我們回到了2017年我看的那部電影叫《速度與激情8》。

      當(dāng)時有個場景,就是把所有的車從停車場開出來,場景還是挺震撼的,沒想到這么快就到眼前。

      所以我今天有幾個問題,還是想請教一下各位,我主要也是這個行業(yè)里面也想挺好學(xué)的一個人。

      第一個問題是拋給羅蕾羅教授的,同時我也希望陳總這邊也幫忙一起探討一下,就是說未來三年,智能汽車網(wǎng)絡(luò)攻防領(lǐng)域最有可能出現(xiàn)的顛覆性的變量是什么?

      我們都不怕我們現(xiàn)在設(shè)計的游戲規(guī)則,這是我們的標準,這是我們的執(zhí)行方式,這是我們的監(jiān)督方式。

      那我們怕顛覆性的變量,就是超越你預(yù)期外的,其實在網(wǎng)絡(luò)世界中是有可能發(fā)生的,在現(xiàn)實可能沒那么快,我想聽一下兩位的見解。

      羅蕾(成都電子科技大學(xué)教授、TIAA網(wǎng)絡(luò)安全委員會秘書長):我個人覺得因為剛才你這個問題不好預(yù)測,但是整體來說最核心的我覺得可能最能夠顛覆我們的還是AI,AI既賦能,又能夠給出一些意想不到的情況。



      因為剛才你也提到了,汽車的軟件的量,是超越了飛機的幾億行以上,現(xiàn)在軟件定義已經(jīng)到了AI驅(qū)動、數(shù)據(jù)驅(qū)動的階段,所以這個階段是雙輪驅(qū)動的。

      在這里頭有很多AI賦能的東西,但是同時又有很多隱患,所以這里面最不可預(yù)期的就這部分內(nèi)容。

      就是我們車上很多軟件會被AI化,不管是AI的Agent還是自動駕駛,或者是現(xiàn)在提到的AI BOX等等,AI這部分的內(nèi)容非常多。

      這部分的內(nèi)容我們是不可解釋的,所以在這里頭,我們原來的縱深防御體系、網(wǎng)絡(luò)安全那套機制,更多的還是基于規(guī)則的、基于軟件的工程化的那套軟硬件的體系。

      到了AI時代,這個的快速演進你可以說3年、5年,Robotaxi、L3和L4就成為現(xiàn)實了,但是在這里面很多不確定,面向AI的安全,目前來說還是一個相對來說,我們研究是不夠的。

      另外李總提到攻的技術(shù),面對攻的技術(shù)AI的賦能其實也會被利用,這個也很可怕。

      同時也給我們賦能,比如說AI的運營,我們現(xiàn)在各種報警和安全的很多事件,我們?nèi)耸强床贿^來的,用簡單的機器分析也很難,但是從另外的角度,疊加AI的東西也許會好,所以茅和盾之間始終跟AI有關(guān)系,這是我個人的見解。

      繆亮艷:我對這件事情的理解,因為我要使用AI,所以它反而可能成為一個比較大的變量,現(xiàn)階段還是不可控?

      羅蕾:對,這個是最大的變量,就像自動駕駛不是都在談兜底方案嗎?其實它就認為是不可解釋的,一定會出現(xiàn)幻覺,所以必須有兜底。同樣我們的安全怎么辦?在這個情況下來做安全。

      繆亮艷:陳總,圖靈量子現(xiàn)在是比較火的,在頂端的,對于這個問題想聽一下您的觀點。

      陳立權(quán)(圖靈量子安全事業(yè)部天機量子總經(jīng)理):剛剛主持人說到了不可預(yù)測的場景,那就是技術(shù)的突破,在當(dāng)今這個AI,可能10年前,大家還不知道AI突然之間發(fā)展成這個樣子。



      最近幾年量子計算也發(fā)展得特別快,算力這一塊,以前大家知道摩爾定律,每年算力都會翻一番,但是經(jīng)典算力隨著我們的制程、工藝的瓶頸,其實它已經(jīng)到瓶頸了,就需要新的計算算力范式的出現(xiàn),那就是量子計算,全球都在關(guān)注新的算力產(chǎn)生的技術(shù)方向。

      包括AI也缺算力,從安全的角度來講,無論是防,還是做網(wǎng)絡(luò)安全,還是做密碼,最底層的就是密碼,密碼就是數(shù)學(xué)問題,數(shù)學(xué)問題最怕的就是算力。

      隨著我們量子計算算力大規(guī)模的發(fā)展,一種新的計算范式出現(xiàn)以后,對我們經(jīng)典的密碼體系形成了非常嚴重的威脅。

      可能3年以后我的量子計算取得了突破性的進展,我們現(xiàn)在所有的安全技術(shù)都會面臨顛覆。

      繆亮艷:您的意思最大的變量是您公司是嗎?

      陳立權(quán):我很榮幸能有這樣一個量子計算的方向。

      繆亮艷:其實很期待,3年其實也不長,也有可能30年,我覺得這個東西跟AI來的時候,時代列車駛過的時候不是以你的意志為轉(zhuǎn)移的。

      不管是AI還是量子計算,可能是顛覆性的沖擊,因為我之前做過工程師,但凡有好的工具過來,我肯定不會拿本子去算了,我肯定是用工具。

      剛才聽了李總的PPT,你那個GoGoBark,是你這邊的一個測試工具嗎?你對狗狗還是情有獨鐘。

      在無線的協(xié)議漏洞和芯片側(cè)攻擊,你們最近工具檢測下來整個占比有提升嗎?就是攻擊的外部的外因,你覺得后續(xù)包括WBMS,或者是高通座艙的核心部件,外部用的最有效的攻擊手段是什么?

      李均(犬安科技CEO):我可以分享一下黑產(chǎn)在干什么,我們?nèi)ツ晷酒ぞ叩某晒l(fā)布之后,不斷地有人聯(lián)系我,比如說要把特斯拉從中國便宜買過來,然后賣到外國去,我想把它的控制器里面地域的信息改一改,你能不能幫我把它芯片破解?



      因為特斯拉的安全控制器是HPC系列的芯片,所以他們會聯(lián)系我,這是攻擊動機,有足夠的利潤吸引他們?nèi)パ芯俊?/p>

      還有比如說黑產(chǎn)研究的后裝條件,我的電機控制器的功率可以弄大一點,我可以后裝改,我安全的保護能不能幫我繞過一下,黑產(chǎn)來找我們。

      當(dāng)然還有通過聯(lián)系來騙我們的,說設(shè)備能不能賣給我們,有的是偷車的,這是我們設(shè)備的用途,可以用于正向的測試,也可以用于搞違法的行為。

      剛才您的問題常見的方法,我們在安全圈有句話是“沒有攻不破的系統(tǒng)”,給我足夠的動機.

      所以您剛才講的從硬件很難防,比如說功耗分析、過程輸入。

      從軟件這一塊量子密碼這一塊,我認為還沒有到考驗量子密碼這個階段,您剛才講的我在這個地方木桶的板很高,它是銅墻鐵壁,我打不過我繞過行不行?

      特斯拉原來車鑰匙里面用了一顆安全的芯片,他用硬件解決方案,這算是比較高投入的,要做固件升級時候的校驗。

      結(jié)果他也計算了,硬件存儲也各種都弄了,最后比對的時候程序員沒有正確比對,不管這個固件是篡改過的還是合法的固件,都可以刷到車里面去,黑客就可以通過這種方式改變程序代碼的各種行為。

      所以我覺得目前來說整個安全水位,這個短板還不在密碼學(xué),還在我們剛才講的整個系統(tǒng)把木桶的短板都拉齊,所以現(xiàn)在合規(guī)是一個好的點。

      大家至少不要說哪個地方做得特別強,但是最起碼最短的板要高于水位才可以。

      您剛才講的攻擊的點這樣的例子很多,原來我在老東家的時候有一個活動,他們產(chǎn)品上線的時候有眾測一下,大家都來給我找問題。

      我們用一種手段找了一個問題,他不服,他說正常情況下你攻破之后我就把它吃了,我們這個圈子的人特別聽不得這種話,所以就拿過來攻破了。

      繆亮艷:專治各種不服是吧?

      李均:對,專治各種不服,你說你很安全,我偏要破解掉,我熬了一個通宵給它搞了一個問題,當(dāng)時供應(yīng)商立馬飛過來修復(fù),幾十個人的群立馬拉起來了,這個東西就是成本的問題。

      包括主機廠,剛才賈老師提的短期、長期,我覺得短期大家都把這個問題當(dāng)沒看見去賣車,最后你不用投入到看不見地方的成本,你賣。

      長期如果出了問題,其實我們經(jīng)常聽到很多大廠很牛的企業(yè),對黑客圈給點所謂的獎金,其實就是封口費,我們這個修不了,我們成本很高,你們理解一下大家到時候合作。

      這個長期就很痛苦了,短期是這些安全不做,只要沒出問題你都沒事。

      繆亮艷:原來我們更多的是很多企業(yè)有背后的操作系統(tǒng),很多黑客把他們操作系統(tǒng)黑掉,收他們數(shù)據(jù)去處理這些事情,用一些要挾的動作。

      但這些我覺得畢竟是商業(yè)本質(zhì)的問題,你把他上升到高度到車的環(huán)節(jié),他是一個承載人生命的一個移動體,這就到了另外一個高度上去,我剛剛聽完三位的發(fā)言有點后背發(fā)涼,我都不知道這個車怎么開了。



      如何保障智能駕駛與

      OTA升級的安全?

      正好曾總今天也在,云馳未來在智能駕駛場景中,包括ABP、NOA你們都是有很好的一些策略,但是你架不住我前段時間還看到過一個視頻,他專門就干一件事情。

      開車跑在特斯拉前面,用帶有亂碼的二維碼干擾車輛,導(dǎo)致特斯拉的NOA功能自動跑偏,確實有這種Case。

      你們在場景測試中,如何能夠避免去做到一些防御端的工作,剛才說的這些攻擊太強,還是要靠你們防御一下,你們在應(yīng)用端怎么去處理這些事情。

      曾劍雋(云馳未來創(chuàng)始人兼CEO):安全你如果從大的角度去看它,大家會覺得他很玄幻或者說很神奇,但其實任何一個問題,從正向防護的角度來說,我們叫解構(gòu)。



      其實沒有一個問題是解決不了,只要你去解構(gòu)好他,投入恰當(dāng)?shù)某杀竞蜁r間,一定能去解答。

      在現(xiàn)實的社會當(dāng)中,安全的問題怎么處理呢?

      往往是在成本和需求之間平衡,這是一個正向工程的基本方法,所以回到你剛才的問題,例如拿AVP或者L2的場景來說,他安全問題很多。

      第一我們從傳感器開始,簡單說這里面會比較復(fù)雜,我簡單打個比方,例如從傳感器看有激光雷達、攝像頭,毫米波雷達。

      第一你從傳感器去捕捉到這些數(shù)據(jù),這是一層。

      你捕捉到現(xiàn)實當(dāng)中的數(shù)據(jù),但現(xiàn)實當(dāng)中的數(shù)據(jù)本身就可能被偽造,是什么概念?

      我們特斯拉有一個經(jīng)典的案例,特斯拉識別到前面一個箱式貨車的涂鴉是白云和藍天,車輛就把貨車識別成了白云和藍天。

      你說這個問題他又有數(shù)據(jù)的魯棒性和識別的準確性問題,這個問題不在傳統(tǒng)的現(xiàn)象性范疇,他是從魯棒性的角度,你怎么保證數(shù)據(jù)進來這是第一層的安全問題怎么解決。

      再下來會變成數(shù)據(jù)安全的問題,你正確識別這個問題也是現(xiàn)實當(dāng)中的數(shù)據(jù),你怎么傳遞給這個算法系統(tǒng),傳遞過來數(shù)據(jù)是一樣的,不被篡改這就落入到傳統(tǒng)的數(shù)據(jù)安全和信息安全的范疇。

      那這時候我們有密碼學(xué)的算法,現(xiàn)實當(dāng)中我們有硬件指紋,這些能夠保證你識別的數(shù)據(jù)進來是安全的,當(dāng)然你攻擊的有很多方法我們回頭再說。

      跟大家先簡單來解構(gòu),你會發(fā)現(xiàn)第一層是魯棒性問題,第二層是傳統(tǒng)現(xiàn)象性問題,再到數(shù)據(jù)進入系統(tǒng)進行計算的過程中,有沒有被加嚴,這個數(shù)據(jù)進來你還要計算有沒有被加嚴,這也是傳統(tǒng)數(shù)據(jù)安全的問題。

      你會看到從L2的視角,從識別到數(shù)據(jù)傳輸過來計算,計算完了之后還有行為要下去,你的工況要不要改變數(shù)據(jù),你加速減速要不要改變,最后變成控制信號的問題,這就是一層一層網(wǎng)線走。

      其實這個過程它是一條鏈路,鏈路里面有很多不同的問題要去解決,所以像剛才說的。當(dāng)你去看信息安全,有攻擊你會覺得特別玄幻,其實你要是解構(gòu)他都可以一點點解決,就像成本問題。

      其實這里面來說的魯棒性問題成本最高,回頭我們再說。

      所以解構(gòu)下來你會發(fā)現(xiàn)每個問題是可以被定義,然后可以被解決,在什么樣的場景下解決,解決到80%、90%、100%因為它的成本的水位不一樣,所以我們基本上在處理工程的方法過程當(dāng)中,我們會用二八定律,用20%的成本解決80%的問題。

      在這個場景下沒有問題,這就是一個基本的工程思維,我們在面對整個系統(tǒng)的復(fù)雜過程當(dāng)中先解構(gòu)再去解決問題。



      繆亮艷:針對剛才聊的兩個場景,您肯定在這個行業(yè)里面也是比較資深的一家公司,你覺得我們作為消費者,現(xiàn)階段應(yīng)該能夠相信到APV和NOA多少程度?我現(xiàn)在是代表消費者。

      曾劍雋:明白。之前有一個著名的廠家出事之后,業(yè)內(nèi)有一些討論。

      我解構(gòu)完了相信大家對這個事情就會有大概的理解,第一你的傳感器的判斷是怎么樣的,確實傳感器到了,但系統(tǒng)也提示,但系統(tǒng)提示消費者接管只有一秒鐘時間,就是你人的反應(yīng)速度是沒有那么快的。

      現(xiàn)在我認為大部分系統(tǒng),都是高級輔助自動駕駛,就是L3以下的系統(tǒng),所以這時候從消費者的角度來說,我希望大家能夠正確地認識他還沒有到,完全自動駕駛的狀態(tài)。

      繆亮艷:其實這點很關(guān)鍵,行業(yè)里一直在告訴你們,我們的策略我們的算法,我們做的工作是有信息安全保障的。

      但是我是一個重度的輔助駕駛愛好者,我用了十年,但是我身邊大部分人買了有這個功能的,但他從來不相信他,這就是我覺得也很矛盾的一個點。

      曾劍雋:不用那么不相信他,因為我自己也開特斯拉,我基本上了高速之后我也是不接管。

      但是我一旦前方或者側(cè)方會有車匯入的時候,我會馬上手會把整個注意力接管,如果前方整個系統(tǒng),確實是沒有特別多的障礙物,我覺得這個系統(tǒng)是可靠的,這時候不存在魯棒性問題。

      數(shù)據(jù)肯定是這個數(shù)據(jù),然后整個現(xiàn)在從歐盟215到國內(nèi)的44495,這些合規(guī)的體系又把所謂的剛才李均總講到的短板的問題就解決,不會說有一個板在地面上,合規(guī)的就是能夠把整個和業(yè)內(nèi)的水平帶到一個版本上面,也就是基本問題能解決,這時候是可以信的。

      現(xiàn)在也在推進智能網(wǎng)聯(lián)的分類分級,所以我們也在想,我們希望將來分類分級出來之后能夠明確告訴消費者,在什么樣的情況下相對可信。

      就像現(xiàn)在合規(guī)一樣,我相信這個產(chǎn)業(yè)還是慢慢進入一個相對良性和理性的發(fā)展階段,有些時候廠家可能為了促銷宣傳得過于厲害,消費者一根筋會出現(xiàn)一些問題,這可能需要產(chǎn)業(yè)方共同努力。

      繆亮艷:后面我們也挺關(guān)心的,因為今天兩位張總都在,去年我跟張華總也在隔壁,太巧了,帶到今天會場來了,去年還不認識,在鈴軒交流。

      另外一位來自廣汽的張金池,張總也是代表整車企業(yè)的,其實兩位是最終給消費者之間作為一個交互的橋梁,這邊有各種各樣產(chǎn)業(yè)的人。

      其實車輛壽命安全周期的OTA現(xiàn)在成為強制要求,上汽廣汽在設(shè)計OTA的時候如何確保更新過程中不被劫持?又要基于這個點的前提下,平衡用戶體驗和安全底線,想聽一下兩位的見解。

      張華(上汽創(chuàng)新研究開發(fā)總院安全體系經(jīng)理、功能安全經(jīng)理):其實這是一個OTA和網(wǎng)絡(luò)安全的問題,就是說我們在OTA的過程中肯定會確保網(wǎng)絡(luò)安全盡量減少劫持。



      我們已經(jīng)上了一些相關(guān)的車,云,以及鏈路上的防護手段,確保OTA的時候你盡量是不被黑客劫持的。

      剛才繆總提到一個問題是說我怎么來避免說OTA失敗,這在我們主機廠來說,我們可能會分幾類。

      第一類就是盡量會有一些核心的控制器給他做備份。

      他有兩個區(qū)域,我OTA的時候先在備份區(qū)域先做好,做好之后OK成功了我再切到另外真正使用的園區(qū),這樣的話不成功也沒有關(guān)系,我可以用上一個版本繼續(xù)來工作,這就避免了說我升級失敗,這是一類。

      第二種情況是它的確可能沒有做備份分區(qū)。

      這種情況下會存在一些失敗的概率,這種一般來說我們會降級,保留你基本的功用,但是確保這種降級不會出現(xiàn)非常重大的安全事故。

      第三種,是哪怕降級之后我們都覺得這個安全風(fēng)險不能避免,它會導(dǎo)致車也好、人也好比較大的事故,對于這種我們可能避免OTA。

      今年我們也有一次OTA,本來是策劃了OTA,但是評估完了把它取消了。

      因為它的一個EPS控制器,它沒有做備份分區(qū),我們評估了之后發(fā)現(xiàn)它里面會有一定的小概率會出現(xiàn)一些安全事故,所以這類我們讓客戶直接進4S店自己刷新,不要通過OTA的方式。

      這種客戶體驗好嗎?其實不怎么好,因為他得去一趟4S店。

      但是這種你客戶體驗和我們的安全怎么來平衡?一般來講如果它不涉及我們的安全底線,我盡量會讓客戶的體驗好。

      但是你觸碰了安全底線,對不起我寧可你麻煩我要保你安全,但是如果不觸碰你安全,我們現(xiàn)在做了很多客戶體驗優(yōu)化的事情。

      比如說OTA之前,我們可能要判斷你有沒有達到OTA升級的標準,電量夠不夠,車輛是不是在待速或者是停止的狀態(tài),升級進度條到了10%還是50%,我們也會實時告知用戶。

      你升級成功了告訴你,升級失敗了也不會觸發(fā)故障紅燈警示,告訴你我已經(jīng)回到了前面的狀態(tài),讓客戶放心。

      所以客戶只要點擊按鈕同意,第二天接收到成功還是失敗就可以了,這種客戶體驗遠比幾年前我們做得貼心一些。但是如果涉及觸碰到安全的事情,我們寧可他麻煩。

      繆亮艷:安全是底線,用戶體驗是在一定條件下做適配。



      張華:自從我干信息安全我一直挺緊張的,剛才聽了幾位領(lǐng)導(dǎo)、老師講我在臺上更緊張了。

      其實安全這一塊我們做了這么久,我們一直是在努力把我們OTA和通信,以及我們的一些控制類的東西都在努力地做更加安全。

      這個過程當(dāng)中,我們會設(shè)立一些安全底線、安全紅線,包括OTA這一塊。

      首先我們一分析一下,從我們軟件的唯一性的分發(fā),其實我們OTA是把軟件正確升級到車上,保證用戶用得到,這個OTA是我們主機廠發(fā)出來的唯一性。

      如何確保軟件在車上完成驗證并成功升級,這里邊我們從我們的后臺進行軟件的簽名,包括加密,這個過程不被人破解。

      包括李總說了我們可能會破解一些軟件,這里面在升級的時候,我們會做一些對這個簽名進行驗簽,啟動的時候我們還要求了自啟動和安全啟動的要求,以確保這個軟件多重保證這個軟件是我們主機廠發(fā)出來的。

      從信息安全里面,最主要的是保證這個軟件是合法的,它是被認可的軟件,在這個設(shè)備上進行了升級,這是我們一直關(guān)注的一個重點。

      至于說從我們的要求里面,我們最開始要求軟件的雙備份,就是雙區(qū)。

      當(dāng)一個沒有被升級成功,另外一個區(qū)是不會被擦除的,用戶不會感受到影響到用戶的安全,或者是影響到用戶的使用。

      這個不是什么問題,雙區(qū)之后核心是說能把這個框架搭建起來,安全的鏈路可以體系化地管理管控。

      繆亮艷:李總,聽完你覺得,能不能破?

      李均:我覺得做技術(shù)有一個點,比如說我在攻破之前,我沒有辦法100%告訴你我一定能攻破,盡管我內(nèi)心覺得99.9%都沒有問題,但我不能說,直到我攻破的時候我能說攻破的。

      我剛才說沒有攻不破的系統(tǒng),是大家對這個事情是愿意去嘗試的,剛才張總講的,跟我舉特斯拉的例子是一樣的,特斯拉也意識到這個地方,要做軟件簽名的保護,但是最終落地實施的時候沒有實施好。

      繆亮艷:實施層面出了一些情況?

      李均:對,張總他們提設(shè)計需求,后面他們還要驗證,還有專門的設(shè)計團隊做測試,還會開展眾測,車輛上市之后也還要持續(xù)進行安全測試。

      如果他能那么有信心,設(shè)計了就安全了,他就不用做這些工作了。



      主機廠如何在自研與外供之間,

      找到最優(yōu)解?

      繆亮艷:兩位張總,你們公司的采購策略是什么?你們會選擇用第三方的,像犬安科技,還有我們量子的云馳未來的方案,還是更多你們自己開發(fā)、自己檢查、自己校準,你們的運營策略是什么?

      張金池(廣汽集團平臺技術(shù)院車輛信息安全負責(zé)人):其實第三方的測試,包括眾測我們一直都有在開展,這個我們自己也會做一些測試。其實在我看來,更多地需要依靠外部的力量,為什么呢?



      因為安全大家知道,每個領(lǐng)域都有自己的專長,我們也更想看一看,大家在各個領(lǐng)域?qū)iL能測出來哪些問題。

      當(dāng)然我們自己會有一些人測,因為總歸這個問題會落到我們自己的車上、零部件上,這個需要我們推動,發(fā)現(xiàn)它修復(fù)的方案,以及最終修復(fù)落地實施的情況,這是我們的一些策略。

      繆亮艷:您的意思是廣汽這邊是自己主導(dǎo)這一塊,有更多的合作伙伴,基本上圍繞著你們?yōu)楹诵模皇峭耆泄苣J皆谧鲞@件事情?

      張金池:差不多,因為總要懂一點,要知其然,知其所以然。

      繆亮艷:張總,你們上汽比較大,你們有大量的海外出口車,還要符合全世界不同標準的一些安全規(guī)范,你們要考慮的東西更多。

      張華:其實我們的策略也差不多,現(xiàn)在應(yīng)該是說以自己為主,但是也并沒有說完全舍棄我們的服務(wù)供應(yīng)商。

      我覺得是按照階段來的,最開始我們在做車端的網(wǎng)絡(luò)安全,這些相關(guān)的滲透測試我們比較依賴于業(yè)內(nèi),因為那時候我們的能力還沒有建立起來,我們想知道一個規(guī)范的打法,一個充分的滲透測試是什么樣子的。

      最開始的幾輛車我們真的請了外包,我們想看看外包的測試用例會怎么寫,它測試的跟我們測試的有什么不一樣。

      但是到現(xiàn)在這個階段我們基本上以自己為主,我們自己做需求設(shè)計,然后自己來做整車級的測試,也具備了一些滲透測試的能力。

      但是你說,我們現(xiàn)在是不是完全不需要跟業(yè)內(nèi)合作,不需要跟李均總這邊合作,其實也不是,因為我們寫測試用例、我們寫需求,有的時候正向,你是看不到自己的盲區(qū)的。

      第二方面,我們也真的想知道在技術(shù)逐步迭代的時候,有時候別人的步調(diào)比我們快一點,像李均總講的東西我們覺得也很新鮮,這種我們也愿意學(xué)習(xí),但是肯定不是以外部為主,是以內(nèi)部為主。

      繆亮艷:我聽下來兩位的車廠都差不多,還是把方向盤牢牢掌握在自己手上,還是要把安全的主導(dǎo)權(quán)放在自己手上。

      我剛才開題也是講現(xiàn)在的狀況,也是請教了幾位一些情況。我們其實在這邊討論這個話題,更關(guān)注的是未來怎么辦。

      這邊剛剛正好羅教授也聊到AI的問題,其實AI在大模型智能座艙交互,自動駕駛中的使用越來越多,其實也不一定是由供應(yīng)商推薦的,大部分車廠自驅(qū)的想要引入更多的大模型,來幫助它的智能座艙做一些工作。

      我印象中比較早的,理想用的也比較早,其實會有很多的風(fēng)險在后面的過程當(dāng)中出現(xiàn),包括我數(shù)據(jù)投毒、包括算法泄露。

      我們自己應(yīng)對AI的使用,剛剛也講了一半,我覺得沒有講透,就是想用又不敢多用的感覺。

      什么時候這個狀態(tài)會產(chǎn)生變化,大家會積極地擁抱AI代表未來的工具,特別是在車上,民用的我們都不說了,想聽一下兩位的見解。

      羅蕾:AI是不可阻擋的,而且現(xiàn)在這個車沒有AI的能力不好賣,這是必然的。

      但是從另外的角度,我覺得當(dāng)前實際上整個從網(wǎng)絡(luò)安全、數(shù)據(jù)安全,各種安全這個體系的建設(shè)里頭,其實車廠,包括到零部件廠整個產(chǎn)業(yè)鏈大家還是已經(jīng)具備了體系化的能力的。

      所以不管是管理體系的建立,還是技術(shù)體系都建立起來了,形成了一個體系。

      繆亮艷:我是不是認為已經(jīng)準備好了?

      羅蕾:有這樣的基礎(chǔ),這是針對當(dāng)前的,但是面對AI這個基礎(chǔ)還不完全夠。

      因為原來的基礎(chǔ),還是按照原來的體系建,但是到了AI的話首先開發(fā)模式在變,軟件的模式在變、硬件的模式在變,所以它的模式在調(diào)整,我們各個體系其實也在調(diào)整。

      軟件驅(qū)動的開發(fā)和數(shù)據(jù)驅(qū)動的開發(fā)本身這兩個模式是雙輪驅(qū)動的,所以它的模式是不一樣的,變化以后,它對安全整個體系還要做一些調(diào)整和升級,這是必然的。

      另外在這個過程中,比如說你說的數(shù)據(jù)投毒,包括模型的對外,剛才說感知不可避免的不管是魯棒性,還是真正有攻擊,它抗攻擊算法的能力就必須加強。

      所以在這個模型上,它必須加強這部分內(nèi)容,就是有可能誤導(dǎo)、有可能出錯,所以必須加強,所以整個開發(fā)的方法就不一樣。

      一旦開發(fā)方法不一樣以后,你的安全的團隊,咱們車廠都有安全團隊,而且涉及好多個,網(wǎng)絡(luò)安全、數(shù)據(jù)安全、功能安全、預(yù)期功能安全。

      其實它們是不同的體系的,而且知識背景還不完全一樣,大家怎么能夠協(xié)同起來?先說車廠、OEM能不能統(tǒng)一起來?所以這個的融合還是很重要的。

      我現(xiàn)在看下來,這一塊反而是一個難點,就是大家還沒有完全融合起來考慮,而且在設(shè)計的過程中,原來我們的微模型,現(xiàn)在變成數(shù)據(jù)驅(qū)動的開發(fā),這個方法也不太一樣了,另外敏捷開發(fā)+數(shù)據(jù)驅(qū)動這個開發(fā)方式也在變化,還有很多第三方進來。

      所以整個從算法安全到數(shù)據(jù)安全,包括預(yù)期功能安全,這個該怎么做,規(guī)則兜底的問題怎么做?因為兜底屬于軟件,不是我們傳統(tǒng)意義上的安全,是AI引出來的安全。

      比如說我自動駕駛這個兜底,就是要出現(xiàn)幻覺,你必須去弄。

      比如說這個Agent涉及我們大模型人機交互,還有很多的隱私問題,我們?yōu)槭裁匆艂€BOX在車上,我們不能夠全部到云端,我隱私各方面也就泄露了,也不合適。

      所以從這個角度來說,我們實際上汽車的軟硬件架構(gòu)還要做一次很大的升級。

      在整個軟硬件升級過程中,我們整個體系的建設(shè),安全是伴隨著全生命周期的,開始從設(shè)計到研發(fā),最后到整個交付以后,這個底線雖然是滿足了,但是全生命周期怎么保證呢?

      這個車有10年以上的生命周期怎么保證呢?每次升級可能還會有帶來新的一些風(fēng)險,又怎么保證呢?所以這需要整個行業(yè)共同協(xié)同推進,技術(shù)在發(fā)展,我們各方面的技術(shù)都得要進步。

      另外一方面標準、底線也在變化,也不是一成不變的。還需要引入更多社會力量,我覺得眾測是必須的。

      就像人身體每年都要檢查一樣的,這個車也應(yīng)該要體檢,不是簡單地我一次性過關(guān)就完了,這個事情一定是持續(xù)的,所以這是需要一個整體體系來考慮的。

      繆亮艷:謝謝羅老師。我的理解是說,您剛才講,我們現(xiàn)在有基本接受AI的基本能力,但是要完全擁抱和融入AI是需要一個比較久的過程。

      而且不僅僅是一個公司,一個政府機構(gòu)或者一個行業(yè)能夠單點把這件事情往前推動的,我對這件事情您的觀點的理解還需要一個時間比較長的過程,能這樣理解嗎?

      羅蕾:這個就是共同進步,就是跟著產(chǎn)業(yè)走,產(chǎn)業(yè)發(fā)展是最重要的。

      繆亮艷:產(chǎn)業(yè)發(fā)展的速度。聽一下曾總的意見。

      曾劍雋:我從兩個角度,第一個我們自己是一個消費者,第二個我們從供應(yīng)商的角度,我也反問主持人一個問題,其實這個問題我們過去出現(xiàn)過,淘寶你用嗎?

      繆亮艷:經(jīng)常用。

      曾劍雋:我講我怎么用淘寶,往往我在淘寶買了一個雪茄,搜索嘛,我可能會去搜索一個內(nèi)褲,或者搜索一個登山杖,我為什么這么做呢?

      就是我不希望被這些系統(tǒng)畫像把我計算出來,我從消費者過來就是這樣子的,我在淘寶上買了東西我會反向做另外一個搜索,這就是我的習(xí)慣。

      繆亮艷:我有一個更好的方法,我用一段時間給我老婆用。

      曾劍雋:所以你比我更聰明。AI本身來說大部分是希望舒適,但是任何一個舒適會意味著什么呢?

      意味著你需要對一些問題做出讓步和妥協(xié),有一句話當(dāng)然是哪個名人講的我忘記了,任何讓你爽或者舒服的事情,一定會讓你有痛苦,舒適一多,痛苦也多。

      這就是剛才說的AI帶來的一些,我希望每一個人去思考,因為我是這么思考的,用互聯(lián)網(wǎng)我也用了很多年,我站在個人角度來說希望大家對AI的一個用戶的角度的思考。

      但最終來說,就像羅老師說的,AI也好,或者說整個產(chǎn)業(yè)的趨勢也好,都在往這個方向上在走。

      我們有時候為整車廠或者我們開發(fā)的產(chǎn)品,例如在早期的時候,我們把AI當(dāng)作一個工具來用。

      例如公司內(nèi)部,我們會要求每個人都用AI工具,內(nèi)部都開了Chat GPT的賬號,給大家有Token,我們還會監(jiān)控大家的使用情況。

      其實我們會把一些AI的能力集成到產(chǎn)品里,這是我們過去應(yīng)該說今年年底往前,我們都是這么看的,我們把AI當(dāng)做工具來看。

      但實際上我們發(fā)現(xiàn)AI本身是一個技術(shù),我們現(xiàn)在在面向未來產(chǎn)品的時候,我們會用AI整個產(chǎn)品的思路去重構(gòu)我們的產(chǎn)品,我們是用AI相關(guān)的技術(shù),包括Agent模型來去重構(gòu)我們安全的業(yè)務(wù)的邏輯,這可能是我們未來考慮,面向下一代產(chǎn)品的核心思路,這就是所謂的原生的概念。

      我們會用AI的方式原生去做這個產(chǎn)品,但是剛才講到的會有很多幻覺的問題,會有很多系統(tǒng)的魯棒性的問題,這些問題肯定是要去解決的,但是從我們的角度來講,這就是一個趨勢。

      我們會用AI原生的方式思考,未來的安全的產(chǎn)品的形態(tài)到底是怎么樣的,已經(jīng)在推進了。

      所以這就是一個所謂的,從云原生我們將來要過渡到AI原生的一個狀態(tài),這是我認為大概率不可逆的一個狀態(tài),所以這是我們的理解。



      V2X與自動駕駛,

      未來3-5年如何筑牢安全防線?

      繆亮艷:感謝曾主任,看來你非常的時尚,從特斯拉的自動駕駛到全公司的AI工具的推廣。

      確實來說我們內(nèi)心是很矛盾的,既想擁抱他,又感覺在否定很多東西,在時代潮流轉(zhuǎn)變的過程當(dāng)中,自己好像又沒有完全準備好。

      我們說未來第一個講的是AI,第二個還有一些新的技術(shù),問一下李總和陳總。

      現(xiàn)在車源通訊、V2X、自動駕駛,基本上這三個點成為被攻擊的重點區(qū)域,重點被攻擊的都在這個位置上。

      我也聽到很多的技術(shù),包括量子密鑰分發(fā),聯(lián)邦學(xué)習(xí)保護,包括TEE增強這些技術(shù)里面,哪些你們覺得是有落地的可能性和潛力的?

      我加個限定條件——在較短時間內(nèi),可能3-5年里,我們不要聊十年二十年稍微有點遠,三五年之內(nèi)有快速落地的可能嗎?

      從陳總開始吧。

      陳立權(quán):我覺得3-5年最新的技術(shù)是這樣,剛剛繆總你提到我們防的技術(shù)是否有可能做升級。

      你剛才說的量子密鑰分發(fā),這一塊中國做了很多年,我們現(xiàn)在提的后量子密碼技術(shù)是一種新的密碼技術(shù),但其實也做了很多年。

      從2016年就開始做,去年是國際標準都已經(jīng)定了,所以現(xiàn)在國內(nèi)標準從今年開始在快速落地。

      未來3-5年國內(nèi)的標準也會定下來,這是毫無疑問的。

      所以一旦國內(nèi)的標準定下來,不光是我們車企,首先肯定是我們叫關(guān)鍵基礎(chǔ)設(shè)施,包括你的交通,V2X這時候?qū)儆谖覀兘煌ǖ念I(lǐng)域,這這一塊都會有統(tǒng)一的后量子密碼的一些應(yīng)用。

      另外,像TEE以及隱私計算,隱私計算也是受限于,靠你密碼、算法運行的效率,現(xiàn)在隱私計算的東西大部分偏向于用TEE的方案。

      TEE的方案是物理保護的手段來做,在一個黑盒里面來做,他其實跟算法的相關(guān)性會更小,所以我個人認為,隨著未來數(shù)據(jù)交易或者數(shù)據(jù)流轉(zhuǎn)的方式,在可信的條件下用TEE的方式做數(shù)據(jù)流轉(zhuǎn)交易會是一個趨勢。

      繆亮艷:但我之前聽說廣汽跟吉利已經(jīng)用了一些量子計算的技術(shù)了對吧?有嗎?

      陳立權(quán):車企很多包括我們做安全的很多都在研究后量子密碼技術(shù)的方向,特別從去年開始國際標準定了以后,如果我們要走出去的話,必然面對著這樣一個標準化的趨勢。

      美國、歐盟都定了后量子密碼應(yīng)用的時間節(jié)點,第一階段應(yīng)用就是2030年全部是要符合標準的。

      繆亮艷:其實在未來3-5年是可以看到的這個東西。

      陳立權(quán):就是你至少在國際上走出去,肯定是在信息系統(tǒng)這一側(cè),特別像我們車、金融關(guān)鍵的一些行業(yè),你出去必須是要符合這樣一個標準的。

      國內(nèi)的標準從2019年我們是征集的第一輪算法,今年我們在征集第二輪算法,應(yīng)該明年6月30日,我們會結(jié)束第二輪的征集,在2027年左右,我們國內(nèi)的標準會形成征集稿并初步落地。

      繆亮艷:要有個時間過程。

      陳立權(quán):對,有個時間過程。在2030年之前我們國內(nèi)標準肯定都會落地,所以在這個階段,防這件事我們必須走在前面。

      繆亮艷:如果你們這個技術(shù)再推進的話,對產(chǎn)業(yè)是很有幫助的,就像剛剛羅教授講的一樣,會極大地加速產(chǎn)業(yè)落地進程。

      羅蕾:我補充一下像現(xiàn)在芯片支持后量子密碼已經(jīng)開始了。

      繆亮艷:芯片也支持了嗎?

      羅蕾:已經(jīng)開始了,不管是國際還是國內(nèi)的都支持了,這個東西他應(yīng)該并不會遙遠會很快,就是抗量子攻擊的后量子密碼,在咱們車里的芯片也都開始了。

      繆亮艷:那種這是Global的芯片廠還是我們國內(nèi)的?

      羅蕾:Global和國內(nèi)的都有,只是剛才提到的那個標準還沒有出來,現(xiàn)在支持的還是國際的那套體系,但是這個很快的。

      繆亮艷:李均總,這些技術(shù)聽聽您的看法。

      李均:我覺得這些技術(shù)都挺好的,并且像TEE這種現(xiàn)在已經(jīng)廣泛地應(yīng)用在微信、支付寶里。

      剛才像量子密碼這種,我覺得它肯定也是很有潛力的,畢竟通過這么多的學(xué)者論證它理論上的安全性。但是我覺得它是一把鎖,它可以是機械的鎖,可以很不安全,也可以很安全。

      但是我還是系統(tǒng)地看這個問題,它的落點還不在這兒,現(xiàn)在有一個像當(dāng)前咱們用的密碼算法,RSA、橢圓曲線,甚至就是AES,你說有多少人能夠從算法正面硬剛,把這個算法破解掉?我覺得沒有。

      繆亮艷:我理解你的意思,它其實是一個偏系統(tǒng)的漏洞?

      李均:對,所以大家提這個覺得比較fancy一些,但這并不是說它沒有實用價值,可能還需要一些時間。

      我覺得我們當(dāng)前最大的問題不在這兒,我們當(dāng)前最大的問題是門鎖上了,我從后門能不能進來,我從其他地方能不能進來,所以網(wǎng)絡(luò)安全防御的薄弱點還是整個系統(tǒng)層。

      繆亮艷:籬笆沒扎太牢,不是鎖不夠強。

      李均:對,它不是最弱的那個鏈條。

      繆亮艷:它是剛才講得最長的長板,能繞開,同意嗎?

      陳立權(quán):我還闡述一下李總的想法,我這邊又做攻,又做防,但我這個攻不是挖掘漏洞像黑客的角度來做,我是純從計算破解的角度來做,就是量子計算這個方向來做。



      繆亮艷:您是撬鎖和裝鎖是同一個人?

      陳立權(quán):對,其實我是這么理解的,今天我們這個論壇幾位朋友都非常好,像我這邊是做的最基礎(chǔ)的算法層面的,像李總等幾位都是做些方法學(xué)的,就是方案級別的,但是像兩位張總他們實際上是最終的應(yīng)用方。

      我認為從算法的級別來說,我們就是從0到1的過程,我們必須解決這個最基礎(chǔ)的問題。

      就像李總剛才說的沒有絕對的安全,只有代價大小的問題。當(dāng)我破解算法的代價是最小的時候,我不會再挖漏洞,不會再做守攻。

      但是如果量子計算機成熟的時候,會發(fā)現(xiàn)我們現(xiàn)有的ISA、ECC,你會發(fā)現(xiàn)它就是代價最小的,你不用花一晚上的時間挖漏洞、寫代碼,我10分鐘就搞定了。

      因為今天談趨勢,所以這個未來大家,量子密碼標準能快速推進?因為對量子計算的發(fā)展有了一個共識。

      在未來如果我們密碼這一塊,或者是安全這一塊不做改變,未來必然會面臨到這個問題。

      所以說我們現(xiàn)在做的量子密碼,只是先把這個基礎(chǔ)搭好,但是我們做安全的的確是系統(tǒng)性的過程,你這個還有扎籬笆或者是防護這個很重要的過程。

      但是一樣,你籬笆扎得再好,你的基礎(chǔ)不牢也是不對的,所以我覺得這是一個相輔相乘,或者是逐步遞進的過程。最后我們是一個安全的堡壘,這是我的理解。

      繆亮艷:我太喜歡你的回答了,你們的回答把我今天一個下午最想干的一件事馬上干成,干成前最后一個問題。

      張華:不好意思,我想說一下主機廠的態(tài)度,其實量子算法、量子計算機出來之后我們主機廠一直在觀望,因為我們網(wǎng)絡(luò)安全講實話發(fā)展很多年之后,一直延用的是原來IT那套打法。

      但是量子計算出來之后,有可能3到5年之內(nèi)我們對原來的方案可能會產(chǎn)生顛覆性的變化,我們以前的算法可能都是要替換掉,所以從主機廠而言我們能看到,可能目前已有搭載相關(guān)技術(shù)的車型量產(chǎn)上市,也有一些主機廠用后量子加密。

      我們覺得目前的技術(shù)哪怕沒有特別成熟,但是是未來的趨勢和方向,所以我們后面可能會加入,我們還是比較持樂觀態(tài)度。

      李均:因為我原來十幾年前就聽同態(tài)加密要出來了,量子密碼、后量子密鑰分發(fā)算法,原來讀書的時候大家就在聊這個問題。

      我不是否定這個東西不值得做,而是我們當(dāng)前面臨的問題,他剛才講5年,我覺得5年這些東西都沒有辦法普及,那這5年內(nèi)我們做什么事情呢?我覺得要把系統(tǒng)的其他短板補齊。

      這些前沿的方向我非常期待同態(tài)加密,我非常期待隱私計算出來,但這些技術(shù)一次次淪為“煙霧彈”。

      我們前幾年RSA有幾個一等獎、二等獎,前十里面就有所謂的同態(tài)加密的算法,大家很興奮,但是后面發(fā)現(xiàn)沒法落地。

      所以我們這個領(lǐng)域喜歡去干、喜歡去追求事物最本質(zhì)的東西,我們不喜歡聽特別時尚、特別未來的東西。

      所以我會從務(wù)實的角度,最近5年、10年把這些問題解決好就不錯了。

      那些前沿的問題當(dāng)然值得研究,到時候我銅墻鐵壁修好了,發(fā)現(xiàn)鎖不夠用了,這個鎖就要靠你們,所以我是認同這個價值的。



      量子計算會替代傳統(tǒng)密碼嗎?

      曾劍雋:這個討論挺有意思的,其實大家不用太擔(dān)心量子計算之后,計算量大了之后傳統(tǒng)密碼會失效,一定會失效,我同意你的觀點。

      但是我們可以把密碼學(xué)用兩個維度去思考:

      第一,變成計算問題。如果計算問題解決了,我用抗量子密碼可以對抗量子計算以后,大量計算帶來的問題。

      第二,我們再考慮量子計算來了以后,物理學(xué)原理變化,因為你要疊加態(tài)的問題,因為不可復(fù)制的問題,那個算法可以再往后放。

      所以其實主機廠不用太擔(dān)心。

      張華:太擔(dān)心了。

      曾劍雋:這是數(shù)學(xué)問題,因為今天生活在物理世界,我認為自己對數(shù)學(xué)問題的邏輯還是比較篤定的,因為我過去也做密碼。

      當(dāng)你算力上來了以后,現(xiàn)在因為我們橢圓曲線,這些是基于傳統(tǒng)曲線的,因為它的算力是確定的,意味著推演出來在什么樣的算力,這個密碼被破解它有理論值的。

      也就無所謂了,因為這件事情2年后才被破解,2年后已經(jīng)無所謂了,因為一個風(fēng)險2年后才爆發(fā),對今天來講是安全的,所以不用太擔(dān)心它。

      張華:曾總我不是技術(shù)股,我對量子算法自己也查過,比如說我們現(xiàn)在非對稱的算法,以前你要破解這種非對稱,可能幾百年、上千年,現(xiàn)在這種量子算法就幾個小時。

      曾劍雋:所以我的意思是說,我們首先把密碼當(dāng)做數(shù)學(xué)問題,我們用抗量子算法可以解決量子時代出來以后我們新的密碼學(xué)原理。因為美國已經(jīng)在推進了,而且已經(jīng)有公開的算法了,所以不用著急。

      張華:你說量子算法既能攻,但是我們也能防?

      曾劍雋:我們靠量子算法解決量子時代帶來的密碼學(xué)的問題,這個學(xué)界已經(jīng)在推進,而且抗量子算法我們已經(jīng)研究很多年了。

      我說你們不用太焦慮的原因,首先我們可以用計算解決這個問題,再用物理學(xué)對應(yīng)它。

      張華:講實話之前焦慮,現(xiàn)在不焦慮,因為我們看懂這個趨勢之后,能確定我們的算法肯定要換,所以我們在布局,慢慢把它替換。

      曾劍雋:就是所謂的把它變成一個數(shù)學(xué)問題,我們用抗量子算法解決它就好了。

      陳立權(quán):我覺得曾總說得對,我們沒有必要焦慮這些問題,安全性的問題很多都是焦慮帶來的。

      曾劍雋:交給我們好了。

      陳立權(quán):但是有很多現(xiàn)實性的問題,我們必須為它做準備,我們不怕一萬只怕萬一,這種概率的事件我們要防它。

      所以我們要做準備,但是在準備過程當(dāng)中是需要時間、需要精力,而不是我不Care了,未來幾年我就不做了,也不是這樣。

      李均:問題解構(gòu)就行了,先解構(gòu)計算問題,再解構(gòu)物理學(xué)問題,你就知道怎么解決它了。

      陳立權(quán):算法的改變其實因為我也做密碼,所以會從使用方法上,因為我昨天還跟金融聯(lián)盟參加了一個會議,在跟支付寶他們聊。

      突然發(fā)現(xiàn),你如果核心的算法變了以后,發(fā)現(xiàn)整個體系會變,因為你的密鑰長度會變,你的通信體制會變,這會影響到你們上層業(yè)務(wù),也會影響ETF,所以這個也是需要我們?nèi)タ紤]的。

      李均:我再補充一句,沒有那么焦慮,這還不是你現(xiàn)在最大的問題,而且它是系統(tǒng)問題,你關(guān)鍵焦慮也做不了什么,怎么真正有效系統(tǒng)地解決它?我覺得從務(wù)實的角度來說,技術(shù)只是這個系統(tǒng)性問題的一個方面。

      另外一方面出了問題以后,我這個算法假設(shè)它失效了,甚至你這個算法也OK了,比如說意法給我們回復(fù)說,我們從來沒有在產(chǎn)品手冊里面申明過能抵御你這種攻擊方式。

      如果你的供應(yīng)商跟你這樣講,他說我這個芯片被人曝出一個攻擊方式,他說我沒說過我能防,這種問題還有很多,所以這個問題看到是最有技術(shù)含量、最摩登、最時尚的一個點,但其實還有很多基礎(chǔ)問題。

      假設(shè)失效中還有沒有一些縱深防御體系,我一級級地做防御,一個是從技術(shù)系統(tǒng)的系統(tǒng),一個是從管理和設(shè)計哲學(xué)的系統(tǒng),我覺得這幾個維度解決。



      張金池:要不我補充兩句。

      繆亮艷:張總幫忙支持一下。

      張金池:其實我不焦慮的,我為什么不焦慮,我先說一下,站在我目前工作的整個情況下。

      我更多考慮是兩方面,第一個是體系化,我不擔(dān)心一個漏洞,我擔(dān)心是有一部分是黑洞我沒有看到,我漏掉了,我有盲區(qū)。

      這是我們在做我們建設(shè)工作當(dāng)中比較重視的一個事情,就是我們希望我們能考慮的更加的全面化和均衡化,全面地去把籬笆搭的能夠一致性,今天可能扎不密,那我明天接著扎,但是如果我這一塊我把他缺失了,那我這個就有問題了,這是我第一個。

      第二個我考慮的是解構(gòu)化的問題,什么是解構(gòu)化的問題?就是安全的問題剛剛李總說了不能100%,他只要投入足夠的時間、人力和資源,就一定能找到系統(tǒng)中存在的漏洞。

      假設(shè)他可能已經(jīng)攻破了,他會不會影響到我汽車屬性,我汽車的屬性是,安全地把人運載到目的地,他是一個交通工具,能不能影響到人的生命財產(chǎn)安全。

      如果他不能夠影響到,那我認為這塊我會盡自己最大努力去做,使用到現(xiàn)在所有的一些技術(shù)。

      但是如果說攻破的情況下不影響,那我就可以在這里邊給他定一個標準,他不能突破這個,如果他影響到了,那無論如何他不應(yīng)該具備這個功能。

      車輛在行駛狀態(tài)下,就不應(yīng)該開放遠程控制功能,其實是沒有這種需求的,從結(jié)構(gòu)化來說你的功能側(cè)和安全側(cè)應(yīng)該有更清晰的架構(gòu)。

      結(jié)構(gòu)化的東西我們是不斷地探討,假如說他對某個車有一定的攻擊,這種情況下,沒有車速的情況下,可能有異常的情況我們也是可以接受的,當(dāng)然是他花了很多人力、物力、財力的情況下,所以結(jié)構(gòu)化地去做這些防護。

      另外還有剛才補充的就是量子,為什么說不焦慮,我這幾年前一直在看量子這一塊,我們內(nèi)部也討論了。

      算力是一個很根本性的問題,算力到底什么時候能夠?qū)崟r破解,這個問題到底有沒有路線圖。

      如果有這個路線圖,我覺得我們就會有路線圖,比方說我們量子路線圖,我覺得我們的防護是要依托于攻擊和防護是共同的相互螺旋式的上升。

      然后如果說我們算力的大型計算機在某一時刻突然可以小型化了,我不需要量子計算機的產(chǎn)生,銀河一號、銀河二號突然小型化,口袋里一揣就達到這樣算力的情況下,一樣會出現(xiàn)問題。

      然后我們從量子方面來說,首先這三五年看量子一定會發(fā)現(xiàn)的,一定會往前面走的,它影響的絕不僅僅是汽車行業(yè),它影響的是整個網(wǎng)絡(luò)的信任架構(gòu)。

      往前面走的時候,我當(dāng)然憑我個人的一些看法,抗量子方面未來會更快地落地,但是量子通訊依托的很多是物理特性是暫時很難解決的,你現(xiàn)在只能解決密鑰分發(fā),密鑰分發(fā)不是一個核心的東西。

      包括羅老師說的大模型我們很擔(dān)憂,從安全角度來考慮,算力提升的情況下,其實很多的應(yīng)用是可控的,但是應(yīng)用的一些安全出現(xiàn)不可控,輸入的因素是很難理解清楚的。

      包括我們現(xiàn)在在汽車上做的一些分析,我們可以看得到攻擊的路徑方法,跟大模型的攻擊路徑方法到底能不能可控,它的內(nèi)部的產(chǎn)生,內(nèi)部的關(guān)聯(lián)度這些能不能夠可控。

      如果這個我們能夠清晰的有把握的情況下,我們努力花人花錢花資源把他做,但是現(xiàn)在大模型可能會出現(xiàn)一些不可控,可能我的認知也是有限的。

      陳立權(quán):我剛研究過,有客戶說能不能幫我測大模型,我把英偉達的那些開源項目都研究過,我覺得目前來說在測大模型沒有大家想得那么高深。

      你真的去把代碼翻出來看,他的實現(xiàn)原理好像大家也沒有什么好的解決問題,不管是幾千Gstar的項目還是說英偉達官方提出來的,我覺得測試都還沒有伸到模型里面把一個復(fù)雜的你可以理解有很多參數(shù)的數(shù)學(xué)公式解構(gòu)出來。

      張金池:如果解構(gòu)不出來,就會變得非常不可控。

      陳立權(quán):我覺得這個問題長期都解決不了,只能通過嘗試各種測試用例去驗證。

      張金池:不斷積累測試用例和實戰(zhàn)經(jīng)驗。



      汽車行業(yè)需要一個

      怎樣的安全聯(lián)盟?

      繆亮艷:謝謝各位。我剛說了做這個論壇主持人是所有論壇里面最難的,為什么?做了好幾屆主持人,就這一屆到第八個問題你們才交流。

      前幾屆都是兩個問題點下來就開始PK,到不了后面說明你們都是技術(shù)大拿比較i一點,比較向內(nèi)一點,但是確實我們找到了一個共同點。

      今天校長給到我們的核心主題還是在攻跟防兩端,核心的目的是為了我們今天問的最后一個問題。

      我把立意稍微拉高一點,核心問題是為了我們最后的一個問題,為什么我們要坐在這里,為什么我們要一群人聚到一起,我們的目的是什么?

      當(dāng)后續(xù)的攻擊防守以及標準制定,其實今天沒有聊太多標準的事情,因為時間也沒了。

      在這種三角關(guān)系在后續(xù)的包括自動駕駛、智能座艙到來的更高要求的情況下,他們?nèi)绾沃貥?gòu)?誰應(yīng)該主導(dǎo)智能汽車網(wǎng)絡(luò)攻防應(yīng)急的響應(yīng)聯(lián)盟?是政府部門、行業(yè)協(xié)會還是頭部企業(yè),還是安全廠商,還是整車廠。

      問題不是這個,問題是我們需要這樣一個組織和機構(gòu),我們什么時候需要?

      李均:這個事我有很多吐槽點。

      繆亮艷:其實就是順著剛才羅教授問題來的。

      李均:提到聯(lián)盟我的吐槽點很多,我覺得很多事情本來想說以政府來主導(dǎo),但是政府來主導(dǎo)最后參與的還是具體的人,具體公司的人,具體行業(yè)里面的人,大家都有各自的利益在里面。

      我寫標準,我把自己埋在里面,我做聯(lián)盟,我做個什么東西我要卡別人,最終又回到商業(yè)競爭上,從最理想情況下和做得最好的美國來看,是美國政府在主導(dǎo),美國的國防承包商比如說現(xiàn)在我們Mater,是美國國防承包商,他運營全球最大的網(wǎng)絡(luò),像大家熟知的CVE漏洞,就是他在運營,但是國家給錢。

      但是在中國來說,比如說我們汽車行業(yè)有這樣的漏洞庫存,像CIVD,您剛才講的跟圖片文章里面有個AUTOSAR(音)中國要自己要搞個AUTOSAR(音),我也不知道為什么我去申請加入AUTOSAR(音)人家要說。

      對方以我們是中國企業(yè)為由,拒絕我們加入,但是我也有辦法我現(xiàn)在在里面混進去了,每次開會都有我。

      但是問題就在于說別人的AUTOSAR(音)開會你會發(fā)現(xiàn)他講的都是很具體的問題,大家這個聯(lián)盟之間的漏洞的共享,但是中國的AUTOSAR(音)自己還挺封閉的,他被別人排除了之后他自己還挺封閉。

      完了之后,你發(fā)現(xiàn)我們這種從業(yè)者沒有辦法拿到他數(shù)據(jù),他還拿著數(shù)據(jù)在招投標里面去卡你,沒有這個東西你就是不能參與。

      所以我覺得這個變味兒了,在中國是有特殊國情,所以我也不應(yīng)該是由政府還是?



      繆亮艷:我的問題是你是不是覺得需要?

      李均:肯定是需要。

      繆亮艷:什么時候?

      李均:現(xiàn)在就需要,而且現(xiàn)在已經(jīng)有了,有一個畸形的存在。

      比如說工信部有個漏洞庫叫CIVD是中汽中心在主導(dǎo),那他就拿著個數(shù)據(jù)說我招投標的時候,我產(chǎn)品里面要集成這個數(shù)據(jù),但是他又不給別人開放,他要寫到招投標里。所以在中國做這種東西,我認為很多時候大家的動機不純。

      繆亮艷:商業(yè)氛圍更重是吧?

      李均:對。

      繆亮艷:但是現(xiàn)在我們又需要他。

      李均:不需要這種畸形的。

      繆亮艷:需要一個良性的。

      李均:需要有那種所謂的國家單位一類二類,就是靠國家養(yǎng)著的單位來,你不要是由下廠去做生意拿項目的單位來運營這不合理。

      繆亮艷:我們聽聽車廠的意見。

      羅蕾:我也覺得有需要,有必要。繆總說的聯(lián)盟是不是今年已經(jīng)有的中汽協(xié)牽頭的聯(lián)盟,華為引望都在里面是有這樣一個聯(lián)盟的。

      繆亮艷:我知道有很多機構(gòu)都在這個運作過程中,但不少機構(gòu)都在醞釀籌備,卻都還游離在核心協(xié)作之外,我也想聽聽你們從車廠到合作方的一些想法。

      羅蕾:我也有關(guān)注這個聯(lián)盟,本身這個聯(lián)盟它里面有這么幾項作用或者它成立的目的,有這么幾項還挺有意義的。

      第一個是說首先你這個車企被網(wǎng)絡(luò)攻擊之后,你本來應(yīng)該是單點來彌補這個相關(guān)漏洞,那你現(xiàn)在要把這個漏洞進行一個共享,來避免說你單車單企業(yè)的漏洞成為整個行業(yè)的漏洞,你要把它共享出去,尤其是你如果有一些措施非常有效,所以我覺得共享機制挺好的。

      第二,你這些車企可以聯(lián)手一起來形成一些行業(yè)規(guī)范,標準或者白皮書,他們已經(jīng)有一些主機廠以及中汽協(xié)在醞釀,這個聯(lián)盟如果是那個聯(lián)盟今年已經(jīng)成立,目前是處于一個雛形正在起步,我覺得蠻好的。

      第三,但是我也是跟李均總意見是一樣的,我是覺得能夠良性發(fā)展,對主機廠,對這個行業(yè)里面的……

      繆亮艷:包容性更寬廣,更共享,能這樣理解嗎?

      李均:所有的聯(lián)盟成立的時候利益都是很好的,但是你成立之后在實際干的事是什么呢?你有漏洞,你上汽漏洞會跟廣汽去說嗎?不會,說完之后人家消費者,是他泄露出來的,上汽有漏洞,廣汽后面到處宣傳。

      我認為要怎么做呢,法規(guī)要求強制上報,強制上報由國家監(jiān)管單位,把數(shù)據(jù)脫敏,提取出相關(guān)信息。

      他真的可能會影響到廣汽的供應(yīng)鏈的安全再公布出來,把這個事情過濾,但是后面做評判的這幫人必須得是國家養(yǎng)著的,不要是被企業(yè)包養(yǎng)的。

      繆亮艷:我們其實最終需要的是一個商業(yè)化利益影響更小,更注重對于行業(yè)安全,行業(yè)信任度這樣的一個機構(gòu)。

      曾劍雋:其實這個問題比較簡單,就是運動員和裁判員,裁判員做好裁判員,運動員做好運動員,裁判員就不要下場做運動員了,只要能秉持這個基本理念我覺得還是可以的,沒那么復(fù)雜。

      繆亮艷:順序到了羅教授了。

      羅蕾:確實非常有必要,確實需要更具公信力的聯(lián)盟,其實在我們國家其他行業(yè)都有一些辦法去解決,在其他行業(yè)已經(jīng)做過了。

      繆亮艷:其實是很成熟的?

      羅蕾:對,他確實需要比較功利來得做,一定需要。

      陳立權(quán):汽車是行業(yè)性的,從大的方向,從標準來說國家是有專門的機構(gòu)、專門的標準研究院,包括我們密碼方面,行政方面是由國家密碼管理局來牽引投入,由密碼標準研究院牽頭制定相關(guān)標準,這就是純國家的。

      當(dāng)然,會有些人情關(guān)系大家熟一點,但是企業(yè)在密碼層面會有這樣的標準,更多地會有地方標準,地方標準更多會有企業(yè)參與進來,這可能會有更多地域性的東西。

      在行業(yè)里面可能也會存在這樣的現(xiàn)象,但是怎么做到更公開、公正、透明,這是需要整個行業(yè)一起來努力的。

      張金池:大家意見都比較一致,這里面整個的推進過程能夠更加從行業(yè)性去出發(fā),完全公益性可能也不太現(xiàn)實,但是這里面至少分得清誰的責(zé)任、誰的權(quán)利、誰的義務(wù),不能全都攪到一塊兒,這樣走著走著可能會變樣。

      或者更長遠的發(fā)展,更多的我覺得協(xié)會都是為了行業(yè)的發(fā)展,都是為了大家能夠更好的進步,更好的提升技術(shù),讓技術(shù)的歸技術(shù),行業(yè)在技術(shù)上面突破當(dāng)中不斷的前進。

      繆亮艷:感謝,我聽下來今天我們坐在這里,就是有agree和disagree,但我們至少有一個共同的期望,今天我們開這樣一個論壇,坐到一起我們討論了很多技術(shù)問題、行業(yè)問題、標準問題,關(guān)于各個方面的。

      最終在這個點上,我們都希望有一個機構(gòu)能夠幫助汽車網(wǎng)絡(luò)安全,或者這個行業(yè)、這個賽道、這個產(chǎn)業(yè)能夠有一個依靠,更平穩(wěn)地往前順利地發(fā)展。

      不管新的技術(shù)怎么來,至少是有一個偏官方的機構(gòu)幫助我們推動這個行業(yè)發(fā)展,散亂在外面,在美國有比較好的一家公司在這樣做,但如果我們做得沒人家好就會落后,類似這樣的概念。

      今天拖堂比較嚴重,不是從我開始拖的,是從上一個論壇就開始拖了,我只是稍微跟著拖了一下。

      其實汽車網(wǎng)絡(luò)安全的核心難題,本質(zhì)上是源于物理世界和虛擬世界、數(shù)字世界之間深度的融合,帶來了一些問題和風(fēng)險。

      我們不能簡單地認為是一個IT問題或者是工程師的問題,我覺得我看到更多的想法是我們需要一個技術(shù)革新、流程再造、標準統(tǒng)一、生態(tài)合作、法規(guī)完善和人才培養(yǎng)的多管齊下的環(huán)境,來應(yīng)對更復(fù)雜的后續(xù)行業(yè)的終極目標。

      因為我們相信最后的最后,其實安全永無止境,感謝大家!謝謝!

      特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務(wù)。

      Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

      相關(guān)推薦
      熱點推薦
      清華大學(xué)公示:邱某某、吳某某同學(xué),擬被退學(xué)處理

      清華大學(xué)公示:邱某某、吳某某同學(xué),擬被退學(xué)處理

      新京報政事兒
      2026-01-22 22:41:33
      批評美國后不到24小時,古特雷斯取消參會,特朗普對華發(fā)出邀請

      批評美國后不到24小時,古特雷斯取消參會,特朗普對華發(fā)出邀請

      知鑒明史
      2026-01-21 18:07:18
      -14℃!又要下雪!新一輪雨雪即將抵達安徽

      -14℃!又要下雪!新一輪雨雪即將抵達安徽

      魯中晨報
      2026-01-22 14:35:09
      終于理解為啥呂布從沒斬殺有名大將,卻被稱為第一猛將!評論太精辟

      終于理解為啥呂布從沒斬殺有名大將,卻被稱為第一猛將!評論太精辟

      熱鬧的河馬
      2024-10-08 16:25:19
      CBA積分榜最新排名!前3很穩(wěn),北京沖進前4,山東第8,遼寧第10

      CBA積分榜最新排名!前3很穩(wěn),北京沖進前4,山東第8,遼寧第10

      老吳說體育
      2026-01-23 00:26:05
      委內(nèi)瑞拉和伊朗這一手“反水”,直接給中國上一堂最昂貴的戰(zhàn)略課

      委內(nèi)瑞拉和伊朗這一手“反水”,直接給中國上一堂最昂貴的戰(zhàn)略課

      南權(quán)先生
      2026-01-16 16:22:00
      平頭哥上市,馬云再迎IPO

      平頭哥上市,馬云再迎IPO

      媒體訓(xùn)練營
      2026-01-22 21:40:20
      猛烈拋售,歐洲巨頭暴跌35%!

      猛烈拋售,歐洲巨頭暴跌35%!

      數(shù)據(jù)寶
      2026-01-22 21:28:59
      往后,遍地是絕望的工程人

      往后,遍地是絕望的工程人

      黯泉
      2026-01-22 23:34:13
      眼神給出去刷屏,“性商教母”撈金超2400萬元,誰在為“性商”課程買單?

      眼神給出去刷屏,“性商教母”撈金超2400萬元,誰在為“性商”課程買單?

      新民周刊
      2026-01-22 18:24:18
      公公催我去銀行簽字,我:簽什么?丈夫:我表哥要你做共同還款人

      公公催我去銀行簽字,我:簽什么?丈夫:我表哥要你做共同還款人

      朝暮書屋
      2026-01-21 17:07:25
      真正的神顏都是雌雄同體,看完《鏢人》陳麗君才知道啥叫風(fēng)流倜儻

      真正的神顏都是雌雄同體,看完《鏢人》陳麗君才知道啥叫風(fēng)流倜儻

      娛樂圈十三太保
      2026-01-20 17:54:20
      難以置信!女孩父母去孩子大學(xué)玩,讓大三的男友來招待吃飯引爭議

      難以置信!女孩父母去孩子大學(xué)玩,讓大三的男友來招待吃飯引爭議

      火山詩話
      2026-01-22 06:33:24
      廣東強勢擊敗廣廈,CBA最新積分榜:廣東躍升至第二!

      廣東強勢擊敗廣廈,CBA最新積分榜:廣東躍升至第二!

      星Xin辰大海
      2026-01-22 16:23:04
      葉文斌已經(jīng)穿上囚服,稱自己是想賺錢,但也是被騙進園區(qū)的

      葉文斌已經(jīng)穿上囚服,稱自己是想賺錢,但也是被騙進園區(qū)的

      映射生活的身影
      2026-01-22 17:50:07
      為何生涯僅1冠1MVP的諾維斯基能夠得到世人如此巨大的尊重?

      為何生涯僅1冠1MVP的諾維斯基能夠得到世人如此巨大的尊重?

      籃球小煙花
      2026-01-22 09:19:57
      約旦、阿聯(lián)酋等國發(fā)表聯(lián)合聲明 決定加入所謂“和平委員會”

      約旦、阿聯(lián)酋等國發(fā)表聯(lián)合聲明 決定加入所謂“和平委員會”

      每日經(jīng)濟新聞
      2026-01-22 17:07:22
      一集比一集上頭,Netflix新劇又爆了!連刷全集!

      一集比一集上頭,Netflix新劇又爆了!連刷全集!

      動物奇奇怪怪
      2026-01-23 04:00:01
      男子強奸大嫂又刺死見義勇為者案續(xù):被害方稱已起訴女方索賠

      男子強奸大嫂又刺死見義勇為者案續(xù):被害方稱已起訴女方索賠

      南方都市報
      2026-01-22 22:04:05
      探訪理想常州工廠:“被放假”是常態(tài),這個春節(jié)很難

      探訪理想常州工廠:“被放假”是常態(tài),這個春節(jié)很難

      生活魔術(shù)專家
      2026-01-23 02:00:19
      2026-01-23 06:52:49
      汽車商業(yè)評論 incentive-icons
      汽車商業(yè)評論
      推動新汽車向前進
      1543文章數(shù) 80關(guān)注度
      往期回顧 全部

      汽車要聞

      配備多塊娛樂屏 極氪8X內(nèi)飾曝光

      頭條要聞

      特朗普起訴美國最大銀行 索賠至少50億美元

      頭條要聞

      特朗普起訴美國最大銀行 索賠至少50億美元

      體育要聞

      跑個步而已,他們在燃什么?

      娛樂要聞

      車銀優(yōu)賺800億 涉嫌逃稅200億!

      財經(jīng)要聞

      西貝拿到“救命錢”,然后呢

      科技要聞

      幾千億只是開胃菜,AI基建還得再砸?guī)兹f億

      態(tài)度原創(chuàng)

      教育
      旅游
      親子
      房產(chǎn)
      時尚

      教育要聞

      上海警校招生3大條件!身高視力不過關(guān)必看

      旅游要聞

      南方人看雪新地標!不用去東北,廬山霧凇 + 云海,美得像童話!

      親子要聞

      真相很可怕!終于揭秘:為什么你記不住3歲前的事?

      房產(chǎn)要聞

      開年王炸!四重政策紅利加碼,廣州置業(yè)窗口期邁入倒計時!

      這些才是最日常的冬季穿搭!不露腿、不扮嫩,簡約舒適又保暖

      無障礙瀏覽 進入關(guān)懷版 主站蜘蛛池模板: 日日cao| 堆龙德庆县| 毛葺葺老太做受视频| 亚洲中文字| 天堂网国产| 最新亚洲人成无码网www电影| 欧亚AV| 五十路老熟妇| 午夜精品区| 激情综合网激情激情五月天| 亚洲国产福利成人一区二区| 制服丝袜无码| 一本色道久久综合精品婷婷| 偶偶福利影院| 精品人妻一区二区蜜臀av| 黄页网址大全免费观看| 人妻丰满熟妇aⅴ无码| 成年女人永久免费观看视频| 国产成人啪精品午夜网站| 九九热免费在线视频| 欧美性猛交xxxx乱大交极品| 九一看片| 男人下部进女人下部视频| 波多野结衣第一页| 野外少妇愉情中文字幕| 久久久av男人的天堂| 久久久噜久噜久久gif动图 | 亚洲欧美视频| 亚洲精品一二三| 一区二区水蜜桃| 中文字幕久久人妻| 69精品人人人| 国产亚洲精| 99在线小视频| 国产成人高清精品免费5388| 一个人看的www视频免费观看| 启东市| 亚洲2022国产成人精品无码区| 在线观看日韩av| 性生交片免费无码看人| 老司机夜间福利|