特斯拉芯片路線圖發布

公眾號記得加星標??，第一時間看推送不會錯過。

英偉達通常以每年發布一款人工智能GPU，這使該公司始終領先于所有競爭對手。AMD投入巨資以保持競爭力，因此也以每年發布新款人工智能加速器。顯然，埃隆·馬斯克希望特斯拉發展得更快，每九個月發布一款新的人工智能處理器，最終趕上AMD，進而趕上市場領導者英偉達。馬斯克的計劃似乎存在一些限制，但他似乎正在尋求解決方案。

“我們的AI5芯片設計已接近完成，AI6也處于早期階段，但未來還會有AI7、AI8、AI9，”埃隆·馬斯克在X上發帖稱?！澳繕耸?個月的設計周期。加入我們，共同打造我預測迄今為止全球產量最高的AI芯片！”

埃隆·馬斯克的特斯拉在發布新硬件方面不如AMD和英偉達那樣迅速。這背后的原因在于：特斯拉的處理器主要面向汽車，而汽車對冗余性和安全性認證有著極高的要求。雖然冗余設計對于尺寸往往達到極限（即EUV光刻系統光罩尺寸極限）的大型高性能AI處理器來說很常見，但汽車所需的安全性卻完全是另一個級別。

汽車芯片（尤其是用于高級駕駛輔助系統 (ADAS) 和自動駕駛系統的芯片）的自動化安全性必須符合嚴格的功能安全要求。ISO 26262 標準是相關規范之一，但絕非唯一標準。

對于高級駕駛輔助系統（ADAS）和自動駕駛（直至完全自動駕駛），監管機構越來越要求進行基于場景的測試（包括極端情況和故障模式）、道路測試許可（針對更高自動化程度）、預期功能的安全性以及網絡安全合規性和軟件更新。畢竟，開發汽車處理器比開發數據中心處理器要容易得多，這一點毋庸置疑。

假設特斯拉繼續將其處理器用于汽車和數據中心，那么芯片的研發周期能否縮短？這似乎是可行的，但必須滿足非常嚴格的限制條件，而且不會像傳統的“全新”芯片研發周期那樣。讓我們來詳細分析一下。

只有當 AI6、AI7、AI8 和 AI9 是基于平臺的增量迭代，而非全新設計時，9 個月的設計周期才是現實的。這意味著要復用相同的核心架構、編程模型、內存層次結構、安全框架和大部分 IP，改動僅限于擴展計算能力、調整 SRAM、對數據流進行適度調整，或計劃中的節點重新定向。任何引入超出計算范圍的內容，例如新的內存類型、編譯器模型、一致性方案或安全架構，都會立即延長開發周期。然而，在英偉達主導的競爭激烈的數據中心領域，這些標準是多余的：性能和軟件棧才是關鍵。

特斯拉芯片，改寫規則

特斯拉是如何記住30秒前看到的停車標志的？人形機器人又是如何搬運沉重且晃動的箱子并保持完美平衡的？

這都歸功于旋轉位置編碼（RoPE： Rotary Positional Encoding）——人工智能的“大腦GPS”，它通過為每個數據分配一個獨特的旋轉角度，使人工智能能夠理解自身在時空中的位置。

通常，這種計算對硬件要求極高。為了防止這些角度“漂移”到混亂狀態，需要耗電且發熱量大的32位處理器（能夠以極高的十進制精度進行計算的芯片）。

但特斯拉卻找到了一種突破物理定律的方法。特斯拉的“混合精度橋”（MIXED-PRECISION BRIDGE）技術已在專利US20260017019A1中公開，它是一種數學轉換器，能夠讓低成本、低功耗的8位硬件（通常只能處理簡單的整數）執行高精度的32位旋轉運算，而不會丟失任何坐標。

這項突破性技術就是秘密的“Silicon Bridge”，它賦予Optimus和FSD高端智能，同時又不會犧牲一英里的續航里程或損壞內部電路。它有效地將特斯拉高效的“預算型”硬件變成了一臺高保真度的移動超級計算機。

1、問題：精度的高昂代價

在自動駕駛汽車和人形機器人領域，我們始終在精度和性能之間進行著一場博弈。像Transformer這樣的現代人工智能模型依賴于RoPE算法來幫助人工智能理解物體在序列或三維空間中的位置。

關鍵在于，這些三角函數（正弦和余弦）通常需要32位浮點運算——想象一下，要用10位小數的精度來計算飛行路徑。

如果試圖將其塞進用于提高速度的標準8位乘法器（INT8）中（這相當于將所有結果四舍五入到最接近的整數），誤差會迅速累積。這輛車實際上對細微之處視而不見。

對于Optimus這樣的機器人來說，哪怕是微小的計算誤差都可能導致失去平衡或誤判與易碎物體的距離。為了彌補這一缺陷，又不至于簡單地增加更昂貴的芯片，特斯拉必須從根本上重新思考數據在硅芯片中的傳輸方式。

2、特斯拉的解決方案：

對數捷徑（logarithmic shortcut ）和預計算

特斯拉的工程師意識到，他們無需強制整個流程都達到高精度。相反，他們設計了混合精度橋接器。

他們將用于定位的關鍵角度轉換為對數。由于對數的“動態范圍”遠小于原始數值，因此更容易在窄精度的 8 位硬件中傳輸數據，而不會丟失信息的“靈魂”。

這有點像為了便于運輸而脫水食物；它占用空間更小，更易于處理，而且之后可以完美地復原。

至關重要的是，該專利揭示了該系統并非每次都實時計算這些對數。相反，它會從一個專門的“速查表”（查找存儲）中檢索預先計算好的對數值，從而節省計算周期。

通過將數據保持在這種“脫水”的對數狀態，特斯拉確保了精度在從存儲芯片到實際計算核心的傳輸過程中不會“泄露”。然而，將數據保持在對數狀態僅僅是成功的一半；芯片最終需要重新理解實數。

3、恢復架構：旋轉矩陣和霍納方法

當 8 位乘法器（乘法累加器或 MAC）完成其工作時，數據仍然處于“脫水”的對數狀態。為了在不產生巨大計算成本的情況下將其恢復到實數角度 theta，特斯拉的高精度 ALU 使用了一種通過霍納方法優化的泰勒級數展開。

這是一個經典的計算機科學技巧，它將復雜的方程式（例如指數運算）分解成一系列簡單的乘法和加法運算。

通過分三個特定階段運行此過程——每一步都乘以 1/3 和 1/2 等常數——特斯拉能夠在極短的時鐘周期內，以 32 位精度近似計算出角度的精確值。

角度恢復后，高精度邏輯電路會生成一個旋轉矩陣（一個由正弦和余弦值組成的網格），將數據點鎖定到其正確的 3D 坐標系中。

這種計算效率令人印象深刻，但特斯拉并沒有止步于提高計算速度；他們還找到了一種方法，使數據本身的“高速”傳輸速度翻倍。

4、數據拼接：8 位輸入到 16 位輸出

專利中詳述的最巧妙的硬件“技巧”之一是特斯拉如何通過 8 位總線傳輸 16 位精度的數據。它們將 MAC 用作高速交織器——實際上就像一個“交通警察”，負責合并兩條數據通道。

它接收兩個 8 位值（例如，X 坐標和對數的前半部分），并將其中一個乘以 2 的冪，從而將其“左移”。

這有效地將它們粘合在一起，形成輸出寄存器中的一個 16 位字，使得低精度域可以充當高速打包器，供高精度 ALU “解包”。

這項技術無需對硬件進行物理重新設計，即可有效地將芯片上現有線路的帶寬提升一倍。有了這條高速數據傳輸通道，該系統最終能夠解決自主人工智能領域最大的挑戰之一：物體恒存性。

5、長上下文記憶：記住停車標志

這項高精度數學運算的最終目標是解決“遺忘”問題。在之前的FSD版本中，汽車可能看到一個停車標志，但如果一輛卡車擋住了它的視線5秒鐘，它就可能“忘記”這個標志的存在。

特斯拉使用“長上下文”窗口，允許人工智能回溯30秒或更久以前的數據。

然而，隨著時間“距離”的增加，標準的位置運算通常會發生漂移。特斯拉的混合精度管道通過保持高位置分辨率來解決這個問題，確保人工智能即使在長時間移動后也能準確知道被遮擋的停車標志的位置。

RoPE的旋轉精度非常高，以至于標志始終清晰可見。車輛的“心理地圖”會將視頻“鎖定”在它自身的三維坐標上。但記住30秒的高保真視頻會造成巨大的存儲瓶頸。

5、KV緩存優化和分頁注意力機制：擴展內存

為了使這30秒的視頻記憶能夠實時使用而不會耗盡RAM，特斯拉優化了KV緩存（鍵值緩存）——人工智能的“工作內存”暫存區。

特斯拉的硬件通過將位置的對數直接存儲在緩存中來處理這個問題。這減少了50%或更多的內存占用，使特斯拉能夠在相同的RAM容量下存儲兩倍的“歷史記錄”（最多12.8萬個標記）。

此外，特斯拉還采用了分頁注意力機制——一種借鑒自操作系統的技術。它不是預留一大塊連續的內存（效率低下），而是將內存分割成小的“頁面”。

這使得AI5芯片能夠僅在需要的地方動態分配空間。大幅增加車輛可同時追蹤的物體（行人、車輛、標志）數量，而不會出現系統延遲。

然而，即使存儲效率無限高，人工智能的注意力機制也存在缺陷：當超出訓練極限時，它容易崩潰。

6、流水線完整性：“只讀”安全鎖

該專利中一個微妙但至關重要的細節是特斯拉如何保護這些數據。一旦生成轉換后的坐標，它們就會存儲在一個特定位置，下游組件可以讀取，但無法寫入。

此外，高精度 ALU 本身也無法從該位置讀取數據。

這種單向“氣鎖”可防止系統意外覆蓋自身的歷史記憶或創建可能導致人工智能產生幻覺的反饋回路。它確保車輛位置的“真實”信息只沿一個方向流動：向前，流向決策引擎。

7、注意力接收器：防止內存溢出

即使使用精簡的鍵值緩存，機器人連續運行數小時后，不可能永遠記住所有信息。特斯拉利用注意力接收器（Attention Sink）令牌來解決這個問題。

Transformer 處理器傾向于將“多余的”注意力信息存儲在序列的第一個令牌中，因此，如果特斯拉簡單地使用“滑動窗口”來刪除舊記憶，人工智能就會丟失這些“接收器”令牌，其大腦實際上就會崩潰。

特斯拉的硬件設計旨在將這些注意力接收器永久“固定”在鍵值緩存（KV-cache）中。通過保持這些數學錨點的穩定，同時讓剩余的記憶窗口向前滑動，特斯拉可以防止機器人的神經網絡在長時間、數小時的工作輪班期間出現不穩定。

雖然注意力接收器可以穩定“記憶”，但“計算”方面也存在效率低下的問題——具體來說，就是在空的空間上浪費電力。

8、稀疏張量：精簡計算

特斯拉的定制芯片不僅在精度上取巧，而且在計算量上也取巧。在現實世界中，汽車或機器人的大部分計算都依賴于……看到的是“空白”空間（例如晴朗的天空）。

在人工智能數學中，這些空白空間在稀疏張量（一種忽略空白空間的數據結構）中表示為“零”。標準芯片會浪費能量來計算所有這些零，但特斯拉最新的架構集成了原生稀疏加速技術。

該硬件采用“基于坐標”的系統，僅存儲非零值及其具體位置。這樣，芯片就可以完全跳過“空白空間”，只關注真正重要的數據——實際的車輛和障礙物。

這種硬件級的稀疏性支持有效地將 AI5 芯片的吞吐量提高了一倍，同時顯著降低了每次操作的能耗。

9、音頻優勢：警報器的對數求和指數

特斯拉的“Silicon Bridge”不僅用于視覺，它還使您的特斯拉成為世界一流的聆聽者。為了安全導航，自動駕駛汽車需要使用對數梅爾頻譜圖來識別緊急警報聲和附近碰撞的聲音。該方法（以可視化的“熱圖”形式呈現聲音頻率）。

該專利詳細介紹了一種用于處理此問題的特定對數求和指數 (LSE) 近似技術。通過在對數域內進行運算，該系統僅使用 8 位硬件即可處理巨大的聲音“動態范圍”——從微弱的嗡嗡聲到刺耳的消防車鳴笛聲——而不會對響亮的聲音進行“削波”或丟失輕柔的聲音。

這使得汽車能夠以32位清晰度“聆聽”并識別環境聲音。當然，所有這些高科技硬件的性能都取決于驅動它的大腦，因此特斯拉的訓練過程也同樣專業化。

10、量化感知訓練：預先適應“大腦”

最后，為了確保這個“混合精度橋接”完美運行，特斯拉采用了量化感知訓練 (QAT)。

特斯拉并沒有像通常那樣先在完美的 32 位環境下訓練 AI，然后再將其“縮小”（這通常會導致 AI 變得“不聽使喚”且不準確），而是從一開始就訓練模型以適應 8 位限制。

在訓練階段，他們會模擬硬件的舍入誤差和“噪聲”，從而創建一個“預強化”的神經網絡。這就像飛行員在飛行模擬器中訓練，模擬器能夠完美模擬風暴；當他們真正遇到現實世界中的真實天氣時，人工智能不會“漂移”或變得不準確，因為它是在這種環境下誕生的。

這種極致的優化為在遠小于汽車的設備上運行特斯拉人工智能打開了大門。

11、戰略路線圖：從 AI5 到無處不在的邊緣人工智能

這項專利并非僅僅是“錦上添花”的優化；它是特斯拉整個硬件路線圖的數學前提。如果沒有這個“混合精度橋”，下一代自動駕駛的熱力學和功率方程式根本無法成立。

它首先解鎖 AI5 芯片，預計其性能將是現有硬件的 40 倍。如果內存帶寬成為瓶頸，那么強大的性能也毫無用處。

通過將 32 位旋轉數據壓縮成密集的對數空間 8 位數據包，這項專利有效地將有效帶寬提高了四倍，使芯片能夠充分利用其龐大的矩陣計算陣列而不會出現卡頓。

這種效率對于芯片的“半光罩”設計至關重要，該設計在保持超級計算機級吞吐量的同時，縮小了硅片尺寸以最大限度地提高制造良率。

這種效率對于 Tesla Optimus 而言更為關鍵，因為它關乎其運行的成敗。該機器人使用 2.3 kWh 的電池（大約是 Model 3 電池組的 1/30）。

標準的 32 位 GPU 計算會在不到 4 小時內耗盡該電池容量，僅“思考”一項就需要消耗 500W 以上的功率。

通過將復雜的 RoPE 數學運算卸載到這種混合邏輯上，特斯拉將計算功率預算削減到 100W 以下。這解決了“熱墻”問題，確保機器人能夠在長達 8 小時的工作班次中保持平衡和感知能力而不會過熱。

這種穩定性直接促成了端到端神經網絡的轉型。專利中描述的“旋轉矩陣”校正技術可以防止通常困擾長上下文跟蹤的數學“漂移”。

這確保了30秒前看到的停車標志始終“固定”在世界模型中的正確3D坐標上，而不是因為舍入誤差而漂移。

最后，將這些數學運算嵌入芯片中，確保了特斯拉的戰略獨立性。這使公司擺脫了英偉達CUDA生態系統的束縛，并使其能夠與三星和臺積電采用雙代工廠策略，從而降低供應鏈風險。

這造成了計算能力的有意“過?！?，有可能將其閑置的芯片和未售出的芯片轉化為一個分布式推理云，其效率可與AWS相媲美。

但特斯拉的路線圖遠不止于此。由于這種混合精度架構能夠大幅降低功耗，它為“特斯拉人工智能無所不能”的愿景奠定了基礎。

它為將世界一流的視覺模型移植到智能家居中心或智能手機等小型硬件設備打開了大門。這將使小型、低發熱的芯片能夠以零延遲計算3D空間定位——無需將私有數據發送到龐大的云服務器，即可將超級計算機級別的智能帶到邊緣。

（來源：編譯自tomshardware）

*免責聲明：本文由作者原創。文章內容系作者個人觀點，半導體行業觀察轉載僅為了傳達一種不同的觀點，不代表半導體行業觀察對該觀點贊同或支持，如果有任何異議，歡迎聯系半導體行業觀察。

今天是《半導體行業觀察》為您分享的第4292期內容，歡迎關注。

加星標??第一時間看推送

求推薦