一文看懂“存算一體”

今天這篇文章，我們來聊一個最近幾年很火的概念——存算一體。

█ 為什么會提出“存算一體”？

存算一體，英文叫Compute In Memory，簡稱CIM。顧名思義，就是將存儲和計算放在一起。

大家都知道，存儲和計算，是我們處理數據的兩種基本方式。自從計算機誕生以來，我們采用的主流計算架構，是著名的馮·諾伊曼架構。在這個架構中，存儲和計算是兩個相對獨立的模塊。存儲負責數據的存取，而計算則負責運算。

馮·諾依曼架構

我們可以把存儲理解為配菜，計算理解為炒菜。兩者配合到位，才能完成菜品的制作（完成計算任務）。

理論上來說，想要出菜的速度更快，一方面，要加快炒菜的速度（通過提升芯片的算力，例如采用更先進的工藝制程），另一方面，也要加快配菜的速度。

這個速度，簡單來說，就是存儲設備與計算芯片（CPU、GPU等）之間的數據傳輸能力。如果配菜太慢，炒菜師傅就要等待，從而影響整體效率。

以前小棗君給大家介紹存儲的時候曾經說過，計算機的存儲，是典型的分級策略——越靠近處理器（計算單元）的存儲設備，速度越快，容量越小。有緩存（1級/2級/3級）、內存、磁盤（固態/機械）、外部存儲器（本地磁陣、云存儲）這樣的不同類型存儲設備（單元）。

這是由存儲設備的成本決定的。速度越快的存儲設備，成本越高。全部都用最快的存儲，是不現實的，價格太高昂，所以才有了逐級存儲機制。

馮·諾依曼架構，我們用了幾十年，因為數據存儲和計算是明顯分開的，所以也叫做存算分離。

進入互聯網時代后，由于數據量呈現爆炸式增長，對數據計算效率的要求越來越高。這種傳統的架構開始暴露出能力上的缺陷。

尤其是最近這些年，AI的崛起，讓數據計算強度又躍升了好幾個層級。計算芯片在瘋狂提速，而存儲傳輸速率的提升跟不上，由此產生了著名的兩堵墻——“存儲墻”和“功耗墻”。

所謂“存儲墻”，是指存儲設備和處理器之間的數據傳輸速度，遠遠跟不上處理器的計算速度。就像炒菜師傅手藝再好，配菜師傅跟不上節奏，也只能干著急。

業內曾提出，AI運算需要的存算通道速率是1PB/s。SRAM的10-100TB/s、DRAM的40GB-1TB/s，都遠達不到要求。

而“功耗墻”則是指，在數據傳輸過程中，能耗巨大，導致整體系統的能效比不理想。這就像是為了快速配菜，不得不請很多幫手，結果人工成本大大增加。

例如，在7nm工藝下，數據搬運的功耗占比甚至達到了驚人的63.7%，遠遠大于數據計算的功耗。

大家應該都聽說過HBM技術。

HBM（High Bandwidth Memory，高帶寬內存），就是一種嘗試解決“存儲墻”和“功耗墻”問題的新型存儲技術。像英偉達這樣的芯片廠商，采用3D封裝等先進工藝，將存儲單元和計算單元封裝在一起，通過縮短兩者之間的距離，提高數據傳輸速度，同時降低能耗。

HBM在一定程度上緩解了問題，但并沒有從根本上改變存算分離的現狀。于是，業界提出了一個新的解決思路，那就是——存算一體。

既然存儲和計算分離會導致帶寬瓶頸，那么，把存儲和計算直接結合在一起，讓數據在存儲的過程中就能進行計算，或者在計算的過程中就能直接訪問存儲，從而減少數據的搬運次數，不就行了嗎？

這樣一來，既可以提高整體計算效率，也可以降低功耗，徹底解決“兩堵墻”的問題。

實際上，我們的大腦，就是典型的存算一體結構。神經元既負責存儲信息（記憶），也負責處理信息（思考）。這種結構，使得大腦能夠以極高的效率處理復雜的任務，而且能耗極低。

█存算一體的發展歷程

存算一體的研究，其實很早就已經開始了。

早在1969年，斯坦福研究所的Kautz等人，率先提出了存算一體計算機的概念。但是，受限于當時的技術和工藝，概念僅僅停留在理論研究階段，并未得到實際應用。

后來，為了實現存算一體，科學家們進行了大量的研究和嘗試，但仍然進展緩慢。

進入21世紀后，芯片與半導體技術日趨成熟，存算一體化實現的曙光亦逐漸顯現。科學家們發現，某些特殊的材料或器件，能夠在存儲數據的同時，在存儲單元內部執行簡單的邏輯運算。這將大大減少數據的搬運次數和功耗。

2010年，惠普實驗室的Williams教授團隊提出并驗證利用憶阻器實現簡單布爾邏輯功能（聯合、相交、相減等）。

2016年，美國加州大學圣塔芭芭拉分校（UCSB）的謝源教授團隊，提出使用阻變存儲器（RRAM）構建存算一體架構的深度學習神經網絡（PRIME）。相較于傳統馮·諾伊曼架構方案，PRIME可以實現功耗降低約20倍、速度提升約50倍。

2017年，在微處理器頂級年會（Micro 2017）上，包括英偉達、英特爾、微軟、三星、蘇黎世聯邦理工學院與加州大學圣塔芭芭拉分校等都推出了他們的存算一體系統原型，掀起了學術界和產業界的一股“存算一體”熱潮。

最近這幾年，隨著AI浪潮的到來，海量的大模型訓練和推理計算需求爆發，引發了算力產業的新一輪增長。存算一體，更是進入了一個高速發展的快車道。

除了傳統芯片巨頭在加緊研究之外，也有很多創業企業“扎堆”入場。國內有蘋芯科技、后摩智能、知存科技、億鑄科技、智芯科、千芯科技、九天睿芯等。國外有Mythic、Syntiant等公司。

2023年9月，清華大學團隊宣布研發出全球首顆全系統集成的、支持高效片上學習的憶阻器存算一體芯片，再次將“存算一體”推上熱搜。

如今，存算一體已經成為業界最熱門的研究方向，正在加速從理論研究走向產業落地。

█ 存算一體的技術路線

接下來，我們看看存算一體的具體技術分類。

目前，業界根據存儲和計算的距離遠近，將存算一體分為三類，分別是近存計算、存內處理和存內計算。

●近存計算（Processing Near Memory，PNM）

近存計算，通過芯片封裝和板卡組裝等方式，將存儲單元和計算單元集成，增加訪存帶寬、減少數據搬移，提升整體計算效率。

前面提到的HBM共封裝，就是近存計算。

近存計算又分為存儲上移和計算下移。HBM那個，屬于存儲上移。計算下移是采用板卡集成技術，將數據處理能力卸載到存儲器，典型方案是CSD可計算存儲。

近存計算嚴格來說仍然是屬于存算分離架構。這個路線比較容易實現，現在已經廣泛應用于AI、大數據、邊緣計算、物聯網等場景。

●存內處理（Processing In Memory，PlM）

存內處理，是在芯片制造的過程中，將“存”與“算”集成在同一個晶粒（Die）中，使存儲器本身具備了一定的算力。

存內處理本質上仍是存算分離。相比于近存計算，“存”與“算”距離更近。

目前，業內的存內處理方案大多在內存（DRAM）芯片中加“算力”，比較典型的產品形態為HBM-PIM（三星）和PIM-DIMM。這類方案適合應用于語音識別、數據庫索引搜索、基因匹配等場景。

●存內計算（Computing in Memory，ClM）

存內計算，這是真正的存算一體了（也屬于業界所說的狹義的存算一體）。

在芯片設計的過程中，不再區分存儲單元和計算單元，直接消除“存”“算”界限，真正實現存算徹底融合。

這個方案的主要服務場景就是AI計算。

AI深度學習算法中包含了大量的矩陣乘法運算，其本質是乘累加（Multiply Accumulate, MAC）運算。

存算一體技術可以將這些運算直接映射到存儲結構中，在存儲單元的核心電路上做修改，從而在讀取的同時進行數據輸入和計算處理，在存儲陣列中完成卷積運算。這帶來了極高的能效比和極低的延遲。

存算一體芯片的大致架構

█存算一體的存儲介質

以前小棗君給大家介紹半導體存儲的時候說過，存儲器分為易失性存儲器和非易失性存儲器。

存內計算的電路，也可以基于這兩種存儲器。

易失性，就是內存那種，掉電了數據就沒了，例如SRAM、DRAM。

非易失性，掉電時數據不會丟失，如傳統的閃存NOR Flash和NAND Flash，以及一些新型存儲器：阻變存儲器RRAM（ReRAM）、磁性存儲器MRAM、鐵變存儲器FRAM（FeRAM）、相變存儲器PCRAM（PCM）等。

SRAM、DRAM、Flash等都是成熟的技術，基于電荷的移動完成數據存儲。

DRAM成本低，容量大，但是可用的eDRAM IP核工藝節點不先進，讀取延遲（Latency）也大，且需要定期刷新數據。Flash則屬于非易失性存儲器件，具有低成本優勢，一般適合小算力場景。SRAM在速度方面具有極大優勢，有幾乎最高的能效比，容量密度略小，在精度增強后可以保證較高精度，一般適用于云計算等大算力場景。

目前，針對新型存儲器的研究非常熱門。例如RRAM、MRAM等，基于電阻大小的變化完成數據存儲功能。

新型存儲器中，憶阻器（RRAM）的研究熱度最高。

RRAM使用電阻調制來實現數據存儲，讀出電流信號而非傳統的電荷信號，可以獲得較好的線性電阻特性。但目前RRAM工藝良率爬坡還在進行中，而且依然需要面對非易失存儲器固有的可靠性問題。

需要說明的是，存內計算主要包含模擬和數字兩種實現方式。

模擬存內計算能效高，但誤差較大，實現低功耗低位寬的整數乘加計算，適用于低精度、低功耗計算場景，例如端側可穿戴設備等。模擬存內計算通常使用FLASH、RRAM、PRAM等非易失性介質作為存儲器件，存儲密度大，并行度高，但是對環境噪聲和溫度非常敏感。

數字存內計算誤差低，但單位面積功耗較大，適用于高精度、功耗不敏感的計算場景，例如云端AI場景。數字存算一體主要以SRAM和RRAM作為存儲器件，具有高性能、高精度的優勢，且具備很好的抗噪聲能力和可靠性，

█存算一體的應用場景

前面已經說過，存算一體天然適合AI相關的計算場景。

自然語言處理、信息檢索、圖神經網絡、智能決策、具身智能等人工智能應用，對算力效率以及系統能耗有極高的要求。傳統的“存算分離”難以應對，存算一體則非常適合。

除了AI之外，就是AIoT智能物聯網產品。碎片化的AIoT市場對先進工藝芯片的需求并不強烈，反而更關注芯片的成本、功耗、開發難度。

存算一體芯片在這些方面都有優勢，非常適合采用。

在一些大算力場景，例如云端AI計算，也是存算一體的用武之地。

目前的AI計算，基本上都是GPU為主。GPU在算力和能效上都無法同時與專用加速芯片（ASIC）競爭。在云計算算力市場，GPU的單一架構也已經不能適應不同AI計算場景的算法離散化特點。例如在圖像、推薦、NLP領域，都有各自的主流算法架構。

新型的存算一體芯片，具有能效優勢，也適合固定場景的計算任務，應用潛力巨大。

此外，存算一體芯片還有一些其他延伸應用，比如感存算一體、類腦計算等。這些也是非常具有潛力的市場領域。

█存算一體面臨的挑戰

存算一體的技術前景非常廣闊，但是我們也必須認識到，這項技術的實現和普及還面臨著諸多挑戰。

首先，是來自技術上的挑戰。

存算一體采用新型存儲技術，對半導體工藝有更高的要求。在芯片架構、電路設計和材料選擇等方面，都仍有待進一步研究和創新。

其次，是來自生態上的挑戰。

存算一體技術作為一個新興領域，其生態系統尚未完全建立。

例如，在芯片設計階段，由于存算一體芯片區別于常規的芯片設計方案，所以目前市面上沒有成熟的專用EDA工具輔助設計和仿真驗證。芯片流片之后，也沒有成熟的工具協助測試。在芯片落地應用階段，沒有專用的軟件與之匹配。

為此，需要產業界協作，進一步提高設計工具鏈的成熟度，實現自動化EDA工具與跨平臺編譯器的支持，加強代工廠標準IP庫的建設與優化多場景下的制造成本，以便提高產業鏈的整體協同能力。

最后，是來自市場上的挑戰。

雖然存算一體技術具有廣闊的市場前景，但目前市場上仍存在諸多不確定因素。存算一體芯片的架構場景通用性及規模擴展能力較差。傳統存算分離架構仍占據主導地位，存算一體技術需要與傳統架構進行競爭。

存內計算僅適合原本就對存儲需求較大的場景，而對于本身存儲需求并不高的場景，為了引入內存計算而加上一塊大內存反倒會增加成本適得其反。

用戶對性價比非常關注，需要考慮用戶的需求和場景是否能夠接受存算一體。存算一體，也要在AI的發展過程中尋找自己的落地場景。

總之，挑戰還是很多的。但是，隨著技術的不斷進步以及業界的不懈努力，相信這些問題都會得到逐步解決。

█最后的話

根據QYResearch調研團隊報告《全球存算一體技術市場報告2023-2029》顯示，預計2029年全球存算一體技術市場規模將達到306.3億美元，未來幾年年復合增長率CAGR為154.7%。

這是一個非常具有潛力的市場。未來幾年，存算一體領域還會有更多的技術創新出現，涌現出更多優秀的企業。讓我們拭目以待！

參考文獻：

1、《存算一體：內核架構創新，打破算力能效極限》，勢乘資本和光錐智能；

2、《存算一體白皮書（2022年）》，中國移動研究院；

3、《ChatGPT：存算一體，算力的下一極》，華西證券；

4、《消除馮·諾依曼計算架構瓶頸，存算一體未來幾何？》，松禾資本。