專訪原粒半導(dǎo)體：用「芯粒」方法重構(gòu)AI芯片解決大模型推理算力需求

2022 年底 ChatGPT 的發(fā)布帶來生成式 AI 的飛速發(fā)展，大模型應(yīng)用領(lǐng)域已經(jīng)從自然語言對話等文本生成拓展到綜合了文本、語音、圖像、視頻等多種媒介的多模態(tài)生成式 AI 場景。

傳統(tǒng)上，大模型的訓練和推理都在云端數(shù)據(jù)中心完成，全球各個大模型巨頭公司都投入了重金在數(shù)據(jù)中心建設(shè)上。今年 5 月下旬以來，國內(nèi)的云端大模型推理服務(wù)價格跳水，大模型進入“白菜價”時代，降價之后各種領(lǐng)域的 AI 應(yīng)用將“遍地開花”。

大模型應(yīng)用普及的同時，也給 AI 大模型服務(wù)提供商帶來了巨大的成本壓力。推理價格的降低，必然要求服務(wù)提供商們能夠同步降低他們的推理成本，服務(wù)商們不可避免地需要從早期不計成本地的客戶爭奪，向“降本增效”過渡，用更低成本的大模型推理硬件提供更多的大模型推理服務(wù)，是贏得“大模型大戰(zhàn)”的重要支撐。

與此同時，大模型推理計算的場景正在從云端向邊緣端延伸。借助云端數(shù)據(jù)中心進行大模型推理計算，存在數(shù)據(jù)傳輸延遲、服務(wù)端負載漲落等影響用戶體驗的因素，同時用戶的數(shù)據(jù)隱私保護也是一個難以解決的問題。在一些對實時性以及隱私保護要求很高的場景，如智能座艙、自動駕駛、AI PC、具身智能等眾多領(lǐng)域，通過將大模型部署在邊緣端進行推理計算可以很好地彌補云端推理的不足，實現(xiàn)對用戶數(shù)據(jù)更加安全和實時性更高的本地處理，大幅提升使用體驗。

傳統(tǒng)的單芯片 AI 加速器芯片以及 AI SoC 設(shè)計方法，目前已經(jīng)遇到了包括晶圓制造工藝限制、研發(fā)制造成本高昂以及研發(fā)周期漫長等多方面的制約，難以跟上大模型的發(fā)展速度。作為半導(dǎo)體行業(yè)未來發(fā)展的新興力量和熱點，芯粒（Chiplet）技術(shù)在提高芯片算力、降低成本、提供靈活性和擴展性等方面具有天然優(yōu)勢，能夠在云端和邊緣端等各種應(yīng)用場景下提供靈活的算力配置，為大模型的多場景部署提供廣泛支持。

“大模型浪潮下，‘云、邊、端’算力需求激增，大模型的爆發(fā)首先帶動的是對云端訓練算力的需求，隨后，云端以及邊緣端推理的算力需求也開始激增。芯粒技術(shù)為解決大模型爆發(fā)帶來的算力需求瓶頸帶來了更好的解決方案。”原粒（北京）半導(dǎo)體技術(shù)有限公司（簡稱原粒半導(dǎo)體）聯(lián)合創(chuàng)始人原鋼告訴「問芯」。

原粒半導(dǎo)體成立于 2023 年 4 月，是一家基于芯粒技術(shù)布局 AI 算力硬件的公司，專注于多模態(tài) AI 處理器架構(gòu)設(shè)計和芯粒算力融合技術(shù)，設(shè)計和生產(chǎn)低成本、高能效的通用 AI 芯粒產(chǎn)品，并配合來自合作伙伴的 CPU/SoC 芯粒等推出滿足多模態(tài)大模型推理需求的 AI 芯片、AI 算力模組和加速卡等。

圖｜原粒半導(dǎo)體（來源：受訪者）

基于芯粒的方法重構(gòu) AI 芯片

談及創(chuàng)立原粒半導(dǎo)體的初衷，原鋼表示，主要是看到 AI 加速芯片領(lǐng)域出現(xiàn)了一些新的需求尚未得到滿足，同時芯粒技術(shù)的發(fā)展會帶來全新的市場機會。“此前，AI 推理芯片主要還是聚焦于滿足卷積神經(jīng)網(wǎng)絡(luò)（CNN）的計算需求，而從 2022 年起 AI 芯片的研發(fā)熱點逐漸開始轉(zhuǎn)向以 Transformer 為核心的多模態(tài)模型，包括自然語言處理和圖像生成模型等。然而，傳統(tǒng)的 AI 芯片架構(gòu)并不一定適用于高效的大模型推理計算，需要一些新的設(shè)計方法創(chuàng)新，例如研發(fā)專門針對大模型推理優(yōu)化的 AI 計算架構(gòu)以及使用芯粒技術(shù)實現(xiàn)靈活的算力擴展等。我們在去年創(chuàng)立了原粒半導(dǎo)體，希望基于芯粒技術(shù)，為市場提供性價比更高的多模態(tài)大模型推理解決方案。”他介紹說。

區(qū)別于傳統(tǒng)的單硅片（monolithic）芯片的將所有核心組件放在同一個硅片（die）的設(shè)計范式，基于芯粒技術(shù)的計算芯片或 SoC 的設(shè)計理念是預(yù)先設(shè)計制造好具有特定功能、可組合集成的一系列硅片，并在封裝制造過程中把它們集成起來。通過將原本集成在一整塊芯片上部分核心處理器 IP 按功能拆分成一個個獨立單元，可以按需求進行搭配組合，實現(xiàn)“即插即用”。

圖｜芯粒技術(shù)示意（來源：受訪者）

“原粒半導(dǎo)體的核心產(chǎn)品是通用的多模態(tài) AI 芯粒，然后根據(jù)目標場景不同的算力需求，通過組合不同規(guī)格和不同數(shù)目的芯粒，來為云邊端提供最合適的算力解決方案。”原鋼指出。

產(chǎn)品布局方面，原粒半導(dǎo)體根據(jù)不同行業(yè)客戶的需求，以 AI 芯粒為核心推出不同形態(tài)的算力產(chǎn)品，包括 AI 芯粒（Known Good Die）、AI 芯片（比如和第三方 SoC 芯粒合封的芯片）、邊緣端模組以及推理加速卡等。原鋼表示：“未來，原粒會圍繞大模型推理業(yè)務(wù)層面的需求，以及芯粒技術(shù)的發(fā)展趨勢，包括互聯(lián)接口標準，以及先進封裝技術(shù)的演進等，不斷為市場推出創(chuàng)新的 AI 大模型推理算力產(chǎn)品。”

事實上，Chiplet 也并非是一個全新的概念，其設(shè)計理念最早源于 1970 年代誕生的多芯片模組，而在這兩年芯粒技術(shù)突然升溫，在原鋼看來，是由于隨著摩爾定律因為物理極限而逐漸走向終結(jié)，伴隨著頂尖先進工藝芯片的研發(fā)和制造成本高昂，傳統(tǒng)的單硅片設(shè)計方法學提供的芯片演進速度已經(jīng)難以跟上快速演進的大模型等新興應(yīng)用發(fā)展的腳步。而芯粒技術(shù)是解決芯片算力密度、研發(fā)制造成本以及算力靈活性等問題的最佳方案。

“以消費級 SoC 產(chǎn)品為例，過去 10 年來，市場上主流 SoC 產(chǎn)品的芯片制程工藝不斷迭代演進，從 65um、40nm 直到目前最先進的 3nm。然而制程工藝尺寸縮小終究會到達物理極限，并且隨著制程工藝逐漸接近極限，制造成本呈指數(shù)級上升，流片成本從 65nm 的數(shù)十萬美元增加到 3nm 的數(shù)千萬美元。生產(chǎn)制造一顆采用頂級工藝的 SoC 的研發(fā)制造成本，大概只有蘋果和高通這類有著龐大銷售基數(shù)和毛利水平的公司能承受。”他說道。

“傳統(tǒng)的單一硅片 SoC 會在一顆芯片上集成 CPU、GPU、NPU 等全部核心模塊，每顆 SoC 芯片的研發(fā)都需要走一遍耗時且昂貴的流程，包括 IP 采購、前/后端設(shè)計、晶圓生產(chǎn)以及封測等等，開發(fā)一顆高性能 SoC 的成本是非常高的。而對于邊緣端來說，AI 大模型的應(yīng)用場景是十分多變的，不同垂直場景下往往需要不同的 SoC 功能和 AI 算力配置。如果用傳統(tǒng) SoC 的設(shè)計方法為每個應(yīng)用場景提供最適合的算力，以及具備最佳性價比的 AI 芯片方案，很可能需要設(shè)計和生產(chǎn)很多規(guī)格的 AI SoC，導(dǎo)致研發(fā)成本很高。但是由于每個特定規(guī)格的 AI SoC 芯片銷量又不一定能確保芯片廠商收回研發(fā)成本，這就給 AI SoC 產(chǎn)品的算力規(guī)劃帶來了一些困難。”原鋼表示。

“用傳統(tǒng) SoC 的設(shè)計方法去滿足大模型時代的 AI 算力需求有著諸多問題，而基于芯粒的方法可以把 AI 計算部分作為一個獨立的可擴展選項，使用傳統(tǒng) SoC 和單獨的 AI 芯粒在芯片封裝設(shè)計層面進行集成。SoC 和 AI 芯粒可以分開設(shè)計和演進，通過搭配不同規(guī)格、數(shù)量的芯粒，滿足不同場景不同算力需求。”他指出。

在數(shù)據(jù)中心領(lǐng)域，計算密度是一個很重要的指標，計算密度體現(xiàn)了在單位占地面積下數(shù)據(jù)中心的服務(wù)器能處理多少數(shù)據(jù)。對客戶而言，在一個固定空間內(nèi)能容納的計算能力越高，其所需要承擔的購買或租用物理空間的價格就越低。國際頂級數(shù)據(jù)中心芯片巨頭如英偉達、英特爾以及 AMD 等都在想辦法提高單顆 CPU 和 GPU 的計算性能，提高計算密度。提高單芯片計算密度的傳統(tǒng)方法是把芯片盡量做大，比如英偉達的頂級 GPU，基本都把光罩（reticle）的有效面積用到了極致，所制造出的芯片 Die size 接近常規(guī)制造工藝物理極限。

“這種做法的缺點就是龐大的研發(fā)費用和比較低的生產(chǎn)良率，因此Xilinx在將近10年之前就用芯粒的方法來制造超大容量的 FPGA，而 AMD 也在很早之前就開始采用芯粒的方法來制造超多核數(shù)的服務(wù)器端 CPU，這些基于芯粒來提高計算密度的做法取得了巨大的商業(yè)成功，同時很好地控制了研發(fā)成本。”原鋼說道，“我們看到，英偉達在它最新的 Blackwell 產(chǎn)品中終于也采用了芯粒技術(shù)來進一步提高 GPU 的計算密度。”

圖｜AMD MI300，采用 Chiplet 技術(shù)集成了 1460 億個晶體管，AMD 史上最大芯片（來源：amd-cdna-3-white-paper）

“目前，國內(nèi)的芯片制造工藝受到了一些限制，還處于努力追趕國際先進制程技術(shù)的過程中。就國內(nèi)而言，現(xiàn)階段想要提升算力密度，采用芯粒的方法是一條切實可行的技術(shù)路線。從封裝級、板級和系統(tǒng)級提高算力密度，能夠部分降低對于先進制程工藝的依賴，同時降低流片成本。”他指出。

“目前大模型的部分推理計算需求正在從云端向邊緣端遷移，類似于 AMD、英特爾、高通等廠商目前正在力推的AI PC就是一個典型的例子，我們認為未來邊緣端大模型推理計算的需求會非常旺盛。”原鋼說道。

“然而，目前市面能夠為多模態(tài)大模型推理提供足夠算力的 SoC 還非常少。我們的策略是選擇從芯粒切入，與研發(fā) SoC 的合作伙伴開展合作。比如，將我們的 AI 芯粒與其他公司的 SoC 芯粒進行合封或是 PCB 級互聯(lián)來推出完整的 AI 方案。整體而言，對比傳統(tǒng)的 AI SoC 設(shè)計方法，基于芯粒方法的解決方案在研發(fā)成本、生產(chǎn)成本、算力靈活性、能效比、以及實現(xiàn)自主可控等方面都更具優(yōu)勢。”他總結(jié)道。

圖｜原粒半導(dǎo)體的 AI 芯粒配合 SoC 實現(xiàn)大模型端側(cè)推理（來源：受訪者）

為大模型推理專門優(yōu)化實現(xiàn)更佳能效比和成本控制

原粒半導(dǎo)體自成立以來已經(jīng)完成了多個方面的里程碑。據(jù)介紹，融資方面，公司已經(jīng)完成種子輪、天使輪兩輪融資，投資方包括英諾天使、中關(guān)村發(fā)展集團、中科創(chuàng)星、一維創(chuàng)投、清科創(chuàng)投、華峰集團、水木清華校友種子基金等。

“目前我們的核心 AI IP 研發(fā)進展順利，設(shè)計基本完成，正處于全面驗證階段。AI 芯粒產(chǎn)品也會在明年和大家見面。”原鋼介紹道，“目前大模型的應(yīng)用場景正處于爆發(fā)前夜，我們希望在合適的時間準備好合適的大模型算力硬件，為智能座艙、具身智能機器人、AI PC 以及數(shù)據(jù)中心等眾多領(lǐng)域提供完善的解決方案。中國人的想象力非常豐富，未來大模型的應(yīng)用場景和落地產(chǎn)品也一定會十分豐富。”

技術(shù)層面，原粒半導(dǎo)體聚焦于研發(fā)兩項關(guān)鍵技術(shù)，多模態(tài)AI計算核心（CalCore）和 AI 算力融合架構(gòu)（CalFusion）。具體而言，CalCore 可適應(yīng)當前多樣性的 AI 算法發(fā)展趨勢，除了針對多模態(tài)大模型等新興算法進行深度優(yōu)化，也保持了對傳統(tǒng) CNN 等算法的良好支持。CalFusion 能夠支持多層次靈活的計算核心融合和擴展，可以利用多顆CalCore 芯粒或芯片在封裝基板層面以及 PCB 層面進行堆疊和擴展，構(gòu)建不同算力的 AI 解決方案，滿足不同規(guī)格和成本需求的各種應(yīng)用場景。

圖｜CalCore 和 CalFusion（來源：受訪者）

圍繞基于芯粒方法的 AI 算力芯片，原粒半導(dǎo)體提出了“積木式架構(gòu)”。“所謂積木式架構(gòu)，就是原粒的 AI 芯粒產(chǎn)品可以根據(jù)不同客戶的不同功能、算力、功耗、成本等需求進行組合，實現(xiàn)一個較為靈活的配置。”原鋼解釋說，“大模型時代對于算力需求越來越多樣化，從邊緣端來講，積木式架構(gòu)能夠很好的契合各種應(yīng)用場景，推出多種靈活的算力配置方案，有效控制成本，實現(xiàn)一個最優(yōu)的解決方案。”

在原鋼看來，架構(gòu)創(chuàng)新是原粒半導(dǎo)體的核心競爭優(yōu)勢之一，原粒專門為大模型的推理應(yīng)用進行優(yōu)化的 AI 計算核心和互聯(lián)架構(gòu)，能夠?qū)崿F(xiàn)更高的性能和更低的成本，這會是原粒半導(dǎo)體呈現(xiàn)給客戶的核心價值。“同時，相比國外巨頭，我們可能也更接地氣。”原鋼表示，“全球 AI 應(yīng)用層面創(chuàng)新還得看中國，國內(nèi)有非常龐大的消費市場，要服務(wù)好這個市場，AI 芯片公司需要滿足國內(nèi)市場的各種嚴苛要求，比如對于特異化功能、低成本、周邊配套器件適配等的各種需求。在這些方面，國內(nèi)芯片廠商往往更具優(yōu)勢，本地化的技術(shù)支持和快速的市場響應(yīng)會給客戶終端產(chǎn)品的開發(fā)帶來不少便捷。”

訪談接近尾聲，原鋼總結(jié)說：“展望未來，大模型應(yīng)用會持續(xù)演進，最終會無處不在。原粒半導(dǎo)體的 AI 芯粒產(chǎn)品也將順應(yīng)潮流不斷迭代，基于技術(shù)趨勢和市場反饋進行及時的調(diào)整優(yōu)化，緊跟客戶對于算法、算力、成本、功耗、以及應(yīng)用領(lǐng)域的需求。我們希望未來在云邊端等任何一個需要 AI 算力的場景，原粒都能做到用更低的成本提供更高的性能，給客戶和 AI 產(chǎn)業(yè)帶來價值。”

參考資料：

1.https://calculet.com.cn/

2.https://calculet.com.cn/hxjs