大模型時代的芯片，要如何造？

作者 | 山竹

出品 | 鋅產(chǎn)業(yè)（公眾號：xinchanye2021）

4月16日，李彥宏在百度AI開發(fā)者大會上給出了文心一言經(jīng)歷2023年百模大戰(zhàn)后的戰(zhàn)況數(shù)據(jù)：

用戶數(shù)突破2億，服務(wù)企業(yè)8.5萬家，AI原生應(yīng)用數(shù)超過19萬。

另外，他還透露，百度內(nèi)部每天新增代碼有27%是由Comate（AI代碼助手）生成。

作為國內(nèi)布局大模型最激進(jìn)的互聯(lián)網(wǎng)巨頭之一，百度給出的這組數(shù)據(jù)，印證了大模型對于互聯(lián)網(wǎng)公司帶來的巨大影響。

實(shí)際上，大模型帶來的影響遠(yuǎn)不止于此，李彥宏說，“未來開發(fā)應(yīng)用將會像拍短視頻一樣簡單。”

或許是身處這波變革的漩渦之中，也或許是錯失過云計算那波時代紅利，李彥宏針對大模型發(fā)表的言論一直都很激進(jìn)。

無論大模型能否像李彥宏預(yù)期的那樣顛覆互聯(lián)網(wǎng)時代的生產(chǎn)模式，一個不可忽視的事實(shí)是，這波大模型浪潮背后，本質(zhì)上依然是算力之爭。

要想在緩緩開啟的大模型時代獲得先機(jī)，訪存密集、近存計算、類腦計算、存算一體等先進(jìn)制式芯片的研發(fā)，是繞不開的競爭焦點(diǎn)。

就在上周，在第十三屆吳文俊人工智能科學(xué)技術(shù)獎頒獎典禮的系列活動上，進(jìn)行了一場關(guān)于大模型時代芯片產(chǎn)業(yè)發(fā)展的圓桌討論。

在這次圓桌上，中國科學(xué)院自動化所研究員&中科南京人工智能創(chuàng)新研究院副院長程健、中國科學(xué)院微電子所研究員尚德龍、上海科技大學(xué)教授哈亞軍、北京憶芯科技有限公司首席架構(gòu)師黃好城四位芯片領(lǐng)域?qū)＜揖停?/p>

1、大模型需要怎樣的云邊端芯片？

2、機(jī)器人需要怎樣的芯片來實(shí)現(xiàn)通用人工智能？

3、大模型在芯片設(shè)計中有怎樣的應(yīng)用？

4、芯片產(chǎn)業(yè)需要怎樣的生態(tài)？

這四個關(guān)鍵問題展開了一場激烈討論。

本文就此次圓桌討論內(nèi)容進(jìn)行了不改變原意的整理，以供大家參考學(xué)習(xí)。

01大模型時代的云邊端芯片

問：大模型時代，云、邊、端芯片分別具有怎樣的發(fā)展機(jī)遇和挑戰(zhàn)？

程健：要回答這個問題，我們先要看，今天所謂的大模型和過去傳統(tǒng)模型到底有什么區(qū)別。

這其中有很多區(qū)別，但是沒有太多本質(zhì)區(qū)別，特別是在芯片架構(gòu)上沒有太多區(qū)別。

首先是云端芯片，我們看今天英偉達(dá)的GPU，它是通過不斷堆顯存、拓寬帶寬來提升性能，除了工藝改進(jìn)外，更多是通過增加硬件成本來提升算力。

對于我們來說，要想彎道超車，就要看能否通過存算一體、三維堆疊等方式，探索出一些新的路徑。

云端追求的是奧運(yùn)精神，更快、更高、更強(qiáng)，在邊緣和終端側(cè)，和云端又有著不同的場景和需求。

在邊緣和終端側(cè)，由于受到體積、成本、功耗等限制，無法追求更高、更快、更強(qiáng)，尤其還有不同的場景和應(yīng)用需求，這時給我們做芯片其實(shí)提供了更多機(jī)會。

例如很多團(tuán)隊將模型和算法做到一起，有的芯片架構(gòu)也變了，例如ASIC模式等。

這其中能做的東西、需要定制化的東西很多，也有更多的機(jī)會。

尚德龍：我同意程老師的見解，大模型需要高算力，這是挑戰(zhàn)也是機(jī)遇。

大模型本質(zhì)上是生成式AI模型，生成式AI模型的一大缺陷是不能生成知識，不能生成知識要如何展現(xiàn)通用智能，這是我要提出的一個問題。

從云邊端的機(jī)遇上來看，不能只看芯片，還要結(jié)合算法來研究。

類腦計算本身是一個非常大的系統(tǒng)，我們是否可以從現(xiàn)有的算法和類腦算法融合來實(shí)現(xiàn)通用人工智能，這是一個值得思考的問題。

另一方面，類腦計算的一個重要出發(fā)點(diǎn)是高效，人腦的功率不到20瓦，一個饅頭頂一天沒有問題；

一臺機(jī)器的功率有幾百瓦、上千瓦，我們是否可以從算法設(shè)計理念上，通過融合來實(shí)現(xiàn)云邊端的一些創(chuàng)新設(shè)計思路。

現(xiàn)在來看，無論是先進(jìn)的架構(gòu)、先進(jìn)的封裝，還是Chiplet，即便是將眾多芯片封裝在一起，功耗依然是個問題，在云邊端用起來還會有一些限制。

這就需要一些新的設(shè)計方法、設(shè)計理念，來促進(jìn)這些領(lǐng)域的發(fā)展。

哈亞軍：我們現(xiàn)在進(jìn)入到了一個通用智能時代，很多時候，大家希望用一個平臺解決通用的問題。

實(shí)際上，在各類模型出現(xiàn)之前，計算架構(gòu)也曾有過同樣的問題——究竟應(yīng)該用一個通用的計算平臺，還是用專用的計算平臺來解決問題？

從我的經(jīng)驗來說，通用芯片市場很大，難度也很高，所以只有大公司、大團(tuán)隊、大資本有能力進(jìn)入這條賽道，因為很多東西搞通用的話，你需要有生態(tài)、工具和應(yīng)用。

專用芯片的好處是應(yīng)用比較明確、對象場景比較清晰，你可以找到一些約束條件，針對約束條件不斷做優(yōu)化，對生態(tài)等方面的要求相對少一些，這更適合高校和小公司來做。

從過去計算平臺的發(fā)展經(jīng)歷來看，玩通用活下來的都是大公司，小公司在專用計算平臺上有更多機(jī)會。

同樣的經(jīng)驗也適用于大模型技術(shù)發(fā)展。

大模型強(qiáng)調(diào)通用，但是從模型設(shè)計角度來看，一個通用大模型很難通吃天下，在很多場景下，一些專用（小）模型依然會有一席之地。

黃好城：我們公司成立于2015年，從存儲芯片做起。

隨著大模型的出現(xiàn)和AI技術(shù)的發(fā)展，我們每款芯片都嵌入了一些AI相關(guān)功能，例如存算一體的融合，這項技術(shù)的出現(xiàn)為我們公司和國內(nèi)很多非大模型方向的芯片公司帶來了機(jī)遇和挑戰(zhàn)。

就機(jī)遇來看，大模型對所有計算、存儲和傳輸有了更高的要求，例如存儲的數(shù)據(jù)量變大，包括云端、邊緣端存儲的內(nèi)容都變多了，帶寬要求也更高了，延時要求也更高了。

就挑戰(zhàn)來看，一方面，大模型對服務(wù)器的主控芯片要求很高，消耗的能源、資源、碳排放量都很大，這反饋到芯片設(shè)計中，就成了究竟要以怎樣的方式設(shè)計芯片的架構(gòu)和每個模塊。

從我們企業(yè)來看，在功耗設(shè)計上，每一款芯片從工藝選擇、IP選型，再到每個模塊的低功耗設(shè)計，對我們都提出了更高的要求，由此降低的能耗，也將提升我們的產(chǎn)品競爭力。

與此同時，隨著大模型應(yīng)用的研發(fā)，我們對存儲內(nèi)容的安全性也有了更高的要求。

我們存進(jìn)去的資料是否有被很好地加密保護(hù)，是否能被竊取、能被探測到，我們研發(fā)芯片在做數(shù)據(jù)安全保護(hù)時，也隨著國密一級、二級、三級的提出，相應(yīng)的要求也越來越高。

02通用機(jī)器人，需要怎樣的芯片？

問：如何設(shè)計機(jī)器人智能芯片，推動通用人工智能發(fā)展？

程健：設(shè)計芯片，首先要知道芯片要解決的問題是什么。

機(jī)器人需要解決的是感知、規(guī)劃、決策、控制幾方面的問題。

這幾個方面遇到的問題、需要的算法和軟件有一些區(qū)別。

例如，我們原來很多機(jī)器人中做控制都是基于MCU來做的，進(jìn)行一些簡單的計算，決策很多都是由人工編好的，所以也很簡單。

但是今天在大模型時代，原來很多手工編寫的規(guī)劃、決策算法，今天要用大模型來生成，這就對用于機(jī)器人的芯片提出了更高的要求：

第一，端側(cè)主控芯片需要更大的算力；

基于大模型實(shí)現(xiàn)感知、認(rèn)知，要求端側(cè)主控芯片能夠提供更大的算力。

第二，端側(cè)算力能否基于一個芯片實(shí)現(xiàn)；

端側(cè)要求的高算力與云端的高算力不同，云端需要做大量決策和規(guī)劃，端側(cè)的計算和在GPU中做張量計算不同，我們是否可以將這些端側(cè)的計算需求放在一個芯片上來實(shí)現(xiàn)，而不是分開用幾個芯片來實(shí)現(xiàn)。

第三，機(jī)器人需要更多智能性和自主性。

除了感知、規(guī)劃、決策、控制，我們看到越來越多機(jī)器人需要有更多智能性和自主性。

例如機(jī)器人現(xiàn)在可以不斷地和環(huán)境交互、自主學(xué)習(xí)，這就需要大量基于強(qiáng)化學(xué)習(xí)的計算，這樣的計算又和張量計算不同，現(xiàn)在強(qiáng)化學(xué)習(xí)有很多分支，有的基于transformer方式來實(shí)現(xiàn)，有的以傳統(tǒng)的馬爾可夫方式來實(shí)現(xiàn)。

這種需要大量計算、采樣、迭代的機(jī)器人應(yīng)用，對于芯片提出了很多新需求。

尚德龍：具身智能機(jī)器人更強(qiáng)調(diào)的是擬人，現(xiàn)在市面上的機(jī)器人顯然不具備這樣的特性。

可以看到，酒店里的配送機(jī)器人、園區(qū)里的清潔機(jī)器人在遇到人時，一般都會先停下來，然后再緩慢地繞行，行動非常遲緩、給人的感受很不好。

想做到更好的感受，感知、決策就要非常快，如果按照現(xiàn)在的計算體系，毫無疑問，我們需要的是大算力。

如果不考慮設(shè)計方法，大算力等同于大功耗，現(xiàn)在電池技術(shù)的發(fā)展還趕不上計算的發(fā)展，這樣的技術(shù)路徑顯然很難走下去，這就需要我們有新的創(chuàng)新。

類腦計算、大模型等都是在新的創(chuàng)新。

現(xiàn)在的計算、決策、智能，我自己的一個“偏見”是，這是一個計算的感知、計算的決策、計算的智能，這些都非常耗能。

是否可以做一個真正和人類似的智能體，這是機(jī)器人未來發(fā)展需要考慮的一個問題。

尤其是未來的具身智能機(jī)器人，例如，未來如果居家老人對康養(yǎng)機(jī)器人的體驗非常不好，這種機(jī)器人市場也不會很好。

我是做類腦計算的，我還是很推崇將現(xiàn)有的計算體系和類腦計算體系融合起來，以此尋找一條新的突破口。

哈亞軍：針對這個問題，我提兩點(diǎn)感受：

第一，通用智能要與機(jī)器人結(jié)合，就意味著芯片研究的前沿重點(diǎn)要慢慢從云端向邊緣端發(fā)展，邊緣端芯片的研究會變得越來越重要。

因為機(jī)器人本質(zhì)上是一個邊緣端平臺。

從最近產(chǎn)業(yè)界的發(fā)展可以看到，很多企業(yè)，特別是原來做算法的企業(yè)都在布局芯片產(chǎn)業(yè)，相信機(jī)器人廠商未來在邊緣端也會有更多布局。

第二，雖然大模型似乎可以解決機(jī)器人遇到的所有問題，但是我個人并不這么認(rèn)為，無論是機(jī)器人還是無人車，算法無法解決它們遇到的所有問題。

機(jī)器人對決策的準(zhǔn)確性要求有時會很高，即便機(jī)器人做到了99.9%的決策準(zhǔn)確度，但在機(jī)器人真正與人打交道時，某些場景我們對準(zhǔn)確度的要求可能是100%。

這時，我們就不能完全依賴智能計算。

在智能計算出來之前，我們還是要有傳統(tǒng)算法。

我的看法是，傳統(tǒng)算法不能丟，未來世界中，傳統(tǒng)算法和智能算法將會共存，一起通過各種方式提高決策準(zhǔn)確性。

黃好城：人類的聰明程度依賴于之前學(xué)習(xí)到的知識，我們大腦里會將之前學(xué)到的知識存儲為記憶，是否可以將之前的記憶用好決定了人類的聰明程度。

例如，當(dāng)老人患上老年癡呆癥、失去記憶后，他的智能也就無法體現(xiàn)。

我們在智能機(jī)器人上會不斷感知周圍環(huán)境，做圖像、視頻學(xué)習(xí)，在這個過程中，存儲的大量數(shù)據(jù)有沒有被很好地利用，在云端和邊端有沒有被很好地訓(xùn)練，這關(guān)乎機(jī)器人是否足夠智能。

機(jī)器人在很多應(yīng)用場景或處理突發(fā)情況時，不是一開始就能很好地模擬和訓(xùn)練出來，每一個端側(cè)設(shè)備，特別是智能機(jī)器人設(shè)備，要想進(jìn)入千家萬戶，就需要不停地學(xué)習(xí)和進(jìn)步，通過對本地存儲資源高效利用實(shí)現(xiàn)智能化。

我們之前提到的近存計算，通過對邊緣端存儲的數(shù)據(jù)進(jìn)行再分類和預(yù)處理，甚至將一些類決策放到邊緣端、靠近存儲的計算芯片中，一方面可以帶來更低的功耗收益，讓機(jī)器人續(xù)航有更好的表現(xiàn)，另一方面可以減少機(jī)器人對主計算單元依賴。

03將大模型用到芯片設(shè)計中

問：AI算法如何應(yīng)用到芯片設(shè)計中？

黃好城：我們確實(shí)看到AI已經(jīng)開始輔助工程師寫代碼，不過，在芯片設(shè)計流程中，現(xiàn)在的AI技術(shù)不是取代工程師寫代碼，而是輔助工程師寫代碼。

AI技術(shù)從設(shè)計方法學(xué)上帶來了很多輸入，工程師省掉了寫細(xì)節(jié)的、重復(fù)模塊的代碼，可以換成AI幫你生成。

工程師更多使用AI輔助工具后，就會有更多精力參與到更高級的工作中，兼任一些架構(gòu)師的角色。

他們不再需要做設(shè)計驗證的角色，更多是做A、B、C方案的綜合篩選，把每個芯片設(shè)計的模塊化做多套方案比較，這樣可以做更好的PPA（Performance、Power、Area）評估，而不是放到最后，等架構(gòu)師拿到芯片設(shè)計方案后，再去做數(shù)據(jù)流、性能的仿真驗證。

這對芯片前端設(shè)計有很好的提升。

當(dāng)然，芯片不只有前端設(shè)計，還有后端物理實(shí)現(xiàn)。

在后端物理實(shí)現(xiàn)上，AI也有很多應(yīng)用，因為物理實(shí)現(xiàn)上有很多自動布局布線的工作，原來都是靠EDA軟件來實(shí)現(xiàn)的。

我們現(xiàn)在在和國內(nèi)一些廠商一起做AI算法融合，用來提升我們自動布局布線效率，嘗試各種擺放方式，讓芯片面積做得更好更合理。

哈亞軍：這個問題總結(jié)而言就是，AI for IC、IC for AI。

我們看到，現(xiàn)在國內(nèi)外很多EDA公司確實(shí)在整個EDA flow的各階段考慮讓人工智能改變此前的設(shè)計方法或工具，我們可以看到很多這樣的例子。

另外，IC也可以加速智能EDA工具發(fā)展。

尚德龍：我是國內(nèi)比較早接觸EDA工具的人。

實(shí)際上，新技術(shù)發(fā)展一直都在不斷融合到芯片設(shè)計流程中，現(xiàn)在人工智能技術(shù)的發(fā)展也會融合到IC設(shè)計流程中。

不過，包括IBM、Intel，他們核心的X86芯片并不是基于EDA工具來做的，而是他們7-8人的一個小團(tuán)隊來做的。

所以我的觀點(diǎn)是，AI可以賦能IC，從技術(shù)發(fā)展角度來看，AI也確實(shí)逐漸在增強(qiáng)EDA工具的效率和水平，但是如果要讓AI去替代設(shè)計者做包羅萬象的芯片設(shè)計工作，還有待時日。

程健：我比尚老師更激進(jìn)，我個人認(rèn)為，AI技術(shù)至少在芯片設(shè)計領(lǐng)域一定會完全取代人類。

之所以這么說，是因為，參考人工智能技術(shù)發(fā)展經(jīng)歷，AI能夠做好的是下圍棋、打游戲這樣有明確規(guī)則的事。

以下圍棋為例，AI不僅會下圍棋，甚至連對手怎么下的都看得一清二楚，這類場景，AI往往比人做得更好。

我們再來看芯片設(shè)計，芯片設(shè)計的目標(biāo)也很明確，關(guān)鍵就是面積、功耗、功能，這些都是可以規(guī)則化、量化的目標(biāo)，而芯片的布線、布局也有清楚的要求。

從這個角度來看，我認(rèn)為，AI做芯片設(shè)計必然會取代人類，而且一定會比人類做得更好，當(dāng)然，這需要時間。

我們現(xiàn)在AI做布局、布線已經(jīng)做得很不錯了，但是做芯片設(shè)計還有些問題，有哪些問題呢？

我舉三個例子：

第一，基于神經(jīng)網(wǎng)絡(luò)或transformer的AI模型，現(xiàn)在在執(zhí)行任務(wù)的精確性上還有欠缺。

芯片設(shè)計往往需要很高的精確度，中間有一個小BUG，整個芯片就廢掉了，將來如何將精確性在AI芯片設(shè)計中體現(xiàn)，讓它越來越精確，這是個有待解決的問題。

第二，需要將工程師的經(jīng)驗、知識轉(zhuǎn)化為可量化的數(shù)據(jù)。

做芯片設(shè)計很多是靠工程師長期積累的經(jīng)驗，這些經(jīng)驗有些是知識，是可以描述的，有些是不能描述的，這就需要將這些經(jīng)驗、知識轉(zhuǎn)化為可以讓AI學(xué)習(xí)的可量化、可規(guī)則化的數(shù)據(jù)。

第三，芯片設(shè)計的數(shù)據(jù)難獲取。

AI下圍棋下得好，是因為DeepMind在設(shè)計AlphaGo的時候收集了大量棋譜，可以說，沒有AlphaGo沒學(xué)過的棋譜。

在芯片產(chǎn)業(yè)中，很多數(shù)據(jù)是無法在互聯(lián)網(wǎng)上檢索到的，開源的項目也很少，很多芯片公司也只能拿到一部分?jǐn)?shù)據(jù)，這對于AI學(xué)習(xí)來說會是一個很大的問題。

我認(rèn)為，如果能將這三個問題解決掉，未來AI一定可以取代人類做芯片設(shè)計。

04AI芯片，重在生態(tài)

問：如何從技術(shù)創(chuàng)新、人才培養(yǎng)、市場需求三方面，共同促進(jìn)芯片生態(tài)建設(shè)?

黃好城：我認(rèn)為，最重要的是市場需求。

客戶、消費(fèi)者對產(chǎn)品有需要才會花錢買單，有了這些資金的支持才能推動企業(yè)發(fā)展，帶動產(chǎn)學(xué)研合作，大家也才有一個良好的就業(yè)環(huán)境，這是一個供需關(guān)系。

國內(nèi)現(xiàn)在一個很好的趨勢是，各大甲方都更愿意用國內(nèi)的芯片和存儲類產(chǎn)品了，已經(jīng)不僅僅是嘗試，而是會有大規(guī)模出貨。

對芯片公司而言，我們研發(fā)新一代主控芯片時，也很愿意用國內(nèi)IP公司提供的IP產(chǎn)品，我們現(xiàn)在的控制器、Chiplet技術(shù)，甚至RISC-V CPU已經(jīng)在用國內(nèi)供應(yīng)商。

我們用了國內(nèi)供應(yīng)商的CPU后，也在幫他們調(diào)教他們的CPU，給他們提了很多建議。

就學(xué)校而言，每年有更多優(yōu)秀畢業(yè)生帶著在學(xué)校掌握的AI技術(shù)進(jìn)入公司，對于企業(yè)來說也是很好的資源，這才能讓我們整個生態(tài)不斷發(fā)展起來。

哈亞軍：我重點(diǎn)說一下人才培養(yǎng)。

無論是芯片還是人工智能，這兩個產(chǎn)業(yè)有一個特點(diǎn)是，某種意義上都是產(chǎn)業(yè)界領(lǐng)先于學(xué)術(shù)界，對人才培養(yǎng)有很多特殊的要求。

就人才培養(yǎng)而言，過去是將更多注意力放到培養(yǎng)學(xué)生上，而要將這件事做好，其實(shí)教師也需要培養(yǎng)，所以我們需要建立一整套新工科培養(yǎng)體系，這套體系里既能培養(yǎng)學(xué)生，也能培養(yǎng)老師。

從教師培養(yǎng)角度來說，要每隔幾年，讓老師到企業(yè)中待幾個月，了解企業(yè)實(shí)際進(jìn)展和需求，包括老師在學(xué)校講課的講義，學(xué)校的企業(yè)導(dǎo)師可應(yīng)該及時給出反饋，讓他們看看現(xiàn)在這些教材是否符合企業(yè)需求。

從學(xué)生培養(yǎng)角度來說，要能增加流片的機(jī)會，增大學(xué)生去企業(yè)實(shí)習(xí)、增加學(xué)校和企業(yè)一起做項目的機(jī)會。

學(xué)校和企業(yè)的定位還是有很大不同的，企業(yè)追求盈利，學(xué)校追求科研，雙方合作也需要一個成熟的合作模式。

尚德龍：這個問題我感觸很深，但是我想強(qiáng)調(diào)的只有兩個字——生態(tài)。

產(chǎn)品的生態(tài)，科研的生態(tài)，人才培養(yǎng)的生態(tài)，一個良好的生態(tài)才能真正把這件事做起來。

程健：接著尚老師講的生態(tài)，我想說，其實(shí)芯片從設(shè)計、生產(chǎn)、應(yīng)用到反饋，形成一個正向反饋很重要。

這其中一個很重要的環(huán)節(jié)是要有人用，只有用起來才能有正向迭代。

芯片越?jīng)]人用越難用，越難用越?jīng)]人用，這會形成一個惡性循環(huán)。

如何用起來？

這個問題不是哪一家企業(yè)、哪一所高校，甚至哪一個環(huán)節(jié)能解決的，這是一個需要從整個生態(tài)全局考慮的問題。

需要我們從人才培養(yǎng)，教育界、企業(yè)界一起聯(lián)合起來，給我們國產(chǎn)芯片一些機(jī)會。

我們的硬件生態(tài)是否可以通過國家和企業(yè)一起推動，將芯片很便宜或者免費(fèi)送給高校做人才培養(yǎng)用起來，這是從生態(tài)層面我認(rèn)為值得考慮去做的一個問題。

第二，任何行業(yè)要做好人才培養(yǎng)，很重要的是要“有利可圖”。

今天這么多人做AI，其實(shí)本質(zhì)上是因為今天大家在AI領(lǐng)域有很多工作機(jī)會，企業(yè)也能賺到錢。

芯片其實(shí)更需要錢，需要更多時間，擔(dān)更多風(fēng)險，走更長的路才可能做好。

所以一定要有資金投入，企業(yè)和個人都能在這個過程中賺到錢，才能將這件事做好。

我想，只有BATH，以及國企央企，這些真正有資源、有應(yīng)用場景的企業(yè)加入進(jìn)來，才能做好大模型時代的芯片。