年度話題：大模型落地的十大難題

作者 | 山竹

出品 | 鋅產業（公眾號：xinchanye2021）

2023年12月13日，全球科技頂刊《Nature》發布年度十大人物，與以往不同的是，今年的Nature’s 10額外增加了一個非人類，ChatGPT。

2023年12月20日，國家語言資源監測與研究中心、商務印書館等單位聯合主辦的“漢語盤點2023”公布的年度國際詞，同樣是ChatGPT。

ChatGPT讓大模型席卷全球，大模型被全球科技領袖定義為一次顛覆式科技革命。

微軟CEO Satya Nadella說，“AI是我正在經歷的第五次重大變革?！?/p>

騰訊CEO馬化騰說，“AI是幾百年不遇、類似發明電的工業革命一樣的機遇?！?/p>

英偉達CEO黃仁勛更是大膽預測，“兩年之內，英偉達乃至整個行業都會面目全非。”

我們不是先知，無法預見未來，但全球這些最具影響力、最有資源的企業領袖一致警覺和大手筆投入，必然會在短期內形成一個不可逆的產業趨勢。

因此，無論能否對社會帶來顛覆性改變，或者能夠帶來多大的改變，大模型都值得每個人分出一部分精力去了解、關注。

12月24日，在中國信通院人工智能論壇上，智源研究院大模型行業應用負責人周華、中國移動研究院AI中心副總經理金鏑、華為云產業發展高級專家翟傳璞、硅動科技CEO袁俊輝、科大訊飛北京研究院院長助理李家琦、國網智能電網研究院計算及應用研究所副所長石聰聰就大模型落地難題進行了一場對話。

值得注意的是，這些人是大模型時代國內最先覺醒的那批親歷者、實踐者、創業者，也是國內大模型研究、應用、創業者中最典型的代表。

周華說，現在的大模型還是一個“文科生”；

袁進輝說，大模型亟需訪存密集型專用芯片；

金鏑說，從「小模型」到「大模型」思路難轉變；

翟傳璞說，算力也應該有如云服務一樣的租賃模式；

石聰聰說，大模型在行業中還沒有一個很成熟的案例；

李家琦講述了科大訊飛科技文獻行業大模型落地過程中從中科院文獻中心的“借兵”經歷；

他們這一年的親身經歷與所思所想，是中國大模型產業發展最好的沉淀。

從中，鋅產業總結了大模型落地的十大難題，它們分別是：

算力不足、行業數據不足、應用經驗不足、缺少專用芯片、數據處理難題、數據微調難題、思維模式轉變難題、成本超高難題、運營模式改變難題、算力運營模式創新難題。

以下是鋅產業特別就這場對話中部分關鍵內容進行的不改變原意的整理，借幾位親歷者的親身經驗和真知灼見，一起深入了解當下大模型的魔力邊界：

01大模型落地的十個難題

問：這一年，大模型在落地過程中，遇到了哪些問題。

石聰聰：行業大模型在應用上有四方面挑戰：

第一，大模型的行業知識不足。

我們對比了現在很多通用大模型，行業知識、語料不足，很難解決行業中遇到的復雜任務，所以通用大模型用于行業，需要做二次預訓練。

第二，算力不足。

因為需要做二次預訓練，對行業算力需求很迫切。尤其是在如今形勢下，我們對國產算力需求尤為迫切，我們現在算力大概有幾百P，甚至上千P的缺口。

第三，數據樣本不足。

因為我們需要準備大量行業語料（需要幾百B，甚至幾百T），涉及到各個業務領域，尤其很多數據還涉及用戶敏感信息，這些數據的融合、脫敏也有一定難度。

第四，應用經驗不足。

傳統小模型也能解決很多問題，現在大模型能否一統天下，還需要觀察。

近幾年，我們還是需要考慮大模型和小模型如何協同應用，這也是需要我們重點關注的問題。

李家琦：我簡單談一下我們大模型在科技文獻領域落地遇到的問題。

我們當時主要遇到了兩方面難題：

第一，數據處理難題。

我們當時和中國科學院文獻情報中心合作，這個論文解析很困難。

如何對這些數據進行高質量清洗，并形成足夠多數據對大模型進行二次訓練，這個是比較有難度的。

我們當時使用了很多開源PDF解析工具，最后用我們自己的OCR解析軟件才解決了這些問題。

第二，數據微調（SFT）難題。

因為數據構造時，例如面向一篇生物論文構造數據時，這篇論文的創新性是什么？肯定需要生物領域的專家才能給出一個較好的判斷。

所以我們最后是從中科院文獻中心協調了二三十人來幫助我們進行數據標注，這樣才完成了數據標注任務。

此外，在大模型研發過程中，我們完全使用了華為昇騰910B。

早期，我們也是剛開始使用國產硬件進行大模型落地開發，在算子適配上遇到了一些問題，后來在華為的幫助下，解決了算子適配問題。

最終，我們從4月到10月，用了半年時間，完成了大模型在科技文獻領域的行業落地。

袁進輝：我們認為大模型推理、部署的成本未來會成為一個主要問題。

我們都相信大模型未來會無處在，要想無處不自在，今天來看成本還是比較貴的，這個已經有很多證據。

國內現在大模型使用量還沒有那么高，海外有的應用使用量很高，已經暴露出這個問題。

例如，微軟GPT寫代碼的助手付費用戶超過100萬時，雖然每個月每位用戶會交20美元服務費，但實際上微軟還要虧幾十美元。這就說明用戶付的費用還是cover不了它的成本。

OpenAI前段時間發布GPTs時，用戶量突然暴增，OpenAI因此停止注冊了一段時間，因為它只有那么幾萬塊GPU在工作，如果再增加用戶，就會影響之前用戶的使用體驗。

這些問題都暴露出來，今天大模型推理成本還是太高了。

幾年前，我們在手機上下載張圖片、下載個視頻，都要精打細算，要考慮這個月流量有多少。但今天我們在手機、微信上刷視頻，其實不會再考慮成本的問題。

大模型要真正做到無處不在的話，一定要像今天我們使用帶寬一樣“不心疼”。

翟傳璞：大模型要發展，無非就是算力、算法、數據幾個層面。

從算力層面來看，我們認為應該有多種供給方式。

一種是單獨通過算力購買的方式，另外，我們也在思考，我們能否采用一種新的方式——類似云服務租賃來租賃算力方式提供算力。

這樣一來，我不僅能滿足短時間大規模算力的需求，國產算力遷移和適配能力也可以考慮通過工具——在云服務上提供遷移、優化工具來實現。

從算法和模型層面來看，大模型與行業結合很重要。

華為大模型的重點是在To B領域，To B領域和行業經驗結合非常重要。

例如我們在《Nature》上發表的氣象大模型，僅僅靠算法工程師是完不成的，它一定是算法工程師和氣象學專家一起努力才能完成。

從數據層面來看，大家都說數據獲取、數據標注比較困難，我們是希望把我們內部這種算法使用、標注的能力貢獻出來。

另外，我們希望有一些技術能夠解決數據流通的問題。

例如現在歐洲喊得比較多的可信數據空間、可信數據交換的能力，能不能應用在AI數據獲取和流通環節，將有限數據發揮出更大價值。

金鏑：中國移動是從今年年初開始啟動大模型研發工作的。

現在我們也推出了139億參數的語言大模型，推出之后，我們在公司內部和客戶中加快推進大模型落地。

在這個過程中，我也有一些自己的體會。

第一，現在面臨較大挑戰是，行業如何看待和擁抱大模型。

我們在集團內部，包括見一些行業客戶，他們都會問我們，大模型到底能干什么？能帶來什么價值？要先從哪些領域開始用？

這些都是很現實的問題。

這其中涉及一種思維方式的轉變。包括我經常也會把思維限定在原來信息化和小模型思維體系中。在提解決方案時，想著想著又變成了IT化的豎井模式，變成了原來的「+AI」模式。

現在很多時候，用大模型去替代原來的小模型只是一種改良，沒有把大模型真正的價值激發出來。

所以包括我們自己、我們的用戶，都要思考到底想用大模型干什么？希望它能帶來什么變化？

第二，大模型運營模式需要變化。

我們已經把大模型用在了中國移動客服領域、網絡運維領域，用上后發現，它雖然提升了業務體驗，但也需要企業改變后端業務運營方式。

例如，大模型里的數據是有時效性的，假如在服務客戶時，我們發現了一個需要馬上解決的問題，解決這個問題是用打補丁方式，還是基于大模型方式來快速響應，這是擺在我們面前一個現實的問題。

第三，成本問題。

大家都覺得大模型非常好，但一說到用大模型，需要買多少算力，投多少人做數據治理、訓練模型，需要多少人做運維，用戶就不敢用了，這是行業客戶一個非?，F實的問題。

周華：我今年接觸了很多行業客戶，一般來說，我們和行業客戶溝通會先問兩個問題：

第一，你的數據怎么樣；第二，你有多少算力。

數據層面，大模型應用也就一年，時間并不長，很多行業客戶對數據認識并不深刻。

那這其中有什么問題呢？

主要問題是，我們有大量客戶對自身數據能不能用于大模型訓練并不清楚，很多時候，大家一說數據，都是數據庫里的數據，或者大數據平臺中的數據。

其實這些數據是無法用于模型訓練的。

另外，很多客戶平時并不會積累行業相關的文本數據，例如領域里的論文、教科書等，但是這些恰恰對行業大模型訓練來說非常重要。

客戶自身的數據，有些放在數據庫里，有些以PDF等文件形式存放在不同地方，要用這些未經整理的數據訓練模型，成本往往非常高。

所以，我們往往都會建議客戶，首先數據處理要有專人負責，要做大模型首先要把數據做好，甚至在規劃大模型過程中，就要做好數據整理。

在行業層面，我們更推崇多家企業共同推動一個行業模型訓練的模式。

行業模型的數據每家都去做的話，成本非常高，也很浪費資源,這項工作很適合通過行業協會來做。

算力層面，我們很多客戶沒有A100、H100、A800，這些企業手上一般是有消費級顯卡，3090、4090，如果要做模型訓練肯定存在很多問題。

我們研究院最近針對這一問題，在做很多研發工作，包括4比特量化、DPU等相關技術。

我們會和客戶深入溝通，希望這些客戶對低資源的模型訓練可以有一定認識，這樣訓練出的模型能否滿足他們的需求要有一定的認識。

這樣，在大模型落地過程中就可以節省大量資源。

02預見2024：大模型的八個變化

問：2024年，大模型會在哪些新應用場景爆發。

周華：我們做大模型的研發看到了一些趨勢，這里我談兩點：

第一，多模態大模型會有很大的突破。

我們看到最近谷歌發布了Gemini，這之前，OpenAI發布了GPT-4V，在開源領域、在學術界，也有大量像LLaMA模型出來，這讓業界對多模態大模型產生了研發興趣。

我們現在和制造業有很多對接，他們對于工程制圖的解析、幾何體的解析是有需求的，但我們現在最好的GPT-4都做不好。

在多模態這塊，現在的發展還很初步，我覺得2024年，會有很多團隊來解決這些問題。

第二，現在的大模型還是一個比較強的“文科生”，未來會在行業場景有突破。

它可以做一些文字處理，也會解決一些專業問題，但專業度并不高，工業制造這種場景有大量對準確性、專業性有很高要求，有很多很深入的事實性問題，現在的大模型依然存在幻覺率。

我們研究院現在在致力于做這些事，希望把我們大模型的邏輯能力、數學、物理能力提升，未來能夠在制造業使用。

金鏑：我們認為現在人工智能已經在從「+AI」向「AI+」這個方向發展了。

結合我自己的工作體會，我覺得：

第一，在能夠充分發揮大模型認知、理解、生成的場景下（如輔助辦公），短期內會有很大的變化。

我自己身邊就有這樣的例子，我們UX設計師現在已經在大量使用大模型做設計了，這極大地提升了他自己的工作效率。

我們研究院在OA系統中，現在也在嵌入一些輔助文檔，用大模型給大家提供輔助辦公幫助，這個場景在2024年一定會有很大的變化。

第二，我們也會致力于解決行業大模型的幻覺問題。

我們接觸的很多客戶，例如醫療、政府、運營商，他們要求大模型不能胡說八道，大模型給出的答案一定是百分之百準確的，或有極高準確率。這樣才能完成專業工作。

第三，我們看到了端云協同的趨勢。

特別是手機端的芯片、PC端的芯片最近一波發布，極大地增強了NPU能力，端側大模型和云端大模型結合起來后，一定會誕生出很多新型智能終端型產品。

翟傳璞：從我看，有兩個方面：

第一，大模型會從2023年的單點嘗試，向2024年小規模復制落地發展。

例如政務、金融、氣象等領域，我們做了臺風預測大模型后，現在泰國氣象局也在復制落地。

第二，Gartner認為大模型未來場景選擇會遵從“4C理論”。

第一個C是技術成熟度，第二個C是場景商用化， 第三個C是緊迫性，第四個C是成本。

我們去考慮未來場景，可以從這四個方面著眼，來判斷大模型能在哪些場景率先落地。

袁俊輝：我蠻期待專門針對大模型推理需求芯片的出現。

客觀來說，今天市場上所有GPU和芯片，都是在大模型出現之前、為之前負載設計的。

從技術上來看，之前的任務很多是計算密集型，計算為主，所以這些芯片通常會堆很多計算單元。

但在大模型出現之后，大家意識到，大模型推理是一個訪存密集的事兒。所以很多芯片在今天都不是特別適用于大模型推理。

但是現在芯片已經改不了了，新架構沒出現時，就只能通過軟件來打補丁。

可能之后會出現專門針對大模型特性，例如針對訪存瓶頸的訪存密集型芯片架構出現。

李家琦：我非常同意袁老師的看法，我們其實非常需要專門面向推理的芯片，來降低部署大模型的成本。

在軟件層面，目前主要是從模型壓縮、量化角度來將計算量大幅降低。

在產業層面，現在大模型落地有很多推理方面的需求，我覺得未來會誕生一些軟件平臺，專門提供推理服務。

石聰聰：2023年面向個人用戶的話，大模型用的場景還是很多的，包括人機交互、輔助辦公。

對于行業用戶，我們看到行業大模型在金融、政務、能源、教育領域已經有一些應用。

但是說實話，我們也確實沒有看到大模型在行業里有一個非常成熟的案例。

從我們行業來說，我們也在積極擁抱大模型。

明年我們國網公司會拿出很多場景，包括客服、無人機巡檢，甚至調度運行，我們都會拿出來探索大模型的應用。