口袋級 AI 超算！全球最小，可跑1200億大模型！

緊湊型人工智能設備正日益走向主流，而一家新興初創(chuàng)企業(yè)則突破技術壁壘，推出了全球最小的人工智能超級計算機，這款設備的紙面參數(shù)十分亮眼。

初創(chuàng)公司TiinyAIAI Pocket Lab 搭載全新ARM v9.2 架構核心，可流暢運行 1200 億參數(shù)大語言模型。

邊緣人工智能已成為計算產(chǎn)業(yè)的新興賽道，核心優(yōu)勢在于將開源模型部署在本地設備，能夠實現(xiàn)更具個性化的任務處理。但這類技術方案通常需要高昂的硬件成本支撐—— 以英偉達 DGX Spark 為例，其售價高達 4000 美元，普通消費者難以負擔。

初創(chuàng)公司 Tiiny AI 計劃填補這一市場空白，不僅推出了高性價比解決方案，更帶來了號稱 “全球最小” 的超級計算機——Tiiny 人工智能口袋實驗室AI Pocket Lab ）

這款設備的尺寸僅為 14.2×8×2.53 厘米，重量僅 300 克，卻能部署 1200 億參數(shù)大語言模型，這一突破堪稱業(yè)界首創(chuàng)。官方稱，適配該設備的大語言模型可滿足 “博士級推理、多步驟分析及深度語境理解” 需求。憑借強大的端側算力，這款口袋實驗室不僅面向普通消費者，更能為需開展本地大模型部署實驗的科研人員與開發(fā)者提供理想平臺。

據(jù) Tiiny AI 披露，該設備兼容 GPT-OSS、Llama、通義千問、Deepseek、Mistral 及 Phi 等主流大模型。其核心亮點在于，內(nèi)置獨立神經(jīng)網(wǎng)絡處理單元（NPU），算力可達 190 萬億次運算 / 秒（TOPS）；同時配備 80GB LPDDR5X 高速內(nèi)存，支持激進量化技術，確保 1200 億參數(shù)模型在本地環(huán)境下流暢運行。

此外，Tiiny AI 研發(fā)了兩項關鍵技術，讓 1200 億參數(shù)模型的端側落地成為現(xiàn)實：

1.TurboSparse 稀疏激活技術：在神經(jīng)元層面實現(xiàn)稀疏激活，可在完整保留模型智能的前提下，大幅提升推理效率。

2.PowerInfer 異構推理引擎：這款開源引擎在 GitHub 上已收獲超 8000 星標，能夠動態(tài)分配 CPU 與 NPU 的算力負載，加速大語言模型的高負載運算，以遠低于傳統(tǒng)方案的功耗，實現(xiàn)媲美服務器級別的性能表現(xiàn)。

依托這兩項技術，Tiiny 人工智能口袋實驗室得以實現(xiàn)原本需要數(shù)千美元專業(yè)圖形處理器（GPU）才能具備的算力水平。

據(jù)悉，該設備將于2026 年國際消費電子展（CES）正式亮相。盡管目前 Tiiny AI 尚未公布具體發(fā)售日期與上市信息，但這款口袋超級計算機的市場前景已備受矚目，其行業(yè)首秀的表現(xiàn)值得期待。

AMD 技術峰會邀請報名：FPGA/SoC+x86嵌入式

報名通道即將關閉