緊湊型人工智能設備正日益走向主流,而一家新興初創(chuàng)企業(yè)則突破技術壁壘,推出了全球最小的人工智能超級計算機,這款設備的紙面參數(shù)十分亮眼。
![]()
初創(chuàng)公司TiinyAIAI Pocket Lab 搭載全新ARM v9.2 架構核心,可流暢運行 1200 億參數(shù)大語言模型。
邊緣人工智能已成為計算產(chǎn)業(yè)的新興賽道,核心優(yōu)勢在于將開源模型部署在本地設備,能夠實現(xiàn)更具個性化的任務處理。但這類技術方案通常需要高昂的硬件成本支撐—— 以英偉達 DGX Spark 為例,其售價高達 4000 美元,普通消費者難以負擔。
初創(chuàng)公司 Tiiny AI 計劃填補這一市場空白,不僅推出了高性價比解決方案,更帶來了號稱 “全球最小” 的超級計算機——Tiiny 人工智能口袋實驗室AI Pocket Lab )![]()
這款設備的尺寸僅為 14.2×8×2.53 厘米,重量僅 300 克,卻能部署 1200 億參數(shù)大語言模型,這一突破堪稱業(yè)界首創(chuàng)。官方稱,適配該設備的大語言模型可滿足 “博士級推理、多步驟分析及深度語境理解” 需求。憑借強大的端側算力,這款口袋實驗室不僅面向普通消費者,更能為需開展本地大模型部署實驗的科研人員與開發(fā)者提供理想平臺。
![]()
據(jù) Tiiny AI 披露,該設備兼容 GPT-OSS、Llama、通義千問、Deepseek、Mistral 及 Phi 等主流大模型。其核心亮點在于,內(nèi)置獨立神經(jīng)網(wǎng)絡處理單元(NPU),算力可達 190 萬億次運算 / 秒(TOPS);同時配備 80GB LPDDR5X 高速內(nèi)存,支持激進量化技術,確保 1200 億參數(shù)模型在本地環(huán)境下流暢運行。
![]()
此外,Tiiny AI 研發(fā)了兩項關鍵技術,讓 1200 億參數(shù)模型的端側落地成為現(xiàn)實:
1.TurboSparse 稀疏激活技術:在神經(jīng)元層面實現(xiàn)稀疏激活,可在完整保留模型智能的前提下,大幅提升推理效率。
2.PowerInfer 異構推理引擎:這款開源引擎在 GitHub 上已收獲超 8000 星標,能夠動態(tài)分配 CPU 與 NPU 的算力負載,加速大語言模型的高負載運算,以遠低于傳統(tǒng)方案的功耗,實現(xiàn)媲美服務器級別的性能表現(xiàn)。
依托這兩項技術,Tiiny 人工智能口袋實驗室得以實現(xiàn)原本需要數(shù)千美元專業(yè)圖形處理器(GPU)才能具備的算力水平。
據(jù)悉,該設備將于2026 年國際消費電子展(CES)正式亮相。盡管目前 Tiiny AI 尚未公布具體發(fā)售日期與上市信息,但這款口袋超級計算機的市場前景已備受矚目,其行業(yè)首秀的表現(xiàn)值得期待。
AMD 技術峰會邀請報名:FPGA/SoC+x86嵌入式
報名通道即將關閉
![]()
特別聲明:以上內(nèi)容(如有圖片或視頻亦包括在內(nèi))為自媒體平臺“網(wǎng)易號”用戶上傳并發(fā)布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.