![]()
AI應用風向標(公眾號:ZhidxcomAI)
作者|江宇
編輯|漠影
智東西1月23日報道,昨日,由開源項目vLLM核心團隊創立的AI基礎設施創企Inferact宣布完成1.5億美元(約合人民幣10.4億元)種子輪融資,投后估值達8億美元(約合人民幣55.7億元)。
Inferact創始成員游凱超稱:“我們的使命,是將vLLM打造成全球領先的AI推理引擎。”
![]()
▲Inferact創始成員游凱超轉載官宣貼(圖源:X)
本輪融資由a16z與Lightspeed領投,真格基金、Sequoia Capital、Altimeter Capital和Redpoint Ventures等跟投。
vLLM是當前最具影響力的開源推理引擎之一,已支持500余種模型架構、適配200多類加速器平臺,廣泛承載全球企業的大規模推理任務,Meta、Google、Character.ai等公司也已在生產環境中部署使用。
vLLM社區累計貢獻者已超2000人,長期位居GitHub同類項目活躍度前列。Inferact正是在這一深厚開源基礎上誕生。
![]()
▲vLLM開源項目主頁(圖源:GItHub)
Inferact的創始團隊幾乎全部來自vLLM核心開發者陣營。
Inferact CEO由vLLM原始維護者Simon Mo擔任,他曾就讀于加州大學伯克利分校電氣工程與計算機科學系(EECS),主攻機器學習系統設計方向。他在此前供職的AI基礎設施公司Anyscale積累了豐富的落地經驗。
另一位聯合創始人是vLLM項目的發起人Woosuk Kwon,擁有加州大學伯克利分校計算機科學博士學位,師從于Ion Stoica教授(Databricks聯合創始人之一)。
![]()
▲Woosuk Kwon(圖源:X)
他提出的Paged Attention算法顯著提升了KV Cache的顯存效率,成為vLLM吞吐性能提升的關鍵機制。
團隊中的另一位核心人物為首席科學家游凱超(Kaichao You),清華特等獎學金獲得者,曾在加州大學伯克利分校EECS系擔任訪問學者。
![]()
▲游凱超(圖源:X)
他主導了vLLM分布式推理功能的實現,尤其是對張量并行與PyTorch生態集成接口的優化,使得大模型推理可在多卡環境中穩定運行,開發門檻顯著降低。
此外,前Roblox高級機器學習工程師Roger Wang作為核心成員加盟。Databricks聯合創始人Ion Stoica教授和伯克利計算機科學教授Joseph Gonzalez也以深度顧問的身份深度參與項目。
Inferact方面稱,未來將持續以獨立開源項目形式支持vLLM,并將所有改進回饋社區;同時,團隊將圍繞多硬件平臺構建更強大的推理基礎設施,助力企業穩定部署AI模型并降低運營成本。
![]()
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.