Cirrascale攜手谷歌，將Gemini模型引入本地化部署

Cirrascale Cloud Services近日宣布，將通過谷歌分布式云（Google Distributed Cloud）平臺，為企業(yè)提供本地化部署的AI模型服務(wù)。此舉主要面向那些希望在自有防火墻內(nèi)使用先進AI能力、同時保障數(shù)據(jù)安全的企業(yè)客戶。

該公司表示，企業(yè)和公共部門機構(gòu)將能夠在本地環(huán)境或Cirrascale數(shù)據(jù)中心中運行Gemini模型，支持聯(lián)網(wǎng)部署或完全物理隔離的氣隙（air-gapped）部署方式，以滿足數(shù)據(jù)主權(quán)和合規(guī)監(jiān)管的要求。

Cirrascale指出，這一方案將其推理平臺的能力延伸至谷歌分布式云上的Gemini模型，重點面向政府、國防、金融、醫(yī)療健康和高等教育等行業(yè)。

在硬件層面，Cirrascale采用由戴爾制造、搭載英特爾和英偉達CPU及GPU的服務(wù)器設(shè)備來運行本地Gemini模型，而非使用谷歌自研的張量處理單元（TPU）。其部署方式是在戴爾硬件上安裝Gemini模型和谷歌分布式云軟件，并以服務(wù)形式交付給客戶。

Cirrascale首席執(zhí)行官Dave Driggers表示，客戶獲得的性能雖不及TPU，但已完全滿足實際使用需求。他說："從完整技術(shù)棧的角度來看，英偉達之外真正能提供處理器、網(wǎng)絡(luò)及軟件全棧整合方案的平臺，其實屈指可數(shù)。"

Cirrascale表示，這一部署模式專為數(shù)據(jù)駐留規(guī)定嚴格或?qū)Φ脱舆t有高要求的客戶設(shè)計，通過將計算資源部署在數(shù)據(jù)存儲和處理的本地位置，有效降低傳輸延遲。谷歌分布式云支持在客戶自主管控的環(huán)境中部署，包括完全斷網(wǎng)的離線安裝方式，這也是部分政府機構(gòu)和關(guān)鍵基礎(chǔ)設(shè)施用戶的核心需求。

Driggers強調(diào)，模型安全是這一方案的重中之重。"這些模型極具價值，必須在可信、安全的環(huán)境中交付。谷歌最看重的就是模型本身的安全，因此必須以機密計算的方式進行部署。"他還介紹，模型不存儲在硬盤上，而是駐留在內(nèi)存中。一旦檢測到任何入侵行為，系統(tǒng)會立即自動關(guān)機，內(nèi)存中的模型隨即消失，從根本上防止模型被竊取。

在服務(wù)內(nèi)容方面，Cirrascale將作為其推理平臺的一部分，為客戶提供運行大規(guī)模Gemini推理所需的硬件配置、性能調(diào)優(yōu)和持續(xù)技術(shù)支持。該服務(wù)面向希望在不重建現(xiàn)有基礎(chǔ)設(shè)施的前提下構(gòu)建生產(chǎn)環(huán)境的客戶，提供經(jīng)過優(yōu)化的Gemini推理系統(tǒng)及持續(xù)運營支持。

Driggers表示："模型屬于谷歌，我們的核心價值在于作為可信合作伙伴，將模型安全交付給客戶。這是我們'推理即服務(wù)'產(chǎn)品的重要組成部分。我們在模型之上構(gòu)建了一層軟件，讓客戶可以靈活定制使用方式，包括設(shè)置用戶隊列和用量限制。"

這一機制還支持Token經(jīng)濟（tokenomics）的精細化管理，例如為普通知識工作者和需要快速完成任務(wù)的高級程序員設(shè)置不同的Token調(diào)用頻率。

此外，當客戶業(yè)務(wù)分布于多個區(qū)域時，該服務(wù)同樣支持Gemini的跨區(qū)域分發(fā)，并由Cirrascale負責為終端用戶提供負載均衡。

目前該服務(wù)已進入預覽階段，計劃于今年6月底至7月初正式面向公眾開放。

Q&A

Q1：Cirrascale的本地化Gemini部署服務(wù)和直接使用谷歌云有什么區(qū)別？

A：Cirrascale的本地化部署方案允許企業(yè)將Gemini模型運行在自己的數(shù)據(jù)中心或完全斷網(wǎng)的氣隙環(huán)境中，數(shù)據(jù)不必離開企業(yè)防火墻，適合對數(shù)據(jù)主權(quán)和合規(guī)有嚴格要求的行業(yè)。相比之下，直接使用谷歌云需要將數(shù)據(jù)傳輸?shù)焦雀璧幕A(chǔ)設(shè)施，這對政府、國防、金融等敏感行業(yè)來說存在一定限制。

Q2：Cirrascale的Gemini本地部署方案如何保障模型安全？

A：Cirrascale采用機密計算方式部署Gemini模型，模型不存儲在硬盤上，而是直接駐留在內(nèi)存中。一旦系統(tǒng)檢測到任何入侵或異常行為，設(shè)備會立即自動關(guān)機，內(nèi)存中的模型數(shù)據(jù)隨之消失，無法被竊取。這種機制從硬件層面為模型提供了物理級別的安全保障。

Q3：Cirrascale的推理服務(wù)支持哪些行業(yè)，何時可以正式使用？

A：該服務(wù)主要面向政府、國防、金融、醫(yī)療健康和高等教育等對數(shù)據(jù)安全和合規(guī)要求較高的行業(yè)。目前服務(wù)已進入預覽階段，計劃于2025年6月底至7月初正式對外開放。服務(wù)支持多區(qū)域分發(fā)和負載均衡，企業(yè)無需重建現(xiàn)有基礎(chǔ)設(shè)施即可接入使用。