NVIDIA攜Google Cloud，帶給企業代理型AI推理功能

NVIDIA與Google Cloud合作，運用Blackwell HGX and DGX平臺及NVIDIA機密運算（NVIDIA Confidential Computing）技術保護數據安全，并將代理型AI（agentic AI）帶給尋求當地端使用Google Gemini系列AI模型的企業。

通過搭載Blackwell平臺的Google分布式云計算（Google Distributed Cloud，GDC），企業的地端數據中心可以鎖定訪問病患記錄、金融交易和政府機密資訊等機密敏感資訊的權限，以符合法規要求和數據主權法令。NVIDIA機密運算技術還能保護Gemini模型中的敏感程序代碼，避免未經授權的訪問與數據外流。

Google Cloud基礎設施與解決方案部門副總裁暨總經理Sachin Gupta表示，借由將Gemini模型與NVIDIA Blackwell的突破性性能及機密運算能力相結合，讓企業能夠充分發揮代理型AI的潛力。這項合作有助于確保客戶能夠在不影響性能或操作便利性的情況下，安全地進行創新。

NVIDIA Blackwell的機密運算技術能為企業提供技術保障，包括Gemini模型應用程序界面的用戶提示及用于微調的數據，都能保持安全，無法被查看或修改。與此同時，模型所有者可以防止未經授權的訪問或篡改，提供雙重保護，讓企業能夠在維護數據隱私的同時，利用Gemini模型進行創新。

有別于根據學習到的知識來感知或生成內容的AI模型，代理型AI系統可以在動態環境中進行推理、適應與決策。例如在企業IT支持方面，以知識為基礎的AI模型可以檢索與提供故障排除指南，而代理型AI系統則能夠自主診斷問題、執行修復，以及將復雜的問題呈報到更高層級進行處理。

同樣地，在金融領域，傳統的AI模型可以根據既有模式標示潛在的欺詐交易活動，代理型AI系統則能更進一步調查異常情況，并主動采取行動，例如在交易發生前即進行封鎖，或是即時調整欺詐偵測規則。

Google Cloud也宣布推出全新的GKE Inference Gateway，借由先進的路由和擴展性來優化部署AI推論工作負載的部署。通過與NVIDIA Triton推論服務器及NVIDIA NeMo Guardrails集成，GKE Inference Gateway可提供智能負載均衡，以提升性能與降低服務成本，同時實現模型安全與治理活動的集中化管控。

預期未來，Google Cloud正致力于集成專為跨AI工廠服務與擴展推理AI模型而打造的開源函數庫NVIDIA Dynamo，以提高代理型AI工作負載的可觀察性。

（首圖來源：NVIDIA）

#英偉達# #代理模式# #推理# #人工智能#