谷歌干掉「請(qǐng)?jiān)僬f(shuō)一次」！Gemini 3.1毫秒級(jí)接話，實(shí)時(shí)Agent時(shí)代來(lái)了

新智元報(bào)道

編輯：元宇

【新智元導(dǎo)讀】語(yǔ)音AI最煩人的一句話，可能終于要被谷歌干掉了。Gemini 3.1 Flash Live 正在逼近「像人與人說(shuō)話那樣響應(yīng)」的體驗(yàn)：不僅更快、更自然，連在交通聲、電視聲這樣的真實(shí)噪音里，也更能聽(tīng)清你在說(shuō)什么。

剛剛，谷歌把語(yǔ)音AI最煩人的一句話狠狠干掉了：「請(qǐng)?jiān)僬f(shuō)一次。」

這次谷歌新發(fā)布的 Gemini 3.1 Flash Live，直接瞄準(zhǔn)了現(xiàn)實(shí)生活中最亂、最吵的那些場(chǎng)景。

https://blog.google/innovation-and-ai/technology/developers-tools/build-with-gemini-3-1-flash-live/

更重要的是，它不只是「聽(tīng)」，它還能看，還能調(diào)用工具，還能守住設(shè)定邊界。

谷歌稱，這是在延遲、可靠性和更自然的對(duì)話表現(xiàn)上的一次躍遷式提升。

你說(shuō)話的速度

就是它思考的速度

谷歌官方博客中提到，實(shí)時(shí)交互里，每一毫秒的延遲，都會(huì)破壞用戶期待的自然對(duì)話流。

因此，Gemini 3.1 Flash Live的一個(gè)目標(biāo)，就是把語(yǔ)音Agent推進(jìn)到「接近對(duì)話本身速度的響應(yīng)」。

因?yàn)楝F(xiàn)實(shí)體驗(yàn)中，語(yǔ)音AI最勸退人的不是答錯(cuò)，而是那種你已經(jīng)張嘴說(shuō)完，它還在后臺(tái)轉(zhuǎn)圈帶來(lái)的「斷片」感。

谷歌這次改進(jìn)的方向，不是某一個(gè)點(diǎn)，而是語(yǔ)音Agent最容易掉鏈子的整條實(shí)時(shí)交互系統(tǒng)：

一邊增強(qiáng)對(duì)音高、語(yǔ)速、重音和意圖的識(shí)別能力；一邊強(qiáng)化復(fù)雜系統(tǒng)指令遵循，讓Agent即便在對(duì)話突然轉(zhuǎn)向時(shí)，也能守住既定邊界、不輕易跑偏。

更關(guān)鍵的是，谷歌還專門(mén)強(qiáng)調(diào)了它在真實(shí)噪音環(huán)境中的任務(wù)完成率提升：

面對(duì)交通聲、電視聲等背景干擾，模型能更有效地區(qū)分有效語(yǔ)音與環(huán)境噪聲，在實(shí)時(shí)對(duì)話中更穩(wěn)定地觸發(fā)工具、返回信息。

并且，相比2.5 Flash Native Audio，新模型在這些方面都有明確提升。

AI終于走出實(shí)驗(yàn)室

想象在一個(gè)嘈雜的咖啡廳：

隔壁兩個(gè)人正在吵架，你一邊盯著明天的航班，一邊對(duì)手機(jī)說(shuō)：幫我改簽到上午。

結(jié)果你說(shuō)3遍，它仍是回答你3次：「抱歉，請(qǐng)?jiān)僬f(shuō)一次。」

這樣的情景是不是很熟悉？

語(yǔ)音AI這些年最大的問(wèn)題，并不是它「能不能聊天」，而是它能不能在你需要它的時(shí)候和它聊天。

這些需要和它聊天的場(chǎng)景，往往是在地鐵站、車上、開(kāi)著電視的客廳、菜市場(chǎng)這些噪聲環(huán)境，所以，谷歌這次把「噪聲」放到了非常核心的位置。

新模型顯著提升了在嘈雜、真實(shí)環(huán)境中的任務(wù)完成率，能更準(zhǔn)確地區(qū)分有效語(yǔ)音和交通聲、電視聲等環(huán)境噪音。

這些改進(jìn)，讓語(yǔ)音AI能夠更適應(yīng)真實(shí)場(chǎng)景的需要。

設(shè)計(jì)師、老人、玩家

三個(gè)人的AI已經(jīng)不一樣了

谷歌官方列舉了Gemini 3.1 Flash Live在設(shè)計(jì)、陪伴和游戲三個(gè)代表性的案例。

設(shè)計(jì)師

語(yǔ)音第一次變成創(chuàng)作工具

谷歌官方稱，借助Gemini Live API，用戶現(xiàn)在可以直接用語(yǔ)音做創(chuàng)意設(shè)計(jì)，AI不僅能聽(tīng)，還能看到你的畫(huà)布和當(dāng)前選中的界面，然后給出設(shè)計(jì)點(diǎn)評(píng)、生成變體。

小功能背后，設(shè)計(jì)工作流也在改變。

以前你跟設(shè)計(jì)工具的關(guān)系，是手點(diǎn)。后來(lái)是手點(diǎn)+文字框。現(xiàn)在開(kāi)始變成：你一邊看畫(huà)布，一邊開(kāi)口，AI一邊理解、一邊改。

這意味著設(shè)計(jì)師不再只是「操作軟件」，而是在「調(diào)度一個(gè)實(shí)時(shí)搭檔」。

你不用停下來(lái)把腦子里的感覺(jué)翻譯成一大段prompt，而可以直接說(shuō)：這個(gè)卡片太滿了、留白拉開(kāi)、主按鈕再有互動(dòng)性一點(diǎn)、這個(gè)版本偏保守，給我三個(gè)更大膽的……

這正是語(yǔ)音在創(chuàng)作場(chǎng)景里的真正價(jià)值，它將大大縮短靈感到執(zhí)行之間的距離。

在Stitch這種場(chǎng)景里，語(yǔ)音已經(jīng)不是輸入法了，而成了創(chuàng)作指揮棒。

老人

陪伴終于不是假聊天了

第二個(gè)案例，是Hey Ato。

這是一個(gè)面向老年人的AI陪伴設(shè)備。

谷歌給出的重點(diǎn)是，Ato利用Gemini 3.1 Flash Live的多種語(yǔ)言支持能力，把日常對(duì)話變成真正的聯(lián)系。

「AI陪伴」過(guò)去最大的問(wèn)題不是功能少，而是太假、太模板化，而老年場(chǎng)景，對(duì)「實(shí)時(shí)感」「打斷恢復(fù)」「語(yǔ)言自然度」的要求，遠(yuǎn)比年輕人想象得更高。

對(duì)很多老人來(lái)說(shuō)，他們不會(huì)有耐心和能力去調(diào)參數(shù)，也不會(huì)切來(lái)切去看屏幕。

Gemini 3.1 Flash Live的多語(yǔ)言、低延遲和更自然對(duì)話，在這樣的場(chǎng)景中成了一個(gè)入門(mén)級(jí)的能力。

當(dāng)AI設(shè)備真的能用父母更熟悉的母語(yǔ)，穩(wěn)定地接住日常閑聊時(shí)，它才能真正讓「人機(jī)交互」切入「陪伴關(guān)系」這一高挑戰(zhàn)場(chǎng)景。

玩家

游戲里的NPC終于不像木頭人了

第三個(gè)場(chǎng)景最有戲劇感。

它來(lái)自Weekend團(tuán)隊(duì)的RPG游戲Wit’s End。

谷歌官方說(shuō)，他們把Gemini 3.1 Flash Live的「強(qiáng)角色塑造能力」和「類人的表達(dá)方式」結(jié)合起來(lái)，給Game Master加上了獨(dú)特的戲劇風(fēng)格。

游戲也是實(shí)時(shí)語(yǔ)音AI最危險(xiǎn)、也最容易炸場(chǎng)的場(chǎng)景，因?yàn)橥婕覍?duì)「卡頓」和「出戲」的容忍度極低，這也是為什么游戲行業(yè)會(huì)特別敏感地?fù)肀н@類能力。

他們不需要一個(gè)「會(huì)回答問(wèn)題的模型」，而是需要一個(gè)「能演、能接、能控場(chǎng)」的實(shí)時(shí)角色。

從Stitch到Ato，再到Wit’s End，谷歌Gemini 3.1 Flash Live其實(shí)都是在印證這樣一個(gè)變化：

語(yǔ)音+視覺(jué)Agent，正在同時(shí)滲透進(jìn)創(chuàng)造、陪伴、娛樂(lè)這三種最貼近個(gè)體生活的場(chǎng)景。

實(shí)時(shí)AI競(jìng)賽的戰(zhàn)火

正在燒向App

對(duì)于大廠來(lái)說(shuō)，最值得警惕的，往往不是它們某個(gè)單點(diǎn)功能有多強(qiáng)，而在于它什么時(shí)候開(kāi)始變成基礎(chǔ)能力。

Gemini 3.1 Flash Live這次最讓競(jìng)爭(zhēng)對(duì)手感到危險(xiǎn)的，也正是在這里。

自3月26日起，Gemini 3.1 Flash Live已通過(guò)Gemini API和Google AI Studio提供，當(dāng)前為預(yù)覽版，開(kāi)發(fā)者可通過(guò)Live API集成。

官方文檔中特別強(qiáng)調(diào)了tool use、session management、ephemeral tokens等關(guān)鍵能力，這些都直接對(duì)應(yīng)實(shí)時(shí)Agent落地時(shí)最核心的工程問(wèn)題。

https://ai.google.dev/gemini-api/docs/live-api/get-started-sdk

按照官方文檔，Gemini Live API基于有狀態(tài)WebSocket連接，支持連續(xù)的音頻、圖片和文本流輸入，并以低延遲方式返回語(yǔ)音結(jié)果。

輸入側(cè)可接收16kHz、16-bit PCM音頻，輸出側(cè)則返回24kHz、16-bit PCM音頻。

換句話說(shuō)，它不是傳統(tǒng)那種「說(shuō)一句、等一次結(jié)果」的調(diào)用方式，而更像一個(gè)持續(xù)在線的實(shí)時(shí)交互回路。

文檔還明確列出了多語(yǔ)言支持、用戶隨時(shí)打斷、函數(shù)調(diào)用與Google Search等工具接入、輸入輸出轉(zhuǎn)寫(xiě)、主動(dòng)音頻控制等能力。

對(duì)開(kāi)發(fā)者來(lái)說(shuō)，這些能力組合起來(lái)，意味著它已經(jīng)不再只是一個(gè)會(huì)語(yǔ)音對(duì)話的模型，而是一個(gè)可直接接入應(yīng)用工作流的實(shí)時(shí)Agent接口。

Google AI for Developers的版本說(shuō)明也確認(rèn)了模型名為gemini-3.1-flash-live-preview。

由此看，這次更新不再只是谷歌自家產(chǎn)品里的一個(gè)新功能，而是一個(gè)可被復(fù)制、可被集成、可被規(guī)模化嵌入的能力層。

不僅如此，谷歌還在博客中專門(mén)提到了兩類合作伙伴能力：WebRTC擴(kuò)展，以及全球邊緣路由。

這說(shuō)明谷歌考慮的已經(jīng)不只是模型演示效果，而是更接近真實(shí)生產(chǎn)部署的要求。

視頻流、電話場(chǎng)景、跨區(qū)域低延遲分發(fā)，這些都不是「實(shí)驗(yàn)室demo」會(huì)提前考慮的東西。

這次升級(jí)，官方不只開(kāi)了API，還給了Live API文檔、示例，以及GenAI SDK代碼入口。

也就是說(shuō)，下一波實(shí)時(shí)AI應(yīng)用的爆發(fā)，不一定從大廠內(nèi)部開(kāi)始，很可能是從一批動(dòng)作快的開(kāi)發(fā)者和創(chuàng)業(yè)團(tuán)隊(duì)開(kāi)始。

很多人還在把「實(shí)時(shí)語(yǔ)音助手」理解成一個(gè)獨(dú)立產(chǎn)品，但未來(lái)真正可能發(fā)生的，并不是你去下載一個(gè)新的AI App，而是你原來(lái)每天就在用的App，某天突然多了一個(gè)按鈕。

它可以與你實(shí)時(shí)交互，會(huì)看、會(huì)聽(tīng)、能做事，那時(shí)整個(gè)交互范式可能已經(jīng)開(kāi)始變化。

語(yǔ)音AI真正的敵人

也許不是技術(shù)

谷歌官方這次推出的是預(yù)覽版（preview），即Gemini 3.1 Flash Live現(xiàn)在仍處在預(yù)覽階段。

官方文檔已經(jīng)提示了兩種典型接入模式：要么由后端中轉(zhuǎn)，與Live API進(jìn)行服務(wù)器到服務(wù)器通信；要么由前端直接建立WebSocket連接，但在生產(chǎn)環(huán)境里推薦改用臨時(shí)Token，而不是直接暴露標(biāo)準(zhǔn)API Key。

當(dāng)然，這套能力距離「無(wú)摩擦落地」還有一段距離。

因?yàn)椋瑢?shí)時(shí)語(yǔ)音Agent并不只是模型問(wèn)題，它還疊加了持續(xù)連接、音視頻流傳輸、狀態(tài)保持和安全控制等工程約束。

也就是說(shuō)，Gemini 3.1 Flash Live雖然已經(jīng)把「實(shí)時(shí)多模態(tài)交互」這層能力打開(kāi)了，但要真正把它打磨成穩(wěn)定產(chǎn)品，還需要回答以下現(xiàn)實(shí)性的問(wèn)題：

成本會(huì)不會(huì)壓垮高頻使用？長(zhǎng)時(shí)對(duì)話穩(wěn)定性到底怎么樣？多人環(huán)境下的說(shuō)話權(quán)分離能做到多穩(wěn)？隱私、誤觸發(fā)、持續(xù)監(jiān)聽(tīng)的邊界怎么畫(huà)……

這些問(wèn)題解決，實(shí)時(shí)語(yǔ)音Agent才有望真正成為「下一代入口」。

但至少這次Gemini 3.1 Flash Live發(fā)布讓我們看到：語(yǔ)音AI終于不那么像一個(gè)總在掉鏈子的笨助手了。

過(guò)去，人類用API調(diào)AI。接下來(lái)，AI會(huì)越來(lái)越頻繁地替你調(diào)用世界。

一旦響應(yīng)速度追平人類開(kāi)口的節(jié)奏，很多今天看起來(lái)還不成立的場(chǎng)景，明天就會(huì)突然成立。

比如，它能替你打電話、改簽、盯屏幕、陪父母聊天、打游戲……我們?nèi)粘５亩鷻C(jī)、手機(jī)、眼鏡也可能改變，我們經(jīng)常使用的App也可能被重新定義。

那時(shí)，我們與機(jī)器溝通的習(xí)慣方式，可能真的是要改變了。

參考資料：

https://blog.google/innovation-and-ai/technology/developers-tools/build-with-gemini-3-1-flash-live/

https://x.com/OfficialLoganK/status/2037187750005240307