太猛了！終于有人來管管 AI 視頻的語音和表演了：GAGA AI 實(shí)測

提前試了一下曹越（Sand.ai）那邊新發(fā)布的專注于人物對話表演的模型 GAGA-1（gaga.art）.

應(yīng)該是目前涉及到人物細(xì)微表演對話的最強(qiáng)模型了，在表演這部分甚至可以超過 Sora2。

本來就是隨便試一下，沒想到他這么猛，先來看一個簡要介紹和我測試的混剪：

• 聲音和畫面一起生成，即使是側(cè)面的唇形同步都非常到位，語音音效都有
• 面部表情和聲音聲調(diào)配合的非常好，表演細(xì)膩不夸張，提示遵循也很好
• 支持雙人的場景演繹，可以很好的理解提示詞中不同人物的語音
• 支持多語言輸出，我測試完之后發(fā)現(xiàn)甚至可以多語言混合輸出
• 目前支持免費(fèi)體驗(yàn)，支持圖生、單次生成最長 10 秒，分辨率為 720P，但是細(xì)節(jié)豐富

首先是一些基礎(chǔ)的測試，比如讓他介紹一下自己。

先平靜微笑，說：“嗨，我在測試 Gaga AI?！痹僬J(rèn)真一點(diǎn)說：“你覺得它表現(xiàn)怎么樣?！?

可以看到在說后面那句話的時候，女生的面部表情非常的細(xì)膩，尤其是看向鏡頭的那個眼神、挑眉和說話時候的點(diǎn)頭動作，太真實(shí)了，這種面部細(xì)節(jié)我從離開沒有在其他模型上見到過。

本來我沒抱啥希望的，但是跑完這個測試我就發(fā)現(xiàn)不對，這玩意好像有點(diǎn)強(qiáng)，而且這些細(xì)微表情你是不太好在提示詞里面寫的，只能靠模型自己的智能。

然后來個我們常見的順口溜來看看嘴型和語音的表現(xiàn)。

清晰口型，節(jié)奏均勻：“八百標(biāo)兵奔北坡，炮兵并排北邊跑?！保ㄕf完輕呼一口氣）

這里可以看到語音和整個面部的配合是非常好的，同時手部動作也在搖晃他的扇子，讓整個畫面不至于太單調(diào)。

后面?zhèn)€嘆氣的處理太好了，再一次體現(xiàn)了這個模型在表演層面已經(jīng)有了一些泛化的智能，我并沒有說嘆氣的表情，他自己就能推導(dǎo)出來這是表演完了比較輕松的一個狀態(tài)，所以就表現(xiàn)出來了。

然后來一下看一下環(huán)境音和語音的配合。

邊說邊輕微抬手：“聽到杯沿的輕碰聲了嗎？”（然后輕觸杯子，出現(xiàn)細(xì)微杯碰聲）（停頓）“就像在現(xiàn)場一樣?！?/p>

這里我故意指定了杯子的聲音，以及說話的順序，他也按照這個順序表現(xiàn)了出來。

可以看到人物的表情依然非常細(xì)膩，而且在說到“就像在現(xiàn)場一樣”的時候有驚嘆和自豪的表情，這完全是模型自己處理的。

但有個問題是 GAGA-1 是專門為了表演和語音訓(xùn)練的模型，如果可以的話盡量避免復(fù)雜精細(xì)的手部運(yùn)動，比如這里手部就有些問題。

從上面的幾個測試看，基礎(chǔ)的表演和模型智能已經(jīng)相當(dāng)好了，然后再試試他多語言的能力。

這塊還得指望中國模型，畢竟海外的模型一般不會對中文進(jìn)行強(qiáng)化。

要不就是用了一些臺灣人或者中文不標(biāo)準(zhǔn)的人的語音資料導(dǎo)致聽起來和看起來都很別扭 Sora2 有時候就有一些，Veo3 就別說了。GAGA-1 在中文完美的基礎(chǔ)上，其他語言的表現(xiàn)也很頂。

提示詞：

英語：Gentle opening: "At first, I was very optimistic." (smiling, eyes relaxed),(pause 0.5 seconds, slight furrow of the brow) "But the data tells me we need to make decisions calmly." (steady gaze, slight nod)

日語：自然禮貌語氣“こんにちは。大事な発表です。落ち著いて、聞いてください?！保ㄝp點(diǎn)頭）

西班牙語：溫暖自信語氣“Gracias por venir. La verdad es clara: ahora reimaginamos el cine con IA.”

中英混合：淡定語氣：“結(jié)論很簡單——we’re ready for production.”（停頓0.3秒）“就現(xiàn)在?！?/p>

這里我分別試了一下英語、日語、西班牙語和多語言混合的情況，可以看到每個都非常標(biāo)準(zhǔn)，而且唇形同步也都是對的，細(xì)微的表情也都非常豐富，可以說不同語言之前的表現(xiàn)沒有啥區(qū)別，聽起來和看起來都像是說母語的人的表現(xiàn)。

接下來就到了最重要的情緒甚至復(fù)雜情緒的表現(xiàn)。

羞恥與自責(zé)的表情，目光回避、壓低聲音說：“我作弊了。”然后下頜收緊，用發(fā)抖的聲音說“對不起，我不該那樣做。”

這個真的跑的太好了，我一直認(rèn)為極端情緒的表現(xiàn)不是考驗(yàn)?zāi)Ｐ捅硌菽芰Φ年P(guān)鍵，關(guān)鍵在于那些不是很極端的場景化的情緒表現(xiàn)。

比如剛開始躲閃的目光、以及與之配合的壓低的聲音，真的你讓我演我真演不出來，GAGA-1 在表演上確實(shí)比我們沒學(xué)過表演的強(qiáng)太多了。

后面收緊下頜的動作也很自然，先是稍微低了一下頭，然后才徹底把頭低下去，語音上也有一個由弱變強(qiáng)的過程。

絕望與懇求的表情，下大雨的聲音，女生呢喃說到：“別走讓我至少把話說完。”然后大聲說：“我會改的，真的。”

這里這個場景就相對復(fù)雜了，女生是站在車外的，而且還是雨天，有車窗隔著，畫面和聲音的情況要考慮的都多一點(diǎn)。

仔細(xì)聽的話該有的雨聲也是有的，他很好的考慮了鏡頭在車?yán)锏那闆r，所以雨聲沒有那么大，而且還自己加上了非常應(yīng)景的鋼琴 BGM，加強(qiáng)了氛圍的渲染。

在表情和語音配合上，可以看到剛開始小聲說話的時候模型給女生加了一點(diǎn)發(fā)抖的情況，這也是人在有劇烈情緒的正常反應(yīng)，非常形象了。同時先小聲說話然后有個思考的停頓然后大聲說話的時候情緒的轉(zhuǎn)變也會更自然，它臺東表演了。

單人都這么猛了，我們來試試雙人。

A（微笑）：“用一句話概括 GAGA-1？”B（平穩(wěn)）：“聲音、口型、表情，同步到位?！盇（點(diǎn)頭）：“影視級，直出可用？”B（篤定）：“當(dāng)然?！?/p>

我這里加了點(diǎn)難度直接用的 AB 來表示左右的人，然后還用了兩個側(cè)臉。

但沒想到他依然可以 Get 到提示詞的要求，而且在中間的時候把應(yīng)該 B 一直說的話改成了一人說一句，整個視頻生動了不少。

側(cè)臉的唇形同步和面部表情也相當(dāng)不錯，沒有崩壞的情況，同時也沒有其他模型會出現(xiàn)的音畫不同步的情況，唯一小問題是在讀 GAGA 的時候有點(diǎn)嘴瓢，感覺要避免大段中文加一兩個英文單詞的情況。

再來一個場景化的情緒豐富一點(diǎn)的雙人測試，辦公室吵架。

左邊的男性憤怒的說：“預(yù)算是誰改的？”右邊女性心虛的說：“我……是我，但我別無選擇。”左邊男性用凌厲的眼神看著短促吸氣說：“你有?！?/p>

這里的整個情緒非常劇烈，同時模型自己也為了配合情緒加大了人物的動作，知道在質(zhì)問的時候需要看著對方，同時需要有劇烈的動作，可以看到即使是在非常極限的人臉角度下，面部表情和嘴型也堵維持住了。

這里我還給男性和女性分別指定了情緒和表情，男性是非常強(qiáng)烈的憤怒，女性是相對比較細(xì)微的心虛，兩者都表現(xiàn)的不錯，尤其是最后那個短促吸氣說話的感覺，相當(dāng)?shù)轿弧?/p>

由于時間跟對話有時候不匹配，可能會有一小段時間不動，這個用的時候剪掉就行。

好了這就是這次 GAGA-1 模型測試的主要內(nèi)容了，這是一個長板很長同時短板很短的模型，Send AI 在訓(xùn)練的時候目標(biāo)就非常的明確，就是把語音和表演表現(xiàn)拉滿，他們也確實(shí)做到了。

我探索下來，這個模型的幾個使用要點(diǎn)有：

1. a.提示詞上可以先說情緒變化，然后再說說話的語氣和內(nèi)容，如果需要停頓的話，可以直接寫，也可以用波折號或者省略號表達(dá)。
2. b.雙人的表現(xiàn)不錯，用左右或者男女去指定說話的人他都能理解，甚至 A、B 都行，但是超過雙人的表現(xiàn)會有一定的下降，優(yōu)先用雙人。
3. c.如果圖生的話盡量不要有太多的肢體或者全身漏在外面，也需要少些復(fù)雜動作提示詞，可能會崩。
4. d.如果字?jǐn)?shù)少的話比如十個字以內(nèi)可以選擇 5 秒的生成時長，如果是長對話可以選 10秒。
5. e.目前只支持 16:9 的橫屏比例，過段時間會支持豎屏的 9:16 比例。

隨著視頻模型的發(fā)展，我們漸漸不太滿足于復(fù)雜動態(tài)和物理表現(xiàn)、提示詞遵循這種最基本的要求，因?yàn)檫@些 AI 視頻模型可以生成的內(nèi)容只占正常內(nèi)容制作的一小部分。

從 GAGA-1、Sora2、Veo3 等模型我們可以發(fā)現(xiàn)，現(xiàn)在的 AI 視頻模型發(fā)展已經(jīng)到了下一個階段：

• 我們需要更加關(guān)注情緒表達(dá)和表演、音效和語音，模型開始朝著端到端的多模態(tài)一體化輸出。
• 同時需要關(guān)注模型本身的世界知識和智能程度，不僅可以理解畫面內(nèi)容進(jìn)行視覺推理，同時自己有編排分鏡腳本和剪輯的能力。

原來很多人認(rèn)為這部分需要 Agent 來完成，現(xiàn)在看來也被模型內(nèi)化了，Agent 制作的朋友需要將模型的進(jìn)步考慮的更加激進(jìn)一些才行。

本來看到 Veo3 和 Sora 2 之后覺得國內(nèi)的模型有點(diǎn)難了，但看到 GAGA-1 后發(fā)現(xiàn)還是有明白人的。

目前 GAGA-1 可以免費(fèi)試用，感興趣可以去試試。

如果覺得藏師傅的內(nèi)容不錯的話，可以幫我點(diǎn)個贊或者喜歡，也可以轉(zhuǎn)發(fā)??給你需要的朋友，感謝。