AI對(duì)口型神器太魔性！四大AI歌手，大展宏圖？

我是刀哥，前大廠架構(gòu)師，現(xiàn)出海創(chuàng)業(yè)者。這是第79篇原創(chuàng)，研究AI的第35篇！

小云雀這次咸魚翻身了！簡直是個(gè)AI對(duì)口型神器！

請(qǐng)看第一位AI歌手：紅姐房客

這個(gè)蹭熱點(diǎn)，可以說是很到位了！本想大展宏圖，卻被紅姐套路！

動(dòng)畫可能讓你覺得效果不明顯，再看第二位AI歌手，蒙娜麗莎！

蒙娜麗莎竟然有了歌神的神韻！

表情和口型都非常到位！動(dòng)作十分搞笑，還會(huì)翻白眼！

關(guān)鍵的關(guān)鍵，制作非常簡單！打開小云雀APP，進(jìn)入創(chuàng)作頁，點(diǎn)熱門玩法小貓圖

然后上傳一張圖，用讓“ta”說話里的《大展宏圖》音頻模版就可以了

等10分鐘，雖然有點(diǎn)長，但很值得！

每天只有三次機(jī)會(huì)，這是最近一個(gè)月，我最有氪金沖動(dòng)的一次，可惜竟然沒有開放充值！

“小云雀”呢，是6月初，字節(jié)旗下剪映團(tuán)隊(duì)推出的內(nèi)容創(chuàng)作Agent。

這款產(chǎn)品號(hào)稱“一句話打造一個(gè)爆款”， 專為短視頻創(chuàng)作、數(shù)字人口播及電商帶貨等場景設(shè)計(jì)，核心亮點(diǎn)是實(shí)現(xiàn)視頻創(chuàng)作的“零門檻”。

pr做得不錯(cuò)，上個(gè)月一發(fā)布，大家火速下載，使用！框框測！

然后，就沒有然后了！

做出來的東西太AI，沒有人味兒，別說爆款，做了十幾個(gè)，閱讀量三千，點(diǎn)贊過10的都沒有。

這次，小云雀終于開始走抖音的套路了，UGC還是玩不過PGC的，你拿出一些有趣抽象的整活兒模版，大家照著做，皆大歡喜。

蒙娜麗莎這個(gè)，感覺像是內(nèi)部人做的，加了一些提示詞？動(dòng)作和表情太到位了。

我用哥哥張國榮和MC熱狗，就沒有這么好的效果。

第三位AI歌手：張國榮！

第四位AI歌手：MC熱狗！

當(dāng)然也可能是達(dá)芬奇的作品穿越千年，太有靈魂。大家可以再傳一些類似的油畫試試。

技術(shù)分析

唇形同步 ，Lip-Sync需要用到多種技術(shù):

• 語音識(shí)別 (Speech Recognition): 將輸入的音頻或文字轉(zhuǎn)換為文本，以便分析語音內(nèi)容和時(shí)間戳。

• 文本到語音合成 (Text-to-Speech, TTS): 如果輸入是文字，需要先將其轉(zhuǎn)換為語音。

• 面部關(guān)鍵點(diǎn)檢測 (Facial Landmark Detection): 準(zhǔn)確識(shí)別面部（特別是嘴部）的關(guān)鍵點(diǎn)，以便跟蹤和控制唇形變化。

• 音頻到視覺映射 (Audio-to-Visual Mapping): 將音頻的音素（phonemes）和時(shí)間信息映射到相應(yīng)的唇形變化上。Audio-Lip Memory等技術(shù)旨在實(shí)現(xiàn)更精確的唇形同步。

• 3D面部模型重建 (3D Face Model Reconstruction): 有些方法會(huì)先從2D圖像重建3D面部模型，然后在此基礎(chǔ)上進(jìn)行唇形動(dòng)畫，以獲得更真實(shí)的效果。

實(shí)現(xiàn)逼真效果的關(guān)鍵技術(shù)包括語音識(shí)別與音頻分析、面部特征點(diǎn)檢測、3D模型應(yīng)用以及復(fù)雜的音視頻映射算法，例如“音唇記憶”（Audio-Lip Memory）和“運(yùn)動(dòng)解耦擴(kuò)散模型”（MoDiTalker）等前沿研究。

國內(nèi)做最好的我感覺就是小云雀了。有抖音音視頻經(jīng)驗(yàn)的加持，用到了豆包大模型，豆包文生圖模型（原名“福祿瓜”），deepseek，工程整合能力很強(qiáng)大。

國外做的比較好的是HeyGen: 提供AI唇形同步視頻創(chuàng)建工具，用戶可以上傳圖片或視頻，然后輸入文本或音頻，生成對(duì)口型說話的視頻。

我還嘗試了用肖戰(zhàn)的寫真和臧海傳劇照，不過審核沒通過，應(yīng)該是有版權(quán)問題。本文用到哥哥的照片，僅為喜愛和紀(jì)念用途。用到房客動(dòng)漫和MC熱狗也是為了測試效果，侵刪！

小云雀地址（公測中，iOS預(yù)約體驗(yàn)）：https://xiaoyunque.jianying.com/

結(jié)尾

AI工具這個(gè)月好像退潮一點(diǎn)，出得沒有上半年那么多，測來測去，實(shí)際能每天用上的不多，但好玩有趣做視頻好用的，云雀我覺得算一個(gè)。

生活很辛苦，做點(diǎn)抽象搞笑視頻，快樂一下，也是不錯(cuò)的！

明天咱們就把張學(xué)友安排上！

回復(fù)【小云雀 】，一起學(xué)習(xí)交流，大展宏圖！

我是刀哥，大廠架構(gòu)師，出海創(chuàng)業(yè)者，深入研究AI工具和AI編程。關(guān)注我，了解更多AI知識(shí)！