喜馬拉雅音頻大模型亮相云棲大會(huì)，用AI賦能內(nèi)容創(chuàng)作者

?商業(yè)與生活 文｜朱曉培

校對(duì)｜大道格

過(guò)去一年多，人工智能AI發(fā)展的速度超過(guò)任何歷史時(shí)期，特別是生成式人工智能（AIGC）帶來(lái)的新想象力，引人憧憬。

根據(jù)各地網(wǎng)信辦發(fā)布的公告，截至2024年7月30日，全國(guó)范圍內(nèi)已有197個(gè)生成式人工智能服務(wù)通過(guò)網(wǎng)信辦備案。人們最關(guān)心的莫過(guò)于，這些大模型，到底會(huì)如何落地，又會(huì)給物理世界帶來(lái)什么樣的改變？

9月19-21日，2024云棲大會(huì)上，人們可以發(fā)現(xiàn)一些答案。特別是AI的前沿應(yīng)用館里，因?yàn)閰R聚了多家公司的AI應(yīng)用成果，成為了做具人氣的展館。

在這個(gè)展館里，喜馬拉雅不大的展臺(tái)，格外引人矚目。與在其他展臺(tái)面前觀眾排隊(duì)等著體驗(yàn)AI游戲不同，展臺(tái)上的一個(gè)二維碼，引得眾多觀眾掏出手機(jī)掃碼入群。這個(gè)叫做“珠峰AI音色數(shù)字克隆人”的群，是專(zhuān)門(mén)為了喜馬拉雅的珠峰AI音視頻創(chuàng)作平臺(tái)的VIP權(quán)限開(kāi)通所用。

據(jù)現(xiàn)場(chǎng)的工作人員介紹，珠峰AI音視頻創(chuàng)作平臺(tái)，是通過(guò)珠峰AI音頻多模態(tài)大模型（簡(jiǎn)稱“喜馬拉雅大模型”），結(jié)合喜馬拉雅獨(dú)有的全品類(lèi)音色庫(kù)和數(shù)字人大模型，為創(chuàng)作人提供高品質(zhì)的AIGC和數(shù)智人服務(wù)。

用戶獲得珠峰AI的VIP權(quán)限后，可以上傳一段15秒至1分鐘的露臉視頻，生成屬于自己的視頻數(shù)字人，然后上傳文案、選擇聲音，就可以創(chuàng)作自己的音視頻作品，還可以通過(guò)克隆音色制作音頻作品。這一功能，吸引了大量的創(chuàng)作者，19日下午，《商業(yè)與生活》去展臺(tái)參觀的時(shí)候，就已經(jīng)開(kāi)到了VIP3群。

“AI聲音要做到自然，其實(shí)是很難的，需要模仿人類(lèi)的呼吸、停頓、語(yǔ)氣詞等，珠峰AI的效果很棒，讓人聽(tīng)不出來(lái)是AI合成的，對(duì)于創(chuàng)作人來(lái)說(shuō)，是不可多得的工具。”一位用戶評(píng)價(jià)說(shuō)。

01

喜馬拉雅大模型?

首個(gè)備案音頻大模型亮相

2024云棲大會(huì)上，喜馬拉雅展示的大模型，是其自主研發(fā)的AI音頻生成大模型。

就在9月9日，喜馬拉雅音頻大模型與米哈游、閱文集團(tuán)的筑夢(mèng)島等文本大模型共同進(jìn)入了上海網(wǎng)信辦發(fā)布的新一批上海市生成式大模型備案通過(guò)名單，成為全國(guó)首個(gè)通過(guò)網(wǎng)信辦生成式人工智能服務(wù)的音頻生成類(lèi)大模型。

據(jù)《商業(yè)與生活》了解，喜馬拉雅音頻大模型也是全球首個(gè)第四代多情感演繹、超自然表達(dá)的音頻生成大模型。該模型是珠峰AI團(tuán)隊(duì)基于自研文本音頻聯(lián)合建模的LLM框架，在同一空間向量表征下實(shí)現(xiàn)音頻與文本的聯(lián)合建模訓(xùn)練。這種聯(lián)合建模的方法，充分賦予了音頻生成任務(wù)以強(qiáng)大的語(yǔ)義信息，并充分利用它們之間的內(nèi)在聯(lián)系和互補(bǔ)信息，大幅度提高模型的性能和泛化能力，這也是第四代音頻大模型超越上一代的核心技術(shù)突破。

在訓(xùn)練過(guò)程中，喜馬拉雅珠峰AI首先將音頻數(shù)據(jù)和文本數(shù)據(jù)分別進(jìn)行預(yù)處理，將它們轉(zhuǎn)化為適合模型輸入的 token 形式。將音頻 token 和文本 token 映射到同一空間向量表征中，通過(guò)使用共享的嵌入層將音頻 token 和文本 token 映射到一個(gè)共同的高維向量空間中，從而使得模型能夠更好地理解和處理音頻和文本之間的關(guān)系。整體訓(xùn)練流程包括預(yù)訓(xùn)練（Pretraining）、有監(jiān)督微調(diào)（SFT）、領(lǐng)域有監(jiān)督微調(diào)（Domain SFT）、說(shuō)話人有監(jiān)督微調(diào)（Speaker SFT）、強(qiáng)化學(xué)習(xí)（RL）幾個(gè)主要流程。

通過(guò)這幾個(gè)流程的訓(xùn)練，依托百萬(wàn)小時(shí)的自有版權(quán)音頻數(shù)據(jù)進(jìn)行訓(xùn)練后，喜馬拉雅音頻大模型具備情感輸出、自然表達(dá)、語(yǔ)種互譯、超擬人、多情感、15s音色克隆能力和聲音轉(zhuǎn)換等技術(shù)能力，在音頻生成領(lǐng)域?qū)崿F(xiàn)了多維度突破。

基于喜馬拉雅音頻大模型，可生成一系列情感豐富的有聲書(shū)作品：

擅長(zhǎng)進(jìn)行超擬人、副語(yǔ)言可控的語(yǔ)音生成，做到媲美真人的真實(shí)對(duì)話風(fēng)格語(yǔ)音生成：

只需要使用15s以內(nèi)音頻，即可快速克隆音色，超低成本個(gè)性化音色制作，可同時(shí)進(jìn)行個(gè)性化音頻內(nèi)容生成和變聲：

音頻prompt：

文生音克隆：

還支持跨語(yǔ)種的聲音合成，如單老的中英混讀：

此外，方言的合成也不在話下：

并且還能生成一些特色音，如助眠音的合成：

結(jié)合喜馬拉雅音頻大模型的快速聲音克隆能力，疊加珠峰AI團(tuán)隊(duì)自研的單圖驅(qū)動(dòng)口唇技術(shù)，使用一張圖和一段聲音，可快速生成趣味配音視頻，具備高自然度的語(yǔ)音和口唇對(duì)齊效果：

《商業(yè)與生活》在現(xiàn)場(chǎng)體驗(yàn)了喜馬拉雅的AI文本驅(qū)動(dòng)功能后，也深刻感覺(jué)，????? 對(duì)于創(chuàng)作者來(lái)說(shuō)，如何讓AI成為自己的第二大腦，把創(chuàng)意更便捷、更迅速的落地，已經(jīng)成為了一個(gè)重要的命題。???????

02

AI賦能內(nèi)容創(chuàng)作者?

重塑內(nèi)容生態(tài)

AI技術(shù)的飛速發(fā)展，正以前所未有的速度推動(dòng)著內(nèi)容創(chuàng)作行業(yè)的變革。有業(yè)內(nèi)人士指出，眼下，AI將不僅僅是輔助工具，更可能會(huì)成為內(nèi)容創(chuàng)作的主導(dǎo)力量。內(nèi)容生產(chǎn)由傳統(tǒng)的“全人工生產(chǎn)”模式，轉(zhuǎn)向?yàn)椤叭斯?AI Copilot”模式，極大的提升了內(nèi)容生產(chǎn)的效率。

喜馬拉雅，也將AI相關(guān)業(yè)務(wù)，列為頭號(hào)任務(wù)，在戰(zhàn)略中明確表示，“繼續(xù)發(fā)展面向未來(lái)的技術(shù)，AI及大數(shù)據(jù)能力”。

在內(nèi)容生態(tài)體系中，內(nèi)容制作成本高昂一直是眾多內(nèi)容平臺(tái)的一大癥結(jié)。從版權(quán)采買(mǎi)，到匹配創(chuàng)作者，再到漫長(zhǎng)的制作周期，每一環(huán)都是人力和成本的堆積。

洞察到內(nèi)容創(chuàng)作這一痛點(diǎn)的喜馬拉雅，選擇通過(guò)AI賦能創(chuàng)作者和平臺(tái)，便捷創(chuàng)作者的內(nèi)容生產(chǎn)，形成像“AI制作人”一樣的人機(jī)協(xié)同。

有了AIGC的演繹能力，喜馬拉雅可以幫助創(chuàng)作者極大提升效率。過(guò)去平均生成一本書(shū)可能要幾十天或者一兩個(gè)月。現(xiàn)在可能一兩天，甚至十幾個(gè)小時(shí)就能完成。播客主瀟瀟使用喜馬拉雅智能創(chuàng)作工具“音剪”后說(shuō)，過(guò)去需要100分鐘剪輯的音頻，現(xiàn)在不到10分鐘就可以處理完。可以節(jié)省出更多的時(shí)間，用來(lái)琢磨精品的內(nèi)容。

有數(shù)據(jù)顯示，在喜馬拉雅，AI貫穿著有聲讀物的預(yù)錄制、錄制、后期等全過(guò)程，相比于人工創(chuàng)作的耗時(shí)，AI提效超過(guò)50倍；而由AI制作、人有限參與的精制作，相比于人工創(chuàng)作提效逾3倍。以宣傳物料為例，以往，真人主播在制作一張專(zhuān)輯，專(zhuān)輯封面圖、推廣物料等，如果外包給外部工作室的費(fèi)用至少千元。但使用喜馬拉雅的AI工具，主播制作一張專(zhuān)輯在各環(huán)節(jié)需要的圖片，設(shè)計(jì)成本可以降到幾毛錢(qián)，且效率奇高，幾分鐘就能完成圖片生成。

除了將AI技術(shù)深入應(yīng)用于PGC、PUGC、UGC的創(chuàng)作全流程，幫助創(chuàng)作者實(shí)現(xiàn)降本增效外，AIGC本身也開(kāi)始成為喜馬拉雅的一大內(nèi)容生產(chǎn)方式。數(shù)據(jù)顯示，截至2023年12月底，喜馬拉雅平臺(tái)上的AIGC內(nèi)容達(dá)2.4億分鐘，占平臺(tái)音頻內(nèi)容的6.6%。

此次云棲大會(huì)展示的珠峰AI創(chuàng)作服務(wù)平臺(tái)——珠峰AI音視頻創(chuàng)作平臺(tái)，就是依托通義文本大模型對(duì)文本內(nèi)容語(yǔ)義的深度理解，打造珠峰AI音頻大模型，結(jié)合喜馬拉雅獨(dú)有的全品類(lèi)音色庫(kù)和數(shù)字人大模型，為創(chuàng)作者提供高品質(zhì)的AIGC音頻和數(shù)智人服務(wù)，建立了包含535種合成聲音組成的音色庫(kù)，以適配不同情景下展示人類(lèi)的感受及情感。

最近爆火的有聲書(shū)《我的阿勒泰》，就是由喜馬拉雅音頻大模型生成的。更早些時(shí)候，喜馬拉雅的技術(shù)團(tuán)隊(duì)，還利用運(yùn)用AIGC技術(shù)還原了已故評(píng)書(shū)大師單田芳先生的獨(dú)特嗓音，并使用他的AI合成音來(lái)全新演繹其經(jīng)典之作。

喜馬拉雅珠峰AI表示，音頻大模型能力已經(jīng)在珠峰AI官網(wǎng)（zhufengai.ximalaya.com）上可以直接體驗(yàn)使用了，用戶可以直接創(chuàng)作用戶自己的音頻內(nèi)容。相信有了喜馬拉雅AI的助力，國(guó)內(nèi)的內(nèi)容生產(chǎn)者能夠更高效地創(chuàng)作出更多高質(zhì)量、個(gè)性化的內(nèi)容，滿足廣大聽(tīng)眾的需求，推動(dòng)整個(gè)內(nèi)容產(chǎn)業(yè)的創(chuàng)新和發(fā)展。

03

AI in All

給喜馬拉雅帶來(lái)新的想象空間

作為音頻行業(yè)領(lǐng)頭羊企業(yè)，喜馬拉雅曾首創(chuàng)PUGC內(nèi)容生產(chǎn)方式，并通過(guò)“PGC+PUGC+UGC”三位一體戰(zhàn)略，實(shí)現(xiàn)了從頭部專(zhuān)業(yè)生產(chǎn)內(nèi)容到長(zhǎng)尾用戶生產(chǎn)內(nèi)容的音頻內(nèi)容全方位覆蓋，打造出自己的“聲音宇宙”。

如今，AIGC的出現(xiàn)，為喜馬拉雅帶來(lái)了新的想象空間。

眾所周知，高質(zhì)量的數(shù)據(jù)庫(kù)，是AI大模型落地的基石，是AI大模型進(jìn)化的燃料。而喜馬拉雅擁有全面的音頻內(nèi)容生態(tài)，包括體量龐大的音頻內(nèi)容庫(kù)，以及數(shù)量眾多的音頻內(nèi)容創(chuàng)作者。據(jù)公開(kāi)數(shù)據(jù)顯示，截至2023年12月底，喜馬拉雅擁有約4.9億條音頻內(nèi)容，總內(nèi)容時(shí)長(zhǎng)為36億分鐘。喜馬拉雅擁有的龐大的語(yǔ)音庫(kù)，讓喜馬拉雅大模型擁有了不斷演進(jìn)的AI能力，這也是喜馬拉雅在AI時(shí)代的競(jìng)爭(zhēng)優(yōu)勢(shì)。

喜馬拉雅不僅在AI上擁有數(shù)據(jù)和技術(shù)上的優(yōu)勢(shì)，而且，AI還在智能化廣告營(yíng)銷(xiāo)中發(fā)揮更突出的作用，給喜馬拉雅帶來(lái)了更多的商業(yè)變現(xiàn)場(chǎng)景。比如，通過(guò)AIGC原生聲音流，實(shí)現(xiàn)“廣告即內(nèi)容”。

此前，喜馬拉雅就聯(lián)合貴州茅臺(tái)推出了“單田芳AI聲音重現(xiàn)”春運(yùn)公益活動(dòng)。不久前，喜馬拉雅聯(lián)合慕思共同打造的“邀李白共啟AI穿越之旅”活動(dòng)，在西安大明宮舉辦的“慕思奇妙夜之 AI 夢(mèng)長(zhǎng)安” 開(kāi)館活動(dòng)上，喜馬拉雅大模型技術(shù)助力慕思博物館館長(zhǎng)與李白進(jìn)行了一場(chǎng)跨越時(shí)空的對(duì)話，讓人仿佛置身于古代文人雅士的聚會(huì)之中。

隨著AI技術(shù)的不斷融入與創(chuàng)新應(yīng)用，喜馬拉雅不僅改變了內(nèi)容創(chuàng)作的邊界，也在商業(yè)化探索上開(kāi)辟了新的廣闊天地。通過(guò)將AI技術(shù)與傳統(tǒng)文化、商業(yè)品牌深度融合，可以打造出一系列既富有文化底蘊(yùn)又極具商業(yè)價(jià)值的活動(dòng)，助力品牌策劃出更加精準(zhǔn)有效的營(yíng)銷(xiāo)活動(dòng)，開(kāi)啟全新的商業(yè)增長(zhǎng)點(diǎn)。

在云棲大會(huì)會(huì)場(chǎng)，可以深刻感受到，AI技術(shù)正快速?gòu)膶?shí)驗(yàn)室走向?qū)嶋H應(yīng)用，影響著各行各業(yè)的發(fā)展。在內(nèi)容創(chuàng)作方面，AI與人類(lèi)創(chuàng)作者之間的協(xié)作，已經(jīng)在成為內(nèi)容創(chuàng)作的大勢(shì)所趨。

而在上海張江的喜馬拉雅園區(qū)，隨處可見(jiàn)“AI in All”的標(biāo)語(yǔ)。這家國(guó)內(nèi)知名的音頻在線平臺(tái)，正在內(nèi)部掀起一場(chǎng)全方位的 AI 變革，也打開(kāi)了新的增長(zhǎng)曲線。

—End—

更多關(guān)注：商業(yè)與生活，ID：xiaopeizhu8

內(nèi)容同步：網(wǎng)易號(hào)、同花順、百家號(hào)、今日頭條、UC、雪球、企鵝號(hào)、一點(diǎn)資訊、知乎、搜狐等。