「接下來的 AI 行業發展有兩條重要路徑:一是 AI 需要真正落地應用,以價值驅動技術和應用的發展;二是需要回歸實驗室,探索下一次技術范式的原始創新。」
商湯科技聯合創始人、首席科學家林達華在最近的一次 AI 論壇上如此說到。
本周,商湯在產品發布周上發布的如影營銷 Agent,就是第一條路徑的落地實踐。切入直播電商領域,從直播場控、內容生產、店鋪運營,到投放優化、競品追蹤,全方位用 Agent 來提升人工效率,解放人力。
為什么選擇切入電商 Agent?大模型時代的數字人,已經可以替代人類主播了嗎?在商湯如影營銷 Agent 發布之際,我們和團隊進行了溝通,更多了解到了當下電商直播領域,AI 的落地現狀與困境。
??關注 Founder Park,最及時最干貨的創業分享
超 17000 人的「AI 產品市集」社群!不錯過每一款有價值的 AI 應用。
邀請從業者、開發人員和創業者,飛書掃碼加群:
進群后,你有機會得到:
最新、最值得關注的 AI 新品資訊;
不定期贈送熱門新品的邀請碼、會員碼;
最精準的AI產品曝光渠道
01五個 Agent,
覆蓋電商運營全流程
對于電商來說,成本在漲、壓力在增,但團隊的帶寬卻是有限的,需要應對各種繁雜的、重復性工作:跨平臺的數據收集分析、手工報表、實時監控等等。
可以說,今天的電商,已經不是人力能穩住的行業了。
在了解了直播行業的真實痛點后,商湯推出了這套由 5 個 Agent 組成的系統,分別對應了直播運營團隊中的數字人主播、場控、直播運營、店鋪運營和流量投放五個核心崗位。
?直播場控Agent:像是給主播配了一個看不見的「超級助理」,發福袋、調庫存、回應彈幕等所有繁瑣的后臺操作,都可以自動化處理掉。能夠讓主播心無旁騖地專注于內容講解。尤其是針對人數不足的中小商家,也能以極低的成本,得到一個專業團隊帶來的流暢體驗;
?直播運營Agent:實時監控數據,能夠自動化完成直播過程中的數據監控與記錄,并在下播后快速生成多維度的分析報表。過去需要 2 小時的復盤工作,現在 20 分鐘就能獲得數據分析結果;
?店鋪運營Agent:解決的是電商運營中最復雜、也是價值最高的數據分析工作。能夠自動化收集散落在不同后臺的銷售、流量、退款數據,制定營銷策略。把過去人力需要耗費半天時間的流程,壓縮至 10 分鐘。例如,復雜的「退款分析」任務,能自動完成 7 個表格的數據下載與整合,提供比人力更全面、更深入的分析報告,單任務提效 20 倍;
?流量投放Agent:能夠 7x24 小時不間斷地監控多個店鋪的投放數據,自動匯總小時級報告,把流量投放的人力從 50 分鐘的重復性數據整理中解放出來,僅需 10 分鐘即可完成。
?數字人Agent:如影數字人智能體產品,是數字人行業首創,不需要復雜的視頻采集和高昂的棚拍成本,拍攝采集 0 成本,通過創新的復刻技術,可以實現「當日復刻,當日開播」。真人主播在黃金時段下播后,數字分身可以立刻接棒,無縫銜接全天 24 小時的直播。
更為重要的是,5 個 Agent 之間是相互協作、數據共享的,形成了一個從店鋪策略、 直播運營、場控執行、流量助推、最后到數據回流店鋪的端到端閉環鏈路。
舉個例子,店鋪運營 Agent 的深度分析,可以自動轉化為直播運營 Agent 的監控目標;直播中的實時數據,又會即時反饋給流量投放 Agent 來調整策略。
這意味著,運營實現了自動聯動,增長也能隨之自動滾動。如影營銷智能體,做到了過去任何單一提效工具無法實現的系統級價值。
02以數字人切入,
解決電商直播中的工具「單點化」痛點
Q:你們最早是做「如影」數字人技術,后來是看到了什么機會,決定做電商營銷Agent?
如影:我們一開始的想法是,以數字人技術切入直播電商賽道。真人直播是現在電商營銷非常主流的手段,但是一場直播需要主播、助播、線上場控、運營小助手等很多人參與,還需要場地和燈光設備。這是一個需要小團隊協作才能完成的工作,所以人力和費用投入成本都比較高。
商湯在數字人技術方面有比較多的積累,過去兩年,我們也一直在為不同品牌提供貨架式電商的直播服務。
在這個過程中,我們有了新的發現。解決了直播本身的問題之后,我們注意到電商代運營公司的 IT 投入非常少,無論是淘寶、美團還是京東。這些公司大多是勞動密集型企業,AI滲透率很低,即使有AI應用,也多是以單點服務為主。比如,通過 AI 生成圖片或視頻來制作物料,或者用 GPT 做一些分析,都只是輔助某個崗位上某個環節的一部分工作。
經過對這類公司的深度調研后我們發現,如果用 AI 打通各個崗位的工作流程,做成更閉環的產品,將極大地提升整個代運營的效率、分析的準確度,并幫助他們降低成本。這也是我們做這款產品的前提和初衷。
![]()
如影 Agent 后臺界面
Q:如影營銷智能體,號稱能頂一個七八人的團隊,具體都組合了哪些Agent?在人力上,能幫商家節省到什么程度?
如影:我們是按階段來發布營銷智能體的產品功能的,現在并沒有完全覆蓋整個代運營鏈路的所有崗位,但未來的目標是要通過 AI 助力所有崗位。
目前產品主要覆蓋的 Agent 有場控、直播運營、店鋪運營、投流運營。此外,還有我們的數字人,覆蓋了主播崗位。這五個 Agent 放在一起,能夠構成一個相對完整的直播間人員配置。
關于效率提升,我們初步測算,目前產品還是以「AI 輔助」為定位。以場控為例,一個直播間一天可能播 12 到 16 個小時,需要四個場控輪班。我們的場控 Agent 上線后,可能只需要一個人來做關鍵決策或與用戶的溝通工作,其余重復性的、配合主播的工作都省掉了。這個崗位的動效提升已經達到了 75%。
Q:場控Agent,主要是用了AI的哪些能力來實現的?
如影:場控的工作,除了幫助主播回答彈幕問題,還包括發紅包、發禮券、調整庫存、教用戶如何下單領福利、如何快速找到商品等,其中有很多重復性的操作。
產品的 AI 能力主要有兩塊。第一,AI 會實時監控整場直播的交易情況,包括 GMV、單量、用戶畫像和數量等數據,進行數據分析后可以告訴主播當前的完成情況以及預估的流量趨勢;第二,針對用戶在彈幕里的提問,關于福利、商品介紹等咨詢,都可以通過我們的 AI 或大模型幫助場控回答。
還有一個重要的功能是「氛圍組」。場控功能可以根據主播的情況或場景,適時地調整直播間氛圍,把氣氛炒起來。比如主播說「1、2、3,上鏈接」,后續的上鏈接過程其實都是場控在做的事情。
Q:在實際的直播里,互動環境很復雜,場控Agent在做決策和回答問題時,怎么保證穩定性和準確率?
如影:這方面我們已經積累了很多經驗。商湯從兩三年前就開始做數字人直播,并且是第一家把大模型引入數字人能力的公司,這個能力已經磨合了兩三年。在幫助直播運營人員回答用戶問題、維護直播間氛圍這塊,我們積累了很長時間的經驗,回答效率和準確率都非常高。
比如,在彈幕回復這塊,我們做了非常多的小模塊。一場直播間里有很多貨品,我們會通過貨品鏈接,構建一場直播的貨品知識庫。同時,還要根據用戶的問題進行意圖判斷,比如是閑聊,還是咨詢某個商品的具體問題,根據不同的意圖分不同的路徑去回答。在大模型基礎上,我們能根據用戶的問題,精準回復到具體商品的尺寸、顏色,或者推薦穿什么尺碼等。過去一年,我們實際上在不同平臺運營著一兩千個直播間,在這個過程中不斷完善。
03數字人 2.0 時代:從生硬的「坐播」,
到接近真人感、交互更自然
Q:相比于早期比較生硬的數字人「坐播」,現在在觀感上有哪些提升?
如影:數字人直播技術在這兩年確實有一個清晰的迭代過程。
一開始我們看到的數字人直播,往往是以「坐播」為主,也就是前期棚拍一個人坐著講話,后期通過貼圖和口型對齊來制作直播內容。但這樣整體感覺會比較生硬,數字人沒什么動作變化,互動性也比較差。這是我們認為的數字人直播 1.0 階段,大家會覺得數字人不那么自然,也比較容易分辨。
現在進入了數字人直播的 2.0 版本。我們希望擺脫這種固化、僵硬的表現形式,更多地利用真人在直播中的數據。真人在直播時,動作幅度會大很多,可能會走來走去,會出畫入畫,角度變化也很大,還會拿著商品不斷演示,與商品有不同的互動。有了這些元素,直播間的真實感會大大提升。
從技術上來講,我們不斷地在往真實感方面努力。技術發展之后,我們發現數字人帶貨的品類也有了變化。1.0 時代因為是坐播,主要以 3C 產品為主。但在有了更真實的數字人技術后,我們的品類就拓展到了鞋服類。一方面,對于更新迭代更快的品類,我們的技術能夠跟上,前一天播的內容,第二天就能用數字人直播。另一方面,體驗感更好,數字人可以穿著這些衣服,或者拿著鞋子做展示,整體的互動交互更自然。
Q:這種真實感和互動性,在技術方面是怎么做的?
如影:技術的提升主要來自三個方面。
第一,我們的算法放寬了對真人動作幅度的限制。原來為什么只能坐著或站著播?因為動作幅度不能太大,數字人算法在口型生成上有角度限制,可能只能做到左右正負二三十度。但現在我們的算法能做到正負八九十度,甚至大的側臉也可以生成口型。
第二,我們對遮擋算法進行了更新。1.0 時代的數字人,商品和臉沒有任何接觸,手也不能放在臉上,否則會穿幫。現在,不管主播拿衣服掛鉤、包包、鞋子,還是展示新做的美甲,在嘴巴和臉附近出現或離開,我們的算法都能很好地適配。
第三,是互動能力的提升,特別是讓互動內容和商品本身有了更強的關聯性,用戶能在互動中得到他關心的商品問題的真實回答。
Q:在「數字人身體」的生成和動作上,AI技術具體體現在哪些方面?
如影:數字人的生成技術一直都有 AI 的引入。因為生成數字人需要輸入視頻,并做了很多底層分析,比如人臉情況、人臉重建、遮擋情況等等,本身就有大量的 AI 介入。從 1.0 到 2.0 的技術演進,更增加了更多維度的算法能力,讓它能處理更高的復雜度。
Q:在演示中,數字人會拿起衣服展示,這些動作是采集真人主播的動作,還是AI生成的?
如影:目前,數字人的動作還主要是采集真人主播在直播中的動作,相當于,主播在黃金時段的一些動作會在其他時間復刻,但他說的話術、回答客戶的問題,是數字人直接生成的。
但我們同時也在做技術儲備,未來動作可以由 AI 實時生成,這樣自然度和豐富度相比現有又會有比較好的提升。另外我們還會將商湯最新的 SekoTalk 實時語音驅動數字人技術應用進來,這樣生成的畫面內容也會更加自然。
04店鋪運營 Agent 可以實現 20 倍提效
Q:你們提到店鋪運營Agent能實現20倍的提效,這個數字是怎么算出來的?具體解決了運營人員在工作流里的哪些問題?
如影:店鋪運營 Agent 是我們的客戶最喜歡的一個模塊,因為它解決的是電商運營中最繁雜、最耗時的工作。一個店鋪運營的日常,除了要制定像「雙十一」「雙十二」這樣的大促策略,很大一部分精力都花在了日報、周報、月報等報表分析上。
這個過程中,數據獲取和整理特別繁雜。數據散落在各個后臺,比如直播數據、投流數據、店鋪數據等等。有些能下載,有些只是個看板,需要運營手動把數據抄下來。我們的 Agent 定位就是把這個鏈路完全打通,并自動化執行。它會自動去各個后臺收集表格,甚至能通過識別截圖里的數據,然后生成對應數據表,同時確保準確率。有了這十幾個表單后,我們的 Agent 框架會按照預設的分析維度,自動生成最終的報表和分析內容。
20 倍的提效,是我們在一個具體的場景,「退款分析」中測算出來的。在抖音上,退款比例相對淘寶、京東等電商平臺要高,所以他們內部非常關注退款原因、比例和用戶行為。一個運營真人去做,需要下載 7 個不同的表格,光整理數據就要兩三個小時,再花時間去分析,半天就過去了。但我們的如影營銷智能體,從下達指令到給出非常專業的分析意見,全程只需要 10 分鐘左右。我們的Agent能力不是單點的,而是端到端地解決這個崗位的實際問題,融合了行業know-how和自動化處理模塊。
而且,AI 給出的專業意見往往比我們預想的還要好。因為人力分析時,可能只會重點關注幾列關鍵數據,但 AI 可以覆蓋所有數據維度進行評估,給出的報告更全面,對決策的幫助也更大。
![]()
店鋪運營 Agent
Q:這五個Agent是怎么協作的?商家是必須打包使用所有Agent,還是可以按需單獨選用?
如影:其實,做 Agent 特別像做「人」。這五個 Agent 對應五個工作崗位,每個崗位都有相應的工作任務。我們把每個崗位的任務拆解下來,最小的顆粒度就是每個任務。Agent之間協作的核心,是數據的實時共享。
舉個例子,直播運營 Agent 會一直監控直播間的狀態并實時采集數據。這些采集下來的數據會進入一個共享池,當店鋪運營 Agent 需要這些數據來做分析時,可以直接調用。這樣就達成了任務間的協同。
至于購買方式,我們的產品規劃很靈活。每個 Agent 都可以單獨使用和付費,當然,我們也會提供一個包含四五個 Agent 的打包服務套餐。
Q:品牌自播、中小商家以及頭部達人,他們對于這套系統的需求有什么不同?
如影:差異很大。比如場控能力,在達人直播或者流量非常大的直播間,他們可能不太需要我們的場控。因為那種場景更多是靠主播 IP 價值獲取認同。如果一個直播間在線人數超過幾百人,彈幕滾動速度非常快,大模型來不及響應,問題就已經飄走了。這種情況下,就不需要我們的智能回復,而是主播看到關鍵問題后直接去講。所以,流量大的直播間可能更關注如何讓主播回答用戶問題,如何與用戶互動建立連接,關注點是不一樣的。
Q:目前,店鋪運營是圍繞直播場景的深度輔助,還是已經能覆蓋店鋪更長期的日常運營了?
如影:我們的產品線最早是從數字人直播切入市場的,所以最先關注到的是直播運營相關的數據。現在我們拓展到店鋪運營,已經觸及到非直播領域了。目前以直播為核心向外延展,還沒有 100% 覆蓋店鋪運營和決策的方方面面,但我們相信最終整個產品線會覆蓋完整的店鋪運營角色和相關數據。
05服務品牌自播,
平均 GMV 能達到真人的 50%
Q:目前給客戶的實現方案,是復刻已有主播,還是提供一個全新的虛擬人身份?
如影:目前跑得比較好的模式,是真人主播和數字人主播結合著來。一個店鋪的主播每天能播四個小時,工作量就已經很大了。常見的一種方案是,真人在晚上 6 點到 10 點的黃金時段直播,剩下的一天 20 個小時,我們就可以用這位主播的形象去做復刻。然后就可以實現20小時的數字人直播,加上4小時的真人直播。這個模式的ROI是目前最好的。
Q:淘寶、抖音這些電商平臺,對數字人直播會有政策限制或要求嗎?比如,需要打上「AI生成」的標簽,會對轉化率有影響嗎?
如影:目前在淘寶、京東、美團、拼多多這些貨架式電商平臺,平臺會對數字人直播進行管理和打分,如果分數太差可能會有限制,但我們的產品目前在行業里頭部的,所以是沒什么影響的。
而且對數字人直播,平臺會打上標簽告知用戶。這也是符合國家相關政策。
我們發現,用戶其實更關心的是,我想了解的疑問你能不能回答我,比如是不是正品?發貨時間多久?有沒有我想要的尺碼?如果這些問題得到解決,他就會轉化下單。所以打標簽,對數字人市場反而沒什么影響,現在數字人在一些大品牌直播間已經是一個標配產品了。
Q:這套數字人主播系統對于像李佳琦這種強IP的KOL是不是就不太適用?
如影:確實,這屬于達人直播。我們判斷短期內,數字人主播在這塊和達人還是有差距的,因為達人更多提供的是 IP 價值和情緒價值,超出了我們現有技術能承擔的范疇。我們現在更多關注的是品牌自播。
達人直播只占電商直播極少的一部分,大部分的品牌直播間或中小店鋪直播間,用我們的技術是完全能滿足需求的。
![]()
商家使用數字人進行直播賣貨
Q:在你們看來,現在影響數字人直播轉化率的主要因素是哪些?
如影:流量的因素肯定是有的。比如在夜間,流量肯定會比較差,這就會影響整體交易。另外跟數字人相關的強相關的因素就是數字人主播的互動能力,試想一下如果你看直播的時候主播對你的問題有問必答,句句回到心坎里,那是多好的一種體驗。目前數字人形象聲音都真假難辨的情況下,出色的互動能力是直播間的關鍵因素。
Q:條件差不多的情況下,真人直播和數字人直播的轉化率有明顯差別嗎?
如影:過去一兩年里,轉化數據一直在提升。目前平均來看,數字人能達到真人直播GMV的一半左右。在一些比較好的情況下,數字人甚至比真人主播更好。
有幾個原因:第一是,一些大的頭部品牌,用戶對主播的關注度并不高,他更認這個品牌;第二,數字人主播能回答的用戶問題范圍非常廣。比如一個淘寶直播間掛了 200 個商品,用戶可能會問到第 182 號鏈接,真人主播可能介紹不了,一般只介紹主推的十來款。但對于數字人,只要我們提前生成好話術腳本,它就可以介紹任何一個鏈接的商品,引導用戶領券下單。這種情況我們觀察到非常多,所以數字人的能力在某些方面已經開始超過真人主播。
06站在商家視角,
更懂行業 know-how 的 Agent
Q:如影Agent是解決跨平臺問題,比如一個店鋪同時在京東、淘寶、抖音都有,還是只著重解決單一平臺和品類?
如影:這是一個逐漸發展的過程。我們第一階段還是以抖音平臺為主,先從單一平臺切入,后續當然會做跨平臺的數據整合分析,因為品牌不可能只在一個電商平臺運營。
Q:如果像抖音這樣的平臺方自己也做了類似的Agent工具,你們作為第三方的核心優勢和壁壘是什么?
如影:核心優勢包括:
第一,平臺視角和商家視角不一樣。平臺做 SaaS 或數據報表時,出發點是平臺視角,但商家看自己業務時是另一種維度。每個商家根據品牌、品類、經營周期的不同,關注的指標也不同。平臺沒有動力也沒有能力去滿足每個商家個性化的需求,這就是我們作為第三方服務商存在的價值和空間。我們從不同的維度上為客戶提供服務。
第二,我們積累了深度的行業 Know-how。平臺能積累大量數據,但從什么維度去分析,它們其實沒有很深的代運營 know-how。這個 know-how 往往是在實戰中積累出來的。我們這次發布的產品,是和行業伙伴一起共創的,把行業的經驗融合了進去。我們不僅是提供數據,更是用行業的 know-how 提供了更精準的分析維度。
Q:像服裝、數碼,不同垂直行業的運營「know-how」差異巨大,對電商運營的關注點也會有明顯區別。產品是怎么解決這些差異化問題的?
如影:不同平臺玩法不一樣,同一平臺下不同品類的關注點也不一樣。我們現在的策略是,優先集中在抖音平臺,從相對標準化的品類切入,比如美妝,然后再向服裝、3C 等品類延展。后續再覆蓋淘寶、京東等平臺。這和我們做數字人一樣,先從效率優化空間更大的品類切入,逐步擴展。擴展時,會把各個品類的「思維鏈」和運營思路補充進來,就能覆蓋相應品類的分析能力。
Q:這種模式會不會導致產品越做越重?因為不同品類對數據分析的需求不同。
如影:不會。區別主要在于分析的思維鏈邏輯,比如分析美妝和服裝的退貨,關注點不一樣。但對于整個產品功能來說,都是電商賣貨,是相通的。所以我們不需要擴展太多功能,只需要在模型層面,對不同行業的 know-how 和分析能力做相應的擴展和優化就可以了。
可以理解成,我們產品最底層是大模型能力,上層雖然叫「店鋪運營 Agent」,但內部可能還有很多按不同品類劃分的小 Agent。系統通過意圖和品類判斷后,會調用不同的小 Agent 去執行后續任務。
Q:希望用一套功能服務所有商家,還是會涉及一些定制化服務?
如影:我們盡量避免定制化,而是提供通用的場景、任務和服務給客戶。
Q:現階段,對于營銷Agent來說,產品最大的技術卡點是什么?或者說,要把產品從85分做到95分,最需要突破的是哪一點?
如影:目前,整個鏈路分成三個環節:數據獲取、分析處理、決策,這三塊我們已經完整打通了。我們會在未來持續提升模型能力,也就是它處理不同任務的思路,這塊是比較核心的。
Q:你們提到電商的AI滲透在加速,這個「拐點」是什么時候出現的?在電商之外,這套能力還被你們應用到了哪些有意思的新場景?
如影:數字人的交易占比提升,其實從前年就開始了,但大幅度提升是從去年開始的。我們看到越來越多客戶在采購我們的數字人直播產品。這說明我們的算法迭代,讓數字人能夠觸達的品類規模有了很大提升,尤其是在美妝、鞋服類市場。
除了直播電商,我們目前還有兩個比較大的應用場景。第一個是教育場景,比如像新東方的老師,一個 60 小時的課程,原來自己拍至少要 60 個小時,但用我們的數字人產品,他只要花一個小時生成自己的數字人,后續 60 個小時的課時,可能花幾十分鐘就能把課件全部生成了。
另一個是辦公場景,比如企業的對內或對外宣傳營銷視頻,包括一些黨政機關和媒體,用得也非常多。
還有一個是「數字人面試官」產品,用于招聘的初篩環節。目前,已經和一些央企合作,他們每年有上萬人的招聘需求。用 AI 可以在三天左右完成一萬場面試,并同時總結出初試結果,大大減少了招聘工作的壓力。
轉載原創文章請添加微信:founderparker
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.