AI視頻玩法又進化了。
最近這一周,小紅書上和X上鋪天蓋地的都是AI片場探班的視頻,點開視頻一看,大家都在跟各路明星、角色合影,非常熱鬧。
![]()
我看到這個玩法之后,也立刻隨手做了個小東西。
我跟我最喜歡的游戲制作人和主角們,在游戲世界中合影的小片段。
老規矩,教程也給你們奉上。
小紅書上還有在賣提示詞的,我是覺得,沒有必要。。。
整個過程真的很簡單,就三步:
用提示詞生圖,用首尾幀生視頻,用剪輯軟件把視頻拼起來。
先說提示詞這一步。
一開始本來我覺得,做個一勞永逸的提示詞喂給Nano Banana Pro,讓它直接就處理掉圖片這一步部分。
畢竟大家都知道,Nano Banana Pro的世界知識能力強的離譜,所以理論上,只要我輸入影片、角色和場景,它就能get到我想要的是啥。
于是,我就把我的需求和Gemini說了一通,做出來這樣一套初始提示詞,主要分為場景、人物、光線氛圍這三塊。
場景與地點:還原經典影視作品的拍攝現場。這是一個正在拍攝的片場環境,拍攝現場包含大型電影電影攝影機、燈光設備、軌道車、吊桿錄音設備、部分入鏡的工作人員,以及場景中的重要道具。人物與角色: 參考圖中的人物,保持面部特征、五官、發型和衣著100%一致。站在旁邊的是影片中的角色,呈現角色在影片拍攝期間的裝扮、發型和衣著。兩人站在一起,看向鏡頭,在影片拍攝的休息時間里,隨機抓拍一張自然放松的幕后合影。光線與氛圍: 專業級影棚照明,捕捉到角色和設備的所有細節。展現幕后制作的真實感,氛圍捕捉到溫馨但不被人看到的幕后時刻,兩個人物的互動歡樂自然。影片:,角色:,場景:。然后上傳我的照片,并在提示詞里頭填上,影片:怪奇物語,角色:demogorgon,場景:upsidedown。
照片和提示詞都給到Nano Banana Pro之后,它就會給我生成一張符合描述的圖片了。。。
我本來都喝了一口茶,等著美滋滋的收一張圖。
結果,事實上我得到的結果是這樣的。。。
![]()
乍一看好像是我,但放大臉部仔細看就不大對勁。
像韓國人。。。
還有這樣的。
公司小伙伴瞟了一眼我的電腦,直接問我,你是在用faker做圖嗎?
![]()
。。。。。。
也是越級碰瓷上了。
然后我一通試,發現,用我的臉,屢戰屢敗,親媽不認,但朱迪兔碧昂絲鄧紫棋周杰倫什么的,效果又不錯。
![]()
只能說Nano Banana Pro的世界知識確實很齊全,但是吧,又是國外模型的通病,針對亞洲人臉的一致性,還是太差了。
那沒辦法,只能換別的了了。
因為生圖只是第一步,后面還要生視頻,視頻的一致性本來就不如圖片可控,如果圖片的一致性不好,那就真的是從地基開始崩壞了。
于是只能扭頭轉戰即夢。
但我沒有直接用即夢從頭生圖。
因為提示詞里輸入影片和角色就能出圖,算是大香蕉的獨門技,還挺方便的,出來的圖光影構圖啥的也都不錯。所以,我只需要用即夢把我的臉變得更像我自己就行了。
用的模型是Seedream 4.5,也就是圖片4.5。
![]()
在亞洲人臉上,效果確實還是強太多了,就很適合我這個改圖的場景。
于是我給了即夢我的參考圖和另一串提示詞,讓它把圖片里的面孔替換掉。
![]()
終于得到了這樣一張,能認得出來是我自己的圖片。
![]()
看著舒服多了。。。
生圖的第一個問題,人臉解決了,就來到第二個問題:如果不是電影場景,比如我開頭展示的那種游戲場景,提示詞要咋改。
我用的方法其實非常的懶癌,就是,也別自己寫了,就還是,直接讓Gemini干活吧。。。
把我的初始提示詞扔給它,讓它根據這個提示詞反推。
![]()
然后,直接把它給我的提示詞們復制到Banana里,就可以得到。
跟宮本茂和馬里奧的合影。
![]()
跟英雄聯盟主創和主角的合影。
![]()
還有我私心最喜歡的,跟黑猴還有馮驥老師的合影。
![]()
所以說,不用背提示詞,更不用去買,善用Gemini就行。
到這里,其實你已經可以讓Gemini幫你自由出圖了,只要你想,萬物皆可攝影棚。
但是這一趴其實還沒結束。
因為我在試一個我童年時代就很喜歡的電視劇合影,武林外傳的時候,翻車了。。。
我悲催地發現,Nano Banana Pro的能力,在武林外傳上面徹底歇菜了。
甚至在我給了它佟掌柜的參考形象之后,出來的結果依然有些災難。
![]()
你會發現,Nano Banana Pro既不具備對武林外傳的知識,也無法準確地還原參考形象。
所以,類似于武林外傳這樣的經典國產劇,確實沒有辦法,還是得祭出國產模型才行。
所以我又回到了即夢,去網上找了人物參考和場景參考,然后用Gemini生成的提示詞和參考圖在即夢上一起roll。
![]()
最后,總算是把武林外傳的這些人,以及我自己都做到了80%的還原。
![]()
總的來說,生圖這一步是最坎坷的,因為訓練集和人物一致性的原因,所以經常會在Nano Banana Pro和即夢之間來回轉戰,力求畫面構圖沒問題的同時,人物一致性也要達標。
而到了生視頻這里,一切就簡單多了,只要這個模型有首尾幀功能就行,比如可靈O1,或者即夢3.5 Pro,都行。
因為圖最后都是在即夢里面出的,所以我圖方便,用的還是即夢。
只需要把生成的前后兩張圖貼在首尾幀上,然后給一句提示詞,讓人物從圖一走到圖二就行。
巨簡單。
![]()
但是,要是仔細看的話你會發現我的提示詞其實經歷了很多縫縫補補,因為我發現它很容易從虛空中掏出手機,就取消了手機。發現人物走路速度容易過快,就加了提示詞約束,等等等。
所以也沒必要完全遵循這個提示詞本身,可以根據出來的結果再做調整。
而在roll了n次以后,我也擁有了全部素材。
![]()
這時,只要把它們導到剪映里加工一下,再加點拍照的特效和音效。
![]()
一條視頻,就做完了。
接下來,集中給你們看一下我都做了哪些case。
比如最近阿凡達很火,我就去潘多拉星球轉了一圈,碰見了男女主,還有反派。
還去了趟怪奇物語片場,遇見了幾個主角,還和張著大嘴的魔王花合照了一張。
穿越到三國,遇見了一個拍三國紀錄片的劇組,跟劉關張曹操都見了一面。
最后,還跟我的童年回憶同框了一回。
看著這個小片子,我想起了十歲那會兒,守在電視機前等待《武林外傳》播出的日子。
當時那個仰著頭看電視的小孩可能也想不到,快要二十年過去,他可以走進那個熟悉的片場,和他喜歡的人物來一張合影。
這可能是我這個月最喜歡的AI玩法。
也希望,你們能夠用它。
走進那個你心中最經典的回憶里。
以上,既然看到這里了,如果覺得不錯,隨手點個贊、在看、轉發三連吧,如果想第一時間收到推送,也可以給我個星標?~謝謝你看我的文章,我們,下次再見。
>/ 作者:卡茲克、水杉
>/ 投稿或爆料,請聯系郵箱:wzglyay@virxact.com
特別聲明:以上內容(如有圖片或視頻亦包括在內)為自媒體平臺“網易號”用戶上傳并發布,本平臺僅提供信息存儲服務。
Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.