NVIDIA RTX PC上視覺生成式AI入門指南

生成式AI驅(qū)動的內(nèi)容創(chuàng)作現(xiàn)已集成到Adobe和Canva等日常工具中，眾多機(jī)構(gòu)和工作室正將這項(xiàng)技術(shù)融入其工作流程。圖像模型現(xiàn)在能夠持續(xù)產(chǎn)出逼真的效果，視頻模型能夠生成長且連貫的片段，兩者都能遵循創(chuàng)意指導(dǎo)。

創(chuàng)作者越來越多地選擇在PC上本地運(yùn)行這些工作流程，以保持對資產(chǎn)的直接控制，降低云服務(wù)成本，并消除迭代中的摩擦——使得按照真實(shí)創(chuàng)意項(xiàng)目需求的節(jié)奏優(yōu)化輸出變得更加容易。

自誕生以來，NVIDIA RTX PC一直是運(yùn)行創(chuàng)意AI的首選系統(tǒng)，因?yàn)槠涓咝阅芸梢詼p少迭代時間，用戶可以免費(fèi)運(yùn)行模型，消除Token焦慮。

通過本月初CES上推出的最新RTX優(yōu)化和新的開放權(quán)重模型，創(chuàng)意人員能夠更快、更高效地工作，并獲得更強(qiáng)的創(chuàng)意控制力。

開始使用視覺生成式AI

開始使用視覺生成式AI可能感覺復(fù)雜且受限。在線AI生成器易于使用但控制有限。

ComfyUI等開源社區(qū)工具簡化了設(shè)置高級創(chuàng)意工作流程的過程，易于安裝。它們還提供了下載最新最優(yōu)模型（如FLUX.2和LTX-2）以及頂級社區(qū)工作流程的簡便方式。

以下是在RTX PC上使用ComfyUI和流行模型開始使用視覺生成式AI的方法：

訪問comfy.org下載并安裝Windows版ComfyUI。

啟動ComfyUI。

使用入門模板創(chuàng)建初始圖像：

點(diǎn)擊"Templates"按鈕，然后點(diǎn)擊"Getting Started"，選擇"1.1 Starter – Text to Image"。將模型"Node"連接到"Save Image Node"。這些節(jié)點(diǎn)在管道中工作，使用AI生成內(nèi)容。按下藍(lán)色"Run"按鈕，觀看綠色"Node"高亮顯示，RTX驅(qū)動的PC生成第一張圖像。

更改提示并重新運(yùn)行，深入進(jìn)入視覺生成式AI的創(chuàng)意世界。

GPU顯存要求

隨著用戶對ComfyUI及其支持模型的熟悉度增加，需要考慮GPU VRAM容量以及模型是否能在其中運(yùn)行。以下是根據(jù)GPU VRAM開始使用的一些示例。

使用FLUX.2-Dev改進(jìn)圖像生成質(zhì)量

要探索如何使用FLUX.2-Dev改進(jìn)圖像生成質(zhì)量：

從ComfyUI的"Templates"部分，點(diǎn)擊"All Templates"并搜索"FLUX.2 Dev Text to Image"。選擇它，ComfyUI將加載連接節(jié)點(diǎn)的集合，即"Workflow"。

FLUX.2-Dev具有需要下載的模型權(quán)重。

模型權(quán)重是AI模型內(nèi)部的"知識"——可以把它們想象成大腦中的突觸。當(dāng)像FLUX.2這樣的圖像生成模型經(jīng)過訓(xùn)練時，它從數(shù)百萬張圖像中學(xué)習(xí)模式。這些模式以數(shù)十億個稱為"權(quán)重"的數(shù)值存儲。

ComfyUI不內(nèi)置這些權(quán)重。相反，它會按需從Hugging Face等存儲庫下載。這些文件很大（FLUX.2根據(jù)版本可能超過30GB），這就是為什么系統(tǒng)需要足夠的存儲空間和下載時間來獲取它們。

將出現(xiàn)一個對話框指導(dǎo)用戶下載模型權(quán)重。權(quán)重文件（filename.safetensors）會自動保存到用戶PC上正確的ComfyUI文件夾中。

保存工作流程：

現(xiàn)在模型權(quán)重已下載，下一步是將這個新下載的模板保存為"Workflow"。

用戶可以點(diǎn)擊左上角的漢堡菜單（三條線）并選擇"Save"。工作流程現(xiàn)在保存在用戶的"Workflows"列表中（按W顯示或隱藏窗口）。關(guān)閉標(biāo)簽頁可退出工作流程而不丟失任何工作。

ComfyUI現(xiàn)在準(zhǔn)備使用FLUX.2-Dev生成圖像。

FLUX.2-Dev提示技巧：

從對主題、設(shè)置、風(fēng)格和情緒的清晰、具體描述開始——例如："復(fù)古賽車在雨中的電影特寫，濕潤瀝青上的霓虹反射，高對比度，35mm攝影"。中短長度的提示——一個或兩個專注的句子——通常比長篇故事式提示更容易控制，特別是在入門時。

添加約束來指導(dǎo)一致性和質(zhì)量。指定諸如：構(gòu)圖（"廣角鏡頭"或"肖像"）、細(xì)節(jié)級別（"高細(xì)節(jié)，清晰焦點(diǎn)"）、現(xiàn)實(shí)主義（"逼真"或"風(fēng)格化插圖"）等內(nèi)容。

如果結(jié)果過于繁忙，刪除形容詞而不是添加更多。

避免負(fù)面提示——堅(jiān)持提示所需的內(nèi)容。

使用LTX-2改進(jìn)視頻生成質(zhì)量

Lightrick的LTX-2是一個先進(jìn)的音頻-視頻模型，專為ComfyUI中可控的故事板式視頻生成而設(shè)計(jì)。一旦下載了LTX-2 Image to Video模板和模型權(quán)重，首先將提示當(dāng)作簡短的鏡頭描述，而不是完整的電影劇本。

與前兩個模板不同，LTX-2 Image to Video結(jié)合圖像和文本提示來生成視頻。

用戶可以使用在FLUX.2-Dev中生成的圖像之一，并添加文本提示賦予其生命力。

LTX-2提示技巧：

為了在ComfyUI中獲得最佳效果，用現(xiàn)在時寫一個流暢的段落，或使用簡單的腳本式格式，包含場景標(biāo)題、動作、角色名稱和對話。目標(biāo)是四到六個描述性句子，涵蓋所有關(guān)鍵方面：

建立鏡頭和場景（廣角/中景/特寫，照明，顏色，紋理，氛圍）。

將動作描述為清晰的序列，用可見特征和肢體語言定義角色，并指定相機(jī)移動。

最后，使用引號添加音頻，如環(huán)境聲、音樂和對話。

優(yōu)化顯存使用和圖像質(zhì)量

作為前沿模型，LTX-2使用大量視頻內(nèi)存（VRAM）來提供高質(zhì)量結(jié)果。內(nèi)存使用隨著分辨率、幀率、長度或步驟的增加而增加。

ComfyUI和NVIDIA合作優(yōu)化了權(quán)重流式傳輸功能，允許用戶在GPU VRAM不足時將工作流程的部分卸載到系統(tǒng)內(nèi)存——但這會以性能為代價。

組合工作流程

用戶可以通過將模型組合到新工作流程中來簡化在ComfyUI工作流程之間跳轉(zhuǎn)的過程：

打開保存的FLUX.2-Dev Text to Image工作流程。

Ctrl+鼠標(biāo)左鍵點(diǎn)擊FLUX.2-Dev Text to Image節(jié)點(diǎn)。

在LTX-2 Image to Video工作流程中，使用Ctrl+V粘貼節(jié)點(diǎn)。

將鼠標(biāo)懸停在FLUX.2-Dev Text to Image節(jié)點(diǎn)IMAGE點(diǎn)上，左鍵點(diǎn)擊并拖拽到Resize Image/Mask Input點(diǎn)。將出現(xiàn)藍(lán)色連接器。

用新名稱保存，在一個工作流程中為圖像和視頻添加文本提示。

進(jìn)一步探索

除了使用FLUX.2生成圖像和LTX-2生成視頻外，下一步是添加3D引導(dǎo)。NVIDIA的3D引導(dǎo)生成式AI藍(lán)圖展示了如何使用3D場景和資產(chǎn)在RTX PC上驅(qū)動更可控的生產(chǎn)式圖像和視頻管道——提供用戶可以檢查、調(diào)整和擴(kuò)展的現(xiàn)成工作流程。

創(chuàng)作者可以在Stable Diffusion subreddit和ComfyUI Discord上展示他們的作品，與其他用戶聯(lián)系并尋求幫助。

Q&A

Q1：ComfyUI是什么？它有什么特點(diǎn)？

A：ComfyUI是一個開源社區(qū)工具，能夠簡化設(shè)置高級創(chuàng)意工作流程的過程，易于安裝。它提供了下載最新最優(yōu)模型（如FLUX.2和LTX-2）以及頂級社區(qū)工作流程的簡便方式，用戶可以通過節(jié)點(diǎn)管道的方式使用AI生成內(nèi)容。

Q2：FLUX.2-Dev模型有什么優(yōu)勢？如何使用？

A：FLUX.2-Dev是一個高質(zhì)量的圖像生成模型，能夠根據(jù)文本提示生成逼真圖像。使用時需要下載模型權(quán)重文件，然后通過ComfyUI的模板系統(tǒng)加載。建議使用清晰、具體的提示描述，包含主題、設(shè)置、風(fēng)格和情緒，避免使用負(fù)面提示。

Q3：LTX-2視頻生成模型如何工作？對硬件有什么要求？

A：LTX-2是Lightrick開發(fā)的先進(jìn)音頻-視頻模型，結(jié)合圖像和文本提示生成視頻。它需要大量VRAM來運(yùn)行，內(nèi)存使用隨分辨率、幀率、長度增加而增加。ComfyUI提供權(quán)重流式傳輸功能，可在GPU VRAM不足時將部分工作流程卸載到系統(tǒng)內(nèi)存，但會影響性能。