LTX-2 震撼开源!仅需8GB显存,即可生成电影级AI大片!太离谱了 (附本地部署教程)|零度解说
这份 YouTube 洞见笔记由 LilysAI 生成。免费注册,从视频中以 10× 速度更深入地获取洞见。
Q: LTX-2是什么,它有什么特点和能力?
LTX-2是首个全能型、免费开源的AI音视频生成模型,基于Diffusion Transformer架构。其特点是: * 声音画面完全同步,高质量输出 * 生成速度极快,最低8G显存即可运行 * 支持本地部署,提供文本转视频、图片转视频等多种模型
Q: 如何在本地部署和使用LTX-2?
* 可通过官方命令或ComfyUI客户端部署(推荐后者)。 * 需下载主模型(约15G)及其他模型,8G显存用户可选蒸馏/量化版。
LTX-2開源模型有何特別之處?它是一款全能型音視頻生成模型,只需8G顯存即可在本地部署,實現聲音畫面同步的高品質輸出。
1. LTX-2 模型介紹與優勢
LTX-2 是一款開源的 AI 音影片生成模型,它能以極快的速度在一般家用電腦上生成高品質的音影片,且對硬體要求不高。1.1. LTX-2 模型特色
- 全能型音影片生成模型
- LTX-2 是第一個將影片生成關鍵技術整合到單一模型中的全能型音影片生成模型 。
- 它基於最新的 Diffusion Transformer 架構,能實現聲音與畫面完全同步,並輸出高品質內容 。
- 高效能與多樣化模型選擇
- 在相同硬體條件下,LTX-2 的生成速度可達 12.2 模型 。
- 它支援多種性能模型,包括快速、省力及超高清等選項,以滿足不同需求 。
- 親民的硬體要求
- LTX-2 對硬體要求極低,即使只有 8GB 顯示記憶體的顯示卡也能順暢運行 。
- 這使得使用者可以在自己的電腦上進行本地部署,無需排隊或受限速影響,自由生成所需的影片 。
2. LTX-2 本地部署教學
本節說明如何在本地電腦上部署 LTX-2 模型,提供兩種主要方法:官方命令列部署和透過 ComfyUI 進行部署。
2.1. 官方命令列部署
- 透過官方提供的命令進行部署
- 官方提供四行命令,可用於完全本地部署 LTX-2 模型 。
- 模型檔案目前託管在 Hugging Face 上,使用者需自行下載 。
2.2. 透過 ComfyUI 進行本地部署
- 下載 ComfyUI 客戶端
- ComfyUI 是一個免費且方便的本地部署工具 。
- 需從官方網站下載最新版本的 ComfyUI 客戶端 。
- ComfyUI 提供 Windows 和 Mac 版本,但 Mac 電腦必須是 M 系列晶片才能使用,Intel 晶片不支援 。
- 安裝 ComfyUI 客戶端
- 下載後需進行安裝,預設安裝在 C 槽,但使用者可選擇安裝到其他磁碟機 。
- 安裝完成後,ComfyUI 客戶端會自動啟動 。
- 啟動後可切換語言,支援英文、中文、簡體中文等 。
- 設定硬體與安裝路徑
- 點擊「Get Start」啟動後,需選擇硬體,若有 NVIDIA 顯示卡,建議選擇第一個選項以獲得最佳效果和加速 AI 圖片生成 。
- 若無 NVIDIA 顯示卡,只能選擇第二個選項透過 CPU 解碼,速度會較慢 。
- 接著選擇 Configure 的安裝位置,預設為 C 槽,但可自訂 。
- 若之前已安裝過 Configure,可選擇第二個選項遷移現有安裝,複製並連結模型檔案 。
- 第三個選項是手動選擇下載伺服器,預設透過 GitHub 下載,若不在海外可能需要 VPN 才能下載 。
- VPN 設定與 ComfyUI 行為配置
- 若需要 VPN,可在相關帖子下方找到 VPN 下載連結,安裝後開啟「通用模式」或「全球上網」功能 。
- 重新連接 VPN 後,即可在 ComfyUI 上下載安裝包 。
- 接著配置 ComfyUI 在桌面上的行為,可選擇「自動更新」以獲取最新安裝包 。
- 若在意資料收集,可選擇關閉「資料收集」選項 。
- 點擊安裝後,ComfyUI 會開始設定 Python 環境並安裝必要的環境包,例如 PyTorch,此過程可能需要一些時間,因為安裝包較大 。
3. LTX-2 模型下載與應用
本節介紹如何下載 LTX-2 模型,並展示其在文字轉影片、圖片轉影片以及生成不同類型影片方面的應用效果。
3.1. LTX-2 模型下載與選擇
- 多種 LTX-2 模型選擇
- ComfyUI 提供了六種 LTX-2 模型,包括:
- LTX-2 文字轉影片模型:使用文字提示生成高品質影片,支援音訊同步、表情、口型和動態動作 。
- LTX-2 圖片轉影片模型:將靜態圖片轉換為動態影片,支援音訊同步、自然表情和流暢動作 。
- LTX-2 深度轉影片模型:透過深度圖像生成高品質影片,支援音影片同步、精準深度控制和空間感知 。
- LTX-2 邊緣檢測轉影片模型:透過邊緣檢測引導生成高品質影片,支援音訊同步、精準邊緣控制和結構一致性 。
- 還有兩款「蒸餾版」模型,特別適合低顯示記憶體顯示卡,對顯存要求不高,同樣能生成高品質音影片 。
- ComfyUI 提供了六種 LTX-2 模型,包括:
- 模型下載與注意事項
- 選擇模型後,系統會提示缺少模型,需要下載主模型(約 15GB)、文字編碼器(約 14GB)、放大模型、LoLUS 等 。
- 這些模型檔案較大,下載過程可能需要時間,且由於託管在 Hugging Face 上,若不在海外可能需要開啟 VPN 的「通用模式」才能下載 。
3.2. LTX-2 文字轉影片應用實測
- 情侶中文對話與口型測試
- 複製提示詞「情侶中文對話,有口型情侶測試」並貼入,運行後生成影片 。
- 影片效果良好,人物表情和聲音對話都表現自然 。
- 搞笑情侶短劇測試
- 測試「搞笑情侶短劇」,影片生成速度非常快,約 5 秒的影片只需幾十秒即可完成 。
- 即使使用 24GB 顯示記憶體的電腦,生成速度也很快 。
- 播放後發現影片風格有些奇怪,但整體效果仍可接受 。
- 遊戲畫面與直播畫面生成
- 測試生成遊戲畫面,效果良好 。
- 也能用於生成直播畫面,影片能偵測情緒和細微表情,適合上班族 。
- 影片畫面和聲音表現不錯,但字幕顯示有問題,文字模糊不清 。
- 生成更長影片與電影級片段
- 若要生成更長的影片,可將幀數從 120 幀改為 200 幀,生成 8 秒的自然景觀影片,效果非常不錯 。
- 測試生成電影級打鬥片段,聲音非常真實 。
- 影片解析度為 1280x720,若使用 4K 或更高解析度,畫質會更好 。
3.3. 低顯存模型選擇與檔案存放
- 8GB 顯存版模型選擇
- 若顯示記憶體低於或約為 8GB,可選擇「8G 顯存版模型」 。
- 其中有由 KT 大佬提供的 LTX-2 蒸餾版,約 12.7GB,適合 12GB 左右顯存的顯示卡 。
- 也有適合 8GB 以下顯存的版本可供下載 。
- 模型檔案存放路徑
- 下載模型後,需將檔案放到指定資料夾 。
- 若是預設安裝 ComfyUI,則路徑為「文件」->「ComfyUI」->「MODELS」->「checkpoints」 。
- 主模型檔案應放在「checkpoints」資料夾,而 LoLUS 和 VAE 模型則需自行放入對應資料夾 。
- 針對 8GB 左右顯存,建議選擇 Q4KM 量化版,並下載 VAE 模型和量化版文字編碼器,這些檔案都有提供下載連結和詳細存放路徑說明 。
3.4. LTX-2 圖片轉影片應用實測
- 將圖片轉換為會說話的 AI 影片
- 在 ComfyUI 客戶端上傳一張圖片 。
- 更改提示詞為「有年輕漂亮的亞洲女孩站在海邊,微風吹動她的長髮和裙子,陽光照耀她的臉,她自然的看向鏡頭,說話時嘴唇同步,表情自然,電影級真實感 4K」,並輸入對話內容 。
- 調整長寬比與生成效果
- 將影片寬度從 1280 改為 720,高度改為 1280,以統一影片和圖片的解析度 。
- 圖片轉影片所需時間較長,需耐心等待 。
- 生成完成後,影片效果良好,人物在海邊說話,嘴唇同步且表情自然 。
像天才一样理解海量资料——与 LilysAI 一起
超过 1,000,000 名知识探索者正在使用 Lilys AI。
