1. ComfyUIと動画生成AI「Wan2.2」の導入 [0]

thumbnail 初心者でもComfyUIと最新の動画生成AI「Wan2.2」をローカル環境で動かせるようになるための、インストールからモデル導入、初出力までの手順を解説する。

1.1. ComfyUIポータブル版のインストール [0]

  1. ComfyUIのセットアップ方法の概要 [8]
    • ComfyUIの公式マニュアルには、ComfyUIデスクトップ、ComfyUIポータブル、手動インストールの3種類の方法が記載されている。
    • 本動画では、セットアップが簡単で最新バージョンも利用できるComfyUIポータブル版を使用する。
  2. ComfyUIポータブル版のダウンロードと展開 [15]
    • ポータブル版は、本体などの必要なプログラムが全て含まれており、ダウンロードして展開するだけで利用可能である。
    • 展開には7-Zipが必要となるため、インストールしていない場合は事前にセットアップしておく。
    • ダウンロードした圧縮ファイルを、容量に余裕のあるストレージの直下にコピーし、7-Zipで展開する。
    • 展開後、元の圧縮ファイルは削除して良い。
    • 展開したフォルダ内にあるバッチファイル（NVIDIA製GPUの場合はrun_NVIDIA_GPU.bat）でComfyUIを起動できる。
  3. ComfyUIマネージャーのインストール [32]
    • ComfyUIマネージャーは、カスタムノードやアップデートを管理できる便利なツールである。
    • インストールはGitコマンドを使用する方法で進める。Gitがインストールされていない場合は、事前にセットアップが必要である。
    • ComfyUIフォルダ内のcustom_nodesフォルダを右クリックし、「ターミナルで開く」を選択してGitコマンドを実行する。
    • コマンド実行後、ComfyUIを再起動する。
  4. ComfyUIマネージャーのアップデートとComfyUIの更新 [44]
    • ComfyUI起動後、右上の「マネージャー」ボタンからComfyUIマネージャーを開く。
    • マネージャーの左側にある「アップデート」項目を「UIバージョン」から「ConUIバージョン」に切り替える。
    • 「ComfyUIをアップデートする」ボタンを押して、ComfyUIを最新バージョンに更新する。
    • 更新後、ComfyUIを再起動すればセットアップは完了である。

1.2. Wan2.2モデルの導入と初出力 [52]

  1. Wan2.2のワークフローとモデルのダウンロード [53]
    • ComfyUIのワークフローメニューから「テンプレートを参照」を選択し、ビデオ関連のワークフローを確認する。
    • Wan2.2には、テキストからの動画生成、画像からの動画生成、ハイブリッド生成の3種類のワークフローがある。
    • テンプレートを開くとモデルが見つからない警告が表示されるため、画面上のダウンロードボタンから各モデルをダウンロードする。
    • ダウンロードしたモデルは、ComfyUIフォルダ内のmodelsフォルダ内の指定された場所（動画生成モデルはdiffusion_models、テキストエンコーダーはtext_encoders、VAEファイルはvae）に配置する。
    • モデル配置後、ComfyUIを再起動し、ブラウザのワークフローを再読み込みすると、モデルが選択できるようになる。
  2. テキストからの動画生成の実行 [67]
    • ビデオサイズの項目で、生成する動画の大きさや長さを設定する。サイズを大きくしすぎると、処理に時間がかかったりメモリ不足のエラーが発生する可能性があるため、PCスペックに応じたサイズ設定が推奨される。
    • プロンプトでは、生成したい動画の内容をポジティブプロンプトに、生成したくない内容をネガティブプロンプトに記述する。プロンプトは英語または中国語で記述する。
    • 初期プロンプトのまま動画を生成したところ、画像サイズを大きくしすぎたため1時間近くかかったが、無事にテキストからの動画生成ができた。
  3. 画像からの動画生成の実行 [79]
    • 画像からの動画生成もテンプレートを利用するとモデルの準備が容易である。
    • モデルをダウンロードし、diffusion_modelsフォルダに配置する。
    • ベースとなる画像（例：モナリザの絵）を選択し、動画サイズを画像に合わせて設定する。
    • プロンプトを入力して実行すると、絵画を自然に動かすことができた。
  4. 高速化のためのAll-in-Oneモデルの紹介 [90]
    • PCスペックによっては生成に時間がかかったり、メモリ不足で生成できない場合がある。
    • Wan2.2の改良版として、動画生成モデル、テキストエンコーダー、VAEが1つのファイルに統合されたAll-in-Oneモデルが紹介されている。

2. Wan2.2のAll-in-Oneモデルを用いた動画生成 [92]

thumbnail PCスペックに依存せず、より高速かつ高品質な動画生成を実現するために、Wan2.2のAll-in-Oneモデルの導入方法と具体的な動画生成手順を解説する。

2.1. All-in-Oneモデルの導入手順 [92]

  1. All-in-Oneモデルと関連ファイルのダウンロード [93]
    • Wan2.2のAll-in-Oneモデルは、動画生成モデル、テキストエンコーダー、VAEが1つのファイルに統合されており、高速化されたLoRAモデルも含まれている。
    • ワークフロー読み込みのためにJSONファイルをダウンロードする。
    • 動画モデルは最新版を、イメージ2ビデオはバージョン3、テキスト2ビデオはバージョン4のモデルをダウンロードする。
    • イメージ2ビデオのワークフローでは、CLIP Visionのモデルが必要となるため、別途ダウンロードする。
  2. モデルファイルの配置とワークフローの読み込み [102]
    • ダウンロードしたモデルファイルは、指定されたフォルダに配置する。All-in-Oneモデルはcheckpointsフォルダに入れる。
    • JSONファイルをComfyUI画面にドラッグ&ドロップしてワークフローを読み込ませる。
    • ノードが見つからない警告が出た場合は、マネージャーボタンから不足しているノードをインストールする。
    • インストール後、ComfyUIを再起動し、ブラウザのワークフローを再読み込みする。

2.2. All-in-Oneモデルを用いた動画生成の実践 [108]

  1. テキストからの動画生成 [109]
    • テキストから動画を生成するためのワークフローを読み込み、T2Vモデルを選択してプロンプトを入力する。
    • フレーム数とフレームレート（例：16fps）を設定し、動画生成を開始する。
    • 生成された動画は、テキストからの生成よりも画像からの生成の方が比較的容易に感じられた。これは、テキストからの動画作成は自由度が高く、画質のコントロールが難しい印象があるためである。
  2. 画像からの動画生成（一貫したキャラクター動画） [117]
    • イメージビデオのJSONファイルを読み込み、読み込んだ画像から一貫したキャラクター動画を作成する。
    • フリー画像サイト「パクタソ」からダウンロードした画像を切り取って使用する。
    • 動画サイズを640×720pに設定し、読み込んだ画像に合わせたプロンプトを入力して実行する。
    • 初回実行時にCLIP Visionモデルのセットアップエラーが発生したが、正しくセットし直して実行したところ、動画生成に成功した。
    • ベースとなる画像は、実際の写真でもAI生成画像でも問題なく利用できる。出発画像やプロンプトを工夫することで、様々な動画を作成可能である。

2.3. まとめと今後の展望 [129]

  1. ComfyUIとWan2.2による動画生成の総括 [129]
    • 本動画では、ComfyUIを使ったことがない初心者でもWan2.2を動かせるようになるまでの手順を丁寧に解説した。
    • 手順は多いが、一度環境が整えば、高品質な動画生成をローカル環境で楽しめるようになる。
  2. 今後の情報発信と視聴者への呼びかけ [132]
    • 今後も、クリスタやStable Diffusionプラグインのアップデート情報、最新技術、使いこなし方法などを紹介していく。
    • 動画が参考になった場合は、チャンネル登録と高評価をお願いする。
    • 質問はコメント欄に記載するよう促している。