1. ComfyUIとFluxを用いたLoRAトレーニングの準備 [0]

thumbnail ComfyUIとFluxを用いて独自のLoRAモデルをトレーニングするために必要な環境構築と準備について解説する。

1.1. ComfyUIとComfyUI Managerのインストール [0]

  1. ComfyUIのダウンロードとセットアップ [0]
    1. 動画ではComfyUI 0.36バージョンを使用する。
    2. Windows portable版のダウンロードを推奨する。
    3. ダウンロード後、ファイルを展開する。
  2. ComfyUI Managerのインストール [8]
    1. ComfyUIを実行する前に、ComfyUI Managerをインストールする必要がある。
    2. Managerのインストールコマンドは、ComfyUIのパス内でターミナルを開き、git cloneコマンドを実行して行う。
    3. インストールが成功すると、ComfyUI Managerタブが利用可能になる。
  3. ComfyUIの起動 [25]
    1. インストールが完了したら、Windows portableフォルダ内のNvidia GPUバッチファイルを実行してComfyUIを起動する。
    2. 起動後、上部にManagerタブが表示されていることを確認する。表示されない場合は、カスタムノードが正しくインストールされていないか、サーバーの再起動が必要な場合がある。

1.2. 必要なカスタムノードのインストール [32]

  1. カスタムノードの検索とインストール [32]
    1. ComfyUI Managerを開き、「Custom Nodes」タブで以下のノードを検索してインストールする。
      • Comfy Flux Trainer (Kai製): トレーニングに使用するノードセット。
      • RG3 Comfy: 関連ノード。
      • kg nodes: 「kg nodes for ComfyUI」をインストールする。
      • Node Suite: 画像から生成されたテキストで事前トレーニングする場合に役立つオプションノード。
  2. サーバーの再起動 [44]
    1. 全てのノードのインストール後、ComfyUIサーバーを再起動する必要がある。
    2. Managerタブからの再起動がうまくいかない場合は、一度ウィンドウを閉じてバッチファイルを再度実行することを推奨する。

1.3. オプション：BLIPを用いたキャプション生成 [53]

  1. BLIPキャプション生成の目的と利点 [53]
    1. BLIPキャプション生成は、LoRAトレーニングのパフォーマンスを向上させるためのオプション機能である。
    2. 画像ファイルと同じフォルダにテキストファイルとして説明を生成し、LoRAトレーニング時に読み込ませることで、より良い結果が得られる。
    3. この機能は必須ではないが、より高度な結果を得たい場合に推奨される。
  2. BLIPキャプション生成ワークフローの準備 [63]
    1. BLIPキャプション生成ワークフローは、ダウンロードして利用できる。
    2. このワークフローでは、画像フォルダ、BLIPモデル、およびプリセットされた最大リンク数（例：75）を設定する。
    3. BLIPモデルは、Art Ventureにプリロードされていない場合、別途ダウンロードして使用する。
    4. この機能は、特に高解像度の画像や複雑なデータセットの場合、システムに負荷をかける可能性があるため、注意が必要である。

1.4. Fluxモデルとワークフローの準備 [77]

  1. Fluxサーバーファイルのダウンロードと配置 [77]
    1. LoRAトレーニングのために、Fluxサーバーファイル（flux.def.safetensors、flux_text_encoders、flux_vaeなど）をダウンロードする必要がある。
    2. これらのファイルは、ComfyUIのmodelsディレクトリ内の適切なサブフォルダ（例：checkpoints/flux、clip、vae）に配置する。
    3. ベースとなるワークフローJSONファイルは、KaiのComfyUI-FluxTrainerリポジトリまたは提供されるリンクからダウンロードする。
  2. ワークフローJSONのロードとノードの確認 [92]
    1. ダウンロードしたワークフローJSONファイルをComfyUIのワークスペースにドラッグ＆ドロップして開く。
    2. 必要なノードがすべて表示されていることを確認する。
    3. もしノードが赤色で表示される場合は、Managerから「Install Missing Custom Nodes」を実行して不足しているノードをインストールする。

2. LoRAトレーニングの実行と評価 [98]

thumbnail 準備が整った環境で、データセットを用いたLoRAトレーニングを実行し、その結果を評価するプロセスについて解説する。

2.1. データセットの準備とワークフローの設定 [98]

  1. データセットの指定 [103]
    1. トレーニングに使用するデータセットのパスを指定する。
    2. データセットの画像解像度は、トレーニングのパフォーマンスに影響を与えるため、統一または適切なサイズにリサイズすることが推奨される。
    3. 動画では、1024x1024解像度の約36枚の画像を使用している。
  2. Flux LoRAトレーニングモデルの設定 [113]
    1. トレーニングワークフロー内で、データセットのパス、モデルの出力名、および出力パスを設定する。
    2. 初めてトレーニングを実行する際は、設定を変更しすぎず、基本的な入力（データセット、説明）のみで検証することを推奨する。
    3. モデルのパスが正しく設定されているか確認し、必要に応じて再リンクする。

2.2. LoRAトレーニングの実行と所要時間 [127]

  1. トレーニングの開始と進行 [127]
    1. 設定が完了したら、「Run」ボタンをクリックしてトレーニングを開始する。
    2. トレーニングの進行状況（ステップ数など）が画面に表示される。
  2. トレーニング時間とシステム要件 [130]
    1. トレーニングには時間がかかる場合がある。例として、36枚の1024x1024画像で約5時間かかった。
    2. 使用したシステムはRTX 3090 (24GB RAM) である。
    3. トレーニング時間は、画像数、解像度、およびステップ数によって変動する。

2.3. トレーニング結果の確認と評価 [137]

  1. トレーニング中の指標の確認 [137]
    1. トレーニングワークフローでは、トレーニングロス（Training Loss）の推移を確認できる。
    2. ロスが時間とともに減少していく様子が観察でき、異常な変動がないかチェックする。
    3. トレーニング中に一定間隔で保存されるモデル（例：safetensorsファイル）を確認できる。
    4. トレーニングロスが0.25（2000ステップ時）は良好な結果と評価される。
  2. 出力ファイルの確認 [160]
    1. トレーニング完了後、指定した出力パス（例：ComfyUI/LoRA/Flux/output）にモデルファイルが保存される。
    2. 保存されたファイルには、ステップごとのsafetensorsファイルや、ワークフロー設定のJSONファイルが含まれる。
    3. ファイル名で混乱した場合は、タイムスタンプを確認して最新のものを特定できる。

2.4. トレーニング済みLoRAモデルのテストと評価 [170]

  1. テストワークフローのセットアップ [170]
    1. トレーニング済みのLoRAモデルをロードし、テスト用のプロンプトを入力して画像を生成する。
    2. 生成された画像が、データセットの画像と類似しているかを確認する。
    3. LoRAが正しく機能し、意図した特徴を学習しているかを評価する。
  2. 結果の解釈と注意点 [179]
    1. 生成された画像に線のようなアーティファクトが見られる場合があるが、これはトレーニング時の設定（例：アグレッシブな設定、リサイズ、LoRAの強い使用）に起因する可能性がある。
    2. LoRAがオフの場合の画像と比較し、効果を確認する。