1. Comfy UI 初期設定とモデルファイルの配置 [0]

thumbnail

  1. 動画の目的: Comfy UIの第2回として、アップスケールとLoRAの導入を行うことである [1]。

  2. 初期設定:

    1. Comfy UIのフォルダを開き、アップデートを実施する [2]。
    2. アップデートは、アップデートフォルダ内のアップデートコンフィUIバジをダブルクリックして実行する [3]。

  3. モデルファイルの配置:

    1. LoRA: モデルズフォルダ内のLoRAフォルダに配置する [7]。
    2. チェックポイント: モデルズフォルダ内に配置する [9]。
    3. アップスケールモデル: UIの中のモデルズフォルダ内のアップスケールモデルズフォルダに配置する [10]。

1.1. アップスケールモデルの入手方法 [12]

  1. Real-ESRGANのコピー:

    1. オートマティック1111 Web UIを使用している場合、Stable Diffusion Web UIのモデルズフォルダ内のリアルエルGANフォルダから、リアルエルGAN 4x Plusや4x Plus Anime 6Bをコピーし、Comfy UIのフォルダに貼り付けて使用する [12]。

  2. 4x-UltraSharpのインストール:

    1. 概要欄のURLからサイトにアクセスする [13]。
    2. サイト内でエルガオールドアーキテクチャーモデルズグループを探す [16]。
    3. 4xウルトラシャープをクリックし、別のサイトへ移動する [17]。
    4. フォルダ一覧が表示されたら、4xウルトラシャープpthファイルの右端の点々をクリックし、標準ダウンロードでダウンロードする [20]。
    5. ZIP形式でダウンロード後、解凍しても問題ない [22]。

  3. SD Upscaleのダウンロード:

    1. 概要欄のリンクから、ComfyUIのalim SDアップスケールをダウンロードする [23]。

1.2. カスタムノードのインストール [26]

  1. SD Upscaleのインストール:

    1. 概要欄のURLからGit CHRのページに移動し、URLをコピーする [26]。
    2. ComfyUIフォルダ内のカスタムノードフォルダへ移動する [28]。
    3. アドレスバーにcmdと入力し、コマンドプロンプトを開く [30]。
    4. コピーしたGit CHRのURLをペーストし、エンターを押してインストールを実行する [32]。

  2. Comfy UIの起動と補足:

    1. NVIDIA GPU使用者は、LN VまたはGPUバッチをダブルクリックしてComfy UIを起動する [33]。
    2. インストールに関する不明点があれば、コメントで対応するが、本動画はノード構築が主題であるため、未見の場合は前回の動画を参照するよう促す [34]。

2. プロンプト処理の最適化とノイズ処理の調整 [37]

thumbnail

  1. プロンプトの統合:

    1. 前回のノード構成から変更し、プロンプトをシンプルにするため、ポジティブとネガティブをそれぞれ1つずつにまとめる [38]。
    2. 品質系のプロンプトをポジティブプロンプトに統合し、Stable Diffusion Web UIと同様の形式にする [40]。
    3. テキストエンコーダーのテキストLにも同じプロンプトを接続する [42]。
    4. ネガティブプロンプトも片方を削除し、Lの方にも同じものを接続する [44]。
    5. リファイナーにも共通のポジティブとネガティブプロンプトを接続する [46]。

  2. ノイズ処理の最適化:

    1. ベースモデル（Kサンプラー）:
    2. 最初にノイズをかけるため、アドノイズをイネーブルにする [49]。
    3. 最後にノイズを残してもよいため、リターンwithレフトオーバーノイズをイネーブルにする [51]。
    4. リファイナー:
    5. ベースモデルからノイズがかかった画像が入力されるため、ノイズ処理はディスイーブルにする [52]。
    6. 最終的な画像であるため、ノイズを残さないよう、リターンwithレフトオーバーノイズをディスイーブルにする [53]。
    7. この設定により、画像生成の無駄が減り、生成速度が向上すると推定される [54]。

  3. 生成結果の確認:

    1. ベースKサンプラーからノイズの残った画像が生成され、リファイナーでノイズが消えた画像が生成される [57]。

3. LoRAの導入とクリップスキップの設定 [61]

thumbnail

  1. LoRAノードの追加:

    1. 新しいノードとして、アドノード > ローダー > ロードローラを選択し追加する [63]。
    2. ベースモデルノードからモデルコネクをLoRAノードのモデル入力に接続する [66]。
    3. これにより、チェックポイントからサンプラーへの接続がLoRAを経由する形になる [68]。
    4. プロンプト接続も、チェックポイントのクリップからLoRAノードに入力し、ポジティブプロンプトエンコーダーのクリップに出力する [69]。

  2. LoRAの適用と検証（ホワイトクイーン）:

    1. 比較のため、シード値を固定して画像を生成する [80]。
    2. 配布されていたホワイトクイーンLoRAを使用し、プロンプトで強度1.3倍で指定する [73]。
    3. LoRAノードのロードネームからホワイトクイーンを選択し生成すると、LoRAが再現されていることが確認できる [79]。
    4. LoRAを外す場合、ストレングスモデルとストレングスクリップを0に設定し、同じシード値で再生成する [84]。
    5. LoRA適用時と非適用時で、生成された画像が異なり、LoRA適用時に女性の顔が再現されていることが確認できる [88]。

  3. LoRAの適用と検証（フリーナ）:

    1. 次のキャラクターとしてフリーナを使用し、プロンプトをコピーして貼り付ける [93]。
    2. トリガーワードと思われるプロンプト（フリーナ）を外し、シード値をフリーにして生成する [98]。
    3. LoRAなしの状態では水色の髪の毛の画像が生成される [101]。
    4. LoRAをフリーナに変更し、強度を1に設定し、シードを固定して生成すると、明らかにLoRAの影響が出た画像になる [103]。

  4. クリップスキップの設定:

    1. アニメ系生成時にクリップスキップを2に設定するため、クリップセットラストレイヤーノードを追加する [107]。
    2. チェックポイントからのクリップをこのノードに接続し、LoRAノードの前に挿入する [110]。
    3. これにより、クリップスキップ2の画像が生成可能になる [112]。

4. Ultimate SD Upscaleの実装 [114]

thumbnail

  1. Ultimate SD Upscaleノードの追加:

    1. 右クリックメニューからADノードイメージ > アップスケーリング > アルティメットSDアップスケールを選択する [117]。
    2. アップスケールモデルを使用するため、ノアアップスケールではない方を選択する [118]。
    3. 接続はKサンプラーに繋ぐものとほぼ同様であるため、既存の接続を流用する [119]。

  2. 入力接続の設定:

    1. モデル: リファイナーモデルを使用し、リファイナーからモデルへ接続する [122]。
    2. VAE: リファイナーからVAEへ接続する [125]。
    3. プロンプト: リファイナーのテキストエンコーダーから出たポジティブとネガティブを接続する [126]。
    4. 元画像: リファイナーで出来上がった画像（VAEデコーダーの左下、セーブイメージに繋がっているイメージ出力）を、アルティメットSDアップスケールのイメージインプットコネクターに接続する [131]。

  3. アップスケールモデルのロードと設定:

    1. 右クリックメニューからADノードローズ > ロードアップスケールモデルを選択し、アップスケールモデルコネクターに接続する [133]。
    2. モデルネームをクリックし、フォルダに配置したモデルからウルトラシャープを選択する [136]。

  4. パラメータの同期と設定:

    1. シード値: 右クリック > コンバート > シードtoインプットを選択し、同じシード値ノードに接続する [139]。
    2. CFG: コンバート > CFG to inputを選択し、CFGに接続する [143]。
    3. サンプラー: コンバート > サンプラーname to inputとコンバート > スケジューラーto inputを選択し、接続する [145]。
    4. 拡大率とステップ数:
    5. 元画像が1024x1024であるため、時間を考慮し拡大率は1.5倍に設定する [148]。
    6. ステップ数はアップスケールの場合20程度で十分である [150]。
    7. デノイズは0.3程度に設定し、強すぎると画像が壊れるのを防ぐ [151]。
    8. タイルの大きさはVRAM依存だが、早く生成するためにはなるべく大きくすることが推奨される [153]。

  5. 出力設定:

    1. アド > ノード > イメージセーブイメージを追加し、イメージコネクターから接続する [155]。
    2. これでアルティメットSDアップスケールのノード構築が完了する [158]。

5. 生成結果の確認とノード運用の補足 [159]

thumbnail

  1. アップスケール生成の実行:

    1. 中世の鎧を着た女性を実写風で生成するプロンプトを使用する [159]。
    2. ベースKサンプラーとリファイナーの画像生成は速いが、アルティメットSDアップスケールには20秒から30秒程度の時間がかかる [163]。

  2. 品質比較:

    1. アップスケール後の画像は、リファイナー画像よりもさらに綺麗になっている印象がある [168]。
    2. リファイナーの1024x1024画像とアップスケール後の1536x1536画像を比較すると、アップスケールによる綺麗さが確認できる [170]。

  3. ノード運用のヒント:

    1. ノードの組み方は慣れれば難しくないが、新しいノードを使う場合は使い方をチェックする必要がある [174]。
    2. 視聴者がノードを組まずに使用したい場合のために、ノードのJSONファイルを概要欄に提供する [176]。
    3. JSONファイルは画面にドロップするだけで使用可能であり、他のYouTuberのJSONファイルも同様に利用できる [178]。
    4. Comfy UIのホームページにあるComfyUI examplesページには、ハイレFIX、イメージtoイメージ、LoRAなどのサンプルが存在する [181]。
    5. SDXLのサンプルページにある画像をダウンロードし、Comfy UIにドロップするとノードが表示され、英語で書かれた注意書きや推奨画像サイズなどを確認できる [185]。
    6. 最終的には自分でアレンジすることが推奨される [192]。

6. SDXL特有の数値とLoRA検証（ウェイトスライダー） [194]

thumbnail

6.1. SDXL特有の数値に関する考察 [195]

  1. クリップテキストエンコードのサイズ:

    1. これはエンコードサイズであり、プロンプトの理解度を示す数値である [196]。
    2. 大きければプロンプト理解の可能性は高いが、大きすぎると弊害として生成時間の増加やプロンプト反映の低下が起こる可能性がある [197]。

  2. リファイナーのAスコア:

    1. Aスコアはエステティックスコア（美的スコア）を指すが、詳細は不明である [199]。
    2. 他の動画では、ポジティブに6程度、ネガティブに1か2の小さい数値を使用する例が多い現状である [201]。
    3. 詳しい情報があればコメント欄での共有を呼びかける [202]。

6.2. ウェイトスライダーLoRAの検証 [204]

  1. 検証対象LoRA:

    1. 本日のLoRAコーナーで紹介するのはウェイトスライダーである [203]。
    2. このLoRAは、マイナスで痩せた体型、プラスでぽっちゃりした体型に変化させるスライダー系LoRAである [206]。

  2. 実写系モデル（弥生ミックス）での検証:

    1. プロンプトはYouTube対応で体型が見えやすい服装（ワンガール、オフショルダー、クロップトップ）を使用する [208]。
    2. モデルは実写系モデルの弥生ミックスを使用する [209]。
    3. 振幅が広いため、XYZプロットを使用し、強度を-4から4まで1刻みで比較する [210]。
    4. 画像設定は、ハイレFIXで2倍アップスケール、元画像512x768、顔補正にAディテイラーを使用する [211]。
    5. 結果:
    6. 強度-4でかなり痩せすぎ、-3、-2と変化し、-1でとても細い女性の体型になる [214]。
    7. 強度0でも細く、1でもぽっちゃりという感じではない [218]。
    8. 強度2で若干ぽっちゃり、3でぽっちゃり、4では太りすぎとなり、頭に巻いたもの（何かの物体）が気になる結果となる [222]。

  3. アニメ系モデル（メイナミックスアニメ系）での検証:

    1. モデルをメイナミックスアニメ系に変更し、画像を生成する [228]。
    2. 結果:
    3. スライダーに従って体型がふっくらと変化し、強度は1が好みである [232]。
    4. 強度2からぽっちゃりになり、強度4では足が崩れた [234]。

  4. 体型と行動の関連性検証（お肉を食べる）:

    1. 体型によってお肉の食べ方が変わるか予測し、原始人が食べるタイプのお肉の絵文字で画像を生成する [238]。
    2. 結果:
    3. 強度-4, -3ではお肉を持っていない [241]。
    4. -2ではカクテルを飲んでいるが変なものが入っている [245]。
    5. -1は大きめの串刺し肉、0は普通の串肉を食べている [246]。
    6. 1は肉入りのカクテルを飲んでいる [248]。
    7. 2と3は肉を食べていない（ダイエット中か食べた後か） [250]。
    8. 強度3の服には鳥（肉を表すもの）が描かれており、これは引くレベルである [253]。
    9. 強度4は嬉しそうにお肉に葉っぱが生えたものを食べている [256]。

  5. 体型と行動の関連性検証（ジャンピング）:

    1. プロンプトにジャンピングを追加してジャンプを試みる [260]。
    2. 結果:
    3. -4は軽そう、-3は軽やか、-2は動きがあって可愛い、-1はとても可愛い [262]。
    4. 0は足が壊れているが軽やかな感じ [265]。
    5. 1も足が微妙だが可愛らしい [266]。
    6. 強度2になると飛び始めた [267]。
    7. 3は高いジャンプ、4はハイジャンプとなり、強度が増すにつれてジャンプ力が上がっている [271]。
    8. 強度4では下に何か（人か）があり、今後の展開が心配されるが、結果として3ほど高く飛んでいる [276]。

7. まとめと今後の展望 [279]

thumbnail

  1. SDXLの現状と推奨:

    1. SDXLはまだ開始段階であり、十分綺麗な画像が作れるとは言い難いが、チェックポイントやLoRAが次々と登場している [279]。
    2. 可能性の塊であるため、Comfy UIを覚えて使用することが推奨される [280]。
    3. 6GBのVRAMでも動作確認済みである [281]。

  2. 結び:

    1. 本日の動画はここで終了する [282]。
    2. チャンネル登録といいねボタンの協力を依頼する [283]。