1. Einführung in ComfyUI Wan 2.1 Image-to-Video Workflow [0]

thumbnail

  1. Zielsetzung des Videos [0]

    1. Der Sprecher stellt den ComfyUI Wan 2.1 Workflow vor.
    2. Der Fokus liegt auf dem Image-to-Video Workflow.
    3. Es wird die Comfy UI native Version verwendet.
    4. Diese Version erlaubt die Nutzung des K Samplers.
    5. Der Workflow soll einfach und unkompliziert sein.

  2. Voraussetzungen und Modellwahl [11]

    1. ComfyUI muss auf die neueste Version aktualisiert werden.
    2. Ohne Update ist die Nutzung dieser Option nicht möglich.
    3. Es wird ein spezifisches Modell für diesen Workflow genutzt.
    4. Links zu allen benötigten Modellen werden in der Beschreibung bereitgestellt.

  3. Erste Schritte im Workflow-Aufbau [17]

    1. Das Modell wird geladen.
    2. Positive und negative Prompts sind wieder verfügbar.
    3. Die neue AI zeigt negative Prompts in Rot und positive in Grün an.
    4. Es wird mit Platzhaltern für den Aufbau begonnen.
    5. VAE Decode wird hinzugefügt und die VAE 2.1 geladen.
    6. Ein Clip Loader wird verwendet.
    7. Es wird das Modell UMP T5XXL genutzt.
    8. Dieses Modell ist ähnlich dem T5XXL aus Flux Tutorials.
    9. UMP T5XL wird als universell, mehrsprachig vermutet.

  4. Vorteile des UMP T5XL Text Encoders [39]

    1. Da es ein großes Sprachmodell ist, können reguläre Sätze verwendet werden.
    2. Es besteht der Vorteil, negative Prompts nutzen zu können.

1. Modifikationen für Video-Output [41]

  1. Umstellung auf Video-Kombination [41]

    1. Der Workflow wurde modifiziert, um Video zu kombinieren (Output).
    2. Die gängige Framerate für dieses System ist sechzehn Frames.
    3. DDIM wird als Scheduler bevorzugt, Euler A ist auch möglich.
    4. Euler A kann bei Video steifer wirken, behält aber Qualität.

  2. Umstellung von Image-zu-Latent auf Image-zu-Video [54]

    1. Der Node Latent Image funktioniert hier nicht für Image-zu-Image.
    2. Es muss der Image to Video Node verwendet werden.
    3. Dieser fungiert als Pre-Processor für den K Sampler.
    4. Die Verbindungen für Negative, Positive und VAE bleiben gleich.

  3. Integration von Clip Vision [64]

    1. Der Clip Vision Output muss verbunden werden.
    2. Es wird der Clip Vision Loader benötigt.
    3. Der spezifische Loader ist Clip Vision H.
    4. Ein Load Image Node wird hinzugefügt.
    5. Clip Vision interpretiert Objekte im Bild zur Berechnung der Animation.
    6. Das geladene Bild muss auch als Start Image für den Prozess dienen.

  4. Abschluss des Basis-Workflows [72]

    1. Dies ist der gesamte benötigte Workflow für die Funktion.
    2. Es muss ein Bild im Load Image Node vorhanden sein.
    3. Es wird getestet, was passiert, wenn kein Prompt verwendet wird.

2. Konfiguration und Modelldetails [79]

  1. Frames und Bildgröße [79]

    1. Die Anzahl der Frames wird auf 65 reduziert, um schneller zu sein.
    2. Die Zahl 65 bestimmt die Anzahl der zu produzierenden Batches.
    3. Höhe und Breite sollten mit dem Startbild übereinstimmen.
    4. Bei Nichtübereinstimmung kann die Crop-Funktion verwendet werden.

  2. Modelldatei-Speicherorte [92]

    1. Die Modelldateien befinden sich in den Comfy UI Verzeichnissen.
    2. Die Pfade sind typischerweise Comfy UI\models.
    3. Wichtige Ordner sind Fusion models, text encoders, VAE und clip vision.
    4. Der verwendete Clip Vision Loader ist clip vision H.

  3. Modellversionen und Systemanforderungen [104]

    1. Das aktuell verwendete Modell ist 2.1 480p.
    2. Die Ausführbarkeit hängt von den System-Specs ab.
    3. Schwerere Modelle sind die 720p Versionen und nicht FP8 skalierten.
    4. Modelle mit der Kennzeichnung 14B (z.B. BF16) sind sehr intensiv.
    5. I2V steht für Image to Video; T2V für Text to Video.
    6. In diesem Tutorial werden nur I2V Modelle verwendet.
    7. Der Sprecher nutzt Wan 2.1 Image to Video 480p 14B FP8E4.
    8. Die VAE muss ebenfalls eine leichte Version sein.

3. Funktionsweise der Komponenten [124]

  1. Rolle der Komponenten [124]

    1. Clip Vision interpretiert das Bild, um die Animation zu planen.
    2. Der Text Encoder ist ein großes Sprachmodell für normale Sprache.
    3. Negative Prompts erlauben die Angabe unerwünschter Inhalte.
    4. Die VAE ist der Variation Encoder.
    5. Das große Modell versteht alle notwendigen Informationen.
    6. Der Pre-Processor (Image to Video Node) berücksichtigt alle Inputs.
    7. Dieser Prozess nimmt Startbild, Interpretation und Anweisungen auf.
    8. Der K Sampler verarbeitet und sampelt die Daten.
    9. Das Ergebnis wird im Decoder dekodiert, was ein kombiniertes Bild ergibt.

  2. Erster Testlauf ohne Prompt [142]

    1. Es wird getestet, was bei nur dem Bild (Image Zero Prompt) passiert.
    2. Dies erfordert massive Rechenleistung; das Video muss pausiert werden.

2. Testläufe und Prompt-Kontrolle [145]

thumbnail

1. Ausgabeformat und erster Erfolg [145]

  1. Änderung des Ausgabeformats [145]

    1. Der Output wurde von GIF auf MP4 geändert.
    2. Alle anderen Einstellungen bleiben gleich für den erneuten Lauf.

  2. Ergebnis des ersten Laufs [150]

    1. Es wurde eine erfolgreiche Animation ohne Beschreibung erzeugt.
    2. Das Ergebnis sah möglicherweise unter Wasser aus.
    3. Dies zeigt die Wichtigkeit der Beschreibungen (Prompts).

2. Prompting für Detailkontrolle (Test 1) [153]

  1. Erster detaillierter Prompt [154]

    1. Prompt: A static camera shot of a pulsating aquatic creature being held by a underwater diver, underwater.
    2. Ziel ist es, die Bewegung zu reduzieren.
    3. Die Kamera bewegte sich im ersten Versuch zu viel.

  2. Analyse des ersten Prompt-Ergebnisses [163]

    1. Das System scheint die Arme und Blasen zu erkennen.
    2. Es wird angenommen, dass die rote Farbe das aquatische Wesen identifiziert.
    3. Das Ergebnis folgt dem roten pulsierenden Wesen als wichtigstem Subjekt.
    4. Es zeigen sich Zähne/Fangzähne, die wackeln.

3. Prompting für Fokusverschiebung (Test 2) [175]

  1. Verschiebung des Fokus auf Taucher [175]

    1. Der Fokus wird vom Wesen auf die Taucher verschoben.
    2. Neuer Prompt-Ansatz: A static camera shot of two underwater divers. One diver is holding a red pulsating aquatic creature underwater.
    3. Ziel ist eine statische Kameraeinstellung mit Fokus auf die Taucher.

  2. Ergebnis des zweiten Laufs [198]

    1. Das Ergebnis wirkt eher wie eine Tracking-Aufnahme als statisch.
    2. Es sind mehr Taucher im Bild als zuvor.
    3. Das System behält das Wesen im Frame, da es erwähnt wurde.
    4. Es wurden Blasen gezeigt, aber nicht aus der Atemmaske.

4. Verfeinerung des Prompts (Test 3 & 4) [208]

  1. Fokus auf statische Aufnahme und Masken [208]

    1. Das System versucht, statisch zu bleiben, wenn wenig Bewegung erwartet wird.
    2. Der Sprecher testet das Wort remaining still (verbleibend still).
    3. Neuer Prompt: The camera pans to a close-up of two underwater divers faces with air bubbles being released from the transparent mask they wear on their faces underwater.
    4. Es wird versucht, die Gesichter und transparenten Masken zu betonen.

  2. Ergebnis und Interpretation [227]

    1. Das Ergebnis zeigt viele Blasen und Gesichter.
    2. Es wird ein neuer Charakter hinzugefügt, was auf Zufall hindeuten kann.
    3. Manchmal interpretiert die AI Dinge unerwartet.

5. Kamerakontrolle und Frame-Rate [235]

  1. Kamerabewegungen und Richtungsangabe [235]

    1. Es gibt viele Wege, die Kamera zu steuern.
    2. Es wurde keine spezifische Schwenkrichtung angegeben.
    3. Nutzer sollten selbst experimentieren.

  2. Einfluss der Frame Rate [244]

    1. Die Frame Rate beeinflusst die Dauer des Videos.
    2. Höhere FPS (z.B. 24) führen zu kürzerer Videolänge bei gleicher Frame-Anzahl.
    3. Bei Erhöhung der FPS sollte auch die Frame-Länge erhöht werden.
    4. Bei Video-Generatoren tritt Morphing meist nach 6 bis 8 Sekunden auf.

3. Abschließende Hinweise und Ausblick [249]

thumbnail

  1. Erinnerungsvermögen und LORAs [249]

    1. Wan scheint sich besser an Objekte zu erinnern, die im Frame bleiben.
    2. Bei vielen Winkeln sollten Quellbilder außerhalb des Workflows erstellt werden.
    3. LORAs werden eher für Schlüsselbilder als innerhalb des Videos genutzt.
    4. Es ist möglich, LORAs in diesem Setup zu verwenden, aber das ist ein anderes Thema.

  2. Verfügbarkeit des Workflows und Zukunft [256]

    1. Der Image-to-Video Workflow wird kostenlos auf Patreon veröffentlicht.
    2. Es wird tiefergehende Inhalte zu Videogenerierung und kreativen Anwendungen geben.
    3. Dazu gehören Themen wie 3D-Animation und Spielentwicklung.
    4. YouTube erhält die Basis-Inhalte; Patreon erhält die detaillierteren Themen.
    5. Der Sprecher freut sich über diesen Open-Source Video Generator.
    6. Er erwartet große Fortschritte in den nächsten Monaten.