1. Einführung in die lokale KI-Generierung mit SwarmUI und ComfyUI [0]

thumbnail

  1. Ziel des Tutorials: Zeigt die neueste, performanteste Methode zur Bild- und Videoerzeugung auf Windows. [1]

    1. Es wird die Nutzung von SwarmUI mit einem benutzerdefinierten ComfyUI Backend vorgestellt. [1]
    2. Die Installation erfolgt mit einer Ein-Klick-Installation. [1]
    3. Es wird SAK-Attention out-of-the-box unterstützt. [4]
    4. SA-K Attention ist die schnellste Attention für Bild- und Videoerzeugung. [6]
    5. Der Ersteller entwickelte eine Anwendung zum schnellen und einfachen Herunterladen von Modellen. [7]

  2. Unterstützte Modelle und Funktionen des Downloaders [8]

    1. Aktuell gibt es zwei Modell-Bundles: Flux und Hydream L1. [8]
    2. Ein Klick lädt alle notwendigen Dateien in die SwarmUI-Installation. [9]
    3. Es gibt Links zur Erklärung der Anwendung und der Modelle im SwarmUI selbst. [12]
    4. Unterstützte Architekturen umfassen: [14]
    5. Hydream [14]
    6. Stable Diffusion 1.5 und XL Modelle [15]
    7. Stable Diffusion 3.5 Large Modelle [17]
    8. Yellow Face Inpainting Modelle [18]
    9. Text Encoder Modelle (T5XL, UMT, T5XL Clip, LLM Text Encoder) [19]
    10. Video-Generierungsmodelle (12.1, Hunuan Fastan) [20]
    11. Skyals, GGUF, BF16, FP16, FP8 Versionen [21]
    12. Gamma Motivan Litrix LTX Video VAE Modell [23]
    13. Der Ersteller wird das Tool basierend auf Nutzeranfragen verbessern. [23]
    14. Die Anwendung erlaubt Suchen und Filtern nach Modellnamen. [25]

  3. Vorteile des manuellen ComfyUI Backends [26]

    1. SwarmUI funktioniert besser mit einem manuell installierten ComfyUI Backend. [26]
    2. Die gezeigten Bilder wurden mit dem Hydream L1 dev GGUF Q8 Modell generiert. [27]
    3. GGUF Q8 bietet fast die gleiche Qualität wie das BF16 Modell. [28]
    4. Der Ersteller nutzt Dual-GPUs (RTX 5090 und RTX 3090 Ti) unter hoher Last. [29]
    5. SwarmUI kann diese hohe Last schnell bewältigen. [31]
    6. Die Anleitung beginnt nun mit der Installation und Nutzung. [33]

2. Installation von SwarmUI und ComfyUI Backend [34]

thumbnail

2.1. Vorbereitung und Installation des Modelldownloaders [34]

  1. Der SwarmUI Modelldownloader kann auch für andere Anwendungen genutzt werden. [34]
  2. Er unterstützt benutzerdefinierte Ordnerpfade und den ComfyUI Installer. [35]
  3. Die Links zu den Installer-Dateien sind in der Videobeschreibung. [36]
  4. Zuerst wird die neueste Version des Modelldownloaders heruntergeladen (Version 29). [37]

2.2. Installation des manuellen ComfyUI Backends [41]

  1. Der manuelle Installer wird heruntergeladen, da er aktueller ist als die vorkompilierte Version. [41]
  2. Vorkompilierte Backends sind oft veraltet und verursachen Probleme bei neuen Bibliotheken. [49]
  3. Die heruntergeladenen Dateien werden auf ein Laufwerk (z.B. E-Laufwerk) verschoben. [44]
  4. Zuerst wird die ComfyUI Installation extrahiert. [46]
  5. Es wird die Windows install.bat Datei verwendet. [50]
  6. Diese unterstützt standardmäßig Xformers, Flash Attention und SA-K Attention. [51]
  7. Die Installation funktioniert auf allen GPUs, einschließlich RTX 5000 Serie. [52]
  8. Python 3.10 wird dringend empfohlen (Option 1 wird gewählt). [53]
  9. Es wird gewählt, beide Attentions (Flash und SA-K) zu installieren. [56]
  10. Dies installiert das neueste offizielle Torch 2.7. [58]
  11. SA-K Attention wird vom Entwickler WT0RD bereitgestellt. [60]

2.3. Installation von SwarmUI [62]

  1. Während ComfyUI installiert, wird der Modelldownloader entpackt. [62]
  2. Die Installation von SwarmUI startet mit der Windows install swarm UI.bot Datei. [64]
  3. Bei den Einstellungen muss ComfyUI Local (vorkompiliert) abgewählt werden (Option none). [68]
  4. Der integrierte Downloader wird dem externen Downloader vorgezogen. [75]
  5. Nach der Installation startet SwarmUI automatisch. [77]

2.4. Backend-Konfiguration und GPU-Setup [80]

  1. Nach der ComfyUI Installation startet diese ebenfalls. [81]
  2. Im SwarmUI muss das Backend hinzugefügt werden: Server -> Backends -> Comfy Starting. [84]
  3. Nach einem Refresh wird das neue Backend angezeigt. [86]
  4. Zum Bearbeiten muss der Pfad zur main.py in der ComfyUI Installation angegeben werden. [89]
  5. Für SA-K Attention muss der Parameter - -use sake attention hinzugefügt werden. [94]
  6. SA-K Attention funktioniert nur auf RTX 3000er Serie und neuer (3000, 4000, 5000). [96]
  7. Nicht unterstützte GPUs nutzen Xformers oder Torch Attention. [98]
  8. Das System installiert fehlende Bibliotheken in einer isolierten virtuellen Umgebung. [100]
  9. Dies verhindert Konflikte mit anderen Installationen. [101]
  10. Man kann das Modell-Root im Server-Konfigurationsmenü anpassen. [104]
  11. Zur Nutzung der zweiten GPU (RTX 3090 Ti) wird CMD genutzt. [109]
  12. Es wird pip install nvidia-smi und dann nvidia-smi eingegeben. [110]
  13. Für die zweite GPU wird unter Configure self starting die GPU ID auf 1 gesetzt. [117]
  14. Beide GPUs sind nun bereit für die Nutzung. [120]

3. Nutzung des Modelldownloaders und Modellverwaltung [122]

thumbnail

3.1. Starten und Nutzen des Modelldownloaders [122]

  1. Im SwarmUI-Ordner wird die Datei Windows start download models app.bot ausgeführt. [122]
  2. Dies erstellt eine virtuelle Umgebung und installiert Bibliotheken wie Gradio. [123]
  3. Python muss installiert sein; ein separates Tutorial ist verlinkt. [126]
  4. Der Downloader startet mit einer extrem fortschrittlichen UI. [128]
  5. Fehlende Modelle können beim Ersteller über Patreon angefragt werden. [133]
  6. Zum Test wird das Flux Models Bundle heruntergeladen. [134]
  7. Es wird die Methode Enable HV Transfer genutzt. [138]
  8. Diese Methode nutzt die maximale Netzwerkgeschwindigkeit (z.B. 500-600 Megabits pro Sekunde). [137]
  9. Der Downloader besitzt ein Warteschlangensystem und vermeidet erneutes Herunterladen. [143]
  10. Es können auch Video-Generierungsmodelle (z.B. 12.1) in die Warteschlange gestellt werden. [144]
  11. Links zur Nutzung der Modelle im SwarmUI sind verfügbar. [146]
  12. Die Anwendung unterstützt auch Rampot und Mass Compute (Anleitungen sind im Zip). [151]
  13. Modelle werden automatisch in die korrekten Ordner heruntergeladen. [155]

3.2. Modellnutzung in SwarmUI nach dem Download [158]

  1. Nach der Installation und dem Download startet man SwarmUI mit Windows start swarmi.bat. [159]
  2. SwarmUI führt automatisch Updates durch; es gibt keinen Update-Button mehr. [160]
  3. Nach dem Download muss in SwarmUI unter Models auf Refresh geklickt werden. [161]
  4. Der Downloader lädt höchste Qualität (z.B. Fluxdev FP16 oder GGUF) herunter. [162]
  5. Beim ersten Versuch, ein GGUF Modell zu laden, wird die GGUF Extension angefragt. [163]
  6. Bei manchen Modellen muss der Modelltyp manuell eingestellt werden (z.B. Hydream Architektur). [164]
  7. Zur Demonstration der GGUF Installation wird ein Modell kopiert, um Wartezeit zu sparen. [169]
  8. Modelle werden standardmäßig im Ordner diffusion models gespeichert. [171]
  9. Nach dem Neuladen fragt SwarmUI die Installation der GGUF Unterstützung. [178]
  10. Nach der Installation startet das Backend neu und lädt das Modell in die GPU (VRAM). [182]
  11. Ein angezeigter Fehler (test C link fatal error) ist Linux-bezogen und kann auf Windows ignoriert werden. [185]
  12. Das Backend ist nun bereit für die Nutzung der besten Modelle. [189]

4. Demonstration der Bildgenerierung und Upscaling [192]

thumbnail

4.1. Bildgenerierung mit Flux Modell [192]

  1. Zur Demonstration wird ein selbst trainiertes Dreambooth Modell verwendet. [192]
  2. Es wird ein Realismus Prompt aus den Testprompts ausgewählt. [195]
  3. Einstellungen für das Flux Modell: [198]
    1. 40 Sampling Steps (IPDM) [198]
    2. CFG Scale: 1 (für Flux und Hydream) [199]
    3. Flux Guided Scale: 4 [201]
  4. Die Generierung startet und lädt das Modell auf die RTX 5090. [202]
  5. Es werden 100 Bilder angefordert und beide Backends werden genutzt. [205]
  6. Die Logs zeigen, dass das Modell in den RAM und dann in die GPUs geladen wird. [210]
  7. Die Generierung beginnt, gefolgt von einem Face Inpainting Schritt. [215]

4.2. Face Inpainting und Upscaling Einstellungen [217]

  1. Probleme mit Inpainting entstehen oft durch fehlerhafte Installationen. [217]
  2. Um beste automatische Gesichtssegmentierung zu erhalten, muss das Auto YOLO Masking Model heruntergeladen werden. [218]
  3. Die Generierung des Bildes ist abgeschlossen. [223]
  4. Upscaling wird als die beste Methode dargestellt. [226]
  5. Upscaling wird über Refine Upscale aktiviert (Advanced Options anzeigen). [229]
  6. Wichtige Upscaling-Parameter: [232]
    1. Refiner Percentage: 60% [232]
    2. Refinder Upscale: 2x [233]
    3. Es wird 4x Real Web Photo Version 4 verwendet. [235]
    4. Dieses Modell wird automatisch über den Downloader bezogen. [236]
  7. Upscaling ist sehr rechenintensiv (von 1 MP auf 4 MP). [239]

4.3. Ergebnis und Fazit [242]

  1. Das Upscaling ist abgeschlossen. [242]
  2. Der Unterschied zwischen Original und Upscaled Bild ist riesig. [243]
  3. Das Face Inpainting zeigte eine leichte sichtbare Fläche (schwarz). [245]
  4. Diese Stelle kann durch Anpassung von Parametern (z.B. Mask Blur) entfernt werden. [246]
  5. Die Qualitätssteigerung von Original zu Upscaled ist erstaunlich und Next Level. [247]
  6. Der Ersteller dankt und verweist auf Patreon für weitere Informationen. [249]
  7. Alle Links sind in der Videobeschreibung und im angepinnten Kommentar. [254]