1. Création de personnages IA hyperréalistes et cohérents [0]

thumbnail Ce tutoriel explique comment créer des personnages IA hyperréalistes et cohérents en utilisant des modèles open source gratuits, exécutés localement sur votre ordinateur avec ComfyUI.

1.1. Introduction aux modèles d'édition d'images basés sur des instructions [0]

  1. La création de personnages IA hyperréalistes et cohérents est désormais plus facile grâce à de nouveaux modèles comme Seedream 4 ou Nano Banana de Google. [0]
  2. Ces modèles permettent d'utiliser une image d'entrée pour générer automatiquement un ensemble de données parfait, des images haute résolution, des poses variées et des légendes détaillées. [1]
  3. Il est possible d'inclure des références de pose ou d'habiller le personnage grâce à une section de "virtual try-on" dans le workflow. [2]
  4. Ces outils sont basés sur des modèles open source entièrement gratuits qui peuvent être exécutés sur votre propre ordinateur. [3]
  5. Cependant, ces outils commerciaux sont souvent censurés et peuvent être coûteux. [8]

1.2. Présentation de Gwen Image Edit et de son workflow [10]

  1. Une alternative gratuite et open source est Gwen Image Edit, développé par Alibaba. [10]
  2. Ce modèle permet de fusionner des personnages, de les placer dans différents arrière-plans, de leur faire porter divers vêtements ou d'extraire des poses d'une image pour les appliquer à d'autres personnages. [11]
  3. Le workflow de démonstration utilise Gwen Image Edit dans ComfyUI pour faciliter la création. [12]
  4. Pour l'utiliser, il suffit de glisser-déposer les images de référence dans l'interface. [15]
  5. En combinant deux personnages et en utilisant un prompt simple comme "Ils se tiennent la main, se marient, photographie de mariage style Pixar", le résultat est parfait. [16]
  6. En changeant le prompt pour "Gros plan extrême des visages, les personnages s'embrassent", on peut créer une nouvelle scène. [27]
  7. L'utilisation de l'image nouvellement créée comme seule référence permet de continuer à générer des variations, comme un baiser plus réaliste. [30]
  8. Cette technique permet de créer facilement des histoires entières. [35]
  9. Pour les personnages réalistes, Gwen Image Edit fonctionne bien, mais il peut subsister un aspect "plastique" de l'IA. [36]
  10. L'entraînement d'un modèle personnalisé (LoRA) reste la meilleure méthode pour une qualité et une cohérence maximales, offrant également plus de flexibilité. [37]

1.3. Configuration du workflow automatisé dans ComfyUI [39]

  1. Un workflow automatisé pour ComfyUI a été créé pour générer un ensemble de données parfait avec des légendes en un seul clic, à partir d'une seule image d'entrée. [39]
  2. Installation de ComfyUI : Si ComfyUI n'est pas déjà installé, suivez le guide étape par étape disponible sur le site web. [42]
  3. Chargement du workflow : Téléchargez le fichier de workflow depuis le lien dans la description et faites-le glisser dans l'interface ComfyUI. [44]
  4. Installation des nœuds personnalisés : Allez dans le gestionnaire ComfyUI, cliquez sur "Installer les nœuds personnalisés manquants", sélectionnez-les tous et installez-les. Redémarrez ComfyUI. [45]
  5. Téléchargement des modèles requis : Les modèles nécessaires sont indiqués dans des boîtes jaunes dans le workflow, avec des liens de téléchargement et des instructions sur l'emplacement où les placer dans le dossier ComfyUI. [48]
  6. Il est recommandé d'utiliser la version GGUF du modèle principal, qui compresse la taille du modèle au détriment d'une légère perte de qualité. [53]
  7. Choisissez une version GGUF qui correspond à la VRAM de votre GPU (par exemple, Q5 pour une démonstration avec une 4090). [55]
  8. Placez les modèles téléchargés dans le dossier ComfyUI/models/gguf (ou un dossier personnalisé). [60]
  9. Après avoir copié les modèles, rechargez la fenêtre ComfyUI pour qu'ils soient reconnus. [62]
  10. Ce processus doit être répété pour tous les modèles requis, y compris ceux pour la création de l'ensemble de données (légendes et images redimensionnées). [63]
  11. Certains modèles, comme Ultrasharp, peuvent être installés directement via le gestionnaire de modèles ComfyUI. [73]

1.4. Utilisation du workflow "Consistent Character Creator" [78]

  1. Le workflow fonctionne de haut en bas, de gauche à droite. [79]
  2. Image d'entrée : Glissez-déposez une image de référence de votre personnage. Elle peut être dans n'importe quel style. [80]
  3. Prompt du personnage : Vous pouvez définir un prompt pour le style du personnage, par exemple, "Créer une image dans ce style du personnage". [84]
  4. Nom du personnage (mot déclencheur) : Donnez un nom unique à votre personnage. Ce nom servira de mot déclencheur pour l'entraînement LoRA et sera le nom du dossier de sortie pour les images générées. [87]
  5. Génération de la feuille de personnage : Après avoir cliqué sur "Run", le workflow crée une feuille de personnage avec différentes vues. [91]
  6. Il est possible d'ajouter des détails vestimentaires supplémentaires dans le prompt, par exemple, "portant des baskets épaisses" pour modifier les chaussures par défaut. [98]
  7. Les différentes vues du personnage sont générées en fonction des prompts, qui peuvent être modifiés. [103]
  8. Les groupes de ce workflow sont modulaires ; vous pouvez copier un groupe et modifier le prompt pour générer plus d'images. [107]
  9. Génération d'émotions : Les émotions du personnage peuvent être modifiées en ajustant un curseur, puis appliquées à l'image du portrait. [115]
  10. Génération de gros plans : Vous pouvez changer l'image utilisée pour les gros plans, par exemple, en utilisant l'image d'entrée originale. [121]
  11. Génération de poses supplémentaires : Le workflow peut générer des poses comme une pose en T, un personnage allongé, une vue de dos, ou en mouvement. [124]
  12. Virtual Try-on : Pour changer les vêtements, glissez-déposez un article vestimentaire (idéalement sur un fond monochrome) et décrivez-le dans le prompt, par exemple, "faire porter au personnage le manteau d'hiver gris". [126]
  13. Transfert de pose : Chargez une image de référence avec une pose spécifique, qui sera extraite et appliquée au personnage. [134]
  14. Sauvegarde des images générées : Les images générées sont sauvegardées dans le dossier de sortie de ComfyUI, nommé d'après le personnage. Pour sauvegarder uniquement les images actuellement affichées, changez le nom du personnage en ajoutant un numéro. [136]
  15. Il est important d'exécuter le workflow en deux parties : d'abord la génération d'images, puis la création de l'ensemble de données. [144]

1.5. Création de l'ensemble de données et entraînement de LoRA [145]

  1. Création de l'ensemble de données : Dans la section "Dataset Creation", ajoutez un prompt et cliquez sur "Run". [146]
  2. Le workflow charge les images générées, crée des légendes détaillées incluant le mot déclencheur, et redimensionne les images à la résolution souhaitée (par exemple, 2K). [149]
  3. Le processus de redimensionnement améliore considérablement la qualité et les détails, y compris la peau, la rendant plus naturelle. [153]
  4. Le redimensionnement utilise une combinaison de Flux et de Yuzo pour maintenir la cohérence du personnage. [159]
  5. Pour ajuster la cohérence pendant le redimensionnement, vous pouvez augmenter le "start step" (par exemple, à 18 pour des changements mineurs) ou le diminuer (par exemple, à 12 ou 13) pour ajouter plus de détails. [161]
  6. L'ensemble de données complet, incluant les images redimensionnées et leurs légendes correspondantes, se trouve dans le dossier du personnage sous "upscaled images". [165]
  7. Cet ensemble de données est utilisé pour entraîner votre propre LoRA (Low-Rank Adaptation), un petit modèle complémentaire qui ajoute du contexte pour un personnage, un lieu, etc. [170]
  8. L'entraînement d'un LoRA pour le modèle Flux avec Flux Gym est possible même sur des GPU plus anciens (12 Go de VRAM). [173]

1.6. Entraînement d'un LoRA pour le modèle Wan [176]

  1. Pour générer des vidéos et des images de haute qualité, il est possible d'entraîner un LoRA pour le modèle Wan 2.1. [176]
  2. AI Toolkit est un outil facile à utiliser pour entraîner des LoRAs pour la plupart des modèles d'IA. Il peut être installé localement ou via un installateur en une étape. [179]
  3. L'entraînement d'un LoRA est très gourmand en ressources ; même sur une 1490, il a fallu activer le mode basse VRAM et entraîner sur des images 512x512 pendant plusieurs heures. [182]
  4. Runpod est une alternative plus rapide et pratique pour entraîner des LoRAs, bien que payante. [184]
  5. Configuration sur Runpod :
    • Ajoutez quelques dollars à votre compte Runpod (10 $ suffisent pour plusieurs LoRAs). [186]
    • Allez dans "Pod templates", recherchez "AI toolkit", puis "ostress" (le créateur). [188]
    • Cliquez sur "Deploy pod", sélectionnez un GPU (par exemple, 5090 ou plus rapide). [190]
    • Dans "Change template", modifiez les variables d'environnement pour définir un mot de passe. [195]
    • Cliquez sur "Deploy on demand", puis sur "HTTP service" pour lancer AI Toolkit. [197]
  6. Création du jeu de données dans AI Toolkit :
    • Allez dans "Data sets", cliquez sur "New data set", donnez-lui un nom, puis glissez-déposez vos images. [200]
    • Supprimez les images qui semblent étranges ou trop similaires (par exemple, les gros plans trop proches, les vues de dos ou de côté si elles ne sont pas nécessaires). [203]
  7. Lancement de l'entraînement du LoRA :
    • Cliquez sur "New job", nommez le LoRA (par exemple, avec le mot déclencheur). [213]
    • Sélectionnez le modèle de base (par exemple, Wan 2.1 pour la compatibilité avec Wan 2.2). [216]
    • Définissez à quelle fréquence sauvegarder des versions intermédiaires du LoRA (par exemple, tous les 500 pas). [221]
    • Sélectionnez le jeu de données créé précédemment. [224]
    • Configurez les "samples" pour générer des images d'exemple pendant l'entraînement afin de suivre les progrès. Faites correspondre la fréquence de génération des échantillons à celle des sauvegardes de LoRA. [225]
    • Modifiez les prompts d'exemple pour inclure le mot déclencheur et des descriptions adaptées au personnage. [231]
    • Cliquez sur "Create job", puis sur "Start". [240]
  8. Après environ une heure et demie, l'entraînement est terminé. Les échantillons générés montrent comment le personnage se rapproche de la cible au fil des itérations. [243]
  9. Téléchargez la version finale du LoRA et éventuellement la version précédente. [250]
  10. N'oubliez pas d'arrêter le pod sur Runpod pour éviter des frais supplémentaires. [256]

2. Génération d'images et de vidéos avec le LoRA entraîné [257]

thumbnail Une fois le LoRA entraîné, il peut être utilisé dans n'importe quel workflow de génération d'images ou de vidéos Wan 2.2 ou 2.1 pour créer des résultats hyperréalistes.

2.1. Configuration du workflow de génération d'images [257]

  1. Utilisez un workflow de génération d'images Wan 2.2 ou 2.1, comme le workflow gratuit fourni. [257]
  2. Installez les nœuds personnalisés manquants et téléchargez les modèles requis, y compris les LoRAs Lenovo Ultra Real et Insta Real 2.2 pour le réalisme. [259]
  3. Chargez votre LoRA de personnage entraîné dans les sections "high noise" et "low noise" du modèle. [263]
  4. Créez un prompt détaillé incluant votre mot déclencheur de personnage, des descriptions de base et les mots déclencheurs des LoRAs utilisés (par exemple, "insta reel" et "lenovo"). [267]
  5. Post-traitement : Le workflow inclut des effets pour améliorer le réalisme :
    • Aberration chromatique : Sépare légèrement les canaux de couleur pour un aspect imparfait sur les bords. [273]
    • Accentuation artificielle : Augmente la netteté de l'image. Peut être désactivée. [276]
    • Bloom : Fait légèrement luire les parties lumineuses de l'image. [278]
    • Grain : Ajoute du grain pour un aspect plus cinématographique. [280]
  6. Vous pouvez modifier la "seed" et générer de nouvelles variations d'images. [282]
  7. Pour faciliter la création de prompts complexes, un grand modèle linguistique (LLM) comme Claude peut être utilisé pour générer des descriptions de personnages dans différentes situations et avec différents cadrages. [285]

2.2. Optimisation de la génération d'images avec les LoRAs "light x" [289]

  1. Pour réduire considérablement le temps de génération, utilisez les LoRAs light x. [289]
  2. Il existe une version qui permet de générer des images et des vidéos en seulement quatre étapes. [291]
  3. Chargez le LoRA light x dans les sections "high noise" et "low noise" du workflow. [295]
  4. Configurez les paramètres suivants :
    • Nombre maximum d'étapes : 8. [297]
    • Premier échantillonneur : Arrêter à l'étape 3. [298]
    • CFG : 1. [299]
    • Dans la deuxième section, répétez : Étapes 8, CFG 1, et démarrer à l'étape 3. [300]
  5. Activez le nœud de post-traitement (par exemple, avec Ctrl+B). [302]
  6. Cette optimisation réduit le temps de génération de 162 secondes à 53 secondes tout en conservant une bonne qualité. [303]

2.3. Génération de vidéos avec le LoRA entraîné [305]

  1. Le modèle Wan 2.2 est un modèle vidéo, permettant de créer des vidéos du personnage en utilisant le même workflow. [305]
  2. Pour générer une vidéo, augmentez la "length" (durée) à un nombre de frames souhaité (par exemple, 41 frames). [306]
  3. Remplacez la sauvegarde d'images par un nœud de combinaison vidéo. [308]
  4. Demandez à un LLM de réécrire le prompt pour qu'il soit adapté à la génération vidéo, en incluant des mouvements de caméra intéressants. [310]
  5. Le résultat est une vidéo de qualité avec un mouvement de caméra intéressant. [314]
  6. Un workflow vidéo gratuit préconfiguré est disponible, nécessitant seulement de charger le LoRA du personnage, les autres LoRAs, et de définir un prompt. [316]

2.4. Workflows avancés et soutien [321]

  1. Des versions avancées des workflows, incluant des upscalers supplémentaires et des fonctionnalités expérimentales pour une qualité maximale, sont disponibles sur Patreon. [321]
  2. Les démos présentées dans ce tutoriel utilisent uniquement les versions gratuites, qui sont suffisantes pour tester toutes les fonctionnalités. [323]
  3. En soutenant sur Patreon, vous obtenez également accès aux LoRAs entraînés, aux ensembles de données utilisés, aux prompts, et à une communauté Discord. [324]
  4. Un workflow avancé de génération vidéo permet de créer des vidéos 4K en décomposant la vidéo en petites parties pour un upscaling individuel, maintenant ainsi une faible utilisation de la VRAM. [326]
  5. Ce workflow peut être utilisé pour générer des personnages dans tous types de styles, pas seulement réalistes. [329]
  6. Les supporters Patreon rendent ces vidéos possibles, et leur soutien est apprécié. [331]