1. Introduzione e Strumenti per l'Editing di Immagini [0]

thumbnail

Creare personaggi AI coerenti e iperrealistici è ora possibile partendo da una singola immagine di input, utilizzando modelli open source eseguiti localmente.

  1. Obiettivo del Tutorial [0]

    1. L'obiettivo è generare set di dati perfetti, immagini ad alta risoluzione, immagini migliorate (upscaled) e diverse impostazioni/pose, complete di didascalie dettagliate, partendo da una sola immagine di input in qualsiasi stile [1].
    2. Alla fine, si saprà creare umani realistici o personaggi stilizzati, addestrare modelli Laura personalizzati e generare video HD o 4K perfettamente coerenti, tutto in locale [4].

  2. Modelli di Editing Basati su Istruzioni [6]

    1. Modelli recenti come Seedream 4 o Nano Banana di Google permettono di inserire immagini e chiedere modifiche specifiche (es. "mostrami una vista laterale di questo personaggio") [7].
    2. Tuttavia, questi strumenti commerciali sono spesso pesantemente censurati e possono diventare costosi [8].

  3. Alternativa Open Source: Gwen Image Edit [10]

    1. Gwen Image Edit, un modello open source di Alibaba, consente di unire personaggi, inserirli in sfondi diversi, cambiare vestiti o estrarre pose da un'immagine e applicarle al personaggio [11].
    2. Il relatore utilizza un workflow ComfyUI gratuito basato su Gwen Image Edit, che richiede solo di trascinare le immagini di riferimento e scrivere un prompt in linguaggio naturale [12].
    3. Esempi di utilizzo includono:
      1. Unire due personaggi per farli sposare con uno stile fotografico da matrimonio in stile Pixar [16].
      2. Modificare il prompt per ottenere un primo piano estremo dei volti che si baciano [27].
    4. Sebbene funzioni anche per personaggi realistici, questi modelli possono lasciare un aspetto "plastico" all'IA [36].
    5. Per la massima qualità e coerenza del personaggio, l'addestramento di un modello Laura personalizzato rimane il metodo migliore [37].

2. Configurazione del Workflow ComfyUI [38]

thumbnail

Per automatizzare la creazione del set di dati, è necessario installare ComfyUI, scaricare il workflow e configurare tutti i nodi e i modelli richiesti.

2.1. Installazione Iniziale [41]

  1. Prerequisiti e Download [41]

    1. È necessario installare ComfyUI; una guida passo passo è disponibile sul sito web del relatore [42].
    2. Una volta installato, scaricare il file del workflow dal link in descrizione e trascinarlo nell'interfaccia di ComfyUI [44].

  2. Installazione dei Nodi Personalizzati [45]

    1. Accedere al ComfyUI Manager [46].
    2. Cliccare su "Install missing custom nodes", selezionare tutti i nodi mancanti e installarli [46].
    3. Riavviare ComfyUI per visualizzare il workflow [47].

2.2. Download e Configurazione dei Modelli [48]

  1. Modelli per la Generazione di Immagini (Prima Parte del Workflow) [48]

    1. Tutti i modelli necessari sono indicati nelle caselle gialle a sinistra, con link per il download e indicazioni sulla posizione in cui inserirli nella cartella di ComfyUI [49].
    2. Il relatore utilizza la versione GGUF del modello principale per comprimere le dimensioni e renderlo compatibile con la maggior parte delle GPU [53].
      1. La versione GGUF riduce la dimensione del modello a scapito di una leggera perdita di qualità [54].
      2. Per la dimostrazione, è stata utilizzata la versione Q5 GGUF, anche se una 4090 potrebbe gestire versioni di qualità superiore come Q8 o FP8 [56].
    3. Dopo aver copiato il modello nella cartella Comfy/models/unit (o una cartella GGUF creata appositamente), è necessario ricaricare la finestra di ComfyUI e selezionare il modello nel nodo appropriato [60].
    4. Questo processo di download e selezione va ripetuto per tutti i modelli necessari per la prima parte del workflow [63].

  2. Modelli per la Creazione del Dataset (Seconda Parte) [65]

    1. Questa sezione crea didascalie e immagini upscaled del personaggio [66].
    2. Alcuni modelli sono link diretti per il download [67].
    3. Il modello Ultrasharp può essere scaricato tramite il ComfyUI Manager cercando il suo nome e installandolo [73].

3. Utilizzo del Workflow "Consistent Character Creator" [78]

thumbnail

Il workflow genera automaticamente una serie di immagini del personaggio, consentendo modifiche a vestiti, pose ed espressioni, lavorando da sinistra in alto a destra in basso.

3.1. Generazione Iniziale e Prompting [78]

  1. Input Iniziale e Nome del Personaggio [80]

    1. Iniziare trascinando l'immagine di riferimento nell'apposito nodo in alto a sinistra [81].
    2. Il prompt predefinito è "make an image in this style of the character", ma può essere specificato lo stile se necessario [85].
    3. È fondamentale assegnare un nome al personaggio, che fungerà da trigger word per l'addestramento LoRA e come nome della cartella di output [87].

  2. Output della Prima Esecuzione [92]

    1. Dopo aver cliccato "run", viene creata una scheda di rotazione del personaggio (character turnaround sheet) [95].
      1. A causa delle versioni GGUF, le pose potrebbero essere raddoppiate, ma questo non è un problema poiché le pose verranno generate separatamente più avanti [97].
    2. Questa fase è un'opportunità per aggiungere dettagli sull'abbigliamento alla fine del prompt, poiché il modello deve dedurre il resto del corpo [98].
      1. Esempio: è stato aggiunto "wearing chunky sneakers" per sostituire le scarpe nere predefinite [102].
    3. Le diverse viste del personaggio sono generate in base ai prompt, che sono modificabili e non definitivi [103].

  3. Aggiunta di Nuove Immagini e Variazioni [107]

    1. I gruppi di generazione sono modulari; se servono più immagini, si può copiare un gruppo e cambiare il prompt [108].
    2. Quando si esegue nuovamente il workflow, esso riutilizza i calcoli già eseguiti e riparte dal nuovo gruppo aggiunto, generando nuove immagini coerenti [110].

3.2. Modifica di Emozioni e Pose [115]

  1. Controllo delle Emozioni [115]

    1. Nella riga inferiore a sinistra, vengono generate le diverse emozioni del personaggio, modificabili tramite uno slider [115].
    2. Modificando lo slider (es. per farle dire "ah" e abbassare le sopracciglia) e rieseguendo il workflow, l'emozione viene applicata all'immagine del ritratto creata in precedenza [117].
    3. È possibile sostituire l'immagine del ritratto con l'immagine di input originale nel gruppo "get close-up" [121].

  2. Generazione di Pose Aggiuntive [124]

    1. Sono disponibili pose aggiuntive come la T-pose, sdraiato, vista laterale, vista posteriore e camminata nella natura [125].

  3. Virtual Try-On (Prova Virtuale di Abbigliamento) [126]

    1. Il gruppo virtual try-on permette di far indossare al personaggio un capo di abbigliamento [126].
    2. Si trascina l'immagine del capo di abbigliamento (preferibilmente su sfondo monocromatico) e si specifica nel prompt cosa deve indossare (es. "make the character wear the gray winter coat") [128].

  4. Trasferimento di Posa (Pose Transfer) [132]

    1. Il gruppo pose transfer permette di caricare un'immagine di riferimento di una posa specifica, che verrà estratta e applicata al personaggio [133].

3.3. Salvataggio del Dataset Selezionato [136]

  1. Selezione delle Immagini Finali [138]
    1. Dopo aver generato molte immagini, è necessario decidere quali salvare per il dataset [138].
    2. Per salvare solo le immagini attualmente visualizzate, è necessario cambiare il nome del personaggio nel nodo di input [140].
    3. Si consiglia di aggiungere un numero al nome del personaggio (es. NomePersonaggio_01) e rieseguire il workflow [141].
    4. Questo creerà una nuova cartella di output contenente solo le immagini correnti [143].

4. Creazione del Dataset Dettagliato e Upscaling [145]

thumbnail

La seconda parte del workflow genera didascalie dettagliate per ogni immagine e le esegue un upscaling per migliorare significativamente la qualità e la naturalezza della pelle.

  1. Esecuzione della Fase di Dataset Creation [145]

    1. È cruciale eseguire prima la fase di generazione delle immagini e poi cliccare sul pulsante "data set creation" [145].
    2. È sufficiente aggiungere un prompt in quel nodo e cliccare "run" [146].

  2. Processo di Upscaling e Captioning [149]

    1. Tutte le immagini generate nella prima parte vengono caricate (nel caso di esempio, 24 immagini) [149].
    2. Vengono create didascalie dettagliate per ogni immagine, aggiungendo la trigger word al testo [151].
    3. Le immagini vengono poi upscalate alla risoluzione impostata (es. 2K) utilizzando il prompt fornito e le didascalie generate [152].
    4. Il confronto tra l'immagine originale e quella upscalata mostra un grande aumento di qualità e dettaglio, specialmente negli occhi e nelle sopracciglia [154].
      1. Questo processo risolve il problema della pelle "plastica" tipico di Gwen Image Edit, rendendo i toni della pelle molto più naturali [157].
    5. L'upscaling è eseguito con Flux in combinazione con Yuzo, un modello che aiuta a mantenere la coerenza del personaggio durante l'upscaling [160].
    6. Per controllare quanto l'upscaling modifica il personaggio, si può regolare il parametro start step (su 20 passi totali):
      1. Valori più alti (es. 18) applicano solo modifiche minori [161].
      2. Valori più bassi (es. 12 o 13) aggiungono più dettagli [164].

  3. Risultato del Dataset [165]

    1. Tutte le immagini upscaled si trovano nella cartella denominata come il personaggio, all'interno della sottocartella upscaled images [165].
    2. Accanto a ogni immagine, c'è un file con lo stesso nome contenente la didascalia specifica per quell'immagine [169].

5. Addestramento del Modello LoRA Personalizzato [170]

thumbnail

Il dataset creato è ora pronto per addestrare un modello LoRA (Lightweight Adapter) per qualsiasi modello AI, permettendo una coerenza massima.

5.1. Addestramento per Modelli Flux [170]

  1. Utilizzo di Flux Gym per Flux [170]
    1. Il dataset permette di addestrare un LoRA per quasi tutti i modelli AI [170].
    2. Un LoRA è un piccolo modello aggiuntivo che fornisce contesto aggiuntivo per il personaggio [171].
    3. In passato, il relatore ha mostrato come addestrare un LoRA per il modello Flux usando Flux Gym [172].
    4. Flux Gym è facile da installare tramite Pinocchio (uno strumento di installazione con un clic) [173].
    5. L'addestramento di un LoRA per Flux funziona anche su GPU più vecchie con soli 12 GB di VRAM [175].

5.2. Addestramento per Modelli One 2.2 (Immagini e Video) [176]

  1. Scelta dello Strumento di Addestramento: AI Toolkit su Runpod [176]

    1. Oggi, l'obiettivo è addestrare un modello per il modello video One 2.2 per generare immagini e video realistici [177].
    2. Si utilizza AI Toolkit, un trainer LoRA facile da usare, installabile localmente o tramite un installer one-step [179].
    3. L'addestramento è molto intensivo in termini di risorse: anche su una 4090, è stata necessaria l'attivazione della modalità low VRAM e l'addestramento a 512x512 pixel ha richiesto alcune ore [182].
    4. Per questo motivo, il relatore preferisce usare Runpod per l'addestramento, poiché è più veloce, nonostante costi pochi dollari (10$ sono sufficienti per addestrare diversi LoRA) [184].

  2. Configurazione su Runpod con AI Toolkit [188]

    1. Dopo aver aggiunto fondi al proprio account Runpod, si cerca il template AI Toolkit (creato da Ostress) e si clicca su "deploy pod" [188].
    2. Si seleziona una GPU (es. 5090 o una più veloce) [193].
    3. Si modifica il template, si va su environment variables e si cambia solo la password, poi si clicca su "deploy on demand" [195].
    4. Una volta pronto, si accede al servizio HTTP inserendo la password per aprire l'interfaccia di AI Toolkit [198].

  3. Preparazione del Dataset su AI Toolkit [201]

    1. Creare un nuovo dataset, dargli un nome e trascinare le immagini generate in precedenza [201].
    2. È fondamentale rivedere le immagini, eliminando quelle che appaiono strane o troppo simili (es. troppi primi piani ravvicinati o viste laterali/posteriori se non necessarie) [204].
    3. Una volta selezionato il dataset finale, si procede alla creazione di un nuovo job [213].

  4. Configurazione del Job di Addestramento LoRA [214]

    1. Nome LoRA: di solito si usa lo stesso nome della trigger word [214].
    2. Modello Base: si seleziona la versione 2.1 di One (poiché è compatibile con la 2.2, la più recente) [217].
      1. AI Toolkit salverà tutte le versioni intermedie durante l'addestramento, permettendo di scegliere la migliore, anche se di solito è l'ultima [221].
    3. Dataset: selezionare il dataset appena creato [224].
    4. Samples (Campioni): si impostano i passaggi a cui generare immagini di esempio per monitorare l'addestramento [226].
      1. Il relatore imposta il salvataggio delle versioni LoRA ogni 500 passi e imposta la generazione di campioni ogni 500 passi [223].
      2. Si imposta la generazione di immagini (non video) impostando il numero di campioni a uno [229].
    5. Prompt di Esempio: si modificano i prompt predefiniti per includere la trigger word e descrizioni pertinenti al personaggio, eliminando quelli non necessari (es. quelli con cavalli) [231].
    6. Infine, si clicca su "create job" e poi su "start" per iniziare l'addestramento [240].

  5. Revisione dei Risultati dell'Addestramento [243]

    1. Il creatore di AI Toolkit, Ostress, offre walkthrough sul suo canale YouTube per chi ha domande sull'addestramento [243].
    2. Dopo circa un'ora e mezza, l'addestramento è completo [245].
    3. I campioni iniziali mostrano che il personaggio non assomiglia affatto al soggetto, ma ad ogni iterazione (ogni 500 passi) si avvicina sempre di più, catturando anche dettagli come il maglione [246].
    4. Si consiglia di scaricare l'ultima iterazione e, dato il basso costo (circa $4), anche la versione precedente [251].
    5. Importante: dopo aver scaricato i file, è necessario fermare il pod per evitare costi aggiuntivi [256].

6. Generazione di Immagini e Video Finali [257]

thumbnail

Il LoRA addestrato viene caricato in un workflow ComfyUI preconfigurato per generare immagini iperrealistiche e video 4K.

6.1. Generazione di Immagini Iperrealistiche [257]

  1. Configurazione del Workflow di Immagini [257]

    1. Si può usare qualsiasi workflow di generazione di immagini One 2.2 o 2.1 con il LoRA appena creato [257].
    2. Il relatore mostra il suo workflow gratuito preconfigurato, che richiede l'installazione di nodi mancanti e il download di modelli specifici [258].
    3. Per il realismo, sono necessari due LoRA aggiuntivi: Lenovo Ultra Real e Insta Real 2.2 [262].
    4. Il LoRA del personaggio deve essere caricato sia nel nodo high noise model che nel low noise model [263].
    5. Il prompt deve includere la trigger word del personaggio, descrizioni di base e le trigger word degli altri LoRA (es. insta reel e lenovo) [267].

  2. Post-Processing per il Realismo [271]

    1. È stato aggiunto un gruppo di post-elaborazione per rendere l'immagine più realistica e cinematografica [273]:
      1. Aberrazione cromatica: separa leggermente i canali di colore per un look imperfetto sui bordi [273].
      2. Nitidezza artificiale (attivabile/disattivabile con Ctrl+B) [276].
      3. Bloom: fa brillare leggermente le parti luminose [278].
      4. Grana (Grain): aggiunge un po' di grana per un effetto più cinematografico [280].
    2. Cambiando il seed e rigenerando, si ottengono variazioni dell'immagine [282].

  3. Ottimizzazione del Prompting e Velocità [285]

    1. Per gestire prompt lunghi, si può usare un LLM (come Claude) per strutturare il prompt e chiedere di inserire il personaggio in diverse situazioni [285].
    2. Per ridurre drasticamente i tempi di generazione (da 162 secondi a 53 secondi), si possono usare i Light X LoRAs [289].
      1. Questi permettono di generare immagini in soli quattro passi (rispetto ai 30 attuali) [291].
      2. Questi LoRA vanno caricati sia nel high noise che nel low noise model [295].
      3. Si impostano i parametri: Max Steps a 8, Sampler 1 a 3, e CFG a 1 per entrambi i modelli [297].
      4. Si attiva il Light X LoRA usando Ctrl+B [302].

6.2. Generazione di Video Coerenti [305]

  1. Adattamento del Workflow per il Video [305]

    1. Poiché One 2.2 è un modello video, si può usare lo stesso workflow per generare video [305].
    2. È necessario aumentare la lunghezza a un numero di frame desiderato (es. 41 frame) [307].
    3. Si bypassano i nodi di post-elaborazione delle immagini [309].
    4. Si chiede a un LLM (es. Claude) di riscrivere il prompt dell'immagine in un prompt video [311].
    5. Il risultato è un video con un movimento di camera interessante, generato in modo coerente [314].
    6. Esiste anche un workflow video gratuito preconfigurato che semplifica questo processo [318].

  2. Versioni Avanzate e Supporto [321]

    1. Versioni avanzate di questi workflow, con upscaler extra e funzionalità sperimentali per la massima qualità, sono disponibili su Patreon [321].
    2. Le demo mostrate utilizzano solo la versione gratuita, sufficiente per provare tutto [323].
    3. I sostenitori di Patreon ricevono anche i LoRA addestrati, i dataset utilizzati e l'accesso alla community Discord [324].
    4. Il workflow avanzato per video 4K scompone il video in piccole parti per l'upscaling, mantenendo basso l'utilizzo della VRAM [326].
    5. Questo metodo funziona per generare qualsiasi stile e personaggio, non solo quelli realistici [329].