Que sont les modèles de diffusion ?

1. Le Mécanisme de Base des Modèles de Diffusion [0]

1. Le concept de base est d'ajouter progressivement du bruit gaussien à une image. [0]
   1. Répéter ce processus transforme l'image en un échantillon de bruit pur (statique). [1]
2. L'objectif est d'inverser ce processus : commencer par une image bruitée. [2]
   1. Ensuite, retirer progressivement le bruit pour obtenir une image cohérente. [2]
3. C'est l'idée fondamentale des modèles de diffusion en modélisation générative. [3]
4. Ces modèles connaissent un succès croissant, surtout en génération d'images. [4]
5. Ils commencent à rivaliser et même à surpasser d'autres modèles génératifs. [4]
6. Les modèles de diffusion récents ont surpassé les GANs (réseaux adversariaux génératifs). [5]
   1. Ils sont meilleurs selon les métriques de qualité perceptuelle. [6]
7. Ils montrent aussi des performances impressionnantes dans divers contextes conditionnels. [6]
   1. Exemples : conversion texte-image, inpainting et manipulation. [6]

2. Le Processus de Diffusion Avant (Forward Process) [8]

1. On commence avec un échantillon $X_0$ de la distribution de données cible (ex: une image). [8]
2. Le processus de diffusion avant ($Q$) ajoute progressivement du bruit à $X_0$. [9]
   1. Cela se fait sur un grand nombre $T$ d'étapes temporelles. [9]
3. Le modèle doit commencer à $X_T$ et annuler ce bruit via le processus inverse. [10]
4. Le processus avant $Q$ est une chaîne de Markov. [11]
   1. La distribution à l'étape $T$ dépend uniquement de l'échantillon de l'étape précédente. [11]
5. La distribution des échantillons corrompus, conditionnée par $X_0$, est le produit des conditionnelles successives. [12]
6. Pour les données continues, chaque transition est paramétrée comme une Gaussienne diagonale. [13]
   1. ${\beta }_T$ est la variance à l'étape $T$. [14]
   2. Les variances ${\beta }_T$ sont des hyperparamètres fixes suivant un calendrier prédéfini. [15]
7. $\beta$ augmente généralement avec le temps et est entre 0 et 1. [16]
   1. Le coefficient $\sqrt{1-{\beta }_T}$ est non nul mais inférieur à un. [17]
   2. Cela rapproche la moyenne de chaque nouvelle Gaussienne de zéro. [17]
8. Lorsque $T$ tend vers l'infini, $Q$ approche une Gaussienne centrée à zéro. [18]
   1. La covariance est l'identité, perdant toute information sur l'échantillon original. [18]
9. En pratique, le nombre total d'étapes $T$ est de l'ordre d'un millier. [19]
10. Utiliser un grand $T$ permet de fixer les variances ${\beta }_T$ très petites. [20]
    1. Cela maintient approximativement la même distribution limite. [20]
11. Un petit pas de bruit rend l'apprentissage de l'annulation du processus avant plus facile. [21]

3. Le Rôle du Petit Pas de Bruit dans le Processus Inverse [22]

1. Considérons un cas simple en une dimension. [22]
   1. Si $X_{T-1}$ ressemble à un mélange de Gaussiennes à deux modes. [23]
   2. On observe $X_T$ et on veut inférer la distribution postérieure de $X_{T-1}$. [24]
2. Si le pas de bruit avant $Q(X_T|X_{T-1})$ est grand, l'incertitude sur $X_{T-1}$ est élevée. [26]
3. Si le pas de bruit avant est petit, l'ambiguïté sur $X_{T-1}$ est beaucoup moindre. [27]
4. On peut alors modéliser la postérieure du pas avant $Q(X_{T-1}|X_T)$ avec une Gaussienne unimodale. [28]
   1. Cela élimine la contribution d'un des modes. [28]
5. Théoriquement, à la limite des pas infinitésimaux, le vrai processus inverse a la même forme fonctionnelle que le processus avant. [29]
6. Les modèles de diffusion exploitent ceci en paramétrant chaque pas inverse appris. [30]
   1. Chaque pas est aussi une Gaussienne diagonale unimodale. [30]
7. Le modèle prend $X_T$ et $T$ comme entrées pour tenir compte du calendrier de variance. [31]
   1. Différentes étapes $T$ sont associées à différents niveaux de bruit. [32]
8. Le processus inverse est aussi une chaîne de Markov. [33]
   1. La probabilité conjointe est le produit des conditionnelles et de la probabilité marginale de $X_T$. [33]
9. $P(X_T)$ est la même que $Q(X_T)$, la distribution de bruit pur. [34]
10. Lors de l'inférence, on commence par une Gaussienne. [35]
    1. On échantillonne à partir des étapes inverses apprises $P(X_{T-1}|X_T)$ jusqu'à produire $X_0$. [35]

4. L'Objectif d'Optimisation : La Borne Inférieure Variationnelle (ELBO) [37]

1. Le processus avant pousse l'échantillon hors du manifold de données (vers le bruit). [38]
2. Le processus inverse est entraîné pour ramener l'échantillon au manifold de données. [38]
3. L'objectif n'est pas de maximiser directement la vraisemblance $P(X_0)$. [39]
   1. Calculer $P(X_0)$ est intractable car il faut marginaliser sur toutes les trajectoires possibles. [41]
4. On maximise plutôt une borne inférieure (lower bound). [42]
5. Les variables $X_1$ à $X_T$ sont vues comme des variables latentes ($Z$). [43]
   1. $X_0$ est la variable observée. [43]
   2. Le modèle de diffusion est un type de modèle génératif à variables latentes. [43]

4.1. Analogie avec les VAEs et Dérivation de l'ELBO [44]

1. Dans les VAEs (Auto-encodeurs Variationnels), un encodeur produit $Q(Z|X)$. [44]
   1. Un décodeur reconstruit les données $P(X|Z)$. [44]
2. Le processus avant dans les modèles de diffusion est analogue à l'encodeur. [45]
3. Le processus inverse est analogue au décodeur. [45]
4. Contrairement à un VAE, le processus avant est généralement fixe. [46]
   1. Seul le processus inverse est appris. [47]
   2. Un seul réseau doit être entraîné, contrairement aux VAEs. [48]
5. L'objectif d'entraînement est la borne inférieure variationnelle (ELBO). [49]
   1. C'est une borne inférieure sur la log-vraisemblance marginale $\log P_{\theta }(X)$. [51]
6. L'ELBO est un terme de vraisemblance moins un terme de divergence KL. [52]
   1. Le terme de vraisemblance maximise la densité attendue assignée aux données. [53]
   2. Le terme KL encourage la postérieure approximative $Q(Z|X)$ à être proche de la prior $P(Z)$. [53]
7. En substituant $X_0$ pour l'observation et $X_1$ à $X_T$ pour la latente $Z$. [55]
8. On peut développer la divergence KL pour combiner les deux termes en une seule espérance. [57]
9. Enfin, on peut refactoriser les probabilités de chaîne en étapes individuelles. [57]

5. Optimisation et Améliorations du Processus d'Entraînement [58]

1. Le processus avant $Q$ a une propriété utile : tout pas peut être échantillonné directement. [58]
   1. Ceci est possible car la somme de pas Gaussiens indépendants est une Gaussienne. [60]
2. À l'entraînement, tout terme de l'objectif peut être obtenu sans simuler toute la chaîne. [61]
3. On peut optimiser en échantillonnant aléatoirement des paires $(X_{T-1},X_T)$. [62]
   1. On maximise la densité conditionnelle assignée à $X_{T-1}$ par le pas inverse. [62]
4. Cette configuration peut avoir une variance élevée, limitant l'efficacité. [63]
5. Pour y remédier, l'objectif est réarrangé. [64]
   1. $P(X_T)$ (bruit pur) et le processus avant $Q$ sont fixes. [66]
   2. Il reste une somme de divergences KL. [68]
6. Chaque divergence KL est entre un pas inverse et une postérieure du processus avant conditionnée par $X_0$. [69]
7. Ces termes $Q$ sont des Gaussiennes lorsque $X_0$ est connu (pendant l'entraînement). [70]
8. Chaque divergence KL compare deux Gaussiennes et peut être évaluée en forme fermée. [72]
   1. Cela réduit la variance d'entraînement. [73]
   2. Les cibles du pas inverse deviennent les vraies postérieures du processus avant. [73]

5.1. Reparamétrisation et Objectif Simplifié (DDPM) [74]

1. Dans le papier DDPM (Denoising Diffusion Probabilistic Models), les auteurs fixent les variances du processus inverse. [75]
   1. Apprendre les variances entraînait une instabilité et une qualité inférieure. [76]
2. Le réseau du pas inverse est uniquement chargé d'apprendre les moyennes. [77]
3. Ils suggèrent une reparamétrisation : le réseau prédit le bruit ajouté ($ϵ$). [78]
4. L'échantillonnage d'un pas avant arbitraire peut être réécrit avec une variable de bruit auxiliaire $ϵ$. [79]
   1. $ϵ$ a une distribution constante, indépendante de $T$. [80]
   2. Le modèle inverse est conçu pour prédire cet $ϵ$. [80]
5. Les auteurs ont aussi trouvé qu'une version simplifiée de la borne variationnelle donnait une meilleure qualité. [81]
   1. Cette version ignore les poids des termes de la borne originale. [81]
6. L'objectif simplifié sous-pondère les étapes avec très peu de bruit (étapes précoces). [83]
   1. Cela permet à l'entraînement de se concentrer sur les étapes plus difficiles (plus de bruit). [83]

6. Génération Conditionnelle et Applications [84]

6.1. Guidage Conditionnel (Classifier Guidance et Classifier-Free Guidance) [84]

1. Les modèles de diffusion peuvent échantillonner conditionnellement (ex: étiquette de classe, description textuelle). [84]
2. Une méthode est de fournir la variable de conditionnement $Y$ comme entrée supplémentaire à l'entraînement. [85]
   1. Le modèle apprend à utiliser $Y$ comme indice pour la reconstruction. [86]
3. En pratique, guider le processus de diffusion avec un classifieur séparé peut aider. [87]
   1. On utilise un classifieur entraîné. [88]
   2. Le processus inverse est poussé dans la direction du gradient de la probabilité de l'étiquette cible. [89]
   3. Ceci fonctionne aussi avec des descriptions textuelles complexes. [89]
4. L'inconvénient de cette technique est la dépendance à un second réseau. [90]
5. Une approche alternative est le guidage sans classifieur (classifier-free diffusion guidance). [91]
   1. L'étiquette de conditionnement $Y$ est fixée à une étiquette nulle avec une certaine probabilité pendant l'entraînement. [92]
   2. À l'inférence, les échantillons sont artificiellement poussés vers la direction conditionnelle $Y$. [93]
   3. Ils sont éloignés de l'étiquette nulle, sans nouvelle information donnée au modèle. [93]
   4. Cette méthode produit des échantillons de meilleure qualité selon l'évaluation humaine. [94]

6.2. Inpainting [95]

1. L'inpainting (remplissage de régions manquantes) est un autre succès des modèles de diffusion. [95]
2. La méthode naïve consiste à remplacer les régions connues par un échantillon du processus avant après chaque pas inverse. [96]
   1. Cela peut créer des artefacts de bord. [97]
   2. Le modèle n'est pas pleinement conscient du contexte environnant clair. [98]
3. De meilleurs résultats sont obtenus en affinant un modèle spécifiquement pour cette tâche. [99]
   1. On retire aléatoirement des sections d'images d'entraînement. [100]
   2. Le modèle tente de les remplir, conditionné par le contexte clair complet. [100]

7. Comparaison avec d'Autres Modèles Génératifs et Connexions Théoriques [101]

1. Les modèles de diffusion sont limités par la lenteur de la chaîne de Markov. [102]
   1. Cela contraste avec les GANs, qui génèrent des images en un seul passage avant. [103]
   2. Des travaux sont en cours pour accélérer l'échantillonnage. [104]
2. Les modèles de diffusion permettent de calculer une borne inférieure variationnelle (ELBO). [105]
   1. Cette borne est souvent bonne et compétitive en estimation de densité. [106]
   2. L'estimation de densité était dominée par les modèles autorégressifs. [106]
3. Une formulation en temps continu des modèles de diffusion donne lieu à une ODE de flux de probabilité. [108]
   1. Cela permet d'approximer la log-vraisemblance via intégration numérique. [109]
4. Il existe un lien étroit entre les modèles de diffusion de débruitage et les modèles d'appariement de score (score-matching models). [110]
   1. Ces deux types sont souvent regroupés dans une seule classe de modèles. [110]
5. Le score est le gradient du logarithme de la densité de probabilité cible par rapport aux données. [111]
6. Un réseau de score est entraîné pour estimer cette valeur. [112]
   1. Une chaîne de Markov est ensuite mise en place pour produire des échantillons guidés par ce gradient. [112]
7. Il a été démontré que le score est équivalent au bruit prédit dans l'objectif de diffusion de débruitage. [113]
   1. Ceci est vrai à un facteur d'échelle près. [113]
8. Annuler le bruit dans un modèle de diffusion revient approximativement à suivre le gradient de la log-densité des données. [114]