1. Distinction entre Modèles Génératifs et Discriminatifs [0]

thumbnail

1.1. Contexte de la Classification et Modèles Discriminatifs [0]

  1. Distinction fondamentale en apprentissage automatique existe.

    1. Elle oppose les approches génératives aux approches discriminatives [0].
    2. Le contexte est souvent un cadre de classification [1].
    3. Les données sont dans (axes et ) [2].
    4. Des points de données sont dessinés, classés en rouge (une classe) et bleu (une autre classe) [8].
    5. Les classes peuvent se chevaucher légèrement [16].

  2. Approche Discriminative modélise la probabilité conditionnelle [20].

    1. Cela signifie modéliser la probabilité de étant donné le point [23].
    2. On utilise les données étiquetées jusqu'à [21].
    3. Exemple : si est donné, on prédit sa classe [25].
    4. Le modèle peut se concentrer sur une seule coordonnée, comme [26].
    5. La probabilité peut varier selon les valeurs de [30].
    6. Proche de 1 si le point est dans la région rouge (Classe 1) [35].
    7. Proche de 0 si le point est dans la région bleue (Classe 0) [38].

1.2. Approche Générative et Modélisation Conjointe [41]

  1. Modèle Génératif modélise la distribution conjointe [41].
    1. Ceci peut être factorisé comme [42].
    2. sont les probabilités marginales de classe.
    3. est la densité conditionnelle de étant donné la classe [43].
    4. Pour la classe zéro, la densité pourrait ressembler à une Gaussienne [44].
    5. Alternativement, on peut écrire [45].
    6. Le modèle génératif modélise les densités conditionnelles de [46].

1.3. Différences de Prédiction et Puissance des Modèles [48]

  1. Exemple de prédiction avec un nouveau point situé loin [48].

    1. Un modèle discriminatif pourrait prédire la Classe 1 pour ce point [50].
    2. Un modèle génératif pourrait prédire la Classe 0 pour ce même point [51].
    3. Le modèle génératif est considéré comme plus puissant car il modélise plus de facteurs [52].

  2. Avantages des modèles discriminatifs [53].

    1. Les modèles génératifs doivent estimer les densités conditionnelles [54].
    2. Estimer une densité nécessite beaucoup de données statistiquement [54].
    3. L'estimation de densité est difficile et peut entraîner des erreurs [54].
    4. Les estimations peuvent avoir une variance élevée sans beaucoup de données [54].
    5. Par conséquent, un modèle génératif peut avoir des performances inférieures [57].

1.4. Signification du Terme "Génératif" [59]

  1. Le terme "génératif" vient de son processus de génération naturel [60].

    1. Ce processus décrit comment les données sont créées [61].
    2. Processus Génératif :
    3. D'abord, choisir une classe (0 ou 1) selon sa distribution marginale [62].
    4. Ensuite, choisir un point selon la distribution conditionnelle [63].
    5. C'est pourquoi on l'appelle un processus génératif [65].

  2. Le modèle discriminatif ne permet pas de générer les [66].

    1. Il n'y a aucune distribution sur les $X$ modélisée [66].
    2. Il peut seulement discriminer entre les classes étant donné [68]. </Document A>