JEPA - O Caminho para a Inteligência Artificial Autônoma (Explicação do Artigo)

1. O Caminho para a Inteligência de Máquina Autônoma e a Arquitetura JEPA [1]

O artigo de Yann LeCun, "Um Caminho para a Inteligência de Máquina Autônoma", propõe a arquitetura JEPA (Joint Embedding Predictive Architecture) como um pilar para alcançar a inteligência de máquina, focando em aprendizado eficiente, raciocínio e planejamento em múltiplos horizontes de tempo.

1.1. Desafios Atuais em Deep Learning e a Proposta de LeCun [4]

1. Os problemas abertos no deep learning atual incluem: [4]
   1. Como as máquinas podem aprender tão eficientemente quanto humanos e animais. [4]
   2. Como as máquinas podem aprender a raciocinar e planejar. [5]
   3. Como as máquinas podem aprender representações de percepções e planos de ação em múltiplos níveis de abstração. [5]
2. O aprendizado eficiente em deep learning é conhecido por exigir muitos dados, e as capacidades de raciocínio e planejamento ainda são limitadas nos sistemas atuais. [7]
3. Yann LeCun propõe a arquitetura JEPA como uma solução para esses desafios, descrevendo-a como a pedra angular de seu método. [2]

1.2. Contribuições Principais do Artigo [13]

1. O artigo apresenta uma arquitetura cognitiva geral com módulos diferenciáveis e treináveis. [13]
2. A JEPA e a JEPA hierárquica são arquiteturas não generativas para modelos preditivos de mundo que aprendem uma hierarquia de representações. [15]
   1. A JEPA é não generativa, mas ainda preditiva, realizando previsões no espaço latente, semelhante ao MuZero. [16]
   2. É um paradigma de aprendizado auto-supervisionado não contrastivo que produz representações informativas e preditivas. [17]
   3. LeCun enfatiza a preferência por métodos não contrastivos devido à "maldição da dimensionalidade". [18]
3. A JEPA serve como base para modelos preditivos de mundo para planejamento hierárquico sob incerteza. [20]

1.3. Arquitetura Proposta e Modos de Percepção-Ação [23]

1. A arquitetura proposta inclui um modelo de mundo como peça central, que prevê o estado futuro do mundo. [24]
   1. O modelo de mundo interage com um módulo ator, que executa ações. [26]
   2. O ator pode simular ações dentro do modelo de mundo para planejar e encontrar a melhor ação. [27]
   3. A memória de curto prazo é usada para treinar o modelo de mundo e um crítico. [29]
   4. O módulo de percepção transforma as observações do mundo em representações. [32]
2. Existem dois modos de percepção-ação: [37]
   1. Modo 1: Episódio de percepção-ação reativo [38]
      1. O sistema vai da percepção do mundo à ação sem muito pensamento, de forma subconsciente. [40]
      2. Uma observação do mundo passa por um codificador para obter uma representação latente, que é então enviada ao ator para gerar uma ação. [42]
      3. Neste loop básico, o ator já foi treinado para agir com base na percepção no momento da inferência, sem precisar consultar um módulo de custo. [49]
   2. Modo 2: Episódio de percepção-ação mais envolvido [59]
      1. O sistema usa o modelo de mundo para planejar o futuro. [61]
      2. Uma observação passa pelo codificador para obter um estado latente. [62]
      3. O ator propõe uma ação com base nesse estado, e o modelo de mundo prevê o próximo estado latente. [65]
      4. As previsões ocorrem no espaço latente, permitindo que o modelo se concentre no que é importante para a tarefa. [72]
      5. Se todos os módulos forem diferenciáveis, a sequência de ações pode ser otimizada no tempo de inferência usando descida de gradiente para maximizar uma recompensa ou minimizar um custo. [86]
      6. Essa otimização no tempo de inferência é semelhante à construção de um exemplo adversarial para um classificador de imagens. [94]
      7. O Modo 2 permite que o modelo "pense" no futuro e refine as ações para melhorar o resultado. [101]
      8. O ator infere uma sequência de ações que minimiza a energia total, o que pode ser feito por otimização, busca ou métodos evolutivos. [105]
      9. Este é um exemplo de controle preditivo de modelo clássico com planejamento de horizonte de re-semeadura. [107]
      10. O ator ingênuo (do Modo 1) pode ser treinado para corresponder às ações superiores encontradas pelo modelo de mundo no Modo 2, destilando uma aproximação ótima para o ator. [110]

2. Aprendizado Auto-Supervisionado e Modelos Baseados em Energia [120]

O aprendizado auto-supervisionado e os modelos baseados em energia são conceitos fundamentais para a arquitetura JEPA, permitindo que o sistema aprenda representações e faça previsões de forma eficiente.

2.1. Aprendizado Auto-Supervisionado [121]

1. O aprendizado auto-supervisionado envolve pegar uma parte dos dados de entrada, mascarar outra parte e tentar prever a parte mascarada usando a parte conhecida. [123]
2. LeCun propõe uma variação onde o objetivo não é prever diretamente a parte desconhecida, mas criar uma função de energia. [126]

2.2. Modelos Baseados em Energia [126]

1. Uma função de energia mede o quão bem duas partes de dados se encaixam, capturando as dependências entre as partes observadas e não observadas da entrada. [127]
2. O objetivo é treinar um sistema que atribua uma energia muito baixa a sequências de dados realistas ou compatíveis (onde uma parte pode seguir logicamente a outra) e uma energia alta a sequências incompatíveis. [135]
3. A vantagem dessa formulação é que ela não exige a previsão direta de uma única continuação, pois podem existir múltiplas continuações válidas para um mesmo início. [139]
4. A função de energia é minimizada no tempo de inferência, enquanto a perda de treinamento é minimizada durante o treinamento; embora às vezes sejam a mesma fórmula, elas servem a propósitos distintos. [145]

2.3. Modelos Baseados em Energia com Variáveis Latentes [148]

1. Para lidar com múltiplas continuações possíveis para uma dada entrada (X), introduz-se uma variável latente (Z). [150]
2. A variável latente (Z) captura informações sobre a continuação (Y) que não estão diretamente em X. [152]
   1. Por exemplo, no problema do carrinho de mina, se o vídeo mostra o carrinho se aproximando de uma bifurcação (X), a variável latente (Z) pode indicar se a alavanca está para a esquerda ou para a direita, levando a diferentes continuações (Y). [153]
3. Para calcular a energia que indica a compatibilidade entre X e Y, é necessário minimizar sobre Z, buscando o valor de Z que torna X e Y mais compatíveis. [160]
4. Se X e Y são compatíveis, a minimização sobre Z pode revelar a estrutura latente do mundo. [172]
5. Este modelo permite inferir Z ou amostrar valores de Z para produzir diferentes futuros ou possibilidades, oferecendo liberdade para lidar com a incerteza e a estrutura não observada do mundo. [173]

2.4. O Problema do Colapso de Modo [175]

1. O principal problema com essas arquiteturas é o colapso de modo, onde o modelo se torna inútil. [175]
2. Se a variável latente (Z) não for restrita, ela pode simplesmente se tornar igual a Y, permitindo que o modelo preveja Y perfeitamente, tornando X inútil e a função de previsão uma função de identidade. [177]
3. Para evitar o colapso, é necessário restringir Z, por exemplo, limitando seus valores possíveis. [182]
4. Diferentes configurações de modelos baseados em energia podem colapsar: [184]
   1. Um codificador determinístico que prevê Y diretamente não colapsa. [186]
   2. Um modelo que prevê Y a partir de X e uma variável latente Z pode colapsar se Z não for restrito. [189]
   3. Um autoencoder pode colapsar se não for restrito no meio, tornando-se uma função de identidade. [193]
   4. Uma arquitetura de joint embedding (incorporação conjunta), onde codificadores para X e Y produzem representações latentes e uma função de energia mede sua compatibilidade, pode colapsar se os codificadores sempre produzirem um vetor constante. [199]

3. Prevenção de Colapso: Treinamento Contrastivo vs. Regularização [208]

Para evitar o colapso de modo em modelos baseados em energia, existem duas abordagens principais: treinamento contrastivo e regularização, sendo a regularização a preferida na arquitetura JEPA.

3.1. Treinamento Contrastivo [226]

1. O treinamento contrastivo visa garantir que o modelo atribua baixa energia a pares compatíveis e alta energia a pares incompatíveis. [228]
2. Isso é feito criando amostras negativas (pares incompatíveis) e amostras positivas (pares compatíveis). [240]
   1. Por exemplo, em treinamento de imagem, duas variações da mesma imagem são puxadas juntas no espaço latente, enquanto variações de imagens diferentes são empurradas para longe. [233]
3. O desafio é a "maldição da dimensionalidade": em dimensões mais altas, torna-se cada vez mais difícil encontrar exemplos negativos eficazes ao redor de um exemplo de treinamento. [244]

3.2. Métodos Regularizados [247]

1. Métodos regularizados restringem o espaço de baixa energia, incentivando o sistema a manter essa região pequena, sem a necessidade de construir pontos de dados externos para aumentar a energia. [248]
2. A JEPA é um exemplo de arquitetura regularizada. [251]
   1. Ela usa codificadores determinísticos para X e Y, produzindo representações latentes. [253]
   2. Um preditor prevê a representação latente de Y a partir da representação latente de X, com a ajuda de uma variável latente (Z) que pode variar em um domínio controlado. [255]
   3. A função de energia mede a compatibilidade entre a representação de Y e a representação prevista de Y, geralmente usando uma distância simples como cosseno ou L2. [262]
3. A principal vantagem da JEPA é que ela realiza previsões no espaço de representação, eliminando a necessidade de prever cada detalhe de Y e permitindo que os codificadores eliminem detalhes irrelevantes. [266]

3.3. Treinamento da JEPA e Regularização para Prevenir Colapso [269]

1. O treinamento da JEPA envolve minimizar o erro preditivo entre a representação latente de Y e a representação prevista de Y a partir da representação latente de X. [269]
2. Para prevenir o colapso, são aplicados regularizadores: [274]
   1. Regularização da variável latente (Z): Minimiza o conteúdo de informação de Z, impedindo que Z simplesmente se torne igual a Y. [275]
      1. Isso pode ser feito restringindo o domínio de Z (por exemplo, a um valor binário), aplicando regularização L2, quantização ou esparsidade. [280]
   2. Regularização do conteúdo de informação das representações latentes: Maximiza o conteúdo de informação das representações latentes dos sinais codificados. [285]
      1. Isso pode ser alcançado garantindo que as representações latentes de diferentes entradas em um mini-lote sejam distintas, por exemplo, fazendo com que suas matrizes de covariância sejam a identidade. [291]
      2. Métodos como VICReg e Barlow Twins se encaixam nessa abordagem. [294]
3. A JEPA pode ser direcionada a aprender representações úteis para tarefas específicas adicionando cabeças de previsão que tomam a representação latente como entrada e são treinadas para prever variáveis relevantes para a tarefa. [301]
4. O sistema funciona como um "jogo de informação", onde os designers devem ajustar os parâmetros dos termos de perda para garantir que as representações latentes sejam úteis, e a qualidade dos dados de entrada é crucial para a utilidade do sistema sem cabeças de previsão. [307]

4. JEPA Hierárquica e Implicações para a Inteligência de Máquina [318]

A arquitetura JEPA pode ser organizada hierarquicamente para permitir planejamento em múltiplos horizontes de tempo, e suas implicações se estendem a conceitos como emoções de máquina e senso comum.

4.1. JEPA Hierárquica para Planejamento [318]

1. A JEPA pode ser organizada hierarquicamente, onde os níveis inferiores preveem em curtos períodos de tempo, e os níveis superiores fazem previsões em períodos mais longos. [318]
2. Isso permite o planejamento hierárquico em um modelo de mundo. [322]
3. O processo de planejamento hierárquico funciona da seguinte forma: [326]
   1. Um ator de alto nível propõe ações de alto nível (por exemplo, "sair de casa", "entrar no carro", "dirigir para o aeroporto"). [328]
   2. O modelo de mundo é usado para simular essas ações e, através de retropropagação, busca ou otimização, as ações de alto nível são refinadas. [333]
   3. As ações de alto nível refinadas se tornam alvos para os níveis inferiores. [335]
   4. Um algoritmo de planejamento de baixo nível usa propostas, retropropagação e otimização para determinar as melhores ações de baixo nível (movimentos reais) para corresponder aos alvos de alto nível. [338]
   5. Todos os níveis podem ser otimizados juntos para obter uma sequência ótima de ações de baixo e alto nível para atingir um objetivo. [340]
4. No tempo de inferência, a primeira ação otimizada é enviada ao mundo, e o processo se repete. [341]
5. Em ambientes incertos, variáveis latentes podem ser inferidas ou amostradas para explorar diferentes continuações do modelo de mundo. [345]

4.2. Implicações Mais Amplas da Abordagem Proposta [356]

1. Emoções de Máquina: A presença de um módulo de custo que impulsiona o comportamento do agente, buscando ações ótimas, sugere que agentes inteligentes autônomos inevitavelmente possuirão o equivalente a emoções, análogas às de animais e humanos. [358]
2. Senso Comum: LeCun especula que o senso comum pode emergir do aprendizado de modelos de mundo que capturam a autoconsistência e as dependências mútuas das observações, permitindo que um agente preencha informações ausentes e detecte violações de seu modelo de mundo. [363]
3. Escala não é suficiente: LeCun critica a ideia de que simplesmente escalar modelos como o GPT-3 levará à inteligência, afirmando que "recompensa não é suficiente" e que o aprendizado por reforço, sem um modelo de mundo, é ineficiente em termos de amostras. [365]
4. Símbolos para Raciocínio: A questão de se são necessários símbolos para o raciocínio é levantada. LeCun sugere que em níveis muito altos de abstração, as variáveis latentes ou estados do mundo podem se tornar tão descontínuos que são essencialmente simbólicos, permitindo o uso de métodos de busca heurística (como busca em árvore de Monte Carlo) em vez de retropropagação. [370]

4.3. Resumo da Arquitetura JEPA [376]

1. A JEPA é um modelo baseado em energia onde a energia é uma função de custo a ser minimizada no tempo de inferência. [376]
2. Isso permite o planejamento em um ator, decidindo quais ações maximizariam a recompensa ou minimizariam a energia usando modelos de mundo no espaço latente. [377]
3. O planejamento pode ser feito hierarquicamente, com camadas superiores definindo alvos para as camadas inferiores. [378]
4. O treinamento da JEPA envolve minimizar o erro de previsão no espaço latente (aprendizado auto-supervisionado) e regularizar a variável latente e o conteúdo de informação das representações latentes para evitar o colapso. [380]
5. A JEPA é um método regularizado, que não depende de treinamento contrastivo, superando os problemas da "maldição da dimensionalidade" associados aos métodos contrastivos. [384]