LeWorldModel de LeCun: Finalmente um Modelo de Mundo JEPA Estável?

1. O Modelo de Mundo JEPA e o Desafio da Estabilidade [0]

1.1. A Visão de LeCun para a IA e o Modelo de Mundo [0]

1. Yann LeCun propôs uma visão para uma IA mais humana em 2020, centrada no conceito de modelo de mundo [0].
   1. Assim como os humanos têm um modelo mental de como o mundo se comporta, esperando que um copo deslize ou caia ao ser empurrado, uma IA inteligente deve ser capaz de prever os resultados das ações [1].
   2. O objetivo é que o agente imagine as consequências das ações antes de executá-las [4].
2. A arquitetura proposta por LeCun para aprender esse modelo é a Joint Embedding Predictive Architecture (JEPA) [5].
   1. A ideia principal da JEPA é não prever o futuro pixel a pixel, mas sim em um nível mais abstrato, como objetos e conceitos [6].
   2. A JEPA prevê representações abstratas em vez de pixels brutos, seguindo a forma como os humanos raciocinam [9].

1.2. O Desafio da Estabilidade e o "Le World Model" [10]

1. O principal desafio da JEPA é a instabilidade no treinamento, apesar da elegância da ideia [10].
2. Um novo artigo, "Le World Model: Stable End-to-End Joint Embedding Predictive Architecture from Pixels", co-escrito por LeCun, apresenta uma maneira de treinar um modelo de mundo JEPA simples e estável [13].
   1. Este modelo aborda um desafio de longa data com modelos JEPA anteriores [13].
   2. Não é necessário conhecimento prévio sobre artigos JEPA para entender o novo modelo [14].

2. Arquitetura e Treinamento do Le World Model [17]

O Le World Model aprende o comportamento do mundo usando uma arquitetura de codificador-preditor que processa observações e ações para prever representações semânticas futuras.

2.1. Visão Geral da Arquitetura e Processo de Treinamento [17]

1. O modelo é treinado em sequências de observações e ações para aprender como o mundo se comporta [17].
   1. Por exemplo, o modelo recebe duas observações consecutivas de um braço robótico e a ação realizada entre elas [18].
   2. O objetivo é usar a observação anterior e a ação para prever a próxima observação [20].
2. A JEPA não prevê pixels futuros, mas sim o futuro em um espaço de representação semântica [21].
   1. Isso ocorre em duas etapas: primeiro, cada observação é convertida em uma representação semântica por um codificador [23].
   2. Em seguida, um preditor prevê a representação da próxima observação [25].

2.2. O Codificador: Transformando Observações em Representações Semânticas [26]

1. O codificador é implementado usando um vision transformer, uma arquitetura padrão em visão computacional [27].
   1. O vision transformer divide a imagem em uma sequência de patches, que são convertidos em embeddings e processados pelo transformer [28].
   2. Embora o processo seja mostrado para ambas as observações simultaneamente, cada uma é processada independentemente pelo codificador [30].
2. Para obter uma representação da observação inteira, o vision transformer adiciona um token de classe especial [33].
   1. Este token é introduzido no início do transformer e processado junto com os embeddings dos patches [35].
   2. O token de classe coleta informações de todas as regiões da imagem, capturando a semântica de alto nível da observação [36].
3. A JEPA mantém apenas o token de classe e descarta os embeddings dos patches restantes, pois raciocina em nível de conceitos, não de detalhes visuais [37].
   1. O embedding do token de classe é então passado por uma camada de projeção para produzir a representação semântica final da observação [38].
   2. Manter apenas o token de classe também aumenta a eficiência, reduzindo significativamente o tamanho da entrada para o próximo componente [39].

2.3. O Preditor: Previsão de Representações Semânticas Futuras [40]

1. O preditor, modelado como um transformer, tem a função de prever a representação semântica da próxima observação [40].
   1. Ele pode usar mais do que apenas a última observação; por exemplo, recebe as representações das três observações mais recentes [42].
   2. O preditor também recebe as ações realizadas entre as observações e a ação atual que deve levar à próxima observação [44].
2. Com base nessas informações, o preditor gera sua previsão para a representação da próxima observação [45].
   1. Durante o treinamento, essa representação prevista é comparada com a representação produzida pelo codificador para a observação real seguinte [46].
   2. A diferença é medida usando uma perda MSE, e tanto o codificador quanto o preditor são otimizados juntos para minimizá-la [47].

2.4. O Desafio do Colapso do Modelo e a Solução do Le World Model [48]

1. Um desafio comum com essa abordagem é o colapso do modelo, onde o modelo pode simplesmente produzir o mesmo embedding para cada observação [48].
   1. Se o codificador e o preditor sempre produzirem o mesmo embedding constante, a perda de previsão se torna muito pequena, mesmo que o modelo não tenha aprendido nada sobre o comportamento do mundo [50].
   2. Abordagens anteriores usaram técnicas como um codificador pré-treinado (como no Dyna World model) para evitar esse colapso [51].
2. O Le World Model adota uma abordagem diferente, introduzindo uma estratégia de treinamento simples que permite que o codificador e o preditor sejam treinados de ponta a ponta, mantendo a estabilidade [53].

3. O Regularizador C-Reg (SIGReg) para Estabilidade [56]

O Le World Model utiliza um termo de regularização chamado C-Reg, ou regularizador gaussiano isotrópico esboçado, para evitar o colapso do modelo, incentivando o espaço de embedding a ser aproximadamente gaussiano.

3.1. Introdução do C-Reg como Sinal de Treinamento Adicional [56]

1. A arquitetura do Le World Model inclui uma adição importante: um segundo sinal de treinamento, além da perda de previsão [56].
2. Este sinal adicional é um termo de regularização chamado C-Reg, abreviação de "sketched isotropic Gaussian regularizer" [57].
   1. O C-Reg foi introduzido por LeCun em outro artigo publicado no final de 2025 [58].

3.2. Como o C-Reg Evita o Colapso do Modelo [59]

1. O C-Reg funciona visualizando o espaço de embedding latente, onde cada ponto representa o embedding de uma observação [60].
   1. O C-Reg seleciona direções aleatórias através desse espaço de embedding [62].
   2. Para cada direção, o C-Reg projeta cada embedding nessa direção, criando uma distribuição unidimensional de valores [63].
2. O C-Reg compara essa distribuição com uma distribuição normal ou gaussiana padrão [66].
   1. O objetivo é tornar essas duas distribuições o mais semelhantes possível, incentivando os embeddings a seguir uma distribuição gaussiana ao longo de cada direção aleatória [68].
   2. Esse processo é repetido em muitas direções (1.024 direções aleatórias no artigo) [70].
3. Ao fazer isso em várias direções, o C-Reg incentiva o espaço de embedding geral a se tornar aproximadamente gaussiano, em vez de colapsar em uma pequena região [72].
   1. Isso ajuda a prevenir o colapso do modelo, pois o codificador é incentivado a produzir uma representação diversa e bem distribuída das observações, em vez de mapear tudo para o mesmo embedding [73].
4. Em resumo, a perda de previsão ensina o modelo a prever o que vem a seguir, enquanto o C-Reg garante que o próprio espaço de representação permaneça bem-comportado [74].

4. Planejamento Latente e Desempenho do Le World Model [75]

O Le World Model utiliza planejamento latente para tomar decisões, simulando sequências de ações e comparando os resultados imaginados com um objetivo, e demonstra desempenho variado em diferentes ambientes.

4.1. Como o Le World Model Toma Decisões Através do Planejamento Latente [75]

1. O modelo de mundo é usado para tomar decisões através do planejamento latente [75].
   1. Uma observação inicial representa o estado atual do ambiente, e uma observação de objetivo representa o estado desejado [77].
   2. O objetivo do planejamento é encontrar uma sequência de ações que leve o ambiente do estado inicial o mais próximo possível do objetivo [79].
2. O processo começa amostrando aleatoriamente muitas sequências de ações possíveis [80].
   1. Para cada sequência, o preditor usa o modelo de mundo aprendido para imaginar onde essas ações levariam, prevendo a representação da observação futura passo a passo [81].
   2. A representação final imaginada é comparada com a representação da observação de objetivo, e a diferença resulta em um custo [82].
   3. Um custo menor indica que o resultado imaginado está mais próximo do objetivo [83].
3. Esse custo é usado para atualizar a distribuição da sequência de ações, tornando as sequências que levam a melhores resultados mais propensas a serem selecionadas na próxima iteração [84].
   1. O processo é repetido até que um custo satisfatório seja obtido, indicando um bom plano [86].
   2. O modelo não precisa se comprometer com o plano inteiro; ele pode executar apenas as primeiras ações, observar o novo estado e planejar novamente a partir desse novo estado [88].

4.2. Resultados de Desempenho em Diferentes Ambientes [90]

1. O desempenho do planejamento do Le World Model foi avaliado em quatro ambientes [90]:
   1. Two room: o mais simples, onde um agente navega entre salas para alcançar um alvo [92].
   2. Reacher: um braço robótico de duas juntas que deve se alinhar com uma posição alvo [93].
   3. Push T: o agente empurra um bloco em forma de T para uma configuração alvo [94].
   4. OG bench cube: uma tarefa de braço robótico 3D, onde o braço pega um cubo e o coloca em uma posição alvo, sendo o ambiente visualmente mais complexo [95].
2. Os resultados mostraram um desempenho variado [97]:
   1. Em Push T e Reacher, o Le World Model superou as linhas de base [98].
      1. Em Push T, ele até superou uma versão do Dyna World model que tinha acesso a informações adicionais (posição do braço, não apenas pixels) [99].
   2. Em OG bench cube, o Dyna World model teve melhor desempenho [100].
      1. Os autores sugerem que a maior complexidade visual nesse ambiente torna o aprendizado da representação visual mais desafiador [101].
      2. O Dyna World model pode ter uma vantagem por usar um codificador visual pré-treinado em larga escala, que fornece embeddings visuais mais ricos [102].
   3. Em Two room, o ambiente mais simples, o Le World Model ficou atrás das linhas de base [103].
      1. Os autores hipotetizam que isso pode ser devido à baixa dimensionalidade do ambiente [104].
      2. Em um cenário tão simples, forçar o espaço latente para uma distribuição gaussiana de alta dimensão com C-Reg pode tornar a representação aprendida menos bem estruturada [105].
3. Embora o Le World Model não supere todas as linhas de base em todas as tarefas, ele é significativamente menor que as linhas de base [106].
   1. Além disso, usar apenas o embedding do token de classe para previsão torna seu planejamento consideravelmente mais rápido [108].
   2. Os autores relatam uma aceleração de aproximadamente 48 vezes [109].