1. DeepSeek-R1: Um Modelo de Raciocínio de Código Aberto Usando Aprendizado por Reforço Baseado em Regras [1]

O DeepSeek-R1 é um modelo de linguagem grande (LLM) de código aberto que melhora as capacidades de raciocínio através de um método inovador de aprendizado por reforço baseado em regras, sem a necessidade de ajuste fino supervisionado.

1.1. Visão Geral do Treinamento de LLMs e a Abordagem Inovadora do DeepSeek-R1 [1]

  1. Os LLMs geralmente passam por três estágios principais de treinamento [6]:
    1. Pré-treinamento: Os modelos são treinados em grandes quantidades de texto e código para aprender conhecimento geral e prever o próximo token em uma sequência [7].
      • Por exemplo, dado "WR uma história de", o modelo completaria com "dormir" [9].
    2. Ajuste Fino Supervisionado (SFT): O modelo é ajustado em um conjunto de dados de instruções-resposta para aprender a seguir instruções humanas [10].
    3. Aprendizado por Reforço (RL): O modelo é aprimorado usando feedback, que pode ser de humanos (RLHF) ou de IA (RLAIF) [14].
      • Coletar feedback humano de alta qualidade é difícil, especialmente para tarefas complexas [16].
      • O RLAIF requer um modelo de IA altamente capaz para fornecer feedback preciso [17].
  2. O DeepSeek-R1, o primeiro de dois modelos apresentados no artigo, inova ao omitir completamente o estágio de ajuste fino supervisionado [18].
    1. Ele começa com um modelo pré-treinado chamado DeepSeek-V3-Base, que possui 671 bilhões de parâmetros [19].
    2. Para o aprendizado por reforço em larga escala, o DeepSeek-R1 não usa RLHF ou RLAIF, mas sim um aprendizado por reforço baseado em regras [21].

1.2. Como Funciona o Aprendizado por Reforço Baseado em Regras (GRPO) [22]

  1. O método de aprendizado por reforço baseado em regras é chamado Group Relative Policy Optimization (GRPO), desenvolvido internamente na DeepSeek [23].
    1. Dado um problema de entrada, o modelo gera um grupo de saídas, cada uma contendo um processo de raciocínio e uma resposta [24].
    2. O GRPO calcula uma recompensa para cada saída usando regras e treina o modelo para produzir as opções preferidas [26].
  2. As regras são usadas para calcular diferentes tipos de recompensas [28]:
    1. Recompensa de precisão: Verifica se a resposta final está correta [28].
      • Para problemas de matemática com resultados determinísticos, a correção é verificada de forma confiável [29].
      • Para problemas de código com casos de teste predefinidos, um compilador gera feedback [30].
    2. Recompensa de formato: Garante que o modelo siga um formato específico [31].
      • Por exemplo, o modelo é instruído a colocar o processo de pensamento dentro de tags "think" e a resposta dentro de tags "answer" [33].
  3. Este mecanismo baseado em regras não usa um modelo neural para gerar recompensas, tornando o processo de treinamento mais simples, mais barato e escalável [35].
    1. Os pesquisadores descobriram que modelos treinados com recompensas neurais podem sofrer de "reward hacking", onde o modelo encontra uma brecha para maximizar a recompensa de uma forma que não se alinha com o objetivo desejado [36].

1.3. Insights de Desempenho e Fenômenos Naturais do DeepSeek-R1 [41]

  1. O DeepSeek-R1 apresenta um desempenho impressionante em benchmarks relacionados ao raciocínio, sendo comparável e até superando o modelo 01 da OpenAI em alguns casos [42].
  2. O progresso de melhoria durante o treinamento é significativo [44]:
    1. A pontuação média no conjunto de dados AIM aumentou de 15,6% para 71,0%, atingindo níveis de desempenho comparáveis ao 01 da OpenAI [45].
  3. O modelo demonstra um processo de autoevolução [47]:
    1. À medida que o treinamento avança, o modelo aprende naturalmente a alocar mais tempo de pensamento para resolver tarefas de raciocínio, resultando em respostas mais longas [48].
  4. Um fenômeno notável é o "momento aha" do DeepSeek-R1 [51]:
    1. O modelo aprende a reavaliar sua abordagem inicial e se corrigir, se necessário, durante o processo de raciocínio, o que ocorre naturalmente durante o treinamento de aprendizado por reforço [52].

2. DeepSeek-R1: Um Modelo Aprimorado para Legibilidade e Coerência Linguística [56]

O DeepSeek-R1 é uma versão aprimorada do DeepSeek-R10, projetada para resolver problemas de legibilidade e mistura de idiomas, mantendo altas capacidades de raciocínio através de um processo de treinamento multifásico.

2.1. Desafios do DeepSeek-R10 e a Necessidade de um Segundo Modelo [56]

  1. O DeepSeek-R10, apesar de suas capacidades notáveis, apresenta dois problemas principais que o tornam menos amigável ao usuário [57]:
    1. Suas saídas sofrem de baixa legibilidade [58].
    2. Frequentemente mistura idiomas dentro de uma única resposta [59].
  2. Um estudo de ablação revelou que guiar o modelo para ser consistente com um único idioma pode prejudicar ligeiramente seu desempenho [60].
    1. É fascinante que o modelo aprenda a se expressar melhor usando mais de um idioma, ao contrário dos humanos que geralmente se limitam a um único idioma [61].

2.2. Processo de Treinamento Multifásico do DeepSeek-R1 [62]

  1. O DeepSeek-R1 é treinado em quatro fases, começando com o modelo pré-treinado DeepSeek V3 Base [63]:
    1. Fase 1: Início a Frio (Cold Start) [64]
      • O modelo é treinado usando ajuste fino supervisionado em um pequeno conjunto de dados de resultados de alta qualidade e legíveis coletados do DeepSeek-R10 [64].
      • Este conjunto de dados contém milhares de amostras e ajuda a mitigar os problemas de legibilidade observados no modelo inicial [65].
    2. Fase 2: Aprendizado por Reforço de Raciocínio [67]
      • Aplica o mesmo aprendizado por reforço em larga escala baseado em regras usado para o DeepSeek-R10 para aprimorar as capacidades de raciocínio em tarefas como codificação, matemática, ciência e raciocínio lógico [68].
      • Soluções claras nessas tarefas permitem a definição de regras de recompensa para o processo de RL [68].
    3. Fase 3: Amostragem por Rejeição e Ajuste Fino Supervisionado [69]
      • O modelo da fase dois gera muitas amostras, e a amostragem por rejeição retém apenas as amostras corretas e legíveis [70].
      • Um modelo de recompensa generativo, DeepSeek V3, também é usado para decidir quais amostras devem ser mantidas, e alguns de seus dados de treinamento são incluídos [71].
      • O modelo é então treinado neste conjunto de dados usando ajuste fino supervisionado, o que aprimora suas capacidades em mais domínios de raciocínio [73].
    4. Fase 4: Outra Fase de Aprendizado por Reforço [75]
      • Inclui diversas tarefas, utilizando recompensas baseadas em regras para tarefas que permitem isso (como matemática) [76].
      • Para outras tarefas, um LLM fornece feedback para alinhar o modelo com as preferências humanas [77].

2.3. Modelos Destilados e Resultados Finais [78]

  1. Vários modelos menores de código aberto foram destilados usando o conjunto de dados construído na terceira fase, oferecendo alternativas menores com altas capacidades de raciocínio [78].
  2. O DeepSeek-R1, disponível gratuitamente, mostra resultados notáveis em comparação com o OpenAI O1 [79].
  3. O modelo destilado de 32 bilhões de parâmetros também apresenta resultados impressionantes [80].