1. O que são os Transformers e por que são tão impactantes? [1]

Os Transformers são um tipo de arquitetura de rede neural que revolucionou o campo do aprendizado de máquina, especialmente no processamento de linguagem natural.

1.1. O surgimento dos Transformers [9]

  1. As redes neurais são modelos eficazes para analisar dados complexos como imagens, vídeos, áudio e texto, mas diferentes tipos são otimizados para diferentes dados [10].
    1. Redes neurais convolucionais são usadas para analisar imagens, imitando o processamento visual do cérebro humano [12].
    2. Por muito tempo, não havia um modelo igualmente bom para analisar a linguagem, o que era um problema, pois a linguagem é a principal forma de comunicação humana [14].
  2. Antes dos Transformers, as Redes Neurais Recorrentes (RNNs) eram usadas para entender texto, processando palavras sequencialmente [16].
    1. A ordem das palavras é crucial na linguagem, e as RNNs capturavam isso processando uma palavra por vez [20].
    2. Por exemplo, "Jane foi à procura de problema" tem um significado diferente de "Problema foi à procura de Jane" [21].
  3. As RNNs apresentavam problemas significativos [23].
    1. Elas não lidavam bem com sequências longas de texto, esquecendo o início de um parágrafo ao analisar o final [24].
    2. Eram difíceis de treinar, pois o processamento sequencial impedia a paralelização, tornando ineficaz o uso de múltiplas GPUs para acelerá-las [26].
    3. A lentidão no treinamento limitava a quantidade de dados que podiam ser usados [28].
  4. Os Transformers, desenvolvidos em 2017 por pesquisadores do Google e da Universidade de Toronto, mudaram essa situação [29].
    1. Eles foram inicialmente projetados para tradução, mas, ao contrário das RNNs, podem ser paralelizados de forma eficiente [31].
    2. Isso permitiu o treinamento de modelos muito maiores com o hardware certo [32].
    3. Por exemplo, o GPT-3, que escreve poesia e código, foi treinado com quase 45 terabytes de dados de texto, incluindo grande parte da web pública [34].
    4. A combinação de um modelo que escala bem com um enorme conjunto de dados produz resultados impressionantes [35].

1.2. Como os Transformers funcionam: inovações principais [37]

  1. Os Transformers funcionam bem devido a três inovações principais [37].
    1. Codificações posicionais [41].
    2. Atenção [41].
    3. Autoatenção [41].

1.3. Inovação 1: Codificações posicionais [43]

  1. As codificações posicionais permitem que os Transformers entendam a ordem das palavras sem processá-las sequencialmente [43].
    1. Em vez de olhar as palavras uma por uma, cada palavra recebe um número (1, 2, 3, etc.) que indica sua posição na frase [44].
    2. As informações sobre a ordem das palavras são armazenadas nos próprios dados, não na estrutura da rede neural [45].
  2. Ao treinar a rede com muitos dados de texto, ela aprende a interpretar essas codificações posicionais [46].
    1. Isso permite que a rede neural compreenda a importância da ordem das palavras a partir dos dados [47].
    2. Essa inovação tornou os Transformers mais fáceis de treinar do que as RNNs [48].

1.4. Inovação 2: Atenção [49]

  1. O conceito de atenção é fundamental para os Transformers, tanto que o artigo original sobre eles se intitula "Atenção é tudo de que você precisa" [49].
  2. A atenção é crucial para a tradução, pois a ordem e a concordância das palavras variam entre os idiomas [51].
    1. Traduzir palavra por palavra é ineficaz, pois a estrutura gramatical pode ser diferente [55].
    2. Por exemplo, na tradução para o francês, "europeia" vem antes de "econômica", e a palavra "européenne" precisa estar no feminino para concordar com "la zone" [57].
  3. O mecanismo de atenção permite que um modelo de texto examine cada palavra na frase original ao decidir como traduzir uma palavra na frase de saída [60].
    1. Uma visualização do artigo original mostra quais palavras de entrada o modelo "atende" ao fazer previsões para a frase de saída [61].
    2. Por exemplo, ao produzir a palavra "européenne", o modelo "atende" às palavras de entrada "europeia" e "econômica" [62].
    3. O modelo aprende a quais palavras deve "atender" ao longo do tempo, analisando milhares de exemplos de pares de frases em diferentes idiomas, aprendendo sobre gênero, ordem das palavras e plural [64].

1.5. Inovação 3: Autoatenção [66]

  1. A atenção já existia antes dos Transformers, mas a verdadeira inovação foi a autoatenção, uma variação da atenção tradicional [67].
  2. Enquanto a atenção tradicional alinha palavras entre dois idiomas (como inglês e francês para tradução), a autoatenção foca em entender o significado subjacente da linguagem dentro do próprio texto de entrada [69].
    1. Redes neurais como os Transformers constroem uma representação interna ou compreensão do idioma automaticamente ao analisar dados de texto [70].
    2. Elas podem aprender que termos como "programador", "engenheiro de software" e "desenvolvedor de software" são sinônimos, e também as regras de gramática, gênero e tempo verbal [71].
    3. Quanto melhor essa representação interna, melhor o desempenho da rede neural em qualquer tarefa linguística [73].
  3. A autoatenção é uma forma eficaz de a rede neural compreender a linguagem ao se conectar ao próprio texto de entrada [74].
    1. Ela permite que a rede neural entenda uma palavra no contexto das palavras ao seu redor [75].
    2. Por exemplo, na frase "Servidor, pode trazer a conta?", o modelo pode "atender" à palavra "conta" para entender que "servidor" se refere a uma pessoa [76].
    3. Na frase "Parece que eu acabei de travar o servidor", o modelo pode "atender" à palavra "travar" para determinar que "servidor" é uma máquina [76].
    4. A autoatenção ajuda as redes neurais a desambiguar palavras, reconhecer partes da fala e identificar tempos verbais [81].
  4. Em resumo, os Transformers combinam codificações posicionais, atenção e autoatenção para seu funcionamento [82].

2. Aplicações e ferramentas dos Transformers [84]

Os Transformers são a base de modelos de IA poderosos e versáteis, com diversas aplicações e ferramentas disponíveis para seu uso.

2.1. O modelo BERT e suas aplicações [85]

  1. Um dos modelos mais populares baseados em Transformers é o BERT, inventado por volta de 2018 [85].
    1. O BERT foi treinado com um vasto corpus de textos e se tornou uma ferramenta versátil para o Processamento de Linguagem Natural (PNL) [86].
    2. Ele pode ser adaptado para diversas tarefas, como resumir textos, responder perguntas, classificar e encontrar sentenças similares [86].
  2. O BERT é amplamente utilizado em produtos do Google [87].
    1. É usado na Pesquisa Google para ajudar a entender as consultas de pesquisa [87].
    2. Alimenta muitas das ferramentas de PNL do Google Cloud, como o Google Cloud AutoML Natural Language [87].
  3. O BERT demonstrou a eficácia de construir modelos robustos com dados não rotulados, como texto da Wikipedia ou do Reddit [88].
    1. Isso é conhecido como aprendizagem semissupervisionada, uma tendência importante no aprendizado de máquina atual [89].

2.2. Ferramentas para usar Transformers [90]

  1. Para quem deseja usar Transformers em suas aplicações, existem recursos disponíveis [90].
    1. O TensorFlow Hub oferece modelos de Transformers pré-treinados, como o BERT, que podem ser baixados gratuitamente em vários idiomas e integrados diretamente em aplicativos [92].
    2. A biblioteca Hugging Face Transformers para Python é uma ferramenta popular na comunidade para treinar e usar modelos de Transformers [94].