Tutorial Completo de Agente de IA com Ollama + AnythingLLM
Esta nota de insights do YouTube foi criada com a LilysAI. Cadastre‑se grátis e obtenha insights 10× mais rápidos e profundos dos vídeos.
Q: Como configurar um agente de IA para rodar localmente usando Ollama e AnythingLLM?
Você pode configurar um agente de IA localmente baixando o AnythingLLM, conectando-o ao seu provedor de LLM local (como Ollama) e, em seguida, ativando e configurando as habilidades do agente (como raspagem da web ou criação de rascunhos de e-mail) nas configurações do espaço de trabalho.
Q: Por que rodar agentes de IA localmente é vantajoso?
Rodar agentes de IA localmente oferece maior controle sobre a privacidade, é mais rápido e pode ser significativamente mais barato do que usar soluções em nuvem.
Descubra o poder dos agentes de IA rodando localmente com Ollama e AnythingLLM. Aprenda a obter privacidade e velocidade para suas tarefas de IA. Este tutorial completo mostra como configurar e usar agentes para automatizar fluxos de trabalho.
# Tutorial completo sobre agentes de IA com Ollama + AnythingLLM
```mermaid
flowchart TD
A["Introdução aos Agentes de IA"] --> B["Por que rodar IA localmente?"]
A --> C["O que são Agentes de IA?"]
A --> D["Configurando Agentes de IA com AnythingLLM"]
D --> E["Configuração Básica do LLM"]
D --> F["Configuração de Agentes de IA"]
D --> G["Exemplos de Uso de Agentes de IA"]
G --> H["Cenário Real: Freelancer"]
A --> I["Considerações Finais"]
```
1. Introdução aos Agentes de IA
1.1. O Futuro da IA: Agentes Locais
A IA está transformando nossas tarefas e fluxos de trabalho, e os agentes de IA representam a próxima evolução, permitindo automação local e eficiente.
- A IA está remodelando a forma como abordamos tarefas, trabalhamos e resolvemos problemas, com desenvolvedores testemunhando melhorias significativas em seus fluxos de trabalho.
- Ferramentas de IA como ChatGPT rodam na nuvem devido à necessidade de imenso poder computacional, como clusters de GPUs trabalhando em paralelo.
- No entanto, há uma tendência crescente de rodar IA localmente em máquinas pessoais ou redes internas para obter maior controle de privacidade, velocidade e custo reduzido.
- Ferramentas como Ollama permitem o download e a execução de LLMs (Large Language Models) localmente.
- Embora Ollama ofereça um modelo de mais de 400 bilhões de parâmetros, uma versão comprimida de 8 bilhões de parâmetros está disponível para execução local.
- Executar LLMs localmente exige poder de processamento considerável, pois eles realizam multiplicações de matrizes massivas e processam conjuntos de dados complexos.
- Para rodar LLMs eficientemente em máquinas pessoais, uma GPU rápida é essencial, sendo as GPUs RTX da Nvidia ideais devido aos seus Tensor Cores, projetados para tarefas de IA.
- A diferença entre rodar IA em um MacBook e em um PC com uma GPU Nvidia GeForce RTX 480 é notável.
- Portanto, para rodar LLMs e, especialmente, agentes de IA localmente, uma boa GPU como a GeForce ou Nvidia RTX é altamente recomendada.
1.2. O Que São Agentes de IA?
Agentes de IA são como "trabalhadores" digitais que executam ações com base nas informações geradas por chatbots de IA, indo além de simplesmente responder a perguntas.
- Enquanto chatbots de IA como ChatGPT geram respostas a partir de prompts, agentes de IA podem ser vistos como pequenos trabalhadores que realizam ações com base nessas informações.
- Por exemplo, se um chatbot de IA pode fornecer uma visão geral sobre um buraco negro para um artigo de pesquisa, um agente de IA pode ir além, raspando a web em sites espaciais credenciados para coletar dados.
- O agente pode então armazenar esses dados em um banco de dados vetorial para acesso futuro e até mesmo escrever o artigo, salvando-o localmente como um documento de texto.
- Em resumo, agentes de IA são "agentes" que realizam tarefas para você, e rodá-los localmente abre um leque de possibilidades.
2. Configurando Agentes de IA com AnythingLLM
2.1. Ferramentas Necessárias e Configuração Inicial
Para utilizar agentes de IA localmente, você precisará de um PC com GPU Nvidia RTX e o software gratuito AnythingLLM, que simplifica a configuração e o gerenciamento de LLMs e agentes.
- Para começar a usar agentes de IA, é necessário um PC com uma GPU Nvidia GeForce RTX.
- A ferramenta AnythingLLM é um recurso gratuito que permite baixar e executar um LLM com configuração mínima.
- AnythingLLM é gratuito, não requer conta, e todos os dados (documentos, chats) são armazenados localmente por padrão.
- AnythingLLM possui um hub comunitário onde desenvolvedores podem criar, personalizar e implantar habilidades específicas para agentes de IA.
- Como AnythingLLM é construído sobre a plataforma Llama.com para uso com GPUs GeForce RTX e Nvidia RTX, o hub comunitário oferece uma lista crescente de habilidades de agente que podem ser adicionadas localmente.
- Essas habilidades foram adicionadas recentemente, e a comunidade de desenvolvedores já está trabalhando em mais recursos para agentes de IA.
- Para configurar um LLM e um agente de IA para rodar localmente com AnythingLLM, baixe o software de anythinglm.com.
- A instalação é simples e não requer um tutorial detalhado.
- Após a instalação, conecte-se ao seu próprio LLM, pois AnythingLLM pode servir como uma interface de chat para interagir com qualquer modelo.
2.2. Conectando AnythingLLM ao seu LLM Local
AnythingLLM pode ser configurado para usar seu LLM local, como o modelo Llama 3.1 8B via Ollama, permitindo interações de chat gratuitas e privadas.
- Para selecionar o LLM que AnythingLLM usará, clique no ícone de engrenagem nas configurações e vá para a opção LLM.
- Selecione seu provedor de LLM; para privacidade, eficiência e economia, escolha o provedor Ollama que já foi baixado.
- Como modelo, selecione "Llama 3.1 8B" e salve as alterações.
- Volte para a seção de workspaces, crie um novo workspace (por exemplo, "Kenny's workspace") para se conectar à sua instância local do Ollama.
- Agora você pode fazer perguntas diretamente através da interface AnythingLLM, como "Olá, quem te criou?".
- A resposta confirmará que o modelo foi feito pela Meta, demonstrando uma experiência de chat LLM padrão rodando localmente e gratuitamente.
2.3. Habilitando e Configurando Habilidades de Agente
Agentes de IA em AnythingLLM podem ser aprimorados com habilidades como raspagem da web e criação de rascunhos de e-mail, obtidas do hub comunitário ou pré-instaladas.
- Um chatbot LLM padrão não consegue realizar tarefas como raspar um site para obter dados, pois não tem acesso à internet.
- É aqui que os agentes de IA entram em jogo.
- Para configurar um agente, vá para as configurações do workspace, clique no ícone de engrenagem e navegue até a aba de configuração do agente.
- Especifique o provedor do LLM do agente (por exemplo, o Ollama já em execução) e clique em "Atualizar agente".
- Em seguida, clique em "Configurar habilidades do agente".
- AnythingLLM vem com habilidades padrão como RAG (Retrieval-Augmented Generation), memória de longo prazo e raspagem de sites.
- Habilidades personalizadas, como o plugin "Gmail draft", podem ser baixadas do hub comunitário.
- Para habilitar a raspagem da web, ative a habilidade de "Pesquisa na Web", que requer uma chave de API do Google (gratuita).
- Ative também a habilidade personalizada "Gmail draft", baixada do hub comunitário.
- Com essas habilidades, seu agente de IA pode pesquisar e raspar a web, armazenar informações na memória de longo prazo e criar rascunhos de e-mail.
- Salve as alterações e retorne ao chat.
3. Exemplos de Uso de Agentes de IA
3.1. Raspagem de Dados e Armazenamento
Ao invocar um agente de IA com o comando "@agent", ele pode raspar a web, processar os dados e armazená-los para referência futura, demonstrando sua capacidade de ir além de um chatbot simples.
- Ao invocar o agente de IA com o comando "@agent" seguido de um prompt para raspar um site (por exemplo, "https://thestateofhealth.com"), o agente irá raspar o site e processar os dados através da sua instância local do Ollama.
- A informação retornada pelo agente corresponde corretamente ao conteúdo do site, que é uma página de destino para um aplicativo de rastreamento de fitness.
- Além de raspar dados, o agente pode armazenar essa informação para uso posterior.
- Ao instruir o agente a "lembrar desta informação sobre stateofhealth.com", ele a armazena em um banco de dados vetorial, tornando-a acessível mais tarde.
3.2. Cenário Real: Proposta de Melhorias para um Cliente
Um agente de IA pode ser usado por um freelancer para analisar dados de um cliente, propor melhorias e até mesmo redigir um rascunho de e-mail para apresentar a proposta.
- Imagine um freelancer contratado para coletar insights sobre o software de um cliente, como o site stateofhealth.com.
- Usando um agente de IA, o freelancer pode raspar os dados do site, armazená-los em um banco de dados e, em seguida, analisar essas informações para criar uma proposta de possíveis melhorias de recursos.
- O agente pode ser instruído a "Com as informações que você tem sobre stateofhealth.com, crie recursos adicionais que poderiam tornar esta aplicação melhor e escreva uma proposta para o cliente sobre como eu, como desenvolvedor de software freelancer, poderia melhorar a aplicação deles."
- Esta solicitação gerará uma proposta genérica.
- Utilizando habilidades adicionais de agente de IA como RAG, é possível fazer upload de documentos pessoais para garantir que as propostas sejam adaptadas às habilidades reais do freelancer.
- Com a proposta escrita, o agente pode usar a habilidade "Gmail draft" para criar um rascunho de e-mail.
- Ao instruir o agente a "redigir, crie um rascunho de Gmail com o assunto 'Melhoria do aplicativo State of Health'. O destinatário deve ser contact@kgund.com", um link para o rascunho do e-mail será gerado.
- Este link pode ser aberto em um navegador para visualizar o rascunho do e-mail preparado.
- Embora o rascunho precise ser ajustado antes de ser enviado, este exemplo demonstra como os agentes de IA podem melhorar significativamente o fluxo de trabalho.
4. Considerações Finais
4.1. O Futuro dos Agentes de IA e Recomendações
Os agentes de IA estão em constante evolução, com capacidades cada vez mais complexas, e para rodá-los localmente de forma eficiente, uma GPU Nvidia RTX é essencial.
- Os agentes de IA continuarão a evoluir, com capacidades de habilidades cada vez mais complexas.
- Para quem estiver interessado em codificar suas próprias habilidades de agente de IA, o Discord e o GitHub da comunidade AnythingLLM são recursos valiosos.
- Os agentes de IA são considerados extremamente interessantes e promissores.
- Se você planeja rodar LLMs e agentes de IA localmente em sua máquina, é altamente recomendável adquirir uma GPU GeForce ou Nvidia RTX.
- Um link para mais informações sobre GPUs está disponível na descrição do vídeo.
- O vídeo foi patrocinado pela Nvidia.
Entenda materiais massivos como um gênio — com a LilysAI
Mais de 1.000.000 de buscadores de conhecimento usam a Lilys AI.
