Como usar um LLM local dentro do Cursor
Esta nota de insights do YouTube foi criada com a LilysAI. Cadastre‑se grátis e obtenha insights 10× mais rápidos e profundos dos vídeos.
Q: Como usar um LLM local no Cursor?
Q: Por que o Ngrok é necessário para usar um LLM local no Cursor?
Este vídeo demonstra como configurar o Cursor para usar um LLM local, contornando a necessidade de um servidor online com a ferramenta Enrok. Você aprenderá a instalar e executar modelos LLM localmente através do Olama e a integrá-los ao Cursor para um fluxo de trabalho de desenvolvimento mais privado e eficiente.
1. Configurando um LLM Local no Cursor
1.1. Instalação e Configuração do Olama
- Baixar e Instalar o Cursor IDE: O primeiro passo é baixar o Cursor IDE do site oficial (cursor.com) para o seu sistema operacional.
- Baixar e Instalar o Olama: O Olama é uma ferramenta que permite executar vários modelos LLM no seu sistema local. Baixe-o de olama.com e execute o instalador para o seu sistema operacional.
- No Windows, após a instalação, o Olama estará em execução em segundo plano, indicado por um ícone na bandeja do sistema.
- Usar o Terminal com Olama: Abra seu terminal preferido (como PowerShell no Windows) e digite
Olamapara ver a lista de comandos disponíveis para a ferramenta CLI do Olama. - Selecionar e Baixar um Modelo LLM:
- Visite o site do Olama (olama.com/models) para ver a lista de modelos disponíveis.
- O modelo "Gemma 3 12B" é recomendado por ser um modelo capaz que roda em uma única GPU.
- Para baixar um modelo, use o comando
olama pull [nome-do-modelo]. Por exemplo,olama pull gemma:3b.
- Servir o Modelo Baixado:
- Antes de servir o modelo, é necessário configurar a variável de ambiente
OLLAMA_ORIGINSpara permitir requisições de qualquer origem. No Windows, isso é feito com o comandoset OLLAMA_ORIGINS=*. - Em seguida, execute o comando
Olama servepara iniciar o servidor web do Olama. - Se encontrar um erro de "bind", feche a instância em execução do Olama através do ícone na bandeja do sistema.
- O modelo estará acessível em
http://127.0.0.1:11434.
- Antes de servir o modelo, é necessário configurar a variável de ambiente
1.2. Utilizando o Enrok para Expor o Endpoint Local
- Entender a Limitação do Cursor: O Cursor não permite o uso direto de
localhostcomo endpoint acessível, pois ele requer que o endpoint esteja online e acessível de qualquer lugar. - Instalar o Enrok: O Enrok é uma ferramenta que transforma seu
localhostem um URL online acessível.- Baixe o Enrok da página de download correspondente ao seu sistema operacional.
- O Enrok requer uma conta gratuita para autenticar a CLI com um token.
- Durante a instalação, o executável do Enrok precisa ser adicionado ao seu PATH do sistema ou referenciado pelo caminho completo.
- Configurar o Enrok com o Token:
- Copie seu token de API do site do Enrok (disponível após o login ou cadastro, na seção "Your Auth Token").
- Cole o token no terminal para configurar o Enrok, substituindo o placeholder do token.
- Iniciar o Enrok:
- Execute o Enrok com o comando
enrok http [porta] --host-header localhost:[porta]. Use a porta do Olama (11434). Exemplo:enrok http 11434 --host-header localhost:11434. - O Enrok fornecerá um novo URL público que pode ser usado no Cursor.
- Execute o Enrok com o comando
1.3. Integrando o LLM Local ao Cursor
- Abrir as Configurações do Cursor: Abra o Cursor, clique no ícone de engrenagem no canto superior direito e selecione "Models" no menu lateral.
- Adicionar o Modelo Local:
- Clique em "Add model" e insira o nome do modelo que você baixou (ex: "Gemma 3 col 12B").
- Configurar o Endpoint do LLM:
- Encontre a opção "Override OpenAI base URL" e clique nela.
- Cole o URL público gerado pelo Enrok e adicione
/v1ao final (ex:https://your-enrok-url.enrok.io/v1). - A chave de API padrão para o Olama é "ollama", então não é necessário configurar uma chave específica.
- Clique em "Save".
- Verificar a Conexão: Clique no botão "Verify".
- Se aparecer uma mensagem sobre "invalid API key" e um erro 404 (indicando que o modelo GPT40 não foi encontrado), isso ocorre porque o Cursor tenta fazer uma requisição de teste com um modelo padrão.
- Para corrigir, desmarque todos os outros modelos na lista, deixando apenas o modelo local que você deseja usar (ex: "Gemma 3 12B") selecionado.
- Clique em "Verify" novamente e depois em "Enable OpenAI API key".
- Selecionar e Usar o Modelo:
- Com todos os outros modelos desmarcados, selecione seu modelo local (ex: "Gemma 3 12B") no canto superior direito do Cursor.
- Agora você pode fazer perguntas ao LLM local.
1.4. Testando o LLM Local
- Fazer uma Pergunta: Pergunte algo ao modelo, como "O que faz um arquivo de compressão?".
- Observar a Resposta: O modelo gerará uma resposta localmente, demonstrando que a configuração foi bem-sucedida.
- Adicionar Contexto (Opcional): É possível fornecer um arquivo como contexto, por exemplo, "Aqui está o arquivo", seguido pelo nome do arquivo (ex:
compression.go). - Confirmação do Funcionamento: O sistema processará a solicitação e retornará uma resposta, confirmando que o LLM está funcionando localmente através do Cursor.
- Flexibilidade de Modelos: Qualquer modelo disponível no Olama pode ser executado localmente e utilizado com o Cursor.
Entenda materiais massivos como um gênio — com a LilysAI
Mais de 1.000.000 de buscadores de conhecimento usam a Lilys AI.
