Ollama: o guia completo para executar IA localmente com privacidade

O que é o Ollama

O Ollama é uma ferramenta open-source que permite executar Grandes Modelos de Linguagem (LLMs) localmente — na sua própria máquina, sem internet, sem custos de API e sem partilhar dados com terceiros. Com um único comando (ollama run llama3) tem um modelo de IA conversacional a funcionar em segundos, com a mesma qualidade que serviços pagos na cloud, mas com total privacidade [1].

Lançado em 2023, o Ollama tornou-se rapidamente numa das ferramentas mais populares para executar IA localmente, com mais de 100 mil estrelas no GitHub e uma comunidade ativa. Suporta os principais modelos open-source: Llama 3 (Meta), Gemma 2 (Google), Qwen 2.5 (Alibaba), Mistral, Phi-3 (Microsoft), entre dezenas de outros.

Porquê executar LLMs localmente?

Numa altura em que a privacidade dos dados é cada vez mais crítica — especialmente com a entrada em vigor do RGPD e da LGPD —, a capacidade de processar informação sensível sem a enviar para servidores de terceiros é uma vantagem competitiva. Eis as razões principais:

• Privacidade total — os seus dados nunca saem da máquina. Ideal para documentos confidenciais, código proprietário ou informações de clientes.
• Custo zero por token — depois de instalado, não há faturas de API. O custo é apenas o hardware.
• Funciona offline — sem dependência de ligação à internet ou de serviços cloud que podem sair do ar.
• Latência mínima — sem ida e volta à cloud, as respostas são instantâneas para a maioria das tarefas.
• Personalização — pode criar modelos customizados (Modelfiles) com instruções, conhecimento e parâmetros próprios.

Instalação — simples em qualquer sistema

O Ollama está disponível para macOS, Linux e Windows. A instalação é uma linha de terminal [2]:

macOS e Windows

Basta descarregar o instalador em ollama.com/download e executar. Não há dependências adicionais — o Ollama inclui tudo o que é necessário.

Linux

curl -fsSL https://ollama.com/install.sh | sh

Docker (alternativa)

docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama

Em todos os casos, o Ollama fica com um serviço a correr em segundo plano (na porta 11434) e um cliente CLI disponível no terminal.

Primeiros passos

Depois de instalado, executar um modelo é trivial:

ollama run llama3

Na primeira execução, o modelo é descarregado (4.7GB para o Llama 3 8B) e fica disponível para conversação imediata. A partir daí, pode interagir no terminal como num chat:

>>> Explica o conceito de Zero Trust em três frases.
Zero Trust é um modelo de segurança em que nada nem ninguém é confiável por defeito. Cada pedido de acesso é verificado e autenticado, independentemente de vir de dentro ou fora da rede. O princípio base é "nunca confiar, verificar sempre".

Outros comandos essenciais:

• ollama pull mistral — descarregar um modelo sem o executar
• ollama list — ver os modelos instalados
• ollama rm llama3 — remover um modelo
• ollama show llama3 — ver detalhes (parâmetros, arquitetura, template)

O catálogo de modelos

O Ollama tem uma biblioteca crescente de modelos em ollama.com/library. Os mais populares incluem:

• Llama 3 (8B / 70B) — o modelo da Meta, excelente para uso geral, raciocínio e código.
• Gemma 2 (9B / 27B) — o modelo do Google, equilibrado entre qualidade e tamanho.
• Qwen 2.5 (7B / 72B) — da Alibaba, com excelente suporte multilingue (incluindo português).
• Mistral (7B) — eficiente e rápido, ideal para hardware modesto.
• Phi-3 (mini) — da Microsoft, ultraleve (3.8B), corre em quase qualquer máquina.
• Code Llama / Qwen Coder — especializados em programação.
• LLaVA — multimodal: processa texto E imagens.

A escolha depende do hardware disponível e do caso de uso. Modelos de 7-8B correm confortavelmente em 8GB de RAM; modelos de 70B exigem 32GB+ ou quantização agressiva.

API REST — integração com aplicações

O Ollama expõe uma API REST em localhost:11434, compatível com o formato da OpenAI em muitos casos. Isto significa que pode substituir a API do ChatGPT pelo Ollama local com alterações mínimas no código:

curl http://localhost:11434/api/generate -d '{
  "model": "llama3",
  "prompt": "Escreve um email comercial em português.",
  "stream": false
}'

Existem SDKs oficiais para Python e JavaScript/TypeScript, além de integrações com frameworks como LangChain, LlamaIndex e AutoGen.

Open WebUI — uma interface como o ChatGPT

Para quem prefere uma interface gráfica em vez do terminal, o Open WebUI (anteriormente Ollama WebUI) oferece uma experiência idêntica ao ChatGPT, mas a correr localmente sobre o Ollama. Funcionalidades incluem:

• Seleção de modelo num menu
• Histórico de conversas persistente
• Upload de documentos (RAG)
• Partilha de conversas
• Suporte multiutilizador

Instalação via Docker: docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

Casos de uso práticos

• Assistente de programação local — editar código com sugestões de IA sem enviar código proprietário para a cloud.
• Análise de documentos confidenciais — processar contratos, relatórios financeiros ou dados de clientes com total privacidade.
• Chatbot de suporte interno — base de conhecimento da empresa indexada localmente.
• Automatização de tarefas — integrar com scripts e pipelines CI/CD.
• Prototipagem de IA — testar ideias rapidamente sem custos de API antes de escalar para a cloud.
• Educacional — aprender sobre LLMs com mãos na massa, sem barreira financeira.

Performance e requisitos de hardware

O Ollama usa quantização (4-bit por defeito) para reduzir o tamanho dos modelos e acelerar a inferência. Isto permite correr modelos surpreendentemente grandes em hardware modesto:

• Apple Silicon (M1/M2/M3/M4) — excelente desempenho via Metal. Um M2 com 16GB corre Llama 3 8B a ~40 tokens/seg.
• GPU NVIDIA — suporte CUDA. Uma RTX 3060 (12GB) corre modelos até 13B confortavelmente.
• CPU apenas — funciona, mas mais lento (~5-10 tokens/seg num processador moderno para 7B).

A regra prática: 1GB de RAM por mil milhões de parâmetros (em quantização 4-bit). Um modelo de 8B precisa de ~8GB.

Ollama vs. alternativas

• vs. LM Studio — o LM Studio tem interface gráfica nativa e é mais amigável; o Ollama é mais leve, CLI-first e melhor para integração programática.
• vs. vLLM — o vLLM é otimizado para produção/servidores (alto débito); o Ollama é para uso individual/desenvolvimento.
• vs. Hugging Face — o HF é um repositório de modelos; o Ollama é o motor que os executa localmente com simplicidade.
• vs. API cloud (OpenAI, Anthropic) — a cloud tem modelos maiores (GPT-4, Claude) e não exige hardware; o Ollama ganha em privacidade, custo zero e offline.

Conclusão

O Ollama democratizou o acesso a modelos de linguagem de ponta. Num mundo onde os dados são o ativo mais valioso (e mais vulnerável), ter a capacidade de executar IA de qualidade sem depender de terceiros é transformador — tanto para profissionais individuais como para organizações que levam a privacidade a sério. Se ainda não experimentou, instale-o hoje: uma linha de comando é tudo o que separa entre curiosidade e autonomia.

Referências

• [1] Ollama — The easiest way to run open models — ollama.com
• [2] Ollama Docs — Quickstart & Installation — github.com/ollama/ollama
• [3] Open WebUI — ChatGPT-like interface for Ollama — github.com/open-webui
• [4] Ollama Model Library — ollama.com/library