Quanta memória e CPU preciso para rodar o Ollama e um LLM local?

O que é o Ollama e por que rodar um modelo de linguagem local?

O Ollama é um programa de código aberto que baixa e executa modelos de linguagem (LLM, de large language model) como Llama, Mistral, Qwen e Gemma, e expõe uma API compatível com a da OpenAI. Rodar o modelo na sua própria VPS faz sentido quando:

• os dados não podem sair do seu ambiente (contratos, prontuários, dados de clientes);
• o volume de chamadas é alto e previsível, e o custo por token de uma API começa a pesar;
• a tarefa é simples (classificar, resumir, extrair campos) e não exige o modelo mais inteligente do mercado.

Quanta memória cada tamanho de modelo precisa?

O tamanho do modelo é medido em bilhões de parâmetros (7B, 13B, 70B). O próprio README do Ollama dá a referência mínima para os modelos quantizados que ele distribui:

Por que a VPS recomendada tem o dobro do mínimo? Porque o sistema operacional, o banco de dados e a aplicação que consome o modelo também ocupam memória, e o contexto longo (conversas grandes) aumenta o uso durante a resposta.

Sem GPU, o modelo fica rápido o suficiente?

Depende da tarefa. Em CPU, o modelo gera texto em velocidade próxima à de leitura humana: algumas palavras por segundo para um 7B, menos para modelos maiores. Isso basta para:

• tarefas em lote, como classificar mil e-mails durante a madrugada;
• resumos e extrações em segundo plano;
• um assistente interno com poucos usuários simultâneos.

Não basta para um chatbot com muitos clientes ao mesmo tempo esperando resposta. Meça antes de decidir: ollama run llama3.1 --verbose mostra a taxa de tokens por segundo na sua máquina. Para saber quando a GPU passa a compensar, veja quando vale um servidor com GPU.

Como instalar o Ollama numa VPS Linux?

1. Em Ubuntu LTS, rode o instalador oficial (curl -fsSL https://ollama.com/install.sh | sh) ou use a imagem Docker ollama/ollama.
2. Baixe o modelo: ollama pull llama3.1:8b.
3. A API sobe na porta 11434. Não a exponha na internet: ela não tem autenticação. Deixe-a escutando só em 127.0.0.1 ou atrás de um proxy com senha.
4. Aponte sua aplicação para http://localhost:11434/v1, o endpoint compatível com a API da OpenAI.

Que interface usar para a equipe conversar com o modelo?

O Ollama é só o motor. Para dar uma tela de chat à equipe, as opções mais usadas são o Open WebUI (interface parecida com a do ChatGPT) e o Dify (plataforma para montar aplicações e agentes). As duas rodam em Docker na mesma VPS. Os requisitos de cada uma estão em como hospedar Open WebUI ou Dify.

LLM local ou API paga: qual sai mais em conta?

Modelo local tem custo fixo (a VPS) e capacidade limitada; API tem custo variável e capacidade quase ilimitada. A conta depende do volume de tokens e da qualidade de que a tarefa precisa. O comparativo completo, com a fórmula de equilíbrio, está em LLM local ou API paga.

Quais modelos abertos testar primeiro?

Comece pelos de 7 a 9 bilhões de parâmetros, que cabem numa VPS de 16 GB: famílias como Llama, Qwen, Mistral e Gemma têm versões nesse tamanho na biblioteca do Ollama. A qualidade em português varia entre eles e entre versões, então não escolha pela fama:

1. separe de 20 a 30 perguntas reais da sua operação, com a resposta certa ao lado;
2. rode as mesmas perguntas em dois ou três modelos;
3. compare acertos, tempo de resposta e memória usada (ollama ps mostra quanto cada modelo ocupa).

Repita o teste quando sair uma versão nova: o modelo que perdeu hoje pode ganhar daqui a três meses.

Como saber se a VPS está no limite com o modelo carregado?

Acompanhe três sinais: memória acima de 90% com o modelo carregado, uso de swap (memória em disco) e tempo de resposta subindo ao longo do dia. Qualquer um deles indica que é hora de um modelo menor ou de uma VPS maior. O comando free -m mostra memória e swap; o ollama ps mostra quanto o modelo ocupa e por quanto tempo fica carregado depois da última chamada.