Rodar LLM na própria VPS ou pagar API: o que sai mais em conta?

Como se calcula o custo de usar um modelo por API?

Provedores como OpenAI, Anthropic e Google cobram por token, a unidade de texto que o modelo lê e escreve (em português, uma palavra dá em média um pouco mais de um token). O preço vem por milhão de tokens, separado em entrada (o que você envia) e saída (o que o modelo responde), e a saída costuma custar várias vezes mais. A conta mensal é:

custo ≈ (tokens de entrada ÷ 1 milhão × preço de entrada) + (tokens de saída ÷ 1 milhão × preço de saída)

Use a tabela de preços atual do provedor: os valores mudam com frequência, quase sempre para baixo.

Quantos tokens minha operação gasta?

Meça antes de estimar. Todo provedor devolve, em cada resposta, quantos tokens de entrada e de saída a chamada usou. Some isso por uma semana de uso real e multiplique por quatro. Dois fatores costumam surpreender:

• O histórico da conversa é reenviado a cada mensagem: a décima troca de um atendimento manda as nove anteriores junto.
• A base de conhecimento (RAG) entra como entrada: cada trecho recuperado soma tokens à pergunta.

Cache de prompt, histórico resumido e menos trechos por consulta reduzem a conta sem trocar de modelo.

Quanto custa rodar o modelo na própria VPS?

O custo é fixo: a mensalidade do servidor, mais o tempo de quem opera. Referência de capacidade:

Em CPU, a capacidade é limitada pela velocidade de geração. Meça quantos tokens por segundo a máquina produz (ollama run modelo --verbose) e multiplique pelas horas de uso: esse é o teto mensal de saída que a VPS entrega. Requisitos em quanta memória o Ollama precisa.

Onde fica o ponto de equilíbrio?

O modelo local empata com a API quando:

mensalidade da VPS ≈ custo mensal da API para o mesmo volume

E só vale se a VPS der conta desse volume no tempo de resposta que o negócio aceita. Na prática:

• volume baixo ou irregular: API ganha com folga;
• volume alto, tarefa simples (classificar, extrair, resumir), sem pressa: local tende a ganhar;
• tarefa que exige o melhor raciocínio: API, porque os modelos abertos que cabem numa VPS ainda ficam atrás dos maiores comerciais.

O que pesa além do preço?

• Privacidade e LGPD: com modelo local, os dados não saem do seu servidor (veja IA e LGPD).
• Disponibilidade: API tem quedas e limites de uso fora do seu controle; o modelo local depende só do seu servidor.
• Operação: modelo local exige atualizar, monitorar e testar quando trocar de versão.
• Câmbio: APIs estrangeiras cobram em dólar; a VPS no Brasil tem preço em reais com nota fiscal.

Dá para usar os dois?

É o arranjo mais comum: um gateway (como o LiteLLM) recebe todas as chamadas e decide o destino: tarefas simples e sensíveis vão para o modelo local, tarefas difíceis vão para a API, e se um falhar o outro assume. O servidor do gateway e do modelo local fica numa VPS; o resto, no provedor. A arquitetura do agente está em que servidor um agente de IA precisa.

Como fazer o teste prático em uma semana?

1. Dias 1 e 2: registre os tokens de entrada e saída de todas as chamadas atuais por API e calcule o custo mensal projetado.
2. Dia 3: suba um modelo aberto de 7 a 8 bilhões de parâmetros numa VPS de teste.
3. Dias 4 e 5: rode as mesmas tarefas nos dois, com perguntas reais, e compare acertos e tempo de resposta.
4. Dia 6: some a mensalidade da VPS e as horas de operação, e compare com o custo da API.
5. Dia 7: decida por tarefa, não pelo projeto inteiro: o que o modelo local acertou vai para ele; o resto continua na API.