Por que meu chatbot com IA demora a responder e como deixar mais rápido?

Onde o tempo de resposta se perde?

Uma mensagem que chega pelo WhatsApp passa por várias etapas até a resposta voltar:

Os valores variam por provedor e modelo; meça os seus (próxima seção).

Como medir cada etapa?

Registre a hora de entrada e de saída de cada passo no log do agente: chegada do webhook, fim da busca, início e fim da chamada ao modelo, envio. Ferramentas de observabilidade para LLM (como Langfuse) mostram isso por conversa. Duas métricas importam:

• Tempo até o primeiro token: quanto o modelo demora a começar a responder.
• Tokens por segundo: a velocidade de escrita depois que começa.

O que reduz o tempo do modelo?

• Respostas mais curtas: o tempo cresce com o número de tokens gerados. Peça no prompt respostas objetivas.
• Menos contexto: histórico inteiro e dez trechos da base a cada pergunta deixam a entrada enorme. Resuma o histórico e traga só os trechos mais relevantes.
• Modelo adequado à tarefa: tarefas simples (classificar intenção, extrair dado) rodam bem em modelos menores e mais rápidos.
• Cache de prompt: provedores que oferecem cache aceleram quando a parte fixa do prompt se repete.
• Streaming no site: mostrar a resposta enquanto é gerada reduz a espera percebida.

O servidor faz diferença?

Faz nas etapas que dependem dele. Um agente consulta banco, CRM e base de conhecimento várias vezes por mensagem; cada ida e volta a um servidor fora do Brasil soma mais de 100 ms, contra 5 a 50 ms num servidor em São Paulo (comparativo em servidor no Brasil ou fora). Memória curta também atrasa: se o servidor troca memória com o disco (swap), tudo fica lento. Dimensione com folga, como em que servidor um agente de IA precisa.

E se o modelo roda na própria VPS?

Em CPU, um modelo local gera texto em velocidade de leitura. Para poucos usuários e tarefas em segundo plano, serve; para muitos clientes ao mesmo tempo esperando resposta, a fila cresce. Veja quando vale um servidor com GPU e quanta memória o Ollama precisa.

Como deixar a espera mais aceitável para o cliente?

• Mostre "digitando" enquanto o modelo trabalha.
• Quebre respostas longas em mensagens curtas.
• Para tarefas demoradas (consultar sistema externo), responda que está verificando e mande o resultado em seguida.

Quais erros de configuração mais atrasam um agente?

• Histórico inteiro a cada mensagem: na trigésima troca, o modelo relê tudo antes de responder.
• Muitos trechos da base: dez trechos longos por pergunta multiplicam a entrada.
• Chamadas em sequência que podiam ser paralelas: consultar CRM, estoque e agenda um depois do outro soma os tempos.
• Modelo de raciocínio para tarefa simples: modelos que "pensam" antes de responder gastam segundos extras em perguntas que não precisam disso.
• Repetição de tentativas sem limite: quando o provedor falha, tentar de novo sem espera nem teto prende a conversa.

Corrigir esses cinco pontos costuma render mais que trocar de modelo ou de servidor.

Vale a pena trocar de modelo para ganhar velocidade?

Às vezes. Antes, ajuste o que está nas suas mãos: contexto, tamanho da resposta e chamadas em paralelo. Se ainda estiver lento, teste um modelo menor da mesma família nas tarefas simples e deixe o maior para as perguntas difíceis. Um gateway de modelos permite fazer essa divisão sem mexer no código do agente, trocando só a regra de qual modelo atende cada tipo de pedido. Meça antes e depois com as mesmas perguntas, para ver se a qualidade não caiu junto com o tempo.