Como comparar uma IA de atendimento com um bom vendedor? Um método

Kaiox · Diretor, iAvançada ·

“A IA é melhor que o meu vendedor?” é uma pergunta que ninguém responde por opinião. Responde-se por teste, e o teste cabe em uma semana.

Como comparar uma IA com um vendedor de forma justa?

A resposta curta: dê aos dois as mesmas conversas, avalie com os mesmos critérios e esconda de quem avalia quem respondeu. Este texto descreve o método. Ele não traz resultado, porque o resultado depende do seu negócio.

O método em cinco passos

  1. Monte o conjunto de teste. Reúna 20 conversas reais dos últimos meses, de tipos variados: pergunta de preço, dúvida, cliente apressado, cliente indeciso, pedido fora do escopo. Remova dados pessoais (veja o cuidado abaixo).
  2. Defina os critérios antes. Por exemplo: respondeu o que foi perguntado, descobriu a necessidade, conduziu ao horário, respeitou os limites da empresa, tom adequado. Nota de 0 a 2 em cada.
  3. Gere as respostas. O vendedor e a IA respondem às mesmas mensagens, nas mesmas condições.
  4. Avalie sem saber quem é quem. Outra pessoa mistura as respostas e dá as notas.
  5. Olhe os erros, não só a média. Uma resposta que promete o que a empresa não entrega pesa mais que várias respostas medianas.

Por que testar no WhatsApp

O canal importa porque é onde a conversa acontece. Segundo a pesquisa TIC Empresas 2025, do Cetic.br, 79% das empresas brasileiras com mais de dez integrantes usaram WhatsApp ou Telegram em 2025, contra 74% em 2024. Se o seu atendimento já passa por ali, é ali que o teste deve ser feito, com conversas do mesmo tipo.

Cuidado com os dados das conversas

Conversas reais trazem nome, telefone e, às vezes, informação sensível. A Lei Geral de Proteção de Dados (Lei 13.709/2018) define anonimização, no art. 5º, inciso XI, como o uso de meios técnicos razoáveis pelos quais um dado perde a possibilidade de associação, direta ou indireta, a um indivíduo. O art. 12 acrescenta que o dado anonimizado deixa de ser dado pessoal, salvo se o processo puder ser revertido com esforços razoáveis. Na prática, apagar só o nome nem sempre basta: se o texto ainda permite identificar a pessoa, o dado continua pessoal. Revise cada conversa do conjunto de teste antes de compartilhar.

Exemplo ilustrativo de como aplicar o método

Exemplo ilustrativo, não é um caso real. Uma empresa genérica de serviços recebe pedidos de orçamento pelo WhatsApp. O gestor separa 20 conversas antigas, troca nomes e telefones por marcas neutras e apaga trechos que identificariam o cliente. Define cinco critérios com nota de 0 a 2 e pede a um colega de outro setor que misture as respostas do vendedor e da IA, sem rótulos. Antes de olhar a média, o gestor lista as respostas que prometeram algo fora do que a empresa entrega, porque são elas que mais pesam. O que ele faz com o resultado depende do que aparecer na planilha dele, e o método não antecipa esse resultado.

O que o teste não mede

Por isso o resultado costuma apontar um desenho misto, em que a IA cuida do começo da conversa e a pessoa assume o que pede julgamento. Veja a ideia de fundo em processo mais IA em vez de mais gente.

Onde o Runner entra

Runner: atende, qualifica e agenda no WhatsApp. Ele conversa no tom da empresa, é honesto sobre ser IA, usa o histórico da conversa, só marca horário quando a agenda confirma e passa para uma pessoa quando o caso pede julgamento. O método acima serve para testar o Runner ou qualquer outra opção, e a iAvançada pode conversar com você sobre como aplicá-lo. Veja em iavancada.com.br/runner.

Perguntas rápidas

Vinte conversas bastam? Para decidir se vale a pena continuar a conversa, sim. Para uma conclusão firme, use mais.

Preciso expor meus clientes? Não. Anonimize nomes, telefones e dados sensíveis antes do teste.

Fontes