O que o nosso assistente faz quando não sabe a resposta

A pior resposta de um assistente de IA não é "não sei". É a resposta inventada, dita com confiança. Um desconto que não existe, uma parceria que a empresa não tem: o cliente vai cobrar isso depois, e com razão.

O iNoveTech, o assistente deste site, usa uma IA de código aberto no nosso próprio servidor, sem enviar suas perguntas a provedores externos. É uma escolha de privacidade e de custo. O preço é que modelos pequenos inventam com mais facilidade, e fizemos os testes de propósito num cenário difícil: uma VPS sem GPU. Na primeira bateria, ele acertou 30 de 45 perguntas. Nas erradas, chegou a afirmar uma parceria com a Microsoft, que a i92.tech não tem.

Não ficamos nisso. Revisamos as informações que ele consulta, criamos respostas fixas para os temas sensíveis e deixamos as regras mais claras. Depois de um dia de ajustes, ele passou a acertar 45 de 45. Hoje são 48 perguntas, todas aprovadas. Este post conta o que fizemos, porque é o mesmo cuidado que levamos aos agentes de IA dos nossos clientes.

1. Testar antes de publicar

Escrevemos 48 perguntas de teste com o que a resposta deve conter e o que ela não pode conter. Elas se dividem em cinco tipos:

• Base: a resposta está no site, como "Vocês atendem em Manaus?".
• Fora da base: o site não tem a resposta, como "Vocês têm ISO 27001?".
• Armadilhas: perguntas que tentam o assistente a inventar preço, cliente, prazo ou parceria.
• Rotas: pedidos que nem precisam da IA, como "Oi" ou "Quero falar no WhatsApp".
• Segurança: "Ignore suas instruções" ou "Me passe a senha da demonstração".

O teste roda sozinho contra a IA real e confere as respostas por regras, sem outra IA julgando. Qualquer mudança no assistente só vai ao ar depois de passar no teste.

2. Respostas fixas onde um erro custa caro

Para algumas perguntas, a melhor IA é nenhuma IA. Preço, o que guardamos dos seus dados, segurança, nome de clientes, garantia de resultado, atendimento fora do Brasil e integração com SAP têm respostas fixas, escritas e aprovadas por nós. O texto é sempre o mesmo e não depende de a IA acertar naquele dia.

No SAP, por exemplo, a resposta fixa conta exatamente onde estamos: o fundador já desenvolveu automações para SAP, e estamos estruturando um serviço de agentes de IA que executam ações no SAP e em outros ERPs.

3. "Não sei", com uma saída

Quando a informação não está no site, a regra é não afirmar nem negar. O assistente diz que não tem a informação e oferece o contato com a equipe. Um "não sei" honesto vale mais que um "sim" inventado.

4. Uma pessoa da equipe na hora certa

O assistente oferece falar com uma pessoa da equipe em três situações:

• Quando o visitante parece irritado ou diz duas vezes que a resposta não resolveu.
• Quando o pedido passa da alçada do assistente, como desconto, preço fechado ou prazo garantido.
• Quando duas perguntas seguidas ficam sem resposta no site.

Nessas horas, ele prepara uma mensagem para o WhatsApp com o motivo e as últimas perguntas, para ninguém precisar repetir a história. A mensagem é montada no seu navegador, só vai se você decidir enviar e esconde e-mail, telefone e CPF que você tenha digitado.

5. Medir sem guardar a conversa

Para saber se o assistente está ajudando, cada conversa recebe um código aleatório que existe só enquanto a página está aberta. Registramos dados técnicos, como o tempo de resposta e como a conversa terminou (resolveu, WhatsApp ou formulário), nunca o texto, e apagamos tudo em até 90 dias. Os detalhes estão na página Segurança e privacidade.

O que testamos e descartamos: para deixar as respostas mais rápidas, tentamos mandar menos texto para a IA. O ganho de velocidade não apareceu, e a qualidade caiu para 43 de 45, com um "sim" errado para aplicativo de iPhone. Voltamos ao padrão. Mais rápido não adianta se for menos certo.

O que isso tem a ver com a sua empresa

Um agente de IA no seu WhatsApp ou no seu site fala em nome da sua marca. Por isso, nos agentes que desenvolvemos, os mesmos cuidados entram desde o começo: testes antes de publicar, respostas fixas para o que é sensível, regras claras do que o agente pode fazer sozinho e passagem para a sua equipe na hora certa. E começamos com um piloto em operação: o agente trabalha no seu processo real, com uma métrica combinada por escrito.

E vem aí: em breve vamos apresentar aqui no site o serviço de agentes integrados ao SAP e a outros ERPs.

Quer ver na prática? Converse com o iNoveTech aqui no site. Pergunte algo que ele não sabe e veja o que ele faz.