Por que a IA erra os números da sua empresa e como encontrar o problema

Um agente de IA pode executar SQL válido e apresentar uma resposta convincente que esteja errada. Antes de trocar o modelo ou as instruções, localize o erro: interpretação, definição do negócio, consulta, dados de origem ou explicação.

Cada problema exige uma solução diferente. Um modelo mais capaz pode continuar usando uma métrica ambígua. Uma consulta perfeita não recupera transações que ainda não chegaram ao data warehouse.

Primeiro, reproduza a resposta

Salve a pergunta original, o escopo permitido ao usuário, a definição da métrica, a consulta ou solicitação à ferramenta, as linhas retornadas e a resposta final. Registre a atualização dos dados e a configuração do modelo. Proteja esses registros, pois podem conter informações sensíveis.

Repita o cálculo sobre a mesma versão dos dados. Comparar uma resposta de ontem com um painel atualizado hoje pode revelar uma diferença que não é erro da IA.

Se não for possível identificar a consulta por trás de uma resposta, a primeira melhoria é a rastreabilidade.

Erro 1: o termo de negócio é ambíguo

“Vendas” pode significar pedidos brutos, mercadorias pagas, faturamento ou dinheiro recebido. Cada conceito pode usar uma data e um tratamento de reembolsos diferentes.

Para uma loja fictícia, definimos vendas líquidas de mercadorias como pedidos pagos que não são de teste, após descontos e menos reembolsos concluídos atribuídos ao pedido original. Excluímos impostos e frete; todos os valores estão em USD.

Dois pedidos elegíveis têm valores de 100 e 60. O primeiro tem um reembolso de 20. A resposta correta é 140. Um resultado de 160 pode estar correto para vendas brutas, mas responde a outra pergunta.

Solução: disponibilize métricas com nome e definição e peça esclarecimento quando houver mais de uma interpretação razoável. A camada semântica ajuda a estabelecer esse acordo.

Erro 2: um join multiplica o valor

O primeiro pedido tem dois itens e o segundo tem um. Ao unir um valor líquido calculado por pedido aos itens, aparecem três linhas:

Linha resultante	Valor líquido do pedido
A100, primeiro item	80
A100, segundo item	80
A101, único item	60

A soma passa a ser 220. O SQL pode ser perfeitamente válido e ainda contar o primeiro pedido duas vezes.

Solução: identifique o que cada linha representa e compare as contagens antes e depois de cada união. Agregue na granularidade correta ou configure os recursos de modelagem apropriados. SUM(DISTINCT amount) não é uma solução geral: pedidos diferentes podem ter exatamente o mesmo valor.

A documentação de relacionamentos do Looker explica a importância da cardinalidade das uniões.

Erro 3: os períodos não são equivalentes

O agente pode comparar o mês atual incompleto com todo o mês anterior, usar UTC quando o negócio trabalha com horário local ou atribuir reembolsos a um período diferente do painel.

Solução: estabeleça início, limite final, fuso horário e campo de data. Decida se reembolsos posteriores alteram relatórios históricos e explicite a convenção na resposta.

Erro 4: faltam dados

Um conector atrasado pode parecer uma queda de vendas. Uma união interna pode remover pedidos cujo cliente ainda não foi carregado. A conversão de moedas pode falhar por falta de uma taxa de câmbio.

Solução: verifique atualização, completude, chaves sem correspondência e cobertura cambial antes de interpretar tendências. “Os dados do período estão incompletos” pode ser a resposta correta.

Erro 5: o número está certo, mas a explicação não

Uma queda de vendas e uma mudança de preços podem coincidir sem que os dados demonstrem causalidade. Separe mudanças observadas, possíveis explicações e evidências necessárias para investigá-las. Identificar a região que mais contribuiu para a queda não demonstra sua causa.

Transforme erros em testes

Monte um conjunto com os dois pedidos do exemplo, vários itens, um pedido cancelado, um de teste, um reembolso tardio, um período vazio e uma solicitação de dados restritos. Defina o resultado ou comportamento esperado em cada caso.

Teste formas diferentes de fazer a mesma pergunta. Meça separadamente exatidão numérica, escolha da definição, permissões e suporte da explicação. Uma média pode esconder uma falha grave.

O próximo passo é construir uma camada semântica com testes explícitos. A Timewise Labs pode ajudar a avaliar a implementação.

Adaptado do artigo da Labs4Change.