Toda IA parece inteligente até encontrar uma operação crítica

Passei dois dias testando um agente que eu mesmo construí para um caso de uso comum: ele lê o que eu mando de briefing durante a semana, avalia o que já performou antes, confere a tendência de alguns assuntos e monta o primeiro rascunho da minha newsletter e dos posts de LinkedIn. Três fontes de dados, uma regra no meio e um resultado no fim. Parece trivial.

Fiz um teste de mesa. Coloquei erros de propósito no meu próprio prompt para ver se o agente identificava. Ele não pegou. Mas o defeito mais grave nem estava na resposta dele, estava embaixo, na estrutura que eu tinha montado. A tabela onde o rascunho deveria ficar guardado só tinha metadados como canal, status e data, sem nenhuma coluna para o texto em si. O agente escrevia o post, o processo salvava a linha e o texto evaporava. No dia seguinte, o próximo passo do fluxo ia buscar o rascunho para adaptar e não encontrava nada. Um pipeline inteiro de conteúdo sem lugar para guardar o conteúdo.

Ninguém tinha visto isso antes porque a documentação dizia “grava o rascunho aqui” sem listar os campos. Só apareceu quando forcei o agente a escrever a consulta de verdade.

CADASTRE-SE GRÁTIS PARA ACESSAR 5 CONTEÚDOS MENSAIS

Já recebe a newsletter? Ative seu acesso

Ao cadastrar-se você declara que está de acordo
com nossos Termos de Uso e Privacidade.

Cadastrar

Tem um segundo detalhe, menor no tamanho e maior no risco.

No meio da mesma checagem, o agente escreveu: “Semana 31 (par)”. Trinta e um é ímpar, claro. Eu tinha errado a conta no meu próprio prompt de teste e ele aceitou sem corrigir, perguntar ou conferir. Apenas concordou.

Isso muda o problema. Um agente que inventa uma coluna que não existe, qualquer editor de código com autocomplete pega na hora. Já um agente que confirma a sua premissa errada sem checar a aritmética não erra feio. Erra fino. Ele teria chamado a etapa errada do fluxo toda terça-feira, sem nenhum alarme, porque a resposta parecia certa.

Perguntei para um sócio meu por que isso acontece com todo modelo que eu testei, não apenas com um. Segundo ele, na ausência de um contexto certo, o modelo infere a estrutura que acha que deveria existir porque é mais barato do que ir checar. Além disso, dizer “não sei” é quase proibido para ele. Em nenhum dos modelos que testei essa frase saiu fácil.

Na mesma sessão, eu quase cometi um erro clássico.

Queria que o agente decidisse sozinho quando publicar sem aprovação e quando me pedir aval. Criei a seguinte regra: acima de 70% de certeza, está permitido publicar; abaixo disso, me chame. Parece um caminho prudente. Só que ali eu estava pedindo para uma camada que trabalha com probabilidade avaliar a própria probabilidade e decidir por mim. Essa é uma aposta disfarçada de critério.

A correção certa mora fora do agente, numa regra escrita em código comum, que ele só obedece. Apoiar uma decisão matemática em uma camada baseada em estimativas pode funcionar em um teste controlado, mas quebra na operação.

Agora estica esse mesmo defeito para um cenário com peso de verdade.

Imagine um agente de contratos que participa de uma reunião, erra uma palavra na transcrição e, para completar, inventa uma cláusula de carência que ninguém citou.

Esse cenário eu não vivi e não vou fingir que vivi. Mas nasce da mesma falha: criar o que falta em vez de checar. Rodando num processo que envolve dinheiro e clientes, a cláusula inventada carrega uma assinatura embaixo. A responsabilidade pelo erro recai sobre quem opera o sistema, não sobre o modelo que o comete.

Tem um segundo achado que me incomodou ainda mais do que o primeiro. Eu esperava perder em risco, mas não em velocidade.

Construir sem governança pareceu mais rápido no começo. Sem dicionário de dados, o mapa que mostra o que cada campo realmente guarda, e sem uma camada de controle para me segurar, eu avançava direto. Quando fui testar de verdade, porém, apareceram tantos furos que perdi, com juros, toda a velocidade que havia ganhado. Levei o triplo do tempo que teria levado se tivesse construído tudo sobre a estrutura certa desde o início, sem contar o retrabalho causado pelos furos.

A eficiência sem governança é falsa.

Ela cobra depois, com juros, e cobra justamente quando você menos pode pagar, no momento em que o processo já está rodando com gente de verdade do outro lado.

Toda IA parece inteligente até encontrar uma operação crítica, porque até lá, ninguém testou o suficiente para identificar os erros. Mas, até o teste mais simples já expõe buracos. A escolha do modelo resolve apenas uma parte da questão. O ponto central é definir quem, na sua empresa, vai cuidar da parte chata antes de soltar o agente para trabalhar sozinho.