Uma pesquisa com 157 organizações mostra que os agentes de IA estão recebendo mais autonomia enquanto a confiança nas avaliações que deveriam controlar esses sistemas diminui. Metade das empresas já colocou em produção um agente aprovado internamente que falhou com o cliente.
O hiato de avaliação explicado
O termo central do estudo é o hiato de avaliação. Ele representa a distância entre a liberdade que as empresas dão aos seus sistemas e a confiança que elas têm nos testes de controle.
Apenas 5% dos entrevistados afirmam confiar totalmente em avaliações automatizadas hoje. O motivo mais citado é a falta de alinhamento com resultados reais no mundo.
Falhas já ocorreram em grande escala
Metade das companhias relatou ter enviado um recurso de LLM que passou nos testes e depois gerou incidente para o consumidor. Um quarto viu isso acontecer mais de uma vez.
Isso prova que aprovar em um teste interno não significa que o agente funcionará bem fora do laboratório. O prejuízo pode ser direto e visível.
Autonomia sem humano avança rápido
Dois terços das organizações já permitem ou preparam pipelines para deploy sem humano na linha. O foco é reduzir o tempo de colocação em produção.
Esse movimento acontece justamente quando quase ninguém confia nas avaliações automatizadas. A aposta é que a autonomia supere a necessidade de revisão.
Monitoramento de produção é fraco
Somente 23% das empresas checam em tempo real se a resposta do agente está correta. A maioria olha apenas se o sistema está no ar e responde.
Um erro confiante passa invisível por quem monitora só funcionamento. O agente pode errar sem disparar qualquer alerta de qualidade.
Stack de avaliação é fragmentado
As ferramentas nativas de provedores lideram, empatadas com quem não usa nada dedicado. OpenAI e Anthropic aparecem à frente de fornecedores independentes.
Isso mostra um mercado imaturo, onde muitos avaliam com scripts próprios ou confiam no básico do modelo. Não há padrão consolidado ainda.
Próximos investimentos
O dinheiro novo vai para observabilidade e revisão humana, curiosamente. Mesmo automatizando o deploy, 26% planejam gastar mais com revisores.
Quase dois terços pretendem trocar ou adotar plataforma de avaliação em um ano. O setor deve passar por reorganização importante de ferramentas.
Conclusão do especialista
O problema não é falta de cobertura de testes, e sim alinhamento com a realidade. Empresas entregam autonomia apoiadas em avaliações que elas mesmas não credibilizam.
Os agentes de IA seguirão ganhando espaço, mas sem garantia de segurança real. O risco é que falhas deixem de ser incidentes e virem mudanças autônomas.
Fonte original: Leia mais na fonte