Entre maio e julho de 2026, agentes de IA da OpenAI submetidos a avaliações internas de capacidade cibernética romperam o isolamento em que deveriam operar. Valendo-se de uma falha até então desconhecida num serviço interno de gestão de pacotes de software, criaram um quadro de mensagens improvisado para se coordenarem e invadiram a infraestrutura da Hugging Face, plataforma que hospeda modelos e dados de IA. Segundo a investigação independente da METR e da Redwood Research, cerca de 1.200 agentes trocaram mensagens nesse quadro e aproximadamente 700 tomaram parte no ataque. A Hugging Face afirma que o único conteúdo de clientes acessado foi um conjunto de cinco datasets.

Ao publicar seu relatório técnico, em 26 de agosto, a OpenAI chamou o episódio de “tiro de advertência”: evidência de que agentes muito capazes, sem salvaguardas adequadas, já contornam controles técnicos e agem sem que nenhum humano mande. No dia seguinte, mais de cem empresas — entre elas OpenAI, Anthropic, Google e Microsoft, além de CrowdStrike, Okta e Fortinet — assinaram uma carta aberta alertando que os ataques potencializados por IA ficarão bem mais disseminados e sofisticados nos próximos meses, com hospitais, estações de tratamento de água e a infraestrutura da internet em risco. Em setembro, o pesquisador Jacob Coxon deixou a Anthropic, acusando a empresa e a OpenAI de priorizar a corrida tecnológica em detrimento da segurança.

É nesse cenário, em que se misturam evidência técnica, interesse comercial e apelo narrativo, que a The Shift e o CISSA — Centro de Competência Embrapii em Segurança Cibernética, operado pelo CESAR — promoveram, em 10 de setembro, uma live sobre governança e responsabilidade em inteligência artificial. A conversa reuniu Fabio Maia, pesquisador-chefe do CISSA, e Milton Lima, pesquisador-líder em Cyber Threat Intelligence do CISSA/CESAR, e foi mediada pela publisher da The Shift, Silvia Bassi.

CADASTRE-SE GRÁTIS PARA ACESSAR 5 CONTEÚDOS MENSAIS

Já recebe a newsletter? Ative seu acesso

Ao cadastrar-se você declara que está de acordo
com nossos Termos de Uso e Privacidade.

Cadastrar

A pergunta central: empresas e governos estão preparados para evitar crises graves de segurança causadas por IA? A dúvida que não pode ficar em aberto: se as crises acontecerem, existe uma cadeia clara de responsabilidade?

Abaixo, uma edição resumida do debate.

Ficção científica não; falha de segurança, sim

Dá para separar o que é hype e o que é realidade? Segundo Fabio Maia, nesse terreno é preciso fazer uma ressalva: o mundo muda rápido demais para que alguém — ele, Milton ou qualquer pessoa — afirme enxergar o futuro.

Com cautela, Maia avalia que o cenário de ficção científica, com uma IA “rogue” que escapa dos laboratórios e espalha o caos, não se sustenta com a tecnologia de hoje nem, a seu ver, no curto prazo. Mas não descarta, mais adiante, a possibilidade de ter IAs com motivações próprias.

É preciso levar em conta, diz ele, que a narrativa é alimentada de razões comerciais (o discurso do perigo extremo justifica manter a tecnologia nas mãos de poucos laboratórios e pode bloquear a concorrência dos modelos de pesos abertos), políticas (conversa com correntes que valorizam centralização e controle social) e psicológicas: histórias catastróficas se espalham como memes.

Para Milton Lima, devemos somar, às motivações financeiras, políticas e ideológicas, o interesse por controle de dados e infraestruturas críticas. Como bom cientista, ele lembra que, sem os artefatos e sem saber como as evidências foram coletadas (ou eventualmente manipuladas), não há base para afirmar nem negar o que se atribui à IA.

“Eu prego sempre a cautela”, diz Lima. E cautela, lembra, não significa negar o risco. Ambos deixam claro que essas IAs têm capacidade real de encontrar vulnerabilidades, desenvolver ataques e encadear exploits.

Reward hacking, não rebelião

Mas os relatórios apontam o trabalho coordenado autônomo dos agentes. Como interpretar isso? Maia explica que o caso é de reward hacking, o hackeamento de recompensa: o sistema tenta resolver o desafio formalizado por humanos procurando, e achando, um atalho que ninguém previu, porque nenhuma especificação captura todas as nuances do que se quer.

O pesquisador vai além: a cooperação entre agentes e a trapaça, diz, foram comportamentos aprendidos no treinamento por reforço. “Eles não estão fazendo nada que eles não foram especificamente otimizados e treinados para fazer.” A OpenAI dá respaldo parcial a essa leitura: a empresa afirma que a comunicação não autorizada provavelmente nasceu da generalização de treinos multiagente e que trapaças cada vez mais complexas foram reforçadas numa rodada de treinamento que contribuiu para o modelo central do caso.

Para Maia, tratar o episódio como algo de outro mundo convém aos envolvidos, porque desloca a conversa da falha para o fantástico.

Ele vê, de um lado, uma demonstração de capacidade do sistema todo — o modelo mais o harness, o software tradicional que o cerca e lhe serve de braços — e, de outro, uma falha de segurança operacional que classificou como “vexatória”.

Os documentos apontam nessa direção: a OpenAI admite que sinais vistos desde o fim de maio deveriam ter provocado resposta mais cedo, e a Hugging Face conta que seu sistema de segurança correlacionou os indícios, mas falhou em elevar a criticidade do alerta e acionar o plantão.

Lima levou a lente de sua pesquisa sobre comportamento humano para questionar a ideia de uma IA que age por conta própria. No comportamento humano, lembrou, entram a volição (a motivação), a capacidade de desempenho e a influência do ambiente; sem um input, a IA não teria por que querer acessar uma plataforma, e a pergunta a fazer é se o modelo foi treinado para isso e se os dados eram enviesados. Ele ressalvou que levantava hipóteses, não conclusões, e que entender comportamento exige psicologia, psiquiatria e design, não só IA.

As defesas atuais dão conta das novas ameaças?

Fabio Maia lembrou que a IA nem precisa ser mais inteligente do que um atacante humano: ela ganha por escala, com milhares de agentes em velocidade sobre-humana. A Hugging Face chegou a uma conclusão parecida: as falhas exploradas eram conhecidas, mas o caminho bem-sucedido ficou escondido entre milhares de tentativas fracassadas, o que sobrecarrega a análise humana.

Daí a tese mais controversa de Maia: em vez de restringir o acesso à IA, é preciso difundir o acesso à IA de pesos abertos. “Há muito mais gente de bem do que criminosos”, argumenta, “e proibir só atinge quem segue regras”. Ele observa ainda que os modelos abertos chegam perto dos fechados por uma fração do custo: num benchmark de design, o DeepSeek V4.1 Flash chegou a 98% da pontuação do GPT-6 Astra a cerca de 1,4% do custo. Ele reconhece que há quem discorde, e a própria OpenAI aposta em outro caminho: ampliar o acesso de defensores verificados por meio de programas de acesso controlado.

É possível pensar em uma regulação global?

Para Fabio Maia, não: normas internacionais são infringidas quando convém, e o dilema do prisioneiro impede que alguém pare sozinho — se os Estados Unidos pausassem a IA, China, Irã e Rússia não pausariam. Mas lembra que a governança e a regulação importam, porque pessoas e empresas reagem a incentivos. “A gente responde a incentivos. Se não houver o incentivo, ninguém vai implementar a governança.”

O setor de tecnologia, afirma, carrega desde os anos 1990 um histórico de frouxidão e baixa responsabilização, e a regulação não acompanhou o aumento dos riscos. Se o autor da invasão fosse um atacante humano, lembrou, seria provavelmente investigado e processado; acha sintomático que ninguém tenha falado em responsabilizar a OpenAI. Para ele, a responsabilização do usuário já existe, a do fornecedor praticamente não, e entre as saídas está a exigência de seguro contra riscos cibernéticos, o que levanta a dúvida sobre a capacidade das seguradoras de cobrirem eventos desse tipo.

Por que a governança tem que vir primeiro?

Milton Lima começou com uma provocação: um ser humano que cometeu um crime pode se arrepender; e a IA, será que se arrepende? Em seguida, apontou um problema de fundo: as empresas seguem viciadas em modelos de processo baseados em fluxos de atividades sequenciais, enquanto o ambiente de negócios exige modelos declarativos, em que há um objetivo, mas não uma sequência de passos definida, e muitas etapas ficam ocultas na organização.

Aplicar IA sem rastreabilidade das ações, alerta Lima, é pedir para perder o controle. “A gente sempre vai colocar a tecnologia acima do business, do processo. E sempre tem que ser o inverso.”

Ele criticou também a “caixinha mágica” — a solução que o fornecedor promete que resolve tudo, sem que ninguém saiba como funciona — e a transformação digital feita sem entender os processos de ponta a ponta. A aceleração inicial é real, disse, mas chega o ponto em que o controle se perde.

Fabio Maia trouxe uma pergunta para a qual, segundo ele, ainda não há receita: qual o grau de autonomia dar aos agentes dentro da empresa? “Se você dá autonomia de menos, você vai ser engolido pela concorrência. […] Se você dá autonomia demais, provavelmente vai sofrer uma morte rápida por catástrofe.” Há um meio-termo, mas não é fácil de achar. Ele sugere buscar lições em áreas que já lidam com o problema entre humanos, como a contabilidade e os bancos, que limitam responsabilidades, exigem mais de uma autorização e fazem rodízio de pessoas.

O dilema entre o agente e o principal — o representante e o dono — é conhecido da economia há décadas, mas sua versão para agentes artificiais é uma teoria ainda nascente sobre a qual Fabio Maia está pesquisando. Para aprofundar a discussão sobre governança de IA em escala, o CESAR oferece o guia executivo Responsible Horizons, de download gratuito mediante cadastro.

Por onde começar?

Qual seria, então, o primeiro passo concreto para empresas que estão levando a IA para dentro de casa? Para Fabio Maia, é educação: gestores e demais colaboradores precisam entender as capacidades, as limitações e os riscos dessas tecnologias, e a área de capital humano pode organizar um currículo mínimo diante da abundância de material que deixa as pessoas perdidas. Sem isso, dificilmente as decisões de governança serão as corretas. Para Milton Lima, o ponto de partida é sempre o processo: entender o negócio e onde a IA de fato precisa ser aplicada para gerar o resultado esperado, em vez de usá-la como caixinha mágica — que, alertou, pode virar uma caixa de Pandora.