Pesquisador da Goodfire desafia uma premissa da interpretabilidade ao afirmar que as redes neurais são mais legíveis do que se imaginava. A comunidade científica ainda quer provas.
A ideia corrente é a de que os sistemas de IA, com suas dezenas de bilhões de parâmetros, são efetivamente indecifráveis: a mecânica exata de como funcionam costuma ser uma “caixa-preta” incompreensível, até para os pesquisadores que os criam.
Mas um novo ensaio do pesquisador Nick Cammarata, publicado em 15 de outubro de 2026, chamou a atenção de alguns dos principais nomes do mundo da IA ao defender o oposto. Segundo ele, os modelos são bem menos opacos do que se imaginava e, no fundo, pode existir um caminho para enxergar como de fato “pensam”.
Cammarata ajudou a consolidar essa visão. Em 2020, ainda na OpenAI, assinou com Chris Olah o estudo “Zoom In”, que popularizou a explicação de que as redes misturam conceitos sem relação, como num nó. Agora, na startup Goodfire, ele diz ter identificado uma função principal em cerca de 90% dos neurônios, as unidades básicas dos modelos, numa análise preliminar do modelo aberto Qwen3-32B. A conta trata separadamente o lado positivo e o lado negativo de cada neurônio e varia conforme o critério usado. Em 2023, um projeto que ele iniciou na OpenAI explicava 1,7% dos neurônios estudados, mas os dois números vêm de modelos, métodos e critérios diferentes. Se estiver certo, a caixa-preta tem fechadura.
Mesmo que se confirme, o número tem um limite claro. Saber o que faz cada peça de um avião não basta para explicar o voo. Da mesma forma, conhecer a função de 90% dos neurônios não equivale a entender 90% do comportamento do modelo, que depende de como milhões deles interagem. É nesse ponto que se concentram as críticas de outros pesquisadores.
O nó da IA
Hoje, a principal forma de avaliar um modelo de IA é observar o que ele escreve, inclusive o raciocínio que exibe. Esse sinal é cada vez menos confiável. A interpretabilidade mecanicista propõe outro caminho: olhar dentro do modelo e entender como ele chega a uma resposta. Se isso funcionar, comportamentos como engano ou ações perigosas poderiam ser detectados na origem e corrigidos. Para Cammarata, sem essa visão não há como garantir que a IA siga objetivos humanos.
O problema é que os neurônios pareciam confusos. O exemplo mais famoso vem de um modelo de imagem do Google de 2014, o InceptionV1: um mesmo neurônio reagia a rostos de gato e a frentes de carro. A explicação aceita foi a superposição. Sem espaço suficiente, a rede guardaria coisas sem relação no mesmo neurônio, como num nó.
Essa explicação mudou o rumo da pesquisa. Laboratórios como Anthropic e Google DeepMind passaram a treinar um segundo modelo, como os sparse autoencoders, só para desembaraçar o primeiro. A técnica acrescenta custo e uma camada própria de imprecisão.
O argumento
O ensaio sustenta que parte dessa confusão era um erro de leitura dos próprios pesquisadores. O neurônio gato-carro, por exemplo, reconheceria uma forma em V, presente no focinho do gato e na frente do carro vista de lado. Os dois objetos dividiam o mesmo neurônio por terem um desenho em comum. A mudança é de perspectiva: o problema pode estar menos na complexidade do modelo e mais na forma de observá-lo. Para os casos ambíguos, Cammarata propõe a “generalização recursiva”: um neurônio aprende um padrão e cria ramificações próximas, como galhos, e por isso suas misturas têm lógica. Em entrevista à MIT Technology Review, ele resumiu: “Estávamos olhando do jeito errado”.
Há uma distinção importante. Os exemplos mais detalhados vêm de modelos de reconhecimento de imagem, bem mais simples que os LLMs atuais. Numa rede de imagem moderna, do mesmo tamanho do InceptionV1, cerca de 99% dos neurônios da última camada são compreensíveis, segundo o ensaio. Os resultados em modelos de linguagem, como o Qwen3-32B, ainda são preliminares e serão detalhados num artigo técnico que não foi publicado. O ensaio não apresenta resultados para modelos fechados como Claude ou GPT.
Por que a descoberta importa
Se a tese se confirmar, a segurança de IA ganha uma ferramenta que hoje não tem. Em vez de deduzir intenções a partir do que o modelo diz, seria possível verificar parte do que acontece dentro dele. Se os mecanismos ligados a certos comportamentos, como o engano, puderem ser identificados, pesquisadores poderão testar intervenções mais direcionadas. Ainda falta demonstrar que elas funcionam de forma confiável em modelos complexos.
A segunda consequência é de escala. Se os neurônios podem ser estudados diretamente, o trabalho pode ser entregue a agentes de IA que analisam, testam e corrigem explicações sem parar. Cammarata disse à MIT Technology Review que, com 100 mil anos para examinar um modelo de fronteira circuito por circuito, acredita que chegaria a uma boa compreensão dele. Cientistas automatizados poderiam fazer o mesmo muito mais rápido. Ele recorre à “lição amarga” de Rich Sutton, a constatação de que, em IA, métodos simples aplicados em grande escala costumam vencer soluções engenhosas.
A terceira é uma mudança de rumo para o próprio campo. Boa parte da pesquisa dos últimos anos partiu da premissa de que era preciso desembaraçar a rede antes de estudá-la. Se a premissa cair, ferramentas e linhas de pesquisa inteiras perdem prioridade, e a vantagem passa para quem consegue observar modelos em escala.
Por que divide opiniões
Os elogios mais enfáticos vieram de perto do autor: de Roon, funcionário da OpenAI e amigo próximo de Cammarata, e de Deedy Das, sócio da Menlo Ventures, que investe na Goodfire.
As críticas se concentram em quatro pontos. O primeiro é o alcance, a diferença entre entender peças e entender o sistema. Jacob Hilton, do Alignment Research Center e ex-colaborador de Cammarata, estima que pesquisadores entendem menos de 0,01% do funcionamento interno dos LLMs de ponta. Neel Nanda, que lidera a interpretabilidade mecanicista do Google DeepMind, considerou o ensaio interessante, mas sem mudança significativa no panorama geral.
O segundo é onde a informação fica guardada. Nanda acredita que boa parte do conhecimento dos LLMs está em sinais fracos, que uma análise focada nos sinais fortes pode não captar. Os testes com que Cammarata responde foram feitos em modelos de imagem, e Nanda duvida que valham para LLMs.
O terceiro é a prova. O ensaio não passou por revisão por pares, o artigo técnico não saiu e ninguém reproduziu a análise. Chris Potts, da Universidade Stanford, disse à MIT Technology Review que examinar milhares de exemplos “não substitui avaliação rigorosa”. O próprio Cammarata classifica como altamente especulativa sua conclusão mais ampla, de que a interpretabilidade pode se tornar tratável em pouco tempo.
O quarto é de vocabulário. Para Liv Gorton, pesquisadora de interpretabilidade, superposição significa apenas guardar mais ideias do que neurônios, algo que Cammarata aceita. Ele contesta outra coisa: que a rede junte conceitos sem relação de forma arbitrária.
Pesa ainda o contexto. A Goodfire tem interesse comercial na tese, e o ensaio chegou num momento em que a comunidade de segurança de IA busca boas notícias. À MIT Technology Review, Cammarata reconheceu que muita gente levou suas conclusões longe demais.
O que muda para quem usa IA
Para empresas, a lição central é a distância entre observar uma IA e entendê-la. Logs, permissões, registros de resposta e verificação de resultados mostram o que um sistema faz. Não explicam por que ele agiu assim, e essa lacuna pesa mais à medida que agentes autônomos assumem tarefas. A interpretabilidade promete acrescentar essa camada, mas ainda não é uma ferramenta de auditoria pronta para uso corporativo.
Se a técnica avançar, surge uma assimetria. Quem desenvolve um modelo fechado poderá examinar seus mecanismos internos, e quem o contrata, não. Por ter pesos abertos, o Qwen3-32B permite que pesquisadores independentes tentem reproduzir a análise, desde que tenham ferramentas e recursos para isso. Em modelos fechados, as empresas seguirão dependendo dos relatórios de segurança do próprio fornecedor.
O próximo sinal verificável é a publicação do artigo técnico da Goodfire e as primeiras tentativas independentes de reproduzir a análise no Qwen3-32B. Se os números se sustentarem fora da empresa, a interpretabilidade ganha uma rota mais barata e escalável. A promessa de ler a IA por dentro ganhou uma hipótese de trabalho. Falta a prova.
Para continuar navegando como visitante, vá por aqui.
Nenhum cadastro foi encontrado. Verifique os dados inseridos!
Cadastre-se grátis, leia até 5 conteúdos por mês,
e receba nossa newsletter diária.
Já recebe a newsletter? Ative seu acesso
Pronto! Só falta um passo.
Clique no link do e-mail que enviamos para retornar aqui e começar a ler seus 5 conteúdos exclusivos.
Se você já recebe nossas newsletters,
preencha seu e-mail que lhe mandaremos instruções
VoltarOpa! Parece que este e-mail não está cadastrado ainda. Tente novamente ou, se quiser fazer um novo cadastro, clique aqui.
Este e-mail que escolheu já está cadastrado.
Se ele é seu e você já tem uma senha, faça login para prosseguir com a assinatura. Se não tiver ainda ativado seu acesso, clique aqui para criar sua senha, logar e continuar o processo de assinatura.
