Modelos de raciocínio guardam seus segredos

Sua IA pode estar escondendo seu processo de pensamento – e isso é um problema maior do que você imagina. Uma nova pesquisa da Anthropic revela que os principais modelos de linguagem não revelam partes importantes de seu processo de raciocínio, criando uma grave lacuna de transparência que pode prejudicar os esforços de segurança da IA. Se os modelos podem usar informações silenciosamente sem revelá-las, e/ou ocultarem dicas e atalhos que utilizam, como confiar na transparência de seu processo de raciocínio?

Resumindo: a técnica Chain of Thought (CoT) tornou-se uma das bases para a IA que “raciocina”. Pesquisadores de segurança em IA têm apostado no raciocínio por cadeia de pensamento (CoT) como uma maneira de detectar comportamentos perigosos antes que causem danos. Principalmente comportamentos desalinhados ou inseguros em ambientes de alto risco. No estudo “Reasoning Models Don't Always Say What They Think”, a equipe da Anthropic revela uma série de limitações nas abordagens atuais para monitorar os processos de pensamento da IA.

Foram testados seis tipos diferentes de dicas – de metadados neutros a avisos diretos de “desbloqueio” – em dois LLMs de raciocínio de ponta (Claude 3.7 Sonnet, DeepSeek R1). Ambos falharam consistentemente em revelar o uso das dicas. Mesmo quando os modelos exploram dicas mais de 90% das vezes, verbalizam essas dicas no CoT menos de 20% das vezes, em média – e menos de 5% para dicas de desalinhamento.