s
INTELIGÊNCIA ARTIFICIAL

O futuro dos Transformers na IA e sua evolução

Estudos mostram que memória de longo prazo para Transformers permite lidar com contextos mais longos

Dois artigos de pesquisa recém-publicados podem significar muito para a arquitetura central dos Transformers, de modo a garantir a eles uma memória de longo prazo, torná-los melhores em lidar com contextos mais longos e se tornarem mais eficientes. Você confiaria mais na IA se os LLMs se lembrassem de conversas anteriores, aprendessem com elas e citassem as fontes? Pois é.

A proposta de pesquisadores da Sakana AI e do Institute of Science Tokyo é o Transformer², um framework de autoadaptação projetado para melhorar o desempenho dos LLMs, abrindo caminho para sistemas de IA dinâmicos e auto-organizados. Diferentemente dos sistemas de IA tradicionais que são pré-treinados para tarefas específicas, o Transformer² ajusta dinamicamente suas configurações internas para lidar com diversos desafios, que vão desde

  • Matemática: resolver problemas complexos com precisão.
  • Codificação: auxiliar desenvolvedores com geração e depuração de código.
  • Raciocínio: enfrentar desafios lógicos com proficiência semelhante à humana.
  • Compreensão visual: analisar imagens e padrões complexos de forma efetiva.

Modelos autoadaptativos visam solucionar os desafios apresentados pelos métodos tradicionais de ajuste fino, que geralmente são computacionalmente intensivos e estáticos em sua capacidade de lidar com diversas tarefas. Para desenvolver o Transformers², a equipe de IA da Sakana se inspirou em como o cérebro humano se reconecta após uma lesão. Primeiro, o modelo analisa a tarefa recebida para entender seus requisitos antes de tentar aprender; então, se ajusta dinamicamente e fornece resultados personalizados para essa tarefa.

Este é um conteúdo exclusivo para assinantes.

Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.

É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.

Quem será o dono do dicionário da IA?

Inteligência Artificial

Quem será o dono do dicionário da IA?

Fornecedores avançam sobre a camada que define como agentes interpretam dados e regras de negócio. A disputa envolve interoperabilidade, dependência tecnológica e controle das decisões automatizadas.

Casa própria em terreno alugado: o Brasil e a IA

Inteligência Artificial

Casa própria em terreno alugado: o Brasil e a IA

No Beyond AI 2026, Carolina Bocuhy, do Banco BV, lembrou à plateia que GPT é também uma sigla da economia e propôs uma pergunta incômoda: o Brasil vai conseguir capturar valor com IA para além da energia e mineração?

Correias no teto, a IA, e o organograma que ainda não mudou

Inteligência Artificial

Correias no teto, a IA, e o organograma que ainda não mudou

No Beyond AI 2026, Pedro Waengertner, CEO da ACE Ventures, mostra como empresas de software usam a IA para reformular suas estruturas e provoca: para as demais, está na hora de desaprender o organograma antigo

Nvidia: lições de governança

Inteligência Artificial

Nvidia: lições de governança

A saída de Jensen Huang expôs fragilidades na sucessão e na supervisão do CEO, apesar dos mecanismos formais de governança da Nvidia.

Com a saída de Jensen Huang, como fica o

Inteligência Artificial

Com a saída de Jensen Huang, como fica o "Banco Central" da IA?

O afastamento do fundador e CEO da Nvidia pode retirar o amortecedor que impedia o mercado de testar a fragilidade da bolha.

Quem ensina a equipe a desconfiar da IA?

Inteligência Artificial

Quem ensina a equipe a desconfiar da IA?

Empresas valorizam a capacidade de conferir a IA, mas a veem pouco nos recém-formados. Entre os funcionários, o temor é perder o pensamento crítico.