O futuro dos Transformers na IA e sua evolução

Dois artigos de pesquisa recém-publicados podem significar muito para a arquitetura central dos Transformers, de modo a garantir a eles uma memória de longo prazo, torná-los melhores em lidar com contextos mais longos e se tornarem mais eficientes. Você confiaria mais na IA se os LLMs se lembrassem de conversas anteriores, aprendessem com elas e citassem as fontes? Pois é.

A proposta de pesquisadores da Sakana AI e do Institute of Science Tokyo é o Transformer², um framework de autoadaptação projetado para melhorar o desempenho dos LLMs, abrindo caminho para sistemas de IA dinâmicos e auto-organizados. Diferentemente dos sistemas de IA tradicionais que são pré-treinados para tarefas específicas, o Transformer² ajusta dinamicamente suas configurações internas para lidar com diversos desafios, que vão desde

• Matemática: resolver problemas complexos com precisão.
• Codificação: auxiliar desenvolvedores com geração e depuração de código.
• Raciocínio: enfrentar desafios lógicos com proficiência semelhante à humana.
• Compreensão visual: analisar imagens e padrões complexos de forma efetiva.

Modelos autoadaptativos visam solucionar os desafios apresentados pelos métodos tradicionais de ajuste fino, que geralmente são computacionalmente intensivos e estáticos em sua capacidade de lidar com diversas tarefas. Para desenvolver o Transformers², a equipe de IA da Sakana se inspirou em como o cérebro humano se reconecta após uma lesão. Primeiro, o modelo analisa a tarefa recebida para entender seus requisitos antes de tentar aprender; então, se ajusta dinamicamente e fornece resultados personalizados para essa tarefa.