s
INTELIGÊNCIA ARTIFICIAL

O futuro dos Transformers na IA e sua evolução

Estudos mostram que memória de longo prazo para Transformers permite lidar com contextos mais longos

Dois artigos de pesquisa recém-publicados podem significar muito para a arquitetura central dos Transformers, de modo a garantir a eles uma memória de longo prazo, torná-los melhores em lidar com contextos mais longos e se tornarem mais eficientes. Você confiaria mais na IA se os LLMs se lembrassem de conversas anteriores, aprendessem com elas e citassem as fontes? Pois é.

A proposta de pesquisadores da Sakana AI e do Institute of Science Tokyo é o Transformer², um framework de autoadaptação projetado para melhorar o desempenho dos LLMs, abrindo caminho para sistemas de IA dinâmicos e auto-organizados. Diferentemente dos sistemas de IA tradicionais que são pré-treinados para tarefas específicas, o Transformer² ajusta dinamicamente suas configurações internas para lidar com diversos desafios, que vão desde

  • Matemática: resolver problemas complexos com precisão.
  • Codificação: auxiliar desenvolvedores com geração e depuração de código.
  • Raciocínio: enfrentar desafios lógicos com proficiência semelhante à humana.
  • Compreensão visual: analisar imagens e padrões complexos de forma efetiva.

Modelos autoadaptativos visam solucionar os desafios apresentados pelos métodos tradicionais de ajuste fino, que geralmente são computacionalmente intensivos e estáticos em sua capacidade de lidar com diversas tarefas. Para desenvolver o Transformers², a equipe de IA da Sakana se inspirou em como o cérebro humano se reconecta após uma lesão. Primeiro, o modelo analisa a tarefa recebida para entender seus requisitos antes de tentar aprender; então, se ajusta dinamicamente e fornece resultados personalizados para essa tarefa.

Este é um conteúdo exclusivo para assinantes.

Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.

É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.

IA Generativa e o risco da atrofia cognitiva: Estamos perdendo nossa capacidade de pensar?

Inteligência Artificial

IA Generativa e o risco da atrofia cognitiva: Estamos perdendo nossa c...

Estudos mostram que confiar cegamente na IA pode reduzir a habilidade humana de questionamento e tomada de decisões. Saiba como profissionais e empresas podem evitar essa armadilha

Elon Musk quer mesmo comprar a OpenAI?

Inteligência Artificial

Elon Musk quer mesmo comprar a OpenAI?

Há quem diga que o real objetivo de Musk não é comprar a empresa, mas sim sabotar os esforços contínuos de Sam Altman para arrecadar bilhões a mais para a OpenAI

IA de código aberto ou marketing? O desafio de definir o que é realmente aberto

Inteligência Artificial

IA de código aberto ou marketing? O desafio de definir o que é realm...

A IA Open Source precisa ir além do acesso ao código. Especialistas discutem novas regras para garantir abertura, ética e inovação

Startups de IA: Como encontrar sua próxima ideia, segundo o Y Combinator

Inteligência Artificial

Startups de IA: Como encontrar sua próxima ideia, segundo o Y Combina...

Estratégias e conselhos de especialistas para encontrar ideias inovadoras e construir empresas de sucesso na era da Inteligência Artificial

Como superar as barreiras humanas na adoção da IA no trabalho

Inteligência Artificial

Como superar as barreiras humanas na adoção da IA no trabalho

A resistência à Inteligência Artificial não é tecnológica, mas comportamental. Veja como motivação, treinamento e incentivo podem acelerar a adoção da IA nas empresas

Da Economia da Atenção à Economia da Intenção: O novo jogo da IA

Inteligência Artificial

Da Economia da Atenção à Economia da Intenção: O novo jogo da IA

Como a inteligência artificial está indo além da captura de atenção para moldar nossas escolhas e decisões