s
INTELIGÊNCIA ARTIFICIAL

O futuro dos Transformers na IA e sua evolução

Estudos mostram que memória de longo prazo para Transformers permite lidar com contextos mais longos

Dois artigos de pesquisa recém-publicados podem significar muito para a arquitetura central dos Transformers, de modo a garantir a eles uma memória de longo prazo, torná-los melhores em lidar com contextos mais longos e se tornarem mais eficientes. Você confiaria mais na IA se os LLMs se lembrassem de conversas anteriores, aprendessem com elas e citassem as fontes? Pois é.

A proposta de pesquisadores da Sakana AI e do Institute of Science Tokyo é o Transformer², um framework de autoadaptação projetado para melhorar o desempenho dos LLMs, abrindo caminho para sistemas de IA dinâmicos e auto-organizados. Diferentemente dos sistemas de IA tradicionais que são pré-treinados para tarefas específicas, o Transformer² ajusta dinamicamente suas configurações internas para lidar com diversos desafios, que vão desde

  • Matemática: resolver problemas complexos com precisão.
  • Codificação: auxiliar desenvolvedores com geração e depuração de código.
  • Raciocínio: enfrentar desafios lógicos com proficiência semelhante à humana.
  • Compreensão visual: analisar imagens e padrões complexos de forma efetiva.

Modelos autoadaptativos visam solucionar os desafios apresentados pelos métodos tradicionais de ajuste fino, que geralmente são computacionalmente intensivos e estáticos em sua capacidade de lidar com diversas tarefas. Para desenvolver o Transformers², a equipe de IA da Sakana se inspirou em como o cérebro humano se reconecta após uma lesão. Primeiro, o modelo analisa a tarefa recebida para entender seus requisitos antes de tentar aprender; então, se ajusta dinamicamente e fornece resultados personalizados para essa tarefa.

Este é um conteúdo exclusivo para assinantes.

Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.

É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.

Agentes de IA viram motor estratégico e reescrevem o manual das empresas

Inteligência Artificial

Agentes de IA viram motor estratégico e reescrevem o manual das empre...

Os agentes de IA saem da fase experimental e assumem o papel de motor estratégico das empresas, exigindo novas métricas, requalificação e foco em inclusão digital

Chain of Thought é bom. Chain of Debate é muito melhor

Inteligência Artificial

Chain of Thought é bom. Chain of Debate é muito melhor

E se sua IA argumentasse, duvidasse e mudasse de ideia a partir da troca de ideias e do feedback de outras IAs? Todas debatendo, depurando, deliberando. É a proposta da Microsoft.

IA avança fora das empresas, mas trava dentro dos escritórios

Inteligência Artificial

IA avança fora das empresas, mas trava dentro dos escritórios

Apesar do uso pessoal elevado, o uso de IA dentro das empresas estagnou em 51%. Estudo global do BCG mostra que treinamento, ferramentas e apoio da liderança são cruciais para capturar valor e reduzir o medo da substituição por máquina...

Por dentro da transformação AI-First na Evertec + Sinqia

Inteligência Artificial

Por dentro da transformação AI-First na Evertec + Sinqia

Se você está tentando descobrir como tornar a IA uma parte essencial do DNA da sua empresa, em vez de apenas mais uma iniciativa tecnológica, esta conversa oferece um modelo viável.

Na berlinda, o rumo à superinteligência

Inteligência Artificial

Na berlinda, o rumo à superinteligência

A Apple diz que os LLMs não conseguem realmente raciocinar, enquanto Sam Altman declara que a "singularidade suave" será inevitável até 2030. Quem tem razão?

“Quem lidera precisa entender IA – não para codificar, mas para direcionar”

Inteligência Artificial

“Quem lidera precisa entender IA – não para codificar, mas para d...

Em entrevista à The Shift, Marcelo Braga, presidente da IBM Brasil, defende que a IA não é só uma tecnologia, mas uma transformação estrutural que exige experimentação, letramento no topo e uma nova forma de liderar