s
INTELIGÊNCIA ARTIFICIAL

A quantidade de parâmetros pode deixar de ser referência para os LLMs

Segundo Sam Altman, CEO da OpenAI, estamos no fim da era dos modelos gigantescos. A indústria vai torná-los melhores de outras maneiras

Modelos de linguagem cada vez maiores não são o futuro. Pelo menos não na visão do CEO da OpenAI, Sam Altman. “Acho que estamos no fim da era desses modelos gigantes, e vamos torná-los melhores de outras maneiras”, disse ele na semana passada, durante um evento do MIT. "É melhor focar em aumentar rapidamente a capacidade, em vez de na contagem de parâmetros", explicou.

Altman já havia dito algo parecido durante sua conversa com Lex Fridman, publicada aqui semanas atrás. A ideia é obter melhorias de capacidade com contagens de parâmetros mais baixas ou aproveitando vários modelos menores juntos. O que sugere que o GPT-4 pode ser o último avanço da IA fruto da estratégia de tornar os modelos maiores e alimentá-los com mais dados. Infelizmente, Altman não detalhou as estratégias ou técnicas de pesquisa que poderiam substituí-la. "Existem muitas maneiras de tornar os modelos Transformers melhores e mais úteis, e muitas delas não envolvem a adição de parâmetros ao modelo", concorda Nick Frostst, da Cohere.

A questão é quanto progresso virá de novos designs de modelos, arquiteturas, aprimoramento da eficiência de dados, avanço de técnicas algorítmicas ou ajuste adicional, propostos por muitos. Técnicas como as dos modelos ajustados para tarefas específicas provavelmente trarão progresso, mas talvez nada parecido com o que vimos nos últimos anos. A esperança é que mantenham o ritmo, reduzindo o custo de desenvolvimento.

Este é um conteúdo exclusivo para assinantes.

Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.

É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.

Investimentos em IA batem recorde de US$ 110 bilhões em 2024

Inteligência Artificial

Investimentos em IA batem recorde de US$ 110 bilhões em 2024

Startups de Inteligência Artificial atraem 62% mais capital de risco, com EUA liderando o mercado global

IA Generativa e o risco da atrofia cognitiva: Estamos perdendo nossa capacidade de pensar?

Inteligência Artificial

IA Generativa e o risco da atrofia cognitiva: Estamos perdendo nossa c...

Estudos mostram que confiar cegamente na IA pode reduzir a habilidade humana de questionamento e tomada de decisões. Saiba como profissionais e empresas podem evitar essa armadilha

Elon Musk quer mesmo comprar a OpenAI?

Inteligência Artificial

Elon Musk quer mesmo comprar a OpenAI?

Há quem diga que o real objetivo de Musk não é comprar a empresa, mas sim sabotar os esforços contínuos de Sam Altman para arrecadar bilhões a mais para a OpenAI

IA de código aberto ou marketing? O desafio de definir o que é realmente aberto

Inteligência Artificial

IA de código aberto ou marketing? O desafio de definir o que é realm...

A IA Open Source precisa ir além do acesso ao código. Especialistas discutem novas regras para garantir abertura, ética e inovação

Startups de IA: Como encontrar sua próxima ideia, segundo o Y Combinator

Inteligência Artificial

Startups de IA: Como encontrar sua próxima ideia, segundo o Y Combina...

Estratégias e conselhos de especialistas para encontrar ideias inovadoras e construir empresas de sucesso na era da Inteligência Artificial

Como superar as barreiras humanas na adoção da IA no trabalho

Inteligência Artificial

Como superar as barreiras humanas na adoção da IA no trabalho

A resistência à Inteligência Artificial não é tecnológica, mas comportamental. Veja como motivação, treinamento e incentivo podem acelerar a adoção da IA nas empresas