s
INTELIGÊNCIA ARTIFICIAL

A quantidade de parâmetros pode deixar de ser referência para os LLMs

Segundo Sam Altman, CEO da OpenAI, estamos no fim da era dos modelos gigantescos. A indústria vai torná-los melhores de outras maneiras

Modelos de linguagem cada vez maiores não são o futuro. Pelo menos não na visão do CEO da OpenAI, Sam Altman. “Acho que estamos no fim da era desses modelos gigantes, e vamos torná-los melhores de outras maneiras”, disse ele na semana passada, durante um evento do MIT. "É melhor focar em aumentar rapidamente a capacidade, em vez de na contagem de parâmetros", explicou.

Altman já havia dito algo parecido durante sua conversa com Lex Fridman, publicada aqui semanas atrás. A ideia é obter melhorias de capacidade com contagens de parâmetros mais baixas ou aproveitando vários modelos menores juntos. O que sugere que o GPT-4 pode ser o último avanço da IA fruto da estratégia de tornar os modelos maiores e alimentá-los com mais dados. Infelizmente, Altman não detalhou as estratégias ou técnicas de pesquisa que poderiam substituí-la. "Existem muitas maneiras de tornar os modelos Transformers melhores e mais úteis, e muitas delas não envolvem a adição de parâmetros ao modelo", concorda Nick Frostst, da Cohere.

A questão é quanto progresso virá de novos designs de modelos, arquiteturas, aprimoramento da eficiência de dados, avanço de técnicas algorítmicas ou ajuste adicional, propostos por muitos. Técnicas como as dos modelos ajustados para tarefas específicas provavelmente trarão progresso, mas talvez nada parecido com o que vimos nos últimos anos. A esperança é que mantenham o ritmo, reduzindo o custo de desenvolvimento.

Este é um conteúdo exclusivo para assinantes.

Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.

É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.

A IA está sendo usada adequadamente nos negócios?

Inteligência Artificial

A IA está sendo usada adequadamente nos negócios?

A maioria das empresas do relatório Most Innovative Companies 2023 implementou algum tipo de uso da IA, mas só 45% conseguiram impactos mensuráveis nos negócios

A experiência da Nestlé com o ChatGPT

Inteligência Artificial

A experiência da Nestlé com o ChatGPT

Leite condensado e inovação: envolver diferentes equipes em torno de uma experimentação de tecnologia é difícil, mas compensador

CEO da OpenAI vai a Washington

Inteligência Artificial

CEO da OpenAI vai a Washington

Sam Altman disse aos senadores americanos que é preciso criar regulamentos e licenças para sistemas de Inteligência Artificial

Europeus tornam o AI ACT mais rígido, próximo da aprovação

Inteligência Artificial

Europeus tornam o AI ACT mais rígido, próximo da aprovação

Texto da futura lei europeia passa a incluir regras para controlar a IA Generativa e o banimento de vários tipos de sistemas de identificação e categorização biométrica e de reconhecimento de emoções

Um minúsculo computador vestível

Inteligência Artificial

Um minúsculo computador vestível

Startup Humane rouba a cena do Google com a demonstração do computador quase invisível e sua IA pessoal

O próximo movimento da Inteligência Artificial

Inteligência Artificial

O próximo movimento da Inteligência Artificial

A regulação da IA continua forte na pauta, mas será que ela poderá segurar a proliferação dos modelos de código aberto da tecnologia?