s
INTELIGÊNCIA ARTIFICIAL

A quantidade de parâmetros pode deixar de ser referência para os LLMs

Segundo Sam Altman, CEO da OpenAI, estamos no fim da era dos modelos gigantescos. A indústria vai torná-los melhores de outras maneiras

Modelos de linguagem cada vez maiores não são o futuro. Pelo menos não na visão do CEO da OpenAI, Sam Altman. “Acho que estamos no fim da era desses modelos gigantes, e vamos torná-los melhores de outras maneiras”, disse ele na semana passada, durante um evento do MIT. "É melhor focar em aumentar rapidamente a capacidade, em vez de na contagem de parâmetros", explicou.

Altman já havia dito algo parecido durante sua conversa com Lex Fridman, publicada aqui semanas atrás. A ideia é obter melhorias de capacidade com contagens de parâmetros mais baixas ou aproveitando vários modelos menores juntos. O que sugere que o GPT-4 pode ser o último avanço da IA fruto da estratégia de tornar os modelos maiores e alimentá-los com mais dados. Infelizmente, Altman não detalhou as estratégias ou técnicas de pesquisa que poderiam substituí-la. "Existem muitas maneiras de tornar os modelos Transformers melhores e mais úteis, e muitas delas não envolvem a adição de parâmetros ao modelo", concorda Nick Frostst, da Cohere.

A questão é quanto progresso virá de novos designs de modelos, arquiteturas, aprimoramento da eficiência de dados, avanço de técnicas algorítmicas ou ajuste adicional, propostos por muitos. Técnicas como as dos modelos ajustados para tarefas específicas provavelmente trarão progresso, mas talvez nada parecido com o que vimos nos últimos anos. A esperança é que mantenham o ritmo, reduzindo o custo de desenvolvimento.

Este é um conteúdo exclusivo para assinantes.

Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.

É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.

Por dentro da transformação AI-First na Evertec + Sinqia

Inteligência Artificial

Por dentro da transformação AI-First na Evertec + Sinqia

Se você está tentando descobrir como tornar a IA uma parte essencial do DNA da sua empresa, em vez de apenas mais uma iniciativa tecnológica, esta conversa oferece um modelo viável.

Na berlinda, o rumo à superinteligência

Inteligência Artificial

Na berlinda, o rumo à superinteligência

A Apple diz que os LLMs não conseguem realmente raciocinar, enquanto Sam Altman declara que a "singularidade suave" será inevitável até 2030. Quem tem razão?

“Quem lidera precisa entender IA – não para codificar, mas para direcionar”

Inteligência Artificial

“Quem lidera precisa entender IA – não para codificar, mas para d...

Em entrevista à The Shift, Marcelo Braga, presidente da IBM Brasil, defende que a IA não é só uma tecnologia, mas uma transformação estrutural que exige experimentação, letramento no topo e uma nova forma de liderar

Indicadores para medir a IA em termos humanos

Inteligência Artificial

Indicadores para medir a IA em termos humanos

Em meio a tantas promessas e exageros sobre o que a Inteligência Artificial pode fazer, o índice da OCDE é ferramenta valiosa para a tomada de decisões informada, separando o hype da realidade.

IA no organograma: os novos cidadãos corporativos das empresas

Inteligência Artificial

IA no organograma: os novos cidadãos corporativos das empresas

Agentes de IA já dividem tarefas com humanos e exigem novas estruturas de trabalho, gestão e confiança nas organizações

Brasil acelera na adoção de IA: 61% dos CEOs já usam agentes inteligentes

Inteligência Artificial

Brasil acelera na adoção de IA: 61% dos CEOs já usam agentes inteli...

Estudo do IBM Institute for Business Value mostra que os líderes brasileiros estão à frente da média global no uso de Inteligência Artificial, reconfigurando estratégias, processos e culturas para não ficarem para trás