s
INTELIGÊNCIA ARTIFICIAL

A quantidade de parâmetros pode deixar de ser referência para os LLMs

Segundo Sam Altman, CEO da OpenAI, estamos no fim da era dos modelos gigantescos. A indústria vai torná-los melhores de outras maneiras

Modelos de linguagem cada vez maiores não são o futuro. Pelo menos não na visão do CEO da OpenAI, Sam Altman. “Acho que estamos no fim da era desses modelos gigantes, e vamos torná-los melhores de outras maneiras”, disse ele na semana passada, durante um evento do MIT. "É melhor focar em aumentar rapidamente a capacidade, em vez de na contagem de parâmetros", explicou.

Altman já havia dito algo parecido durante sua conversa com Lex Fridman, publicada aqui semanas atrás. A ideia é obter melhorias de capacidade com contagens de parâmetros mais baixas ou aproveitando vários modelos menores juntos. O que sugere que o GPT-4 pode ser o último avanço da IA fruto da estratégia de tornar os modelos maiores e alimentá-los com mais dados. Infelizmente, Altman não detalhou as estratégias ou técnicas de pesquisa que poderiam substituí-la. "Existem muitas maneiras de tornar os modelos Transformers melhores e mais úteis, e muitas delas não envolvem a adição de parâmetros ao modelo", concorda Nick Frostst, da Cohere.

A questão é quanto progresso virá de novos designs de modelos, arquiteturas, aprimoramento da eficiência de dados, avanço de técnicas algorítmicas ou ajuste adicional, propostos por muitos. Técnicas como as dos modelos ajustados para tarefas específicas provavelmente trarão progresso, mas talvez nada parecido com o que vimos nos últimos anos. A esperança é que mantenham o ritmo, reduzindo o custo de desenvolvimento.

Este é um conteúdo exclusivo para assinantes.

Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.

É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.

2024, o iníco da era AI Everywhere

Inteligência Artificial

2024, o iníco da era AI Everywhere

Em três anos, segundo o IDC, a IA vai se espalhar por toda a corporação, culminando com a criação de novos negócios. Estamos no início de um processo evolutivo que exige adaptação e aprendizado

A OpenAI e os superpoderes de IA, sob demanda

Inteligência Artificial

A OpenAI e os superpoderes de IA, sob demanda

O lançamento de GPTs oferece um vislumbre do futuro, onde não-desenvolvedores poderão facilmente criar e compartilhar agentes para ajudar em praticamente qualquer atividade

Tendências em Inteligência Artificial para 2024

Inteligência Artificial

Tendências em Inteligência Artificial para 2024

Estamos à beira de uma revolução promovida pelos LLMs que promete ser extraordinária. Então, preparem-se: o melhor ainda está por vir! Até 2030, 70% dos processos decisórios serão habilitados por IA

Começou a temporada de previsões sobre o futuro da IA em 2024

Inteligência Artificial

Começou a temporada de previsões sobre o futuro da IA em 2024

Será que os prognósticos dão conta de entender corretamente o abalo sísmico que está por vir?

Inteligência Artificial no RH tem que ser transparente e explicável

Inteligência Artificial

Inteligência Artificial no RH tem que ser transparente e explicável

O mercado de IA para recursos humanos vai movimentar US$ 590,5 bilhões em 2023. O uso se amplia, mas exige cuidados. Automação, só com muita supervisão humana, e sem caixas pretas.

A IA e a revolução das competências

Inteligência Artificial

A IA e a revolução das competências

Especialistas se debruçam sobre duas perguntas fundamentais para os próximos anos: quando (e quanto) a IA multiplica a inteligência humana, e quais competências precisamos adquirir para a interação valer a pena