s
INTELIGÊNCIA ARTIFICIAL

A quantidade de parâmetros pode deixar de ser referência para os LLMs

Segundo Sam Altman, CEO da OpenAI, estamos no fim da era dos modelos gigantescos. A indústria vai torná-los melhores de outras maneiras

Modelos de linguagem cada vez maiores não são o futuro. Pelo menos não na visão do CEO da OpenAI, Sam Altman. “Acho que estamos no fim da era desses modelos gigantes, e vamos torná-los melhores de outras maneiras”, disse ele na semana passada, durante um evento do MIT. "É melhor focar em aumentar rapidamente a capacidade, em vez de na contagem de parâmetros", explicou.

Altman já havia dito algo parecido durante sua conversa com Lex Fridman, publicada aqui semanas atrás. A ideia é obter melhorias de capacidade com contagens de parâmetros mais baixas ou aproveitando vários modelos menores juntos. O que sugere que o GPT-4 pode ser o último avanço da IA fruto da estratégia de tornar os modelos maiores e alimentá-los com mais dados. Infelizmente, Altman não detalhou as estratégias ou técnicas de pesquisa que poderiam substituí-la. "Existem muitas maneiras de tornar os modelos Transformers melhores e mais úteis, e muitas delas não envolvem a adição de parâmetros ao modelo", concorda Nick Frostst, da Cohere.

A questão é quanto progresso virá de novos designs de modelos, arquiteturas, aprimoramento da eficiência de dados, avanço de técnicas algorítmicas ou ajuste adicional, propostos por muitos. Técnicas como as dos modelos ajustados para tarefas específicas provavelmente trarão progresso, mas talvez nada parecido com o que vimos nos últimos anos. A esperança é que mantenham o ritmo, reduzindo o custo de desenvolvimento.

Este é um conteúdo exclusivo para assinantes.

Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.

É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.

Desalinhamento na OpenAI

Inteligência Artificial

Desalinhamento na OpenAI

Após uma semana do lançamento do ChatGPT 4o a OpenAI se envolveu em uma série de polêmicas envolvendo o fechamento da equipe de Superalinhamento e um processo da atriz Scarlett Johansson.

Enfim o primeiro AI OS?

Inteligência Artificial

Enfim o primeiro AI OS?

Os anúncios da Microsoft durante a conferência Build mostram que estamos quase chegando a um OS 100% integrado com IA.

Um chamado à comunidade de IA no Brasil

Inteligência Artificial

Um chamado à comunidade de IA no Brasil

Precisamos unir esforços em torno da ideia de uma "IA soberana" para o nosso país

Por Leonardo Santos *
O J.A.R.V.I.S. está mais próximo

Inteligência Artificial

O J.A.R.V.I.S. está mais próximo

Os lançamentos do GPT-4o, da OpenAI, e do Project Astra, do Google, mostram que estamos mais próximos das Inteligências Artificiais vistas no cinema.

A BYOAI já está entre nós

Inteligência Artificial

A BYOAI já está entre nós

Colaboradores estão cada vez mais utilizando ferramentas de inteligência artificial no trabalho por conta própria, revela estudo da Microsoft.

Modelos de linguagem têm limite?

Inteligência Artificial

Modelos de linguagem têm limite?

O lançamento do Phi-3 e do Snowflake Arctic mostra como os novos modelos de linguagem estão cada vez mais avançados.