Modelos de linguagem cada vez maiores não são o futuro. Pelo menos não na visão do CEO da OpenAI, Sam Altman. “Acho que estamos no fim da era desses modelos gigantes, e vamos torná-los melhores de outras maneiras”, disse ele na semana passada, durante um evento do MIT. "É melhor focar em aumentar rapidamente a capacidade, em vez de na contagem de parâmetros", explicou.
Altman já havia dito algo parecido durante sua conversa com Lex Fridman, publicada aqui semanas atrás. A ideia é obter melhorias de capacidade com contagens de parâmetros mais baixas ou aproveitando vários modelos menores juntos. O que sugere que o GPT-4 pode ser o último avanço da IA fruto da estratégia de tornar os modelos maiores e alimentá-los com mais dados. Infelizmente, Altman não detalhou as estratégias ou técnicas de pesquisa que poderiam substituí-la. "Existem muitas maneiras de tornar os modelos Transformers melhores e mais úteis, e muitas delas não envolvem a adição de parâmetros ao modelo", concorda Nick Frostst, da Cohere.
A questão é quanto progresso virá de novos designs de modelos, arquiteturas, aprimoramento da eficiência de dados, avanço de técnicas algorítmicas ou ajuste adicional, propostos por muitos. Técnicas como as dos modelos ajustados para tarefas específicas provavelmente trarão progresso, mas talvez nada parecido com o que vimos nos últimos anos. A esperança é que mantenham o ritmo, reduzindo o custo de desenvolvimento.
Este é um conteúdo exclusivo para assinantes.
Cadastre-se grátis para ler agora
e acesse 5 conteúdos por mês.
É assinante ou já tem senha? Faça login. Já recebe a newsletter? Ative seu acesso.
O relatório publicado pelo HAI mostrou o amento significativo de foundation models. Apesar disso existe o desafio devido 72% desses lançamentos pertencem à indústria privada.
Muitos heavy users exigirão além do que a tecnologia pode entregar, e as próprias corporações, sem políticas de inovação nem dados estruturados, deixarão de aproveitar a promessa de eficiência
Daniela Rus, roboticista e diretora do MIT CSAIL em parceria com Gregory Mone mostram como a robótica pode auxiliar a humanidade no futuro em um novo livro.
O relatório anual Enterprise Tech 30, que publica a lista das startups de tecnologia corporativa mais promissoras, na visão dos grandes VCs, mostra startups de IA ocupando espaços do SaaS.
"Momento desânimo" na comunidade de IA. A constatação de que os bilhões de dólares investidos não vão retornar tão rápido, faz nascer a ideia de uma bolha de IA Generativa. Mas...
Pensando na carreira? Tem cargo novo no mercado: Chefe Global de IA Generativa.
Aproveite nossas promoções de renovação
Clique aquiPara continuar navegando como visitante, vá por aqui.
Cadastre-se grátis, leia até 5 conteúdos por mês,
e receba nossa newsletter diária.
Já recebe a newsletter? Ative seu acesso