Pequenos Modelos de Linguagem: Por que menor às vezes é melhor

Esta semana marca mais uma tendência em IA com o surgimento de pequenos modelos de linguagem da Hugging Face, Mistral AI, Nvidia e OpenAI, entre outros. Essas e outras empresas estão voltando sua atenção para modelos menos potentes, esperando que custos mais baixos e desempenho sólido conquistem mais clientes.

Devemos esperar ver modelos 100 vezes menores e mais baratos nos próximos um a dois anos. "Em cinco, eles se tornarão mais eficientes, os LLMs continuarão a se tornar mais baratos de treinar e a inferência de LLM se tornará generalizada”, profetizou Bindu Reddy, a CEO da Abacus.AI.

Na prática, começa a ficar muito claro que, para muitas tarefas, como resumir documentos ou gerar imagens, modelos grandes podem ser um exagero. Como consequência, os consumidores têm buscado maneiras de executar tecnologia generativa baseada em IA de forma mais barata, principalmente nessa fase em que os retornos do investimento em IA Generativa ainda não são claros. Como os Small Language Models (SLMs) usam menos poder de computação, eles podem responder perguntas por apenas um sexto do custo de modelos de linguagem grandes em muitos casos, calcula Yoav Shoham, cofundador da AI21 Labs.