Estamos atingindo os limites de escala da IA?

Quando a OpenAI lançou o GPT-4 em março de 2023, ajudou a consolidar o conceito das Leis de Escala (Scaling Laws). O GPT-4 era cerca de 10 vezes maior do que o modelo que alimentava o ChatGPT original, e seu tamanho maior produziu um salto significativo no desempenho dos GPTs. Desde então, o mercado passou a ansiar por um GPT-5, gigantesco e poderoso. Mas 18 meses depois, a OpenAI limitou-se a lançar vários outros modelos com capacidades impressionantes, incluindo o GPT-4o, em maio, e o o1, em setembro, sem revelar o tamanho desses modelos. Hoje, acredita-se amplamente que eles não são muito maiores do que o GPT-4 original — e podem até ser menores.

A história tem sido semelhante em outros laboratórios líderes em IA. Alguns meses atrás, tanto Google quanto Anthropic atualizaram seus modelos de pequeno e médio porte (Sonnet 3.5 e Haiku 3.5 para Anthropic, Pro 1.5 e Flash 1.5 para Google). Mas ainda estamos esperando por atualizações correspondentes para seus modelos maiores (Opus 3.5 para o Anthropic e Ultra 1.5 para o Google).

As leis de escala estão perdendo força? A revolução da IA Generativa — construída com base na crença de que os modelos continuarão melhorando à medida que crescem vertiginosamente — começa a estagnar?