O que são os tais “foundation models”, da Universidade de Stanford?

Este mês, o Institute for Human-Centered Artificial Intelligence (HAI), da Universidade de Stanford, anunciou um braço de pesquisa inovador, o Center for Research on Foundation Models (CRFM), que reúne um grupo interdisciplinar de professores, alunos, pós-doutores e pesquisadores de mais de 10 departamentos com  um interesse comum: estudar e construir foundation models responsáveis.

Não sabe o que são foundation models? Tudo bem. O termo acaba de ser criado por esse grupo, para definir um novo paradigma de sucesso para a construção de sistemas de IA: o treinamento de modelos capazes de lidar com uma grande quantidade de dados, adaptáveis à criação de múltiplas aplicações. Um bom exemplo desses modelos hoje é o GPT-3, da OpenAI, com seus 175 bilhões de parâmetros e  treinado em 570 gigabytes de texto, que agora capacita centenas de aplicativos que processam bilhões de palavras todos os dias.

O aprendizado de máquina está passando por uma mudança de paradigma com o surgimento de modelos treinados em grande escala, incluindo o BERT do Google , o DALL -E da OpenAI e o Jurassic-1, da AI21 Labs. Seus recursos e melhorias dramáticas de desempenho estão levando a um novo status quo: um único modelo treinado em conjuntos de dados brutos que podem ser adaptados para uma ampla gama de aplicações. Na verdade, a OpenAI está supostamente desenvolvendo um sistema multimodal treinado em imagens, texto e outros dados usando recursos computacionais massivos, que a liderança da empresa acredita ser o caminho mais promissor para AGI - a IA que pode aprender qualquer tarefa que um ser humano pode.