Estamos entrando na era da “IA faz-tudo”

Anote aí: a multimodalidade será a norma da próxima era dos grandes modelos de linguagem (os LLMs). O que significa que eles serão treinados para lidar com combinações de texto, imagem, vídeo e prompts de código, abrindo muitos novos casos de uso e experiências de usuário. A OpenAI já trabalha nessa direção. E, não por acaso, o Google criou o Gemini para ser multimodal desde o lançamento.

"A IA multimodal se tornará o padrão, mesmo para aplicativos regulares de chatbot”, opina Robert Nishihara, CEO da Anyscale, a empresa por trás da estrutura de desenvolvimento Ray, que impulsionou grande parte do boom da IA Generativa.

O pulo do gato será a criação de LLMs multimodais desde sua concepção, exigindo mudanças ao nível de arquitetura. Embora já existam alguns modelos multimodais hoje, os recursos para lidar com diferentes tipos de dados foram costurados em cima de LLMs baseados em texto. Pesquisadores chineses endereçam bem essa necessidade de mudança de arquitetura em um paper apresentando o OneLLM, um grande modelo de linguagem multimodal (MLLM) que suporta oito modalidades diferentes de dados. Ficou curioso? Experimente a partir do que já foi liberado sobre o OneLLM no GitHub.