Texto para vídeo, a próxima fronteira

Modelos como DALL-E, Midjourney e Stable Diffusion capturaram a imaginação não apenas da comunidade de IA, como também de artistas, designers e criativos, em muitos domínios diferentes. Mas, nem bem eles começaram a aproveitar o surpreendente progresso desses sistemas de texto para imagem e já estamos avançando para a próxima fronteira: texto para vídeo. Na semana passada, a Meta revelou o Make-A-Video, um sistema de IA que gera vídeos de cinco segundos a partir de prompts de texto.

Construído usando conjuntos de dados de código aberto, a aplicação transforma descrições do tipo “um cachorro vestindo uma roupa de super-herói com uma capa vermelha voando pelo céu” em um clipe que, embora bastante preciso, tem a estética de um vídeo caseiro antigo e algumas imperfeições perceptíveis até para crianças.

De todo modo, estamos diante de um avanço na IA generativa que também levanta algumas questões éticas difíceis. Criar vídeos a partir de prompts de texto é muito mais desafiador e caro do que gerar imagens, e impressiona que a Meta tenha criado uma maneira de realizar isso tão rapidamente. Modelos assim precisam de muito poder de computação. Eles são um aumento computacional ainda maior do que grandes modelos de IA de texto para imagem, que usam milhões de imagens para treinar, porque montar apenas um vídeo curto requer centenas de imagens. E também são mais difíceis de treinar, porque não há tantos conjuntos de vídeos de alta qualidade, e larga escala, devidamente rotulados.