A corrida da IA no text-to-video

Primeiro, a OpenAI deu ao ChatGPT a capacidade de lembrar conversas anteriores com os usuários, bem como seus detalhes e preferências pessoais. Em seguida, o Google lançou seu modelo mais potente, o Gemini 1.0 Ultra, em uma versão ampla. Em seguida, lançou de forma limitada um novo modelo Gemini 1.5 Pro com a mesma capacidade do Ultra, mas em um pacote menor e mais barato. O que torna o 1.5 Pro especial é sua "janela de contexto" notavelmente grande. Pode analisar uma hora de vídeo, 11 horas de áudio ou cerca de sete livros de texto. E, entre seus poderes, criar vídeos a partir de descrições. Na sequência, a OpenAI apresentou o Sora, um novo modelo de geração de texto para vídeo que pode produzir vídeos de um minuto com qualidade impressionante (e algumas alucinações).

O que poucos se deram conta foi que o movimento todo começou quando a Meta (outra concorrente de peso) publicou um artigo sobre a iniciativa V-JEPA (Video Joint Embedding Predictive Architecture). Pesquisadores da empresa encontraram uma forma de exigir menos dos algoritmos. Em vez de pedir aos algoritmos que encontrem padrões em cada píxel em movimento de um vídeo, eles selecionam um trecho importante da cena e pedem ao software para adivinhar, em termos gerais, o que está faltando.

A OpenAI e o Google fizeram seus anúncios focados no tripé:

• Texto para vídeo: geração de vídeos sem esforço de até 60 segundos a partir de simples solicitações de texto. Há vários exemplos do Sora aqui.
• Imagem em vídeo: transformação de imagens estáticas em cenas dinâmicas com movimento contínuo.
• Aprimoramento de vídeo: adição de novas sequências a vídeos pré-existentes.