LUMIERE

Programa de inteligencia artificial que convierte tus fotos o texto en vídeo.

Presentamos Lumiere, un modelo de propagación de texto a video diseñado para sintetizar videos que representan movimientos realistas, diversos y coherentes, un desafío crucial en la síntesis de videos.

Con este fin, introducimos una arquitectura U-Net espacio-temporal que genera la duración temporal completa del video a la vez con una sola pasada en el modelo.

Esto contrasta con los modelos de vídeo existentes que sintetizan fotogramas clave remotos y luego superresolución temporal; Este es un enfoque que inherentemente hace que sea difícil lograr una coherencia temporal global. Nuestro modelo aprende a renderizar directamente un video de baja resolución y velocidad de fotogramas completa mediante la distribución de muestreo descendente y ascendente tanto espacial como (lo más importante) temporal y aprovechando un modelo de propagación de texto a imagen previamente entrenado. múltiples escalas espacio-temporales. Demostramos resultados de conversión de texto a video de última generación y demostramos que nuestro diseño facilita fácilmente una amplia gama de tareas de creación de contenido y aplicaciones de edición de video, incluida la conversión de imagen a video, pintura de video y renderizado estilizado.