Lumiere : l'IA (surpuissante) génératrice de vidéos de Google ?

Si de nombreux outils de génération d’images utilisant l’intelligence artificielle ont récemment vu le jour et connaissent souvent un grand succès, les outils similaires pour la vidéo sont un peu plus rares et beaucoup moins convaincants. C'est donc pour répondre à cette problématique qu'une équipe de chercheurs, dont certains travaillent pour le compte de Google Research, s'est attelée à mettre au point Lumiere, un nouveau modèle d'IA pour la génération vidéo.

Plutôt que d'assembler des séquences d'images individuelles, Lumière forme des vidéos entières en un seul processus, gérant simultanément le placement des objets et leur mouvement. Je cite les propos des chercheurs qui ont travaillé sur cette IA, "l’architecture Space-Time U-Net génère toute la durée de la vidéo en une seule fois, par le biais d'un seul passage dans le modèle. Cela contraste avec les modèles vidéo existants qui synthétisent des images clés distantes suivies d'une super-résolution temporelle" fin de citation. Dans le détail, Lumiere peut générer 80 images à une fréquence de 16 images par seconde, ce qui correspond à une séquence finale de 5 secondes. On est bien loin d'un long métrage, mais cette durée est conforme à la plupart des solutions existantes actuellement. Pour info, la résolution pour Lumiere est 1 024 x 1 024 pixels.

Si ces caractéristiques sont intéressantes, reste à savoir comment générer ces vidéos. Et bien vous pouvez simplement soumettre un prompt, une phrase descriptive à Lumiere. Comme pour les générateurs d’images traditionnels, il s’agit d’une simple description de ce que vous souhaitez comme rendu. L'IA peut également générer la vidéo à partir d'une image que vous lui soumettez. Et troisième possibilité enfin, ce modèle génère non seulement des vidéos, mais aussi, plus rarement, peut éditer et animer des vidéos existantes ou remplir des zones spécifiques ! Attention, Lumière est encore un projet de recherche et ne peut pas être testé pour le moment. Pour plus d'info sur le sujet, le lien de l'article présentant Lumiere par Google Research est dans le description de cet épisode.

Lumiere par Google Research : https://arxiv.org/pdf/2401.12945.pdf

Hébergé par Acast. Visitez acast.com/privacy pour plus d'informations.