Nl

TECH

L'IA à l'assaut de la vidéo

Jeudi 7 Mars 2024

L'IA à l'assaut de la vidéo

Après la génération de textes, d’images fixes et de sons, c’est sur la vidéo que se concentrent les développeurs. Nicolas Bataille avait déjà listé les principaux outils dans sa chronique dont le dernier en date, le Sora d’OpenAI.

Comme il est maintenant de coutume, pas une semaine ne se passe sans l’annonce d’un nouvel outil ou du développement de nouvelles fonctionnalités d’outils existants. Dans la première catégorie se retrouve LTX Studio, qui permet de créer un storyboard complet sur base d’un simple prompt pour ensuite l’affiner image par image, plan par plan, à coups de nouveaux prompts.
Pas encore prêt pour générer un long métrage mais certainement pour la production de courtes vidéos ou pour construire le storyboard d’un clip publicitaire.

Morph Studio propose un outil similaire en partenariat avec Stability AI.
De son côté, Google a dévoilé Lumière, une IA capable de créer des vidéos de grande qualité sur base d’une image ou d’une simple requête textuelle.
Mais la nouveauté la plus spectaculaire nous arrive de Chine avec  EMO (Emote Portrait Alive), issue de l’Institute for Intelligent Computing d’Alibaba. Cette IA permet de créer une vidéo sur base d’une image et d’un fichier son. Il est donc possible d’associer un portrait avec une bande son et de générer une vidéo dans laquelle le personnage chante. Le résultat est bluffant.
En matière de développement, on notera la fonction Lip Sync de Pika Labs qui utilise les capacités d’ElevenLabs pour synchroniser le mouvement des lèvres des personnages créés avec Pika.

Archive / TECH