Stability AI lance Stable Video Diffusion, son générateur de vidéos
Stability AI, connu pour son générateur d’images Stable Diffusion, vient d’annoncer avoir mis en ligne une nouvelle IA qui permet d’animer des images en générant des vidéos de quelques secondes. Le code source est déjà disponible en accès libre.
Cela vous intéressera aussi
[EN VIDÉO] Une intelligence artificielle qui ajuste l’angle de prise de la photo Manipulation interactive basée sur des points du collecteur d’images génératives. © Projet DraGAN
Stable Diffusion XL fait partie des meilleures intelligences artificielles pour la génération d’images. Son créateur, Stability AI, vient d’annoncer le lancement d’une nouvelle IA, Stable Video Diffusion, pour la vidéo cette fois-ci. L’idée n’est pas novatrice, puisque Google, Meta, Nvidia et Adobe ont déjà montré des technologies similaires, et Meta a même annoncé l’intégration prochaine dans Facebook et Instagram. Mais, pour l’instant, leurs IA ne sont pas en accès public.
Stable Video Diffusion permet de générer des vidéos de quatre secondes. Impossible donc de créer un film, il s’agit plutôt d’images animées à l’instar des GIF. C’est d’ailleurs ainsi qu’il fonctionne puisqu’il part d’une image pour générer la vidéo. Stable Diffusion proposera également une interface pour générer des vidéos à partir d’un texte, en combinant sa nouvelle IA avec une version de Stable Diffusion. Pour s’assurer de la qualité des vidéos, la firme a fait appel à des volontaires pour tester son IA face à ses principaux concurrents en accès public, à savoir Runway Gen-2 et Pika Labs. Ceux-ci ont jugé que la qualité des clips produits par Stable Video Diffusion était largement supérieure.
Le code source publié en ligne
Le modèle a été entraîné sur une base de données d’environ 600 millions de vidéos, et génère des clips avec une définition de 576 x 1 024 pixels. L’IA se décline en deux versions. La première s’appelle SVD et permet de générer des vidéos contenant 14 images par seconde, tandis que la seconde est baptisée SVD-XT et est optimisée pour la génération de vidéos en 25 images par seconde.
L’une des particularités qui distingue Stability AI de ses concurrents est que la firme publie le code source de ses modèles en ligne, ce qui signifie que n’importe qui peut les utiliser sur son propre matériel, à condition d’avoir les connaissances techniques nécessaires. Le code est disponible sur sa page GitHub, tandis que la pondération nécessaire pour exécuter le modèle localement est disponible sur sa page Hugging Face.
