L'IA DeepMind de Google peut désormais produire des bandes-son complètes pour les vidéos

De la même manière que pour les autres types de contenus, le processus de création “vidéo à audio” (V2A) utilise des instructions écrites en langage naturel — combinées avec des pixels vidéo — pour produire des paysages sonores riches qui accompagnent les vidéos. Google associe sa technologie V2A à des modèles de création vidéo tels que Veo pour générer des scènes incluant une bande sonore spécifique, des effets sonores réalistes, voire même des dialogues attribués aux personnages et adaptés à leur intonation.

En plus de ça, cette technologie peut générer des bandes sonores pour des séquences plus traditionnelles comme les films muets, des documents d'archives, etc., ce qui ouvre un monde de possibilités énorme pour s’exprimer créativement.

Comme l'explique Google, le modèle V2A a été conçu pour être efficace et facile à utiliser afin d’offrir aux créateur·rice·s un contrôle artistique optimal. Les utilisateur·rice·s peuvent opter pour une « invite positive », qui vise à orienter le résultat généré vers les sons souhaités, ou pour une « invite négative », qui précise quels sons ne doivent pas être utilisés. De plus, le V2A peut générer un nombre illimité de bandes-son pour n'importe quelle vidéo.

Dans son communiqué de presse, Google a annoncé que ses chercheur·euse·s avaient exploré des « approches autorégressives et de diffusion afin de trouver l'architecture IA la plus évolutive ». L'approche basée sur la diffusion pour la génération audio aurait fourni les résultats les plus réalistes en ce qui concerne la synchronisation de l'audio et de la vidéo.

Pour générer un paysage sonore, le système V2A commence par « encoder l'entrée vidéo dans une représentation compressée ». Le modèle de diffusion affine ensuite itérativement le son à partir de bruits aléatoires - un processus guidé par l'entrée visuelle et les invites en langage naturel, ce qui permet d'obtenir un son synchronisé et réaliste qui correspond étroitement à l'invite. Enfin, la sortie audio est décodée, transformée en forme d'onde audio et combinée aux données vidéo.

Pour garantir une meilleure qualité audio et permettre de générer des sons spécifiques, l'équipe de développement a ajouté davantage d'informations au processus de formation. Il s'agit notamment d'annotations générées par l'IA avec des transcriptions de dialogues parlés et des descriptions détaillées de sons.

De plus, en entraînant la vidéo, l'audio et les annotations supplémentaires, la technologie V2A apprend à mieux associer les événements audio à des scènes visuelles spécifiques, tout en répondant aux données fournies dans les transcriptions ou les annotations.