> incroyable ! une IA fait parler ou chanter une simple photo...
EMO : Emote Portrait Alive - Génération de vidéos de portraits expressifs à l'aide d'un modèle de diffusion audio2vidéo dans des conditions faibles
Nous avons proposé EMO, un cadre de génération de portraits-vidéos expressifs pilotés par l'audio. À partir d'une image de référence unique et de l'audio vocal, par exemple la parole et le chant, notre méthode peut générer des vidéos d'avatars vocaux avec des expressions faciales expressives et diverses poses de la tête, tout en générant des vidéos d'une durée quelconque en fonction de la longueur de la vidéo d'entrée.
Faire chanter un portrait
Notre méthode permet de générer des vidéos d'avatars vocaux avec des expressions faciales expressives et diverses poses de la tête. En outre, nous pouvons générer des vidéos de n'importe quelle durée en fonction de la longueur de l'audio d'entrée. Notre méthode peut également conserver les identifications des personnages sur une longue durée.
Langues et styles de portrait différents
Notre méthode prend en charge les chansons dans différentes langues et donne vie à divers styles de portrait. Elle reconnaît intuitivement les variations de tonalité dans l'audio, ce qui permet de générer des avatars dynamiques et riches en expressions.
Rythme rapide
L'avatar entraîné peut suivre des rythmes rapides, garantissant que même les paroles les plus rapides sont synchronisées avec des animations de personnages expressives et dynamiques.
Parler avec différents personnages
Notre approche ne se limite pas au traitement d'entrées audio provenant de chants, elle peut également prendre en charge des sons parlés dans différentes langues. En outre, notre méthode permet d'animer des portraits d'époques révolues, des peintures, des modèles 3D et des contenus générés par l'IA, en leur insufflant un mouvement et un réalisme réalistes.
Représentation croisée d'acteurs
Explorer les applications potentielles de notre méthode, qui permet de dresser le portrait de personnages de cinéma qui se livrent à des monologues ou à des performances dans des langues et des styles différents. Nous pouvons ainsi élargir les possibilités de représentation de personnages dans des contextes multilingues et multiculturels. - source -
