Dans ce travail, nous présentons une nouvelle technique robuste de génération de transitions qui peut servir de nouvel outil pour les animateurs 3D, basée sur les réseaux neuronaux antagonistes récurents. Le système synthétise des mouvements de haute qualité qui utilisent des key frames temporellement distinctes comme contraintes d'animation. Cela rappelle le travail d'interpolation dans les pipelines d'animation traditionnelle, où un animateur dessine des frames de mouvement entre les key frames fournies. Nous montrons d'abord qu'un modèle de prédiction de mouvement de pointe ne peut pas être facilement converti en un générateur de transitions robuste en ajoutant uniquement des informations de conditionnement sur les futures key frames. Pour résoudre ce problème, nous proposons ensuite deux nouveaux additive embedding modifiers qui sont appliqués à chaque pas de temps aux représentations latentes encodées à l'intérieur de l'architecture du réseau.
Un modifier est un embedding time-to-arrival qui permet des variations de la durée de transition avec un seul modèle. L'autre est un vecteur de bruit cible programmé qui permet au système d'être robuste aux distorsions de la cible et de générer différentes transitions à partir de key frames fixes. Pour évaluer qualitativement notre méthode, nous présentons un plugin personnalisé pour MotionBuilder qui utilise notre modèle entraîné pour réaliser des interpolations dans des scénarios de production. Pour évaluer quantitativement les performances des transitions et les généralisations à des horizons temporels plus longs, nous présentons des benchmarks bien définis d'interpolation sur un sous-ensemble de l'ensemble de données Human3.6M largement utilisé et sur LaFAN1, un nouvel ensemble de données de capture de mouvement de haute qualité plus adapté à la génération de transitions. Nous publions ce nouvel ensemble de données avec ce travail, accompagné du code correspondant pour reproduire nos résultats de base.
Lire l'article complet ici.
Authors
Félix G. Harvey (Polytechnique Montreal, Mila, Ubisoft Montreal),
Mike Yurick (Ubisoft Montreal),
Derek Nowrouzezahrai (McGill University, Mila),
Christopher Pal (CIFAR AI Chair, Polytechnique Montreal, Mila, Element AI)