PROJET AUTOBLOG


Korben

Site original : Korben

⇐ retour index

La tête qui parle de Nvidia

dimanche 30 janvier 2022 à 09:00

Je sais que vous aimez les réseaux neuronaux, alors aujourd’hui, je vous propose de vous amuser avec Vid2vid. Mis au point par des chercheurs de Nvidia, ce modèle neuronal de synthèse vidéo est capable de reproduire une « tête qui parle » à partir d’une simple photo. Très pratique pour les visios où une simple photo de profil pourrait devenir beaucoup plus vivante.

Pour illustrer leur techno, les chercheurs ont mis en ligne une démo qui vous permet à partir d’une photo de changer l’angle de rotation de la tête, mais également la position des yeux. Vous uploadez l’image, vous encadrez la tête, vous jouez avec les curseurs puis vous cliquez sur le bouton « Rotate » et vous obtiendrez une nouvelle image vraiment bluffante.

Par exemple, voici mon essai avec Edward Snowden. À gauche là photo d’origine, à droite Edward qui sonde votre âme.

Le rendu est pas mal vous ne trouvez pas ? Un petit bug avec les lunettes, mais à part ça, on s’y croirait.

Même si on touche uniquement au réglage de la position des yeux, on peut avoir un truc marrant.

À voir maintenant ce que ça donnera quand ce sera implémenté dans un soft qui fera de la vidéo et qu’on pourra tester. En attendant, voici ce que ça donne et tout ce qu’on pourra faire avec ce truc :