Ça vous dirait d’utiliser l’intelligence artificielle pour manipuler des images en fonction d’instructions texte que vous pourriez lui donner ?

StyleCLIP repose sur un programme qui associe deux modèles d’intelligence artificielle : StyleGAN et CLIP. StyleGAN est un modèle spécialisé dans la génération d’images ultra-réalistes, tandis que CLIP a la capacité de comprendre et d’associer des images et du texte. Ensemble, ils permettent de générer et de manipuler des images en fonction d’une description textuelle.

Avant de rentrer dans les détails, il y a une démo accessible sur Replicate ce qui vous permettra de jouer directement avec.

Ainsi, avec StyleCLIP, vous pouvez éditer une image donnée ou générer une image complètement aléatoire qui correspond au mieux à la description textuelle que vous aurez saisi.

Évidemment, si vous avez une machine assez puissante, vous pourrez déployer ça dessus et le faire tourner puisque tous les scripts et les explications techniques sont disponibles sur la page Github. Les scripts d’inférence sont également disponibles pour ceux qui veulent essayer des choses sans rentrer dans dans l’entraînement de l’IA à proprement dit.

Comme si cela ne suffisait pas, StyleCLIP propose également une interface utilisateur graphique (GUI) pour faciliter encore plus la manipulation d’images. Il suffit de lancer le notebook Jupyter dédié pour démarrer l’interface, et vous pourrez commencer à transformer vos images avec quelques commandes simples.

Essayons un exemple rapide pour éditer une image d’un visage humain. Lancez tout d’abord l’application, double-cliquez sur l’image de gauche pour choisir l’image à manipuler. Ensuite, tapez un texte neutre comme point de départ (« face »), puis modifiez le texte cible pour y inclure l’édition souhaitée, telle que « face with blue eyes ». Vous verrez alors les résultats aussi étonnants que flippants de l’IA à l’œuvre, modifiant l’image en fonction de vos instructions.

Comme vous pouvez le voir, ce n’est pas encore parfait mais c’est amusant à essayer. Ca vous permettra peut-être d’essayer différentes coupes de cheveux ou couleurs avant d’aller chez le coiffeur ;-).

StyleCLIP est à découvrir ici.