Génération d’images avec Python, DALL-E et StableDiffusion

Tutoriel
Avancé

La hype autour du modèle de génération d’image Dall-E a amené une grande attention sur les modèles autogénératifs de contenu. Dall-E est, à l’heure actuelle, le modèle le plus célèbre de génération d’image à partir de texte. Il est maintenant possible de créer, depuis Python grâce à l’implémentation de StableDiffusion, soit-même ses propres images rigolotes.

Author

Lino Galiana

Published

August 26, 2022

Pour tester les exemples présentés dans ce chapitre:

Download nbviewer Onyxia Onyxia
Binder Open In Colab githubdev

Contexte

La publication en avril 2022 par l’organisation Open AI de son modèle de génération de contenu créatif Dall-E-2 (un jeu de mot mélangeant Dali et Wall-E) a créé un bruit inédit dans le monde de la data science. A propos de Dall-E, le bloggeur tech Casey Newton a pu parler d’une révolution créative dans le monde de l’IA. The Economist a par consacré un numéro au sujet de l’émergence de ces intelligences artificielles créatrices de contenu.

Ce bruit sur la capacité des intelligences artificielle à générer du contenu créatif a d’ailleurs été amplifié plus récemment avec la publication du chatbot chatGPT (voir cet éditorial du Guardian).

L’inconvénient principal de Dall-E pour générer facilement du contenu est que le nombre de contenu pouvant être créé avec un accès gratuit est limité (50 crédits gratuits par mois). Depuis le 22 Août 2022, un générateur de contenu similaire est disponible gratuitement, avec une licence plus permissive1. Ce générateur, développé par une équipe de chercheurs (Rombach et al. 2022), s’appelle Stable Diffusion (dépôt Github pour le code source et dépôt HuggingFace pour le modèle mis à disposition2). Un excellent article de blog décrit la démarche de Stable Diffusion. La plupart des exemples originaux dans cette partie seront basés sur Stable Diffusion.

Dall-E-2 et StableDiffusion sont des modèles généralistes. D’autres modèles, plus spécialisés, existent également. Le modèle Midjourney (produit propriétaire de la société du même nom) permet la production de contenu artistique, DreamBooth (développé par Google) est spécialisé dans la génération de contenu dans un nouveau contexte.

Le principe de tous ces modèles est le même: un utilisateur donne une instruction (une ou plusieurs phrases) et l’intelligence artificielle l’interprète et génère une image censée être cohérente avec l’instruction.

Voici par exemple l’une des productions possibles de DALL-E-2

“A Shiba Inu dog wearing a beret and black turtleneck”

Midjourney, spécialisé dans le contenu esthétique, génèrera l’image suivante avec l’instruction “mechanical dove” :

StableDiffusion, modèle généraliste comme Dall-E, crééra le contenu suivant avec l’instruction “A photograph of an astronaut riding a horse” :

“A photograph of an astronaut riding a horse”

Enfin, DreamBooth pourra lui introduire un chien dans une grande variété de contextes:

Un compte Twitter (Weird AI Generations) propose de nombreuses générations de contenu drôles ou incongrues. Voici un premier exemple de production humoristique faite à partir de Mini Dall-E, la version publique:

Ainsi qu’un deuxième:

Les modèles Dall-E-2 et Stable Diffusion s’appuient sur des réseaux de neurones à différents niveaux :

  • le contenu de la phrase est analysé par un réseau de neurones similaire (mais bien sûr plus évolué) que ceux que nous avons présenté dans la partie NLP
  • les éléments importants de la phrase (recontextualisés) sont ensuite transformés en image à partir de modèles entraînés à reconnaître des images

Illustration du fonctionnement de ce type de générateur d’image (ici à partir de Stable Diffusion)

Générer du contenu avec Dall-E via l’API d’OpenAI

Le contenu de cette partie s’appuie sur le tutoriel du site realpython L’utilisation de Dall-E sera faite via le package openai qui donne accès à l’API d’OpenAI. Pour l’installer depuis la cellule d’un Notebook:

!pip install openai

Après avoir obtenu votre clé d’API, on va supposer que celle-ci est stockée dans une variable key:

key = "sk-XXXXXXXXXX" #remplacer avec votre clé

Ensuite, l’utilisation de l’API est assez directe:

openai.api_key = key
openai.Image.create(
  prompt="Teddy bears working on new AI research underwater with 1990s technology",
  n=2,
  size="1024x1024"
)

L’output est un JSON avec les URL des images générées. Voici les deux images générées :

Pour aller plus loin, vous pouvez consulter le tutoriel de realpython

Comment utiliser Stable Diffusion ?

Stable Diffusion est une intelligence artificielle créatrice de contenu qui permet de générer du contenu à partir d’une phrase - ce pour quoi nous allons l’utiliser - mais aussi modifier des images à partir d’instructions.

Stable Diffusion est un modèle plus pratique à utiliser depuis Python que Dall-E. Celui-ci est open-source et peut être téléchargé et réutilisé directement depuis Python. La méthode la plus pratique est d’utiliser le modèle mis à disposition sur HuggingFace. Le modèle est implémenté à travers le framework PyTorch.

PyTorch, librairie développée par Meta, n’est pas implementé directement en Python pour des raisons de performance mais en C++ - Python étant un langage lent, le revers de la médaille de sa facilité d’usage. A travers Python, on va utiliser une API haut niveau qui va contrôler la structure des réseaux de neurones ou créer une interface entre des données (sous forme d’array Numpy) et le modèle. Pour ce type de packages qui utilisent un langage compilé, l’installation via Pandas

Configuration spécifique à Colab 👇

Sur Colab, conda n’est pas disponible par défaut. Pour pouvoir installer un package en utilisant conda sur Colab, on utilise donc l’astuce suivante :

!pip install -q condacolab
import condacolab
condacolab.install()

Installation de PyTorch

Pour installer PyTorch, la librairie de Deep Learning développée par Meta, il suffit de suivre les recommandations sur le site web officiel. Dans un Notebook, cela prendra la forme suivante :

!conda install mamba
!mamba install pytorch torchvision torchaudio cudatoolkit=10.2 -c pytorch

Accès à HuggingFace

La question - non négligeable - de l’accès à de la GPU mise à part, la réutilisation des modèles de Stable Diffusion est très facile car la documentation mise à disposition sur HuggingFace est très bien faite.

La première étape est de se créer un compte sur HuggingFace et se créer un token3. Ce token sera donné à l’API de HuggingFace pour s’authentifier.

L’API d’HuggingFace nécessite l’installation du package diffusers. Dans un Notebook, le code suivant permet d’installer la librairie requise:

!pip install --upgrade diffusers transformers scipy accelerate
import os
HF_TOKEN = os.getenv('HF_PAT')

Générer une image

On va créer l’image suivante :

“Chuck Norris fighting against Zeus on Mount Olympus in an epic Mortal Kombat scene”

Pas mal comme scénario, non ?!

import torch
generator = torch.Generator("cuda").manual_seed(123)

Si vous voulez vous amuser à explorer différents résultats pour un même texte, vous pouvez ne pas fixer de racine aléatoire. Dans ce cas, retirer l’argument generator des codes présentés ultérieurement.

Nous allons donc utiliser l’instruction suivante :

prompt = "Chuck Norris fighting against Zeus on Mount Olympus in an epic Mortal Kombat scene"

L’initialisation du modèle se fait de la manière suivante :

import torch
from torch import autocast
from diffusers import StableDiffusionPipeline

model_id = "CompVis/stable-diffusion-v1-4"
device = "cuda"

generator = torch.Generator("cuda").manual_seed(1024)

Enfin, pour générer l’image:

pipe = StableDiffusionPipeline.from_pretrained(model_id, use_auth_token=HF_TOKEN, generator=generator)
pipe = pipe.to(device)

with autocast("cuda"):
    image = pipe(prompt, guidance_scale=7.5, generator = generator)["images"][0]  

   
image.save("featured.png")

Qui peut être visualisé avec le code suivant, dans un notebook:

from IPython.display import Image 
pil_img = Image(filename="featured.png")
display(pil_img)

C’est une représentation assez fidèle du pitch “Chuck Norris fighting against Zeus on Mount Olympus in an epic Mortal Kombat scene” :boom:. Y a un petit côté Les Dix Commandements que j’aime bien.

En voici une autre que j’aime bien (mais malheureusement je ne peux la reproduire car je n’ai pas gardé en mémoire la racine l’ayant généré :sob:)

Il est également possible de générer plusieurs images du même texte (voir la note de blog de l’équipe à l’origine de Stable Diffusion). Cependant, c’est assez exigeant en mémoire et cela risque d’être impossible sur Colab (y compris en réduisant le poids des vecteurs numériques comme proposé dans le post)

Bonus

Pour le plaisir, voici PuppyMan, le dernier né du Marvel Universe:

prompt = "In a new Marvel film we discover puppyman a new super hero that is half man half bulldog"
import torch
from torch import autocast
from diffusers import StableDiffusionPipeline

model_id = "CompVis/stable-diffusion-v1-4"
device = "cuda"

generator = torch.Generator("cuda").manual_seed(1024)

pipe = StableDiffusionPipeline.from_pretrained(model_id, use_auth_token=HF_TOKEN, generator=generator)
pipe = pipe.to(device)

with autocast("cuda"):
    image = pipe(prompt, guidance_scale=7.5, generator = generator)["images"][0]  

   
image.save("puppyman.png")

La moitié humain semble être son costume de super-héros, pas la bipédie. Mais le rendu est quand même épatant !

A vous de jouer :hugging_face:

Références

Rombach, Robin, Andreas Blattmann, Dominik Lorenz, Patrick Esser, and Björn Ommer. 2022. “High-Resolution Image Synthesis with Latent Diffusion Models.” In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 10684–95.
Back to top

Footnotes

  1. Il est notamment possible de réutiliser l’image générée à des fins commerciales. En revanche, il est interdit de chercher à nuire à une personne. Pour cette raison, il est fréquent que les visages de personnes célèbres soient floutés pour éviter la création de contenu nuisant à leur réputation.↩︎

  2. Comme les autres plateformes du monde de la data science, HuggingFace a adopté l’utilisation standardisée des jetons (token) comme méthode d’authentification. Le jeton est comme un mot de passe sauf qu’il n’est pas inventé par l’utilisateur (ce qui permet qu’il ne soit pas partagé avec d’autres sites web potentiellement moins sécurisés), est révocable (date d’expiration ou choix de l’utilisateur) et dispose de droits moins importants qu’un mot de passe qui vous permet, potentiellement, de changer tous les paramètres de votre compte. Je recommande vivement l’utilisation d’un gestionnaire de mot de passe pour stocker vos token (si vous utilisez Git, Docker, etc. vous en avez potentiellement beaucoup) plutôt que stocker ces jetons dans des fichiers non sécurisés.↩︎

  3. Comme les autres plateformes du monde de la data science, HuggingFace a adopté l’utilisation standardisée des jetons (token) comme méthode d’authentification. Le jeton est comme un mot de passe sauf qu’il n’est pas inventé par l’utilisateur (ce qui permet qu’il ne soit pas partagé avec d’autres sites web potentiellement moins sécurisés), est révocable (date d’expiration ou choix de l’utilisateur) et dispose de droits moins importants qu’un mot de passe qui vous permet, potentiellement, de changer tous les paramètres de votre compte. Je recommande vivement l’utilisation d’un gestionnaire de mot de passe pour stocker vos token (si vous utilisez Git, Docker, etc. vous en avez potentiellement beaucoup) plutôt que stocker ces jetons dans des fichiers non sécurisés.↩︎

Citation

BibTeX citation:
@book{galiana2023,
  author = {Galiana, Lino},
  title = {Python Pour La Data Science},
  date = {2023},
  url = {https://pythonds.linogaliana.fr/},
  doi = {10.5281/zenodo.8229676},
  langid = {en}
}
For attribution, please cite this work as:
Galiana, Lino. 2023. Python Pour La Data Science. https://doi.org/10.5281/zenodo.8229676.