Qu’est-ce que Stable Diffusion ? Le modèle ouvert dont tout le reste s’est inspiré

Un modèle de diffusion apprend en regardant des images se faire détruire. Prenez une photo, ajoutez un peu de bruit, puis davantage, jusqu’à ce qu’il ne reste que de la statique, et entraînez un réseau à prédire ce qui a été retiré à chaque étape. Exécutez ce réseau à l’envers depuis de la statique pure et il peint une image qui n’a jamais existé.

Faire cela en pleine résolution est extrêmement coûteux, car chaque étape opère sur chaque pixel. L’astuce latente est de compresser d’abord l’image dans une représentation beaucoup plus petite qui conserve la structure en jetant les pixels exacts, d’exécuter tout le processus bruité dans cet espace réduit, puis de ne décoder en image réelle qu’à la toute fin.

Cette seule décision a rendu tout cela accessible au grand public. Elle a réduit le coût de génération d’environ un ordre de grandeur et a amené la génération d’images sur du matériel que l’on pouvait déjà posséder, plutôt qu’un cluster loué.

Stability a publié les fichiers du modèle eux-mêmes et pas seulement une API. C’est le fait aux plus longues conséquences, facile à sous-estimer maintenant que les résultats sont partout.

Parce que chacun pouvait inspecter et modifier le modèle, les gens ont construit la couche de contrôle qui manquait au modèle de base. Les LoRAs ont permis d’enseigner un style ou un sujet spécifique avec un petit fichier additionnel au lieu de réentraîner quoi que ce soit. ControlNet a permis de contraindre une génération à une pose, une carte de profondeur ou un tracé de contours. Des checkpoints communautaires ont spécialisé le modèle de base pour l’illustration, la photo, l’architecture et bien plus.

Le vocabulaire issu de cette période est devenu la façon de parler de la génération d’images en général — seed, sampler, denoise strength, CFG, inpainting. Ces mots ont été popularisés par une communauté ouverte lisant et réécrivant un modèle qu’elle pouvait réellement ouvrir, et c’est la raison pour laquelle le glossaire de ce site est rédigé ainsi.

Mieux qu’avant et toujours non trivial. Il existe des installateurs en un clic et des interfaces nodales très riches, et la distance entre « j’ai généré une image » et « j’ai obtenu l’image voulue » est là où part le temps.

La récompense, c’est un contrôle que les services hébergés n’offrent pas : seeds exacts, résolutions arbitraires, n’importe quel checkpoint ou LoRA, aucun pipeline de contenu entre vous et la sortie, aucun coût par image une fois le matériel acquis, et rien ne quitte votre machine.

Le coût, c’est que vous opérez désormais un petit bout d’infrastructure. Les fichiers de modèles pèsent plusieurs gigaoctets chacun, des extensions se cassent entre elles, et une carte graphique avec suffisamment de mémoire est le ticket d’entrée. Celles et ceux qui veulent une image sont en général plus heureux avec un modèle hébergé ; celles et ceux qui veulent un processus sont ceux qui restent.

Ce n’est plus automatiquement l’option la plus forte en qualité brute de sortie, et plusieurs modèles plus récents — dont FLUX, construit en partie par des personnes ayant travaillé sur Stable Diffusion — suivent les prompts plus littéralement et rendent un texte lisible bien mieux.

Ce qu’il conserve, c’est l’écosystème. Le volume de checkpoints communautaires, d’adaptateurs de style et d’outils de contrôle bâtis sur les anciennes versions ne s’acquiert pas vite pour un nouveau modèle, et pour quiconque doit reproduire un style précis ou dispose déjà d’un pipeline, cet inventaire pèse plus lourd qu’un écart de qualité générale.

Les versions successives ont aussi été publiées sous des licences de plus en plus conditionnelles par rapport aux premiers lots, ce qu’il faut confronter à votre usage prévu plutôt que de supposer. « Poids ouverts » et « libre pour tout » ont cessé d’être synonymes depuis un moment.

Presque toutes les pages de techniques ici utilisent des termes popularisés par ce modèle. Denoise strength décide jusqu’où un résultat image-vers-image s’écarte de son entrée. Un seed rend une génération reproductible. L’inpainting retouche à l’intérieur d’un masque et laisse le reste intact. Ces concepts s’appliquent quel que soit le modèle que vous utiliserez au final.

C’est la raison honnête d’appréhender Stable Diffusion même si vous ne l’installez jamais : c’est le modèle dont l’interface a déteint sur le langage. Apprenez-le une fois et chaque autre outil devient plus lisible.