Wat is Stable Diffusion? Het open model waar de rest op leunde

Een diffusion-model leert door te zien hoe beelden kapotgaan. Neem een foto, voeg een beetje ruis toe, voeg meer toe, ga door tot er alleen nog ruis overblijft, en train een netwerk om te voorspellen wat er bij elke stap is verwijderd. Voer dat netwerk achterwaarts uit vanaf pure ruis en het schildert een afbeelding die nooit bestond.

Dit op volledige resolutie doen is enorm kostbaar, omdat elke stap op elke pixel werkt. De latente truc is om de afbeelding eerst te comprimeren tot een veel kleinere representatie die de structuur bewaart en de exacte pixels weglaat, het hele ruisproces in die kleine ruimte te draaien en pas helemaal op het einde terug te decoderen naar een echte afbeelding.

Die ene keuze is waarom dit überhaupt gewone mensen bereikte. Het verlaagde de generatiekosten ruwweg met een orde van grootte en bracht beeldgeneratie naar hardware die iemand al kon hebben, in plaats van een gehuurde cluster.

Stability bracht de modelfiles zelf uit in plaats van alleen een API. Dat is het feit met de langste gevolgen, en het is gemakkelijk te onderschatten nu de resultaten overal zijn.

Omdat iedereen het model kon inzien en aanpassen, bouwden mensen de controlelaag die het basismodel miste. LoRA’s maakten het mogelijk om een specifieke stijl of onderwerp aan te leren met een klein add-on-bestand in plaats van iets helemaal te hertrainen. ControlNet maakte het mogelijk een generatie te begrenzen tot een pose, een dieptekaart of een lijnafbeelding. Community-checkpoints specialiseerden het basismodel voor illustratie, fotografie, architectuur en alles daartussen.

De woordenschat uit die periode is nu hoe men over beeldgeneratie praat — seed, sampler, denoise-sterkte, CFG, inpainting. Die termen zijn populair geworden door een open community die een model las en herschreef dat zij daadwerkelijk konden openen, en daarom is de glossariumsectie op deze site zo geschreven.

Beter dan vroeger en nog steeds niet achteloos. Er zijn one-click installers en er zijn node-based interfaces met echte complexiteit, en de afstand tussen "ik heb een afbeelding gegenereerd" en "ik kreeg de afbeelding die ik wilde" is waar de tijd gaat zitten.

De beloning is controle die hosted producten niet bieden: exacte seeds, willekeurige resoluties, elke checkpoint of LoRA die u wilt, geen contentpipeline tussen u en de output, geen kosten per afbeelding na de hardware, en niets dat uw machine verlaat.

De prijs is dat u nu een klein stuk infrastructuur beheert. Modelfiles lopen op tot meerdere gigabytes per stuk, uitbreidingen breken tegen elkaar, en een videokaart met genoeg geheugen is het toegangsbewijs. Mensen die een afbeelding willen, zijn doorgaans gelukkiger met een hosted model; mensen die een proces willen, zijn degenen die blijven.

Het is niet langer automatisch de sterkste optie op ruwe outputkwaliteit, en meerdere nieuwere modellen — waaronder FLUX, deels gebouwd door mensen die aan Stable Diffusion werkten — volgen prompts letterlijker en renderen leesbare tekst veel beter.

Wat het behoudt is het ecosysteem. De omvang van community-checkpoints, stijladapters en controlegereedschap rond de oudere versies is niets wat een nieuwer model snel opbouwt, en voor iedereen met een specifieke stijl om te reproduceren of een bestaande pipeline weegt die inventaris zwaarder dan een algemeen kwaliteitsverschil.

Opeenvolgende versies zijn ook uitgebracht onder steeds voorwaardelijkere licenties dan de vroege releases, wat u moet toetsen aan uw beoogde gebruik in plaats van te veronderstellen. "Open gewichten" en "vrij voor alles" zijn al een tijdlang niet meer hetzelfde.

Bijna elke techniekpagina hier gebruikt termen die dit model populair maakte. Denoise-sterkte bepaalt hoe ver een image-to-image resultaat afwijkt van de input. Een seed maakt een generatie reproduceerbaar. Inpainting bewerkt binnen een masker en laat de rest onaangeroerd. Die concepten gelden welk model u uiteindelijk ook gebruikt.

Dat is de eerlijke reden om Stable Diffusion te begrijpen, zelfs als u het nooit installeert: het is het model waarvan de interface in de taal is gelekt. Leer het één keer en elk ander hulpmiddel wordt makkelijker te lezen.