Hva er Stable Diffusion? Den åpne modellen alt annet lånte fra

En diffusion-modell lærer ved å se bilder bli ødelagt. Ta et fotografi, tilsett litt støy, tilsett mer, fortsett til bare statisk gjenstår, og tren et nettverk til å forutsi hva som ble fjernet i hvert trinn. Kjør nettverket baklengs fra ren støy, og det maler et bilde som aldri var der.

Å gjøre dette i full oppløsning er enormt kostbart, fordi hvert trinn opererer på hver piksel. Latent-trikset er å komprimere bildet først til en mye mindre representasjon som bevarer strukturen og kaster de eksakte pikslene, kjøre hele støyprosessen i det lille rommet, og bare dekode tilbake til et ekte bilde helt til slutt.

Den ene beslutningen er grunnen til at dette nådde vanlige folk. Den kuttet generasjonskostnaden omtrent en størrelsesorden og brakte bildegenerering til maskinvare folk kan ha fra før, i stedet for en leid klynge.

Stability slapp selve modelfilene i stedet for bare et API. Det er faktumet med de lengste konsekvensene, og det er lett å undervurdere nå som resultatene er overalt.

Fordi hvem som helst kunne inspisere og modifisere modellen, bygde folk laget av kontroll som grunnmodellen manglet. LoRA-er gjorde det mulig å lære en spesifikk stil eller et motiv med en liten tilleggsfil i stedet for å trene alt på nytt. ControlNet gjorde det mulig å binde en generering til en positur, et dybdekart eller en kanttegning. Fellesskapets checkpoints spesialiserte grunnmodellen for illustrasjon, fotografi, arkitektur og alt annet.

Vokabularet som kom ut av den perioden, er nå måten folk snakker om bildegenerering generelt — seed, sampler, denoise strength, CFG, inpainting. De ordene ble popularisert av et åpent miljø som leste og omskrev en modell de faktisk kunne åpne, og er grunnen til at ordlisten på dette nettstedet er skrevet slik den er.

Bedre enn før og fortsatt ikke uanstrengt. Det finnes ett-klikk-installasjoner, og det finnes node-baserte grensesnitt med reell kompleksitet, og avstanden mellom «jeg genererte et bilde» og «jeg fikk bildet jeg ville ha», er der tiden går.

Gevinsten er kontroll som hostede produkter ikke tilbyr: eksakte seeds, vilkårlige oppløsninger, enhver checkpoint eller LoRA du vil, ingen innholdsprosess mellom deg og output, ingen per-bilde-kostnad etter maskinvaren, og ingenting som forlater maskinen din.

Kostnaden er at du nå driver et lite stykke infrastruktur. Modelfiler er på flere gigabyte hver, utvidelser kolliderer, og et grafikkort med nok minne er inngangsbilletten. Folk som vil ha et bilde, blir ofte mer fornøyd med en hostet modell; folk som vil ha en prosess, er de som blir.

Det er ikke lenger automatisk det sterkeste alternativet på rå bildekvalitet, og flere nyere modeller — inkludert FLUX, delvis bygget av folk som jobbet på Stable Diffusion — følger prompter mer bokstavelig og gjengir lesbar tekst langt bedre.

Det som består, er økosystemet. Mengden fellesskaps-checkpoints, stiladaptere og kontrollverktøy bygget på de eldre versjonene er ikke noe en nyere modell får raskt, og for alle som har en spesifikk stil å reprodusere eller en pipeline allerede bygget, veier den beholdningen tyngre enn et generelt kvalitetsgap.

Påfølgende versjoner er også lansert med stadig mer betingede lisenser enn de tidlige utgavene, noe som er verdt å sjekke opp mot bruken du har tenkt, i stedet for å anta. «Åpne vekter» og «gratis til alt» sluttet å være det samme utsagnet for en tid siden.

Nesten hver teknikk-side her bruker termer denne modellen populariserte. Denoise strength bestemmer hvor langt et image-to-image-resultat får avvike fra input. En seed gjør en generering repeterbar. Inpainting redigerer innenfor en maske og lar resten være urørt. De konseptene gjelder uansett hvilken modell du til slutt bruker.

Det er den ærlige grunnen til å forstå Stable Diffusion selv om du aldri installerer den: det er modellen hvis grensesnitt lekket inn i språket. Lær det én gang, og hvert annet verktøy blir lettere å lese.