Hvad er Stable Diffusion? Den åbne model, alt andet lånte fra

En diffusion-model lærer ved at se billeder blive ødelagt. Tag et foto, tilføj lidt støj, tilføj mere, fortsæt indtil kun statisk er tilbage, og træn et netværk til at forudsige, hvad der blev fjernet i hvert trin. Kør netværket baglæns fra ren statisk, og det maler et billede, der aldrig var der.

At gøre dette i fuld opløsning er ekstremt dyrt, fordi hvert trin opererer på hver pixel. Tricket i latent-rummet er at komprimere billedet først til en meget mindre repræsentation, der bevarer strukturen og smider de præcise pixels væk, køre hele støjprocessen i det lille rum og kun dekode tilbage til et rigtigt billede allerøverst.

Den ene beslutning er grunden til, at det her nåede almindelige mennesker. Den sænkede omkostningen ved generering omtrent en størrelsesorden og bragte billedgenerering ned på hardware, man allerede kunne eje, i stedet for en lejet klynge.

Stability udgav selve modelfilerne i stedet for kun en API. Det er den kendsgerning med de længste konsekvenser, og det er let at undervurdere nu, hvor resultaterne er overalt.

Fordi alle kunne inspicere og ændre modellen, byggede folk det kontrol-lag, basis-modellen manglede. LoRAer gjorde det muligt at lære en bestemt stil eller et motiv med en lille tilføjelsesfil i stedet for at retræne noget. ControlNet gjorde det muligt at begrænse en generering til et pose-skelet, et dybdemap eller en kanttegning. Community-checkpoints specialiserede basismodellen til illustration, fotografi, arkitektur og alt muligt andet.

Vokabularet, der kom ud af den periode, er i dag, hvordan folk taler om billedgenerering generelt — seed, sampler, denoise strength, CFG, inpainting. De ord blev populariseret af et åbent community, der læste og omskrev en model, de faktisk kunne åbne — og de er grunden til, at ordlisten på dette site er skrevet, som den er.

Bedre end før og stadig ikke tilfældigt. Der findes one-click-installers, og der findes node-baserede interfaces med reel kompleksitet — og afstanden mellem "jeg genererede et billede" og "jeg fik det billede, jeg ville have" er der, tiden går.

Belønningen er kontrol, som hostede produkter ikke tilbyder: præcise seeds, vilkårlige opløsninger, ethvert checkpoint eller LoRA du vil, ingen indholds-pipeline mellem dig og outputtet, ingen per-billede-omkostning efter hardwaren, og intet der forlader din maskine.

Prisen er, at du nu driver et lille stykke infrastruktur. Modelfiler fylder adskillige gigabytes hver, udvidelser konflikter med hinanden, og et grafikkort med nok hukommelse er adgangsbilletten. Folk, der vil have et billede, er typisk gladere med en hosted model; folk, der vil have en proces, er dem, der bliver.

Den er ikke længere automatisk det stærkeste valg på rå billedkvalitet, og flere nyere modeller — inklusive FLUX, delvist bygget af folk, der arbejdede på Stable Diffusion — følger prompts mere bogstaveligt og gengiver læsbar tekst langt bedre.

Det den bevarer, er økosystemet. Mængden af community-checkpoints, stiladaptere og kontrol-værktøjer bygget på de ældre versioner er ikke noget, en nyere model hurtigt opbygger — og for alle med en bestemt stil at genskabe eller en pipeline allerede etableret opvejer det lager en generel kvalitetsforskel.

Efterfølgende versioner er også udkommet under gradvist mere betingede licenser end de tidlige udgivelser — hvilket er værd at tjekke op mod din tiltænkte brug i stedet for at antage. "Åbne vægte" og "gratis til alt" holdt op med at være samme udsagn for noget tid siden.

Næsten hver teknikside her bruger termer, som denne model populariserede. Denoise strength afgør, hvor langt et image-to-image-resultat afviger fra sit input. Et seed gør en generering gentagelig. Inpainting redigerer inde i en maske og lader resten være urørt. De begreber gælder, uanset hvilken model du ender med at bruge.

Det er den ærlige grund til at forstå Stable Diffusion, selv hvis du aldrig installerer den: det er modellen, hvis interface sivede ud i sproget. Lær det én gang, og alle andre værktøjer bliver lettere at læse.