Mikä on Stable Diffusion? Avoin malli, josta muut lainasivat

Diffuusiomalli oppii katsomalla, kun kuvia rikotaan. Ota valokuva, lisää hieman kohinaa, lisää lisää, jatka kunnes pelkkä kohina on jäljellä, ja kouluta verkko ennustamaan mitä poistettiin jokaisessa vaiheessa. Aja tuo verkko taaksepäin puhtaasta kohinasta ja se maalaa kuvan, jota ei ollut olemassa.

Tämän tekeminen täydessä resoluutiossa on valtavan kallista, koska jokainen vaihe koskee jokaista pikseliä. Latentti kikka on pakata kuva ensin paljon pienempään esitykseen, joka säilyttää rakenteen ja heittää pois tarkat pikselit, ajaa koko kohinaprosessi tuossa pienessä tilassa ja dekoodata oikeaksi kuvaksi vasta ihan lopussa.

Tuo yksi päätös on syy, miksi tämä tuli tavallisten ihmisten ulottuville. Se leikkasi generoinnin kustannusta noin kertaluokan ja toi kuvageneroinnin laitteille, jotka jollakulla saattoi jo olla, vuokratun klusterin sijaan.

Stability julkaisi itse mallin tiedostot, ei vain API:a. Se on pisimmälle kantava tosiasia, ja sitä on helppo aliarvioida nyt kun tuloksia on kaikkialla.

Koska kuka tahansa saattoi tutkia ja muokata mallia, ihmiset rakensivat ohjauskerroksen, joka perusmallista puuttui. LoRAt mahdollistivat tietyn tyylin tai kohteen opettamisen pienellä lisätiedostolla uudelleenkouluttamisen sijaan. ControlNet mahdollisti generoinnin rajaamisen asentoon, syvyyskarttaan tai reunapiirrokseen. Yhteisön checkpointit erikoistuivat kuvitukseen, valokuvaukseen, arkkitehtuuriin ja kaikkeen siltä väliltä.

Tuon ajan sanasto on nyt tapa, jolla kuvageneroinnista puhutaan yleensä — seed, sampler, denoise-vahvuus, ohjausvahvuus (CFG), inpainting. Nuo sanat yleistyivät avoimen yhteisön työstäessä ja kirjoittaessa mallia, jonka he saattoivat oikeasti avata, ja siksi tämän sivuston sanasto on kirjoitettu niin kuin on.

Parempaa kuin ennen, mutta ei vieläkään huoleton. On yhden klikin asennuksia ja on solmupohjaisia käyttöliittymiä todellisella monimutkaisuudella, ja matka "sain kuvan ulos" → "sain juuri haluamani kuvan" on se, mihin aika menee.

Palkintona on kontrolli, jota hostatut tuotteet eivät tarjoa: täsmälleen samat seedit, mielivaltaiset resoluutiot, mikä tahansa checkpoint tai LoRA, ei sisältöputkea sinun ja ulostulon välissä, ei kuva-kohtaista kustannusta laitteiston jälkeen, eikä mikään poistu koneeltasi.

Hinta on, että operoit nyt pientä infrastruktuuripalaa. Mallitiedostot ovat useita gigatavuja kukin, laajennukset rikkovat toisensa, ja riittävän muistin omaava näytönohjain on sisäänpääsylippu. Ihmiset, jotka haluavat kuvan, ovat yleensä onnellisempia hostatun mallin kanssa; ihmiset, jotka haluavat prosessin, ovat niitä, jotka jäävät.

Se ei ole enää automaattisesti vahvin vaihtoehto raakatulosten laadussa, ja useat uudemmat mallit — mukaan lukien FLUX, jonka tekijöissä on Stable Diffusionin parissa työskennelleitä — lukevat promptit kirjaimellisemmin ja tuottavat paljon luettavampaa tekstiä.

Mikä säilyy, on ekosysteemi. Yhteisön checkpointtien, tyyliadapterien ja ohjaustyökalujen määrä vanhempien versioiden ympärillä ei ole sellaista, jonka uudempi malli saa nopeasti, ja kenelle tahansa, jolla on tietty tyyli toistettavana tai jo rakennettu putki, tuo varanto painaa enemmän kuin yleinen laatuero.

Myös peräkkäiset versiot ovat tulleet ulos vähitellen ehdollisemmilla lisensseillä kuin varhaiset julkaisut, mikä kannattaa tarkistaa omaa käyttöä vasten oletuksen sijaan. "Avoimet painot" ja "vapaasti kaikkeen" lakkasivat olemasta sama lause jokin aika sitten.

Lähes jokainen tekniikkasivu täällä käyttää termejä, joita tämä malli popularisoi. Denoise-vahvuus päättää, kuinka kauas image-to-image -tulos erkanee lähtökuvasta. Seed tekee generoinnista toistettavan. Inpainting muokkaa maskin sisällä ja jättää muun koskematta. Nuo käsitteet pätevät riippumatta siitä, mitä mallia lopulta käytät.

Se on rehellinen syy ymmärtää Stable Diffusion vaikka et sitä asentaisi: se on malli, jonka käyttöliittymä vuoti kieleen. Opit sen kerran, ja jokainen muu työkalu on helpompi lukea.