Kas yra „Stable Diffusion“? Atviras modelis, iš kurio visi skolinosi

Difuzijos modelis mokosi stebėdamas, kaip naikinami paveikslai. Paimkite nuotrauką, pridėkite truputį triukšmo, tada dar daugiau, kartokite, kol neliks nieko, tik „snaigės“, ir išmokykite tinklą kiekviename žingsnyje atspėti, kas buvo pašalinta. Paleiskite tinklą atgal nuo gryno triukšmo — jis „nutapo“ vaizdą, kurio niekada nebuvo.

Tai daryti pilna raiška labai brangu, nes kiekvienas žingsnis apdoroja kiekvieną pikselį. Latentinė gudrybė — pirmiausia suspausti vaizdą į daug mažesnę reprezentaciją, kuri išsaugo struktūrą ir atsisako tikslių pikselių, visą triukšmo procesą vykdyti toje mažoje erdvėje ir tik pabaigoje atkurti realų vaizdą.

Būtent šis sprendimas atvedė technologiją iki paprastų vartotojų. Jis maždaug dešimt kartų sumažino generavimo kainą ir perkėlė vaizdų kūrimą į įrangą, kurią žmogus galbūt jau turi, užuot nuomojęs klasterį.

„Stability“ išleido pačius modelio failus, o ne tik API. Tai ilgalaikiausias faktas, kurį šiandien, kai rezultatai visur, lengva nuvertinti.

Kadangi kiekvienas galėjo modelį apžiūrėti ir keisti, žmonės pastatė valdymo sluoksnį, kurio bazinei versijai trūko. LoRA leido išmokyti konkretų stilių ar subjektą mažu priedu, nepertreniruojant visko. ControlNet leido „pririšti“ generaciją prie pozos, gylių žemėlapio ar kontūrų. Bendruomenės checkpoints specializavo bazę iliustracijai, fotografijai, architektūrai ir viskam tarp jų.

Iš to laikotarpio atėjusi terminija šiandien tapo bendra vaizdų generavimo kalba — seed, sampler, denoise stipris, CFG, inpainting. Šiuos žodžius išpopuliarino atvira bendruomenė, skaičiusi ir perrašinėjusi modelį, kurį galėjo atverti, todėl ir šioje svetainėje žodynas parašytas būtent taip.

Geriau nei anksčiau, bet vis dar ne „atsainu“. Yra vieno paspaudimo diegiklių ir yra mazgais paremtų sąsajų su tikru sudėtingumu, o atstumas tarp „aš sugeneravau paveikslą“ ir „aš gavau būtent tokį paveikslą, kokio norėjau“ — ten ir išeina laikas.

Atpildas — valdymas, kurio talpinamos paslaugos paprastai nesiūlo: tikslūs seed’ai, bet kokios raiškos, bet kuris checkpoint ar LoRA, jokio turinio filtro tarp Jūsų ir išvesties, nulis kainos už paveikslą po įrangos įsigijimo ir niekas nepalieka Jūsų kompiuterio.

Kaina — Jūs tampate mažos infrastruktūros operatoriumi. Modelio failai siekia kelis gigabaitus, plėtiniai vienas kitą kartais sulaužo, o vaizdo plokštė su pakankamai atminties — įėjimo bilietas. Norintys tiesiog vaizdo — laimingesni su talpinamu modeliu; norintys proceso — tie ir pasilieka.

Jis nebe automatiškai stipriausias „žaliu“ kokybės matu, o keli naujesni modeliai — įskaitant FLUX, kurį iš dalies kūrė žmonės iš „Stable Diffusion“ komandos — pažodžiui geriau supranta promptus ir kur kas geriau atkuria įskaitomą tekstą.

Kas liko — ekosistema. Bendruomenės checkpoints, stiliaus adapterių ir valdymo įrankių apimtis aplink senesnes versijas nėra tai, ką naujas modelis greitai paveldi, ir visiems, kas turi konkretų stilių ar jau veikiančią grandinę, tas inventorius nusveria bendrą kokybės atotrūkį.

Vėlesnės versijos taip pat pasirodė su vis labiau sąlyginėmis licencijomis nei ankstyvosios, todėl verta pasitikrinti pagal savo numatytą naudojimą, o ne daryti prielaidą. „Atviri svoriai“ ir „laisva bet kam“ jau kurį laiką nėra tas pats teiginys.

Beveik kiekviename čia esančiame metodų puslapyje vartojami terminai, kuriuos išpopuliarino šis modelis. Denoise stipris lemia, kiek image-to-image rezultatas nutols nuo įvesties. Seed daro generaciją pakartojamą. Inpainting redaguoja kaukės viduje ir palieka likusią dalį nepaliestą. Šios sąvokos galioja nepriklausomai nuo to, kokį modelį galiausiai naudosite.

Tai sąžininga priežastis suprasti „Stable Diffusion“, net jei jo niekada neįsidiegsite: tai modelis, kurio sąsaja „nutekėjo“ į kalbą. Išmokite kartą — ir visi kiti įrankiai tampa lengviau skaitomi.