Mi a Stable Diffusion? A nyílt modell, amelyből a többiek építkeztek

A diffusion modell úgy tanul, hogy figyeli, ahogy képek tönkremennek. Fogjon egy fotót, adjon hozzá egy kis zajt, még többet, és így tovább, míg csak statikus nem marad, majd tanítson egy hálót arra, hogy minden lépésben megjósolja, mi tűnt el. Ha ezt a hálót tiszta zajtól visszafelé futtatja, olyan képet fest, ami sosem létezett.

Ezt teljes felbontáson végezni óriási költség, mert minden lépés minden pixelen dolgozik. A látens trükk az, hogy a képet előbb jóval kisebb, a szerkezetet megőrző, de a konkrét pixeleket eldobó reprezentációba tömörítjük, a zajos folyamat egészét ebben a kis térben futtatjuk, és csak a legvégén dekódálunk vissza valódi képpé.

Ez az egy döntés juttatta el mindezt a hétköznapi felhasználókig. Körülbelül egy nagyságrenddel csökkentette a generálás költségét, és a képgenerálást olyan hardverre hozta, amellyel valaki már rendelkezhet, nem pedig bérelt klaszterre.

A Stability magukat a modelfájlokat adta ki, nem csak egy API-t. Ez a leghosszabb következményekkel járó tény, és ma, hogy az eredmények mindenütt ott vannak, könnyű alábecsülni.

Mivel bárki megvizsgálhatta és módosíthatta a modellt, felépült az a kontrollréteg, ami az alapmodellből hiányzott. A LoRA lehetővé tette, hogy egy konkrét stílust vagy témát kis kiegészítő fájllal tanítsunk be, teljes újratanítás nélkül. A ControlNet megengedte, hogy a generálást pózhoz, mélységtérképhez vagy élrajzhoz rögzítsük. A közösségi checkpointok az alapmodellt illusztrációra, fotóra, építészetre és minden másra specializálták.

Az ebből az időszakból kijött szókészlet ma általános a képgenerálásról szóló beszédben — seed, sampler, denoise erősség, CFG, inpainting. Ezeket a szavakat egy nyílt közösség tette közkinccsé, miközben egy valóban megnyitható modellt olvastak és írtak át, és ezért van a glosszárium ezen az oldalon is így megfogalmazva.

Jobb, mint volt, de még nem „alkalmi”. Vannak egykattintásos telepítők, és vannak valóban összetett, node-alapú felületek, és az „Lett egy képem” és az „Azt a képet kaptam, amit akartam” közötti távolság viszi el az időt.

A jutalom az a kontroll, amit a hosztolt termékek nem kínálnak: pontos seedek, tetszőleges felbontások, bármilyen checkpoint vagy LoRA, nincs tartalmi csővezeték Ön és a kimenet között, nincs képenkénti költség a hardveren túl, és semmi nem hagyja el a gépét.

Az ára, hogy most egy kis infrastruktúrát üzemeltet. A modelfájlok darabonként több gigabájtosak, a kiterjesztések ütköznek egymással, és a belépő a kellő memóriájú grafikus kártya. Akinek képre van szüksége, gyakran boldogabb hosztolt modellel; akinek folyamat kell, az marad.

Nyers kimeneti minőségben már nem automatikusan a legerősebb opció, és több újabb modell — köztük a FLUX, amelyen részben a Stable Diffusionon dolgozó emberek is munkáltak — szó szerint követi a promptokat, és sokkal olvashatóbb szöveget renderel.

Amit megtartott, az az ökoszisztéma. A közösségi checkpointok, stílusadapterek és vezérlő eszközök tömege a régi verziók körül nem olyasmi, amit egy új modell gyorsan megszerez, és akinek konkrét stílust kell reprodukálnia vagy már kész folyamata van, annak ez a készlet gyakran többet ér egy általános minőségbeli különbségnél.

Az egymást követő verziók egyre feltételesebb licencekkel érkeztek az első kiadásokhoz képest, amit érdemes az Ön szándékolt felhasználásához mérten ellenőrizni. A „nyílt súlyok” és a „szabad bármihez” állítás egy ideje már nem ugyanaz.

Szinte minden technikai oldal itt olyan kifejezéseket használ, amelyeket ez a modell népszerűsített. A denoise erősség dönti el, mennyire tér el egy image-to-image eredmény a bemenetétől. A seed megismételhetővé teszi a generálást. Az inpainting maszkban szerkeszt, és a többit érintetlenül hagyja. Ezek a fogalmak bármelyik modellnél érvényesek, amit végül használni fog.

Ez az őszinte ok megérteni a Stable Diffusiont akkor is, ha sosem telepíti: ez az a modell, amelynek az interfésze „kiszivárgott” a nyelvbe. Ha ezt egyszer megtanulja, minden más eszköz olvashatóbb lesz.