Co je Stable Diffusion? Otevřený model, ze kterého čerpal celý zbytek oboru

Difuzní model se učí tak, že sleduje ničení obrázků. Vezmete fotografii, přidáte trochu šumu, přidáte víc, pokračujete, dokud nezůstane jen statický šum, a učíte síť předpovídat, co se v každém kroku odstranilo. Když síť spustíte pozpátku z čistého šumu, „namaluje“ obraz, který nikdy neexistoval.

Dělat to v plném rozlišení je nesmírně nákladné, protože každý krok pracuje s každým pixelem. Latentní trik spočívá v tom, že se obrázek nejprve zkomprimuje do mnohem menší reprezentace, která zachová strukturu a zahodí přesné pixely, celý šumový proces běží v tomto malém prostoru a skutečný obrázek se dekóduje až na samém konci.

Jedno toto rozhodnutí je důvod, proč se to dostalo k běžným lidem. Srazilo to náklady na generování zhruba o řád a přineslo generování obrázků na hardware, který už někdo mohl mít doma, místo pronajatého clusteru.

Stability vydala samotné soubory modelu, nejen API. To je fakt s nejdelším dozvukem, a dnes, když jsou výsledky všude, se snadno podceňuje.

Protože mohl kdokoli model zkoumat a upravovat, komunita vybudovala vrstvu kontroly, kterou základní model postrádal. LoRA umožnila naučit specifický styl nebo subjekt malým přídavným souborem místo přeučování čehokoli. ControlNet umožnil svázat generování s pózou, hloubkovou mapou nebo obrysovou kresbou. Komunitní checkpointy specializovaly základní model na ilustraci, fotografii, architekturu a všechno mezi tím.

Slovník, který z té doby vzešel, je dnes způsob, jakým se o generování obrázků mluví obecně — seed, sampler, denoise strength, CFG, inpainting. Ta slova zpopularizovala otevřená komunita, která četla a přepisovala model, do něhož mohla nahlédnout, a proto je i náš glosář napsaný právě tak.

Lepší než dřív a pořád ne úplně nenáročné. Existují jednorázové instalátory a existují uzly a rozhraní skutečné komplexity — a vzdálenost mezi „vygeneroval(a) jsem obrázek“ a „dostal(a) jsem obrázek, který jsem chtěl(a)“ je to, kam mizí čas.

Odměnou je kontrola, kterou hostované produkty nenabízejí: přesné seedy, libovolná rozlišení, jakýkoli checkpoint nebo LoRA podle chuti, žádný obsahový pipeline mezi vámi a výstupem, žádné náklady za snímek po pořízení hardwaru a nic neodchází z vašeho stroje.

Cenou je, že provozujete malý kus infrastruktury. Soubory modelů mají i několik gigabajtů, rozšíření si navzájem lámou kompatibilitu a grafická karta s dostatkem paměti je vstupenka. Lidé, kteří chtějí obrázek, bývají spokojenější s hostovaným modelem; ti, kteří chtějí proces, u toho zůstávají.

Už to automaticky není nejsilnější volba na surovou kvalitu výstupu a několik novějších modelů — včetně FLUX, na němž se podíleli i lidé, kteří pracovali na Stable Diffusion — čte prompty doslovněji a výrazně lépe vykresluje čitelný text.

Co si drží, je ekosystém. Objem komunitních checkpointů, stylových adaptérů a řídicích nástrojů postavených na starších verzích není něco, co novější model rychle dožene, a pro každého, kdo potřebuje reprodukovat specifický styl nebo už má vybudovaný pipeline, převažuje tato zásoba nad obecným kvalitativním rozdílem.

Následné verze se také vydávají pod postupně podmíněnějšími licencemi než rané releasy, což je potřeba zkontrolovat vůči zamýšlenému použití a nic nepředpokládat. „Otevřené váhy“ a „zdarma na cokoli“ přestaly být totéž už před časem.

Téměř každá stránka s technikami zde používá pojmy, které tento model zpopularizoval. Denoise strength určuje, jak daleko se image-to-image výsledek odchýlí od vstupu. Seed dělá generování opakovatelným. Inpainting upravuje uvnitř masky a zbytek nechává nedotčený. Tyto koncepty platí bez ohledu na to, jaký model nakonec použijete.

A to je poctivý důvod porozumět Stable Diffusion i v případě, že ho nikdy nenainstalujete: je to model, jehož rozhraní „prosáklo“ do jazyka. Naučíte se ho jednou a každý další nástroj se čte snáz.