Czym jest Stable Diffusion? Otwarty model, z którego wszystko inne czerpało

Model diffusion uczy się, obserwując niszczenie obrazów. Bierzemy fotografię, dodajemy trochę szumu, potem więcej, aż zostaje sama „śnieżyca”, i uczymy sieć przewidywać, co usuwano na każdym kroku. Uruchomiona wspak od czystego szumu maluje obraz, którego wcześniej nie było.

Robienie tego w pełnej rozdzielczości jest ogromnie kosztowne, bo każdy krok dotyka każdego piksela. Przebieg latent polega na wcześniejszej kompresji obrazu do dużo mniejszej reprezentacji, która zachowuje strukturę, a odrzuca dokładne piksele; cały zaszumiony proces odbywa się w tej małej przestrzeni, a dekodowanie do prawdziwego obrazu następuje dopiero na końcu.

Ta jedna decyzja sprawiła, że technologia trafiła do zwykłych użytkowników. Obniżyła koszt generowania mniej więcej o rząd wielkości i przeniosła generowanie obrazów na sprzęt, który ktoś mógł już mieć, zamiast na wynajęty klaster.

Stability udostępniło pliki modelu, a nie wyłącznie API. To fakt o najdłuższych konsekwencjach, łatwy dziś do niedocenienia, gdy wyniki widać wszędzie.

Ponieważ każdy mógł model obejrzeć i modyfikować, zbudowano warstwy kontroli, których bazowy model nie miał. LoRA pozwoliła nauczyć konkretny styl lub obiekt małym plikiem dodatku, bez pełnego trenowania. ControlNet umożliwił ograniczenie generacji do pozy, mapy głębi albo rysunku krawędzi. Społecznościowe checkpoints wyspecjalizowały bazę do ilustracji, fotografii, architektury i wszystkiego pomiędzy.

Słownictwo z tamtego okresu stało się dziś językiem całej dziedziny — seed, sampler, denoise strength, CFG, inpainting. Te słowa spopularyzowała otwarta społeczność czytająca i przerabiająca model, który dało się faktycznie otworzyć, i dlatego słowniczek na tej stronie wygląda właśnie tak.

Lepiej niż kiedyś i nadal nie „od niechcenia”. Istnieją instalatory „jednym kliknięciem” i interfejsy w formie węzłów o realnej złożoności, a dystans między „wygenerowałem obraz” a „dostałem obraz, którego chciałem” to miejsce, gdzie znika czas.

Nagrodą jest kontrola, której hostowane produkty zwykle nie dają: dokładne seedy, dowolne rozdzielczości, każdy checkpoint lub LoRA, brak pośredniego potoku treści, brak kosztu „za obraz” po zakupie sprzętu i nic nie opuszcza Państwa maszyny.

Koszt to fakt, że zaczynają Państwo obsługiwać małą infrastrukturę. Pliki modeli mają po kilka gigabajtów, rozszerzenia potrafią się ze sobą kłócić, a karta graficzna z wystarczającą pamięcią to bilet wstępu. Osoby, które chcą obraz, zwykle wolą model hostowany; osoby, które chcą procesu, zostają przy własnej instalacji.

Nie jest już automatycznie najsilniejszą opcją pod względem jakości surowego wyniku, a kilka nowszych modeli — w tym FLUX, współtworzony przez osoby pracujące nad Stable Diffusion — dosłowniej czyta prompty i znacznie lepiej renderuje czytelny tekst.

Wciąż jednak ma przewagę ekosystemu. Skala społecznościowych checkpoints, adapterów stylu i narzędzi kontroli zbudowanych na starszych wersjach nie jest czymś, co nowy model zyska szybko, a dla kogoś z konkretnym stylem do odtworzenia lub już zbudowanym potokiem, ta „magazynowa” przewaga przeważa ogólną różnicę jakości.

Kolejne wersje były też wydawane na coraz bardziej warunkowych licencjach niż wczesne edycje, co warto zestawić z planowanym użyciem, zamiast zakładać. „Otwarte wagi” i „wolne do wszystkiego” przestały być tym samym już jakiś czas temu.

Prawie każda strona z technikami tutaj używa pojęć spopularyzowanych przez ten model. Denoise strength decyduje, jak daleko wynik image-to-image może odejść od wejścia. Seed czyni generację powtarzalną. Inpainting edytuje w masce i zostawia resztę w spokoju. Te koncepcje działają niezależnie od modelu, którego finalnie Państwo użyją.

To uczciwy powód, by rozumieć Stable Diffusion, nawet jeśli nigdy go Państwo nie zainstalują: to model, którego interfejs „przesiąkł” do języka. Poznać go raz — i każdy inny tool staje się łatwiejszy do czytania.