Що таке Stable Diffusion? Та відкрита модель, з якої запозичили всі інші

Diffusion-модель вчиться, спостерігаючи, як зображення руйнуються. Беремо фото, додаємо трохи шуму, ще більше, і так доти, доки не залишиться чистий «сніг», і навчаємо мережу передбачати, що було прибрано на кожному кроці. Запустіть це у зворотному напрямку — і з чистого шуму з’являється картина, якої не існувало.

Робити це у повній роздільності надзвичайно дорого, бо кожен крок торкається кожного пікселя. «Латентний трюк» — стиснути зображення спершу до значно меншого представлення, що зберігає структуру і відкидає точні пікселі, виконати весь зашумлений процес у цьому малому просторі, і лише наприкінці декодувати у реальну картинку.

Саме це рішення й донесло технологію до звичайних людей. Воно зменшило вартість генерації приблизно на порядок і перенесло створення зображень на обладнання, яке у когось уже є, а не на орендований кластер.

Stability виклала файли моделі, а не лише API. Це факт із найдовшими наслідками — його легко недооцінити тепер, коли результати скрізь.

Оскільки кожен міг дослідити і змінити модель, люди збудували шар контролю, якого базова модель не мала. LoRA дозволили навчити конкретний стиль чи суб’єкт невеликим додатковим файлом без повного тренування. ControlNet зробив можливим обмежувати генерацію позою, картою глибини або контурним малюнком. Спільнотні checkpoint спеціалізували базову модель під ілюстрацію, фотографію, архітектуру і не лише.

Лексика з того періоду зараз описує генерацію загалом — seed, sampler, denoise strength, CFG, inpainting. Ці слова популяризувала відкрита спільнота, яка читала і переписувала модель, що її можна було відкрити, — тому глосарій на цьому сайті написано саме так.

Краще, ніж було, і все ще не «кавою натиснути». Є інсталятори «в один клік», і є вузлові інтерфейси серйозної складності, а відстань між «я згенерував картинку» і «я отримав саме ту картинку» — туди йде час.

Нагорода — контроль, якого не дають хостингові продукти: точні seed-и, довільні роздільності, будь-який checkpoint чи LoRA, жодного контент-пайплайну між Вами та виходом, нульова ціна за кадр після купівлі «заліза», і ніщо не полишає Вашу машину.

Ціна — Ви починаєте керувати невеличкою інфраструктурою. Файли моделей займають кілька гігабайтів кожен, розширення ламаються одне об одне, а відеокарта з достатнім обсягом пам’яті — вхідний квиток. Тим, кому потрібне зображення, зазвичай краще з хостинговою моделлю; тим, кому потрібен процес, — залишаються.

Вона більше не «автоматично» найсильніша за сирою якістю виводу, і кілька новіших моделей — включно з FLUX, частково створеною людьми з команди Stable Diffusion — буквальніше читають prompt-и і значно краще виводять придатний до читання текст.

Її козир — екосистема. Обсяг спільнотних checkpoint, адаптерів стилю та інструментів контролю, збудованих поверх старших версій, не з’являється в новіших моделях швидко. Для тих, кому треба відтворити специфічний стиль чи хто вже має конвеєр, цей інвентар переважує загальний розрив у якості.

Наступні версії також виходили під щораз більш умовними ліцензіями, ніж перші релізи, — варто звіряти з Вашим використанням, не припускаючи. «Відкриті ваги» і «безкоштовно для всього» давно розійшлися у значеннях.

Майже кожна технічна сторінка тут використовує терміни, які популяризувала ця модель. Denoise strength визначає, наскільки далеко image-to-image відхилиться від вхідника. Seed робить генерацію відтворюваною. Inpainting править усередині маски й лишає решту незайманою. Ці поняття застосовні незалежно від моделі, якою Ви зрештою користуватиметеся.

Ось чесна причина розуміти Stable Diffusion, навіть якщо Ви її не встановлюватимете: це модель, чий інтерфейс «просочився» в мову. Вивчіть її раз — і кожен інший інструмент стане легшим для читання.