Что означает аббревиатура LoRA?

Low-Rank Adaptation. Это про математический приём, делающий файл-дополнение компактным, а не про особенности изображений.

Какого размера файл LoRA?

Обычно от десятков до нескольких сотен мегабайт — против нескольких гигабайт у базовой модели, которую он модифицирует.

Нужна ли мне LoRA, чтобы генерировать хорошие изображения?

Нет. Она нужна, чтобы добавить то, чего не знает базовая модель: ваш продукт, вашего персонажа, определённый стиль. Для общих задач достаточно базовой модели.

Можно ли использовать несколько LoRA одновременно?

Да, у каждой — своя сила. Две сильные «стилевые» LoRA конфликтуют; снижение весов обычно решает проблему лучше, чем отключение одной из них.

Могу ли я обучить свою LoRA?

Да, и это самый доступный способ кастомизации модели — обычно хватает умеренного набора изображений и потребительской видеокарты. Качество куда сильнее зависит от согласованности обучающих кадров, чем от их количества.

Работают ли LoRA с любой моделью?

Нет. LoRA обучается под конкретную базовую архитектуру и не переносится на другую. LoRA для одной семейства моделей не загрузится в другое.

Свободны ли LoRA для коммерческого использования?

Не автоматически. У каждой — своя лицензия, и лицензия базовой модели тоже действует. Некоторые LoRA из сообщества прямо запрещают коммерческое использование.

Глоссарий ИИ для изображений

Что такое LoRA?

Небольшое дообученное дополнение, которое учит базовую модель конкретному стилю, персонажу или объекту без полного переобучения всей модели.

LoRA — сокращение от Low-Rank Adaptation — это небольшой файл, который модифицирует большую модель изображений, чтобы выдавать конкретный стиль, персонажа, объект или эстетику. Вместо переобучения модели весом в несколько гигабайт LoRA обучает компактный набор поправок — обычно от десятков до нескольких сотен мегабайт — которые применяются поверх базовой модели во время генерации.

Малое латунное переходное кольцо на большом объективе, на тёплой бумаге

Проблема, которую решают LoRA

Базовая модель изображений знает очень многое вообще и ничего о вашем частном предмете. Она не видела ваш продукт, вашего персонажа, ваш иллюстрационный почерк или ваше лицо. Научить её этому через полное переобучение требует такой техники и данных, что это почти ни для кого недоступно, и к тому же порождает ещё один многогигабайтный файл для каждого варианта.

Почему «low rank» делает файл маленьким

Идея в том, что поправка, нужная для специализации модели, намного проще самой модели. Вместо того чтобы учить новое значение для каждого веса, LoRA учит компактную факторизацию — две маленькие матрицы, произведение которых аппроксимирует изменение, — и этой аппроксимации оказывается достаточно. В результате файл на два–три порядка меньше модифицируемой модели и обучается на одной потребительской видеокарте за минуты или часы.

На чём их действительно обучают

Доминируют четыре типа. Стиль — чтобы всё генерировалось в одном иллюстрационном или фотографическом ключе. Персонаж — чтобы один и тот же человек или существо последовательно появлялись на многих изображениях. Объект — обычно продукт, который должен быть узнаваемым до детали. И концепт, с которым базовая модель справляется плохо — конкретный крой одежды, архитектурный элемент, нишевое оборудование.

Стек, веса и где всё ломается

Можно подключать несколько LoRA сразу, каждой задавая свою силу, — и именно тут живёт большая часть практических сложностей. Две «стилевые» LoRA на полной силе конфликтуют и дают «кашу»; «персонажная» LoRA с слишком большим весом «подмешивает» фон обучения в каждый кадр. Обычное решение — снизить веса, а не убирать файлы: большинство проблем стека — это вопросы «громкости».

Лицензирование, о котором часто забывают

LoRA — производная и от базовой модели, и от изображений, на которых её обучали, и ни то, ни другое не автоматически разрешено к распространению. Сообщество публикует LoRA с разными лицензиями, некоторые запрещают коммерческое использование, а LoRA, обученная на работах живущего художника для копирования его стиля, поднимает вопрос, который ни один LICENSE не решает. Проверьте всё, прежде чем строить бизнес на таком файле.

LoRA кратко

Расшифровка: Низкоранговая адаптация (LoRA)
Размер файла: От десятков до сотен МБ
Размер базовой модели: Несколько ГБ
Можно загрузить одновременно: Несколько, с весами
Обучает: Стиль, персонажа или объект
Переносима между моделями: Нет

Связанные термины

С чем соседствует LoRA

Что такое checkpoint?Модель, к которой подключается.

Что такое Stable Diffusion?Где живёт эта экосистема.

Что такое FLUX.1?Моложе и меньше — иная сцена адаптеров.

Что такое Nano Banana?Стабильность без обучения.

все фото- и арт-стилиСтиль без этапа тренировки.

объяснение терминовКаждый термин, с определением.

Применение

Где это встречается

главный генераторГлавный генератор — от текста к готовой картинке.Открыть посмотрите реальные prompt120 изображений с точными промптами, которые их создали.Открыть Изображение по изображениюНачните с картинки, которая у Вас уже есть.Открыть ИИ-фоторедакторМеняйте часть фото, остальное сохранится.Открыть ИИ-апскейлер изображенийУвеличение до 4K без мыла.Открыть улучшите фотоЭкспозиция, шум и восстановление старых фото.Открыть удаление объекта по маскеМаскированное удаление с восстановлением фона.Открыть Размытие фонаС учётом глубины, не равномерный фильтр.Открыть добавьте цвет старому фотоПравдоподобный цвет для ч/б снимков.Открыть сгенерируйте логотипЗнаки, читаемые даже в 16 пикселях.Открыть ИИ-генератор татуировокЭскизы, которые переживут набивку.Открыть сгенерируйте иллюстрациюИллюстрация и живопись, не фотографии.Открыть сгенерируйте хедшотПортреты уровня студии без студии.Открыть требования к фото на паспортТочная спецификация и как ей соответствовать.Открыть Дизайн интерьеров на ИИПерестройте комнату, которую можно сфотографировать.Открыть Словарь по ИИ-изображениямSeed, denoise, inpainting — что это такое.Открыть

LoRA — questions people ask

Что означает аббревиатура LoRA?: Low-Rank Adaptation. Это про математический приём, делающий файл-дополнение компактным, а не про особенности изображений.
Какого размера файл LoRA?: Обычно от десятков до нескольких сотен мегабайт — против нескольких гигабайт у базовой модели, которую он модифицирует.
Нужна ли мне LoRA, чтобы генерировать хорошие изображения?: Нет. Она нужна, чтобы добавить то, чего не знает базовая модель: ваш продукт, вашего персонажа, определённый стиль. Для общих задач достаточно базовой модели.
Можно ли использовать несколько LoRA одновременно?: Да, у каждой — своя сила. Две сильные «стилевые» LoRA конфликтуют; снижение весов обычно решает проблему лучше, чем отключение одной из них.
Могу ли я обучить свою LoRA?: Да, и это самый доступный способ кастомизации модели — обычно хватает умеренного набора изображений и потребительской видеокарты. Качество куда сильнее зависит от согласованности обучающих кадров, чем от их количества.
Работают ли LoRA с любой моделью?: Нет. LoRA обучается под конкретную базовую архитектуру и не переносится на другую. LoRA для одной семейства моделей не загрузится в другое.
Свободны ли LoRA для коммерческого использования?: Не автоматически. У каждой — своя лицензия, и лицензия базовой модели тоже действует. Некоторые LoRA из сообщества прямо запрещают коммерческое использование.

Связанные термины ИИ для изображений

Начните создавать сегодня

Сгенерируйте своё первое изображение в лучшем генераторе на ИИ.

Преобразуйте фразу в готовое, фотореалистичное изображение за секунды — а затем отточите каждую деталь. Без настройки, без Discord, без GPU.

Генерируйте без обучения LoRA Начать

К LaFoto уже присоединились 4 200+ авторов