[Хотите освоить генерацию арта всего за два дня?

Пройдите онлайн интенсив по Stable Diffusion от создателей Нейробазы. Сэкономьте несколько недель времени и узнайте все секреты профессионалов. Посмотрите программу и запишитесь прямо сейчас!](https://salebot.site/neuroweb_1?utmus=base)

  1. Что это
  2. Использование
    1. Cпособ 1 – использование в промте WebUI
    2. Cпособ 2 – расширение sd-additional-networks
    3. Cпособ 3 – патч модели
  3. Подготовка датасета
    1. Общие советы
    2. Для скрипта
    3. Для sd_dreambooth_extension
  4. Тренировка
    1. С помощью скрипта
    2. С помощью sd_dreambooth_extension
  5. Решение проблем
    1. Скрипт
    2. sd_dreambooth_extension

Нативная поддержка в WebUI

22.01.2023 в 16:15 AUTOMATIC1111 добавил нативную поддержку LoRA нетворков в WebUI. Но kohya-ss (автор скрипта, используемого в гайде) говорит, что сети, натренированные с помощью скрипта версии 0.4.0 (22.01.2023 16:03), а также обученные на основе SD 2.x чекпоинтов пока в WebUI не работают, и советует тренировать на версии скрипта 0.3.2, либо использовать его расширение sd-additional-networks.

Критический баг (kohya-ss/sd-scripts)

21.01.2023 была поднята тема по поводу бага, вызывающего антипереполнение весов слоёв при обучении (значения весов, близкие к нулю округлялись до нуля).На момент обновления гайда баг пофикшен: был добавлен новый аргумент --network_alpha для предотвращения данного поведения. С новой переменной скорее всего нужен другой learning_rate (автор скрипта как временное решение предлагает значение 1e-3 для network_dim = 128; network_alpha = 1). Ждём обновлений. Плохие новости – скорее всего ваши сети, натренированные до этого фикса "поломанные". Но если вас устраивает результат, делать ничего необязательно. Скрипт обновлен. Если у вас не работает обученная LoRA (выдаёт ошибку NaN или нет изменений на изображении) – обновитесь до версии sd-scripts не ниже 0.4.0 и перетренируйте. Также вы можете проверить свои старые сети: по пути sd-scripts\networks\ находится скрипт check_lora_weights.py. Пример использования:.\\venv\\Scripts\\activatepython .\\networks\\check_lora_weights.py "X:\\LoRA\\LoRA_network.safetensors"Внимание! Если вы использовали Clip Skip = 2 при обучении, значения lora_te_text_model_encoder_layers_11_* будут 0.0, это нормально. Эти слои при данном значении Clip Skip не обучаются.

Что это

LoRA (Low-rank Adaptation for Fast Text-to-Image Diffusion Fine-tuning), согласно официальному репозиторию — метод файн-тьюнинга Stable Diffusion чекпоинтов, который имеет следующие особенности:

Требования для обучения: видеокарта Nvidia, не меньше 6Гб видеопамяти.

Использование