Как обучить безумно крутой стиль
Если вы пользуетесь Krea, вы уже мастер текстовых промптов. И, скорее всего, уже обучали LoRA. Но что делает пользовательскую модель по-настоящему отличной? 3 ключевых шага обучения в Krea:- Отбор
- Вам нужны первоклассные изображения — высокое качество, высокая согласованность. Вы — куратор, а Krea — ваша галерея.
- Доводка
- В Krea очень легко настроить все технические параметры — базовые модели, шаги обучения и т. д. Настраивайте сколько душе угодно.
- Алхимия
- Скажем прямо: обучение стиля — это отдельное искусство, а не точная наука. Если результат обучения не оправдал ожиданий, не паникуйте. Это процесс проб и ошибок ради создания чего-то волшебного. Итерируйте, итерируйте, итерируйте!
Промпт: Алхимик в своей лаборатории перегоняет эликсир, абстракция. Создано с помощью пользовательского стиля на модели Krea 1.
1. Отбор
Загрузка
На Krea.ai нажмите на значок Home, затем в разделе ресурсов нажмите Train. Или просто прокрутите страницу вниз.
Типы датасетов
Персонаж- Можно обучить модель понимать конкретного нарисованного или отрендеренного персонажа (иллюстрация, концепт-арт, анимация, видеоигры и т. д.). Также можно обучать на лице реального человека (разумеется, с его согласия).
Данные персонажа (справа) и персонаж, сгенерированный в этом стиле (слева), совпадают в деталях.
- Для согласованности используйте как можно больше изображений персонажа в точно такой же одежде. Идеально — разнообразные позы, ракурсы и действия.
- Аниматоры и концепт-художники — это очень похоже на процесс создания листов персонажа (character sheets).
- Те же принципы, что и при обучении на персонаже: один и тот же объект, несколько ракурсов, крупные планы для деталей и общие планы для контекста.
- Если вы продуктовый дизайнер или работаете в e-commerce, просто загрузите столько уникальных снимков продукта, сколько у вас есть.
- Пустой или прозрачный фон может помочь, но не обязателен, если объект находится в центре внимания изображения.
Один объект, разные ракурсы, пустой фон. Это отличные данные для обучения.
- Если ХОТЯ БЫ ОДНО изображение показывает немного другой объект или продукт, это запутает модель и «замылит» результаты.
Если на продукте есть текст, стиль может не суметь его воспроизвести, если только у вас нет огромного количества обучающих изображений с крупными планами этого текста. Иначе ждите артефактов.
- Здесь датасет может быть более свободным и творческим. Эстетика или материал работ должны быть абсолютно одинаковыми, а вот сюжеты могут и должны быть очень разнообразными.
- Масляная живопись, аниме, жидкий хром, мрамор, low poly — любой выраженный стиль или техника.
Эта выборка из датасета Low Poly содержит уникальных персонажей и фоны.
Это изображение, сгенерированное в стиле Low Poly, получило совершенно новый сюжет и композицию.
- Широкий охват не даёт стилю переобучиться на одном конкретном сюжете и позволяет ему быть по-настоящему изобретательным.
2. Доводка
Пора настроить технические параметры. Krea даст название вашему Custom Style и назначит триггерное слово для промптов (при необходимости его можно изменить).Также можно проверить индикаторы количества изображений и среднего разрешения. Пока всё отлично.
Модель
- Суперсила Krea в том, что здесь доступно множество топовых моделей генерации изображений и видео.
- У каждой модели свои сильные стороны, но стоит поэкспериментировать со всеми. Краткий обзор:
Шаги
- Больше шагов = больше времени на изучение данных. Но это также может потребовать много вычислительных ресурсов и привести к переобучению, когда стиль просто воспроизводит обучающие изображения. Хорошее стартовое значение — количество изображений x 20.
По умолчанию: 250.
Скорость обучения
- Более высокая скорость обучения (learning rate) может ускорить обучение, но также может привести к переобучению стиля на данных. При низкой скорости обучение займёт больше времени.
По умолчанию: 0.004 (4e-3)
Размер батча
- Больший размер батча может ускорить обучение, но также привести к шаблонным результатам. Рекомендуется пропорционально настраивать Batch Size и Learning Rate. Для небольших датасетов придерживайтесь значения по умолчанию.
По умолчанию: 1
3. Алхимия
Когда стиль обучен, пора экспериментировать. Боги промптов — вот тут вы и зажжёте.Выжмите из стиля максимум:
- Выходите за рамки. Найдите сильные и слабые стороны. Выясните и зафиксируйте, когда стиль даёт отличные результаты, а когда — нет.
- Если результаты переобучены на стиль, попробуйте:
- Разнообразить обучающие данные
- Снизить скорость обучения
- Если результаты слишком разнородные, попробуйте:
- Добавить больше изображений в датасет
- Убрать из датасета слабые или выбивающиеся изображения
- Повысить скорость обучения
- Если результаты переобучены на стиль, попробуйте:
Судя по этим очень похожим тестовым генерациям, стиль, возможно, переобучен. Попробуйте ещё раз.
Повторное обучение
- Попробуйте другую модель
- Одна модель может передавать ваш стиль лучше другой. Пробуйте разные — для этого Krea и существует. Если сомневаетесь, загляните в таблицу моделей выше.
- Объедините датасеты
- Сочетание двух или более датасетов может дать по-настоящему уникальную эстетику. Если вы застряли или вас раздражают ограничения стиля, вдохните в него новую жизнь.
- Продолжайте экспериментировать
- Увеличьте или уменьшите количество изображений.
- Убедитесь, что все изображения в высоком разрешении.
- Поиграйте с настройками тонкой настройки Krea.