Skip to Main Content

Категории настройки модели

"Полная настройка модели - это как тяжелый меч, а настройка модели с эффективным использованием параметров - это как небольшой нож. Вы не используете тяжелый меч для резки фруктов, и вы не используете маленький нож для битвы." - Ида Алхимия, член Ассоциации Алхимиков, написал в своих заметках.

Настройка моделей может быть разделена на две категории:

  • Полная настройка модели: все параметры модели обучаются, что приводит к созданию новой модели.
  • Настройка модели с эффективным использованием параметров: настраивается только небольшое количество параметров, что приводит к созданию небольшой модели, которую нельзя использовать самостоятельно и которую необходимо использовать вместе с исходной моделью.

Эти две техники подходят для разных сценариев.

Приведены примеры ниже.

Сценарии использования для полной настройки модели​

Предположим, у нас есть модель Stable Diffusion 2.1, которая может генерировать различные сценарии изображений.

Теперь мы хотим использовать эту модель только для генерации различных реалистичных сценариев фотографий людей. В этом случае мы должны использовать полную настройку модели.

Подготовьте большое количество (10 000 или даже больше) фотографий реальных людей и настройте модель на основе этих изображений, чтобы обучить специализированную модель, которая генерирует только реальные фотографии людей.

Получив эту специализированную модель для реалистичных изображений, мы можем поместить новую обученную модель на рабочую станцию по генерации изображений и начать генерировать реальные фотографии людей.

Сценарии использования для настройки модели с эффективным использованием параметров​

Затем у нас есть другая идея. Мы надеемся, что люди, появляющиеся на фотографиях, сгенерированных этой моделью, являются фиксированной знаменитостью, то есть мы надеемся, что лица людей, появляющихся на фотографиях, фиксированы.

В этом случае мы можем использовать настройку модели с эффективным использованием параметров, подготовить небольшое количество (10-50) фотографий этой знаменитости и настроить эффективную по параметрам модель Lora на основе этих изображений.

Получив эту небольшую модель, нам нужно использовать исходную большую модель и эту небольшую модель с эффективным использованием параметров вместе при генерации изображений.

Полная настройка модели: требует больше вычислительных ресурсов и обычно более подходит для крупномасштабных наборов данных. Обычно он подходит для крупномасштабных настроек, таких как общие настройки стиля для модели или модели, используемой в основном для генерации двухмерных изображений, которую теперь нужно превратить в модель для генерации реалистичных изображений.

Настройка модели с эффективным использованием параметров: более удобна для обучения и использования, например, если вы хотите, чтобы модель генерировала лицо определенного человека или определенный тип одежды.