Affiner les catégories de modèles
"L'affinage complet est comme une épée lourde, tandis que l'affinage efficace des paramètres est comme un petit couteau. Vous n'utilisez pas une épée lourde pour couper des fruits, et vous n'utilisez pas un petit couteau pour la bataille." - Ida Alchemy, membre de l'Association d'Alchemy, a écrit dans ses notes.
Les modèles d'affinage peuvent être divisés en deux catégories :
- Affinage complet : Tous les paramètres du modèle sont entraînés, ce qui donne un nouveau modèle.
- Affinage efficace des paramètres : Seuls quelques paramètres sont affinés, ce qui donne un petit modèle qui ne peut pas être utilisé seul et doit être utilisé avec le modèle original.
Ces deux techniques conviennent à différents scénarios.
Des exemples sont donnés ci-dessous.
Scénarios d'utilisation pour l'affinage complet
Supposons que nous disposions d'un modèle Stable Diffusion 2.1 qui peut générer divers scénarios d'images.
Maintenant, nous voulons utiliser ce modèle uniquement pour générer divers scénarios de photos réelles de personnes. Dans ce cas, nous devrions utiliser l'affinage complet.
Préparez un grand nombre (10 000 ou même plus) de photos réelles de personnes et affinez le modèle en fonction de ces images pour former un modèle spécialisé qui ne génère que des photos réelles de personnes.
Après avoir obtenu ce modèle spécialisé pour les images de la vie réelle, nous pouvons mettre le nouveau modèle entraîné dans le poste de travail de génération d'images et commencer à générer des photos réelles de personnes.
Scénarios d'utilisation pour l'affinage efficace des paramètres
Ensuite, nous avons une autre idée. Nous espérons que les personnes apparaissant dans les photos générées par ce modèle sont toutes une célébrité fixe, c'est-à-dire que nous espérons que les visages des personnes apparaissant dans les photos sont fixes.
Dans ce cas, nous pouvons utiliser l'affinage efficace des paramètres, préparer un petit nombre (10 à 50) de photos de cette célébrité et affiner un modèle Lora efficace en termes de paramètres en fonction de ces images.
Après avoir obtenu ce petit modèle, nous devons utiliser le modèle original et ce petit modèle efficace en termes de paramètres ensemble lors de la génération d'images.
Affinage complet : Nécessite plus de ressources informatiques et convient généralement aux ensembles de données à plus grande échelle. Il convient généralement aux ajustements à grande échelle, tels que les ajustements de style global pour un modèle, ou un modèle principalement utilisé pour générer des images bidimensionnelles qui doit maintenant être transformé en un modèle pour générer des images de la vie réelle.
Affinage efficace des paramètres : Plus pratique pour la formation et l'utilisation, comme vouloir qu'un modèle génère le visage d'une personne spécifique ou un type spécifique de vêtements.