Skip to Main Content

Feinabstimmungsmodell-Kategorien

"Die vollständige Feinabstimmung ist wie ein schweres Schwert, während die parameter-effiziente Feinabstimmung wie ein kleines Messer ist. Sie verwenden kein schweres Schwert zum Schneiden von Früchten und Sie verwenden kein kleines Messer für den Kampf." - Ida Alchemy, Mitglied der Alchemistenvereinigung, schrieb in seinen Notizen.

Feinabstimmungsmodelle können in zwei Kategorien unterteilt werden:

  • Vollständige Feinabstimmung: Alle Parameter des Modells werden trainiert, was zu einem neuen Modell führt.
  • Parameter-effiziente Feinabstimmung: Nur eine geringe Anzahl von Parametern wird feinabgestimmt, was zu einem kleinen Modell führt, das allein nicht verwendet werden kann und zusammen mit dem Originalmodell verwendet werden muss.

Diese beiden Techniken sind für verschiedene Szenarien geeignet.

Beispiele werden unten gegeben.

Anwendungsszenarien für die vollständige Feinabstimmung​

Angenommen, wir haben ein Stable Diffusion 2.1-Modell, das verschiedene Szenarien von Bildern generieren kann.

Jetzt möchten wir dieses Modell nur verwenden, um verschiedene realistische Szenarien von menschlichen Fotos zu generieren. In diesem Fall sollten wir die vollständige Feinabstimmung verwenden.

Bereiten Sie eine große Anzahl (10.000 oder mehr) von echten menschlichen Fotos vor und feinabstimmen Sie das Modell basierend auf diesen Bildern, um ein dediziertes Modell zu trainieren, das nur echte menschliche Fotos generiert.

Nachdem wir dieses spezialisierte Modell für realistische Bilder erhalten haben, können wir das neu trainierte Modell in die Bildgenerierungswerkstatt stellen und mit der Generierung von echten menschlichen Fotos beginnen.

Anwendungsszenarien für die parameter-effiziente Feinabstimmung​

Als nächstes haben wir eine andere Idee. Wir hoffen, dass die Personen, die in den von diesem Modell generierten Fotos erscheinen, alle eine feste Berühmtheit sind, das heißt, wir hoffen, dass die Gesichter der Personen, die in den Fotos erscheinen, fest sind.

In diesem Fall können wir die parameter-effiziente Feinabstimmung verwenden, eine geringe Anzahl (10-50) von Fotos dieser Berühmtheit vorbereiten und ein parameter-effizientes Lora-Modell basierend auf diesen Bildern feinabstimmen.

Nachdem wir dieses kleine Modell erhalten haben, müssen wir das Originalgroße Modell und dieses parameter-effiziente kleine Modell zusammen verwenden, wenn wir Bilder generieren.

Vollständige Feinabstimmung: Erfordert mehr Rechenressourcen und ist in der Regel für größere Datensätze geeignet. Es eignet sich in der Regel für groß angelegte Anpassungen, wie z.B. Gesamtstilanpassungen für ein Modell oder ein Modell, das hauptsächlich zur Erzeugung von zweidimensionalen Bildern verwendet wird, das jetzt in ein Modell zur Erzeugung von realistischen Bildern umgewandelt werden muss.

Parameter-effiziente Feinabstimmung: Bequemer für das Training und die Verwendung, wie z.B. das Wünschen eines Modells zur Generierung des Gesichts einer bestimmten Person oder eines bestimmten Kleidungsstücks.