Einführung in das Feintuning von Modellen
"Feintuning-Modelle sind das ultimative Geheimnis der Alchemie." Der legendäre Alchemist Idar Alchemy schrieb dies im "Alchemy Handbook"
Einführung in das Feintuning von Modellen
Was ist das Feintuning eines Modells?
Betrachten wir zunächst einige reale Szenarien.
- Angenommen, Sie mögen einen bestimmten Prominenten und möchten, dass das Modell Fotos von ihm generiert. Wie sagen Sie dem Modell, dass Sie Fotos dieses bestimmten Prominenten generieren möchten?
- Angenommen, Sie möchten, dass ein Chatbot mit Ihnen ein Rollenspiel spielt und der Chatbot als Katzenmädchen spielt. Während des Gesprächs entwickeln Sie Gefühle für dieses Katzenmädchen, aber wenn Sie einen neuen Gesprächskontext starten und den Chatbot wieder als dieses Katzenmädchen spielen lassen möchten, ist der Sprachstil und die Persönlichkeit des Chatbots deutlich anders als zuvor. Wie können Sie sicherstellen, dass der Sprachstil / die Persönlichkeit des Chatbots konsistent bleibt?
- Ihr Freund X ist verstorben und Sie möchten, dass ein Chatbot so tut, als ob er X sei und mit Ihnen plaudert. Um den Chatbot so ähnlich wie möglich an X zu machen, geben Sie dem Chatbot komplexe Hintergrundinformationen. Da die Hintergrundinformationen jedoch zu lang sind, vergisst der Chatbot aufgrund der Länge des Gesprächskontexts oft das vorherige Gespräch. Wie können Sie dieses Problem lösen?
Die in diesen drei Szenarien auftretenden Probleme können nicht einfach durch Änderung der Eingabe des Modells (auch als Prompt bezeichnet) gelöst werden. Die Probleme umfassen:
Es ist möglicherweise nicht möglich, den gewünschten generierten Inhalt genau durch natürliche Sprache zu beschreiben.
Wenn es zum Beispiel um Gesichter geht, kann das Modell selbst dann nicht genau bestimmen, welche Art von Person wir generieren möchten, wenn wir ihm sagen, dass der Prominente große Augen, eine hohe Nasenbrücke, schwarze Haare usw. hat. Wir können eine Person nicht genau durch natürliche Sprache beschreiben.
Einfache Beschreibungen in natürlicher Sprache können nicht garantieren, dass der vom Modell generierte Inhalt stabil ist.
Wenn wir dem Chatbot in einem Rollenspiel-Szenario sagen, dass er eine bestimmte Figur spielen muss, werden die Antworten des Chatbots selbst dann unterschiedlich sein, wenn wir den Sprachstil oder die Persönlichkeit der Figur durch Text beschreiben.
Einfache textuelle Einschränkungen bei der Generierung des Modells haben in der Regel eine geringe Genauigkeit, und wir können eine Person nicht genau durch einfachen Text beschreiben.
Einfache textuelle Einschränkungen des Modells können aufgrund der Länge des einschränkenden Textes zu zu kurzen Gesprächen führen.
Um die Genauigkeit durch natürliche Sprachbeschränkungen zu verbessern, sind längere natürliche Sprachbeschränkungen erforderlich. Je länger die natürliche Sprachbeschränkung ist, desto mehr Dialogkontextraum nimmt sie ein, was zu einem tatsächlich zu kurzen Gespräch führt.
Wenn einfache Eingabeanpassungen diese Probleme nicht lösen können, sind Feintuning-Techniken für Modelle erforderlich.
Feintuning von Modellen bezieht sich auf das Neuschulen eines vorhandenen Modells auf spezifischen Daten, um das Modell für ein bestimmtes Szenario besser geeignet zu machen.
Die in den obigen Szenarien auftretenden Probleme können alle durch das Feintuning von Modellen gelöst werden.
Es ist möglicherweise nicht möglich, den gewünschten generierten Inhalt genau durch natürliche Sprache zu beschreiben.
Da wir das Gesicht eines Prominenten nicht durch Sprache beschreiben können, können wir dem Modell anhand seiner Fotos mitteilen, welche Art von Person wir generieren möchten.
Zunächst sammeln wir 10-40 klare Gesichtsfotos des Prominenten online und feintunen dann das Modell auf diesen Fotos. Nach dem Feintuning können wir das feintunierte Modell verwenden, um Fotos dieses Prominenten zu generieren.
Einfache Beschreibungen in natürlicher Sprache können nicht garantieren, dass der vom Modell generierte Inhalt stabil ist.
Zunächst müssen wir die Chat-Daten des Katzenmädchens, das wir zuvor mochten, sammeln und ihren Sprachstil finden. Wenn die vorherigen Konversationsdaten nicht ausreichend sind, können wir den Chatbot direkt mehrere Sprachen generieren lassen, die diesen Stil nachahmen, und dann den geeigneten Text auswählen. Dann feintunen wir das Modell auf diesen Text, und das feintunierte Modell gibt Text aus, der sich dem Stil der Feintuning-Daten annähert.
Einfache textuelle Einschränkungen des Modells können aufgrund der Länge des einschränkenden Textes zu zu kurzen Gesprächen führen.
Zunächst müssen wir auch einige Daten von Freund X vorbereiten, wie zum Beispiel ihre Chat-Konversationen und ihren Charakterhintergrund. Dann feintunen wir das Modell auf diesen Text, und das feintunierte Modell kann direkt im Stil dieses Charakters sprechen, ohne komplexe Hintergrundinformationen.
Im Allgemeinen besteht die Bedeutung von Feintuning-Modellen darin, den vom Modell generierten Inhalt anzupassen.
Wann Sie kein Modell feintunen müssen
Wenn Sie beispielsweise angeben möchten, dass die Charaktere auf einem Bild alle weiße T-Shirts tragen, oder wenn Sie möchten, dass ein Chatbot eine utilitaristische Rolle spielt, können Sie im Allgemeinen in nicht angepassten Szenarien ein allgemeines Modell ohne Feintuning verwenden.
Was Sie für das Feintuning eines Modells vorbereiten müssen
Ausrüstung: Ein Computer mit einer Nvidia-Grafikkarte (wenn Sie eine solche Ausrüstung nicht haben, können Sie einen Online-Service mieten)
Daten:
- Für Bildtypen müssen Sie einige Bilder vorbereiten
- Für Texttypen müssen Sie Textkorpus vorbereiten
- Für Audiotypen müssen Sie einige Musik- oder Song-Dateien vorbereiten
Wie man das feintunierte Modell verwendet
Bitte beachten Sie den Inhalt in der Übersicht zur Verwendung des Modells.