Introduction aux modèles de réglage fin
"Les modèles de réglage fin sont le secret ultime de l'alchimie." L'alchimiste légendaire Idar Alchemy a écrit dans le "Manuel d'alchimie"
Introduction aux modèles de réglage fin
Qu'est-ce que le réglage fin d'un modèle?
Considérons d'abord quelques scénarios réels.
- Supposez que vous aimez une certaine célébrité et que vous voulez que le modèle génère leurs photos. Comment dire au modèle que vous voulez générer des photos de cette célébrité particulière ?
- Supposez que vous voulez qu'un chatbot joue à un jeu de rôle avec vous, le chatbot jouant le rôle d'une fille-chat. Au cours de la conversation, vous développez des sentiments pour cette fille-chat, mais lorsque vous commencez un nouveau contexte de conversation et que vous voulez que le chatbot joue à nouveau le rôle de cette fille-chat, le style de parole et la personnalité du chatbot sont nettement différents de ceux d'avant. Comment pouvez-vous vous assurer que le style de parole/personnalité du chatbot reste cohérent ?
- Votre ami X est décédé et vous voulez qu'un chatbot prétende être lui et discute avec vous. Pour rendre le chatbot aussi proche de X que possible, vous fournissez au chatbot des paramètres de contexte complexes. Cependant, parce que les paramètres de contexte sont trop longs, le chatbot oublie souvent la conversation précédente en raison de la longueur du contexte de conversation. Comment pouvez-vous résoudre ce problème ?
Les problèmes rencontrés dans ces trois scénarios ne peuvent pas être résolus simplement en modifiant l'entrée du modèle (également connue sous le nom de prompt). Les problèmes comprennent :
Il peut ne pas être possible de décrire avec précision le contenu généré souhaité par le biais du langage naturel.
Par exemple, en ce qui concerne les visages, même si nous disons au modèle que la célébrité a de grands yeux, un pont de nez haut, des cheveux noirs, etc., le modèle ne peut toujours pas déterminer avec précision quelle sorte de personne nous voulons générer. Nous ne pouvons pas utiliser le langage naturel pour décrire avec précision le visage d'une personne.
Les descriptions simples en langage naturel ne peuvent pas garantir que le contenu généré par le modèle est stable.
Par exemple, dans un scénario de jeu de rôle, nous disons au chatbot qu'il doit jouer un certain personnage. Même si nous décrivons le style de parole ou la personnalité du personnage par le texte, les réponses du chatbot seront toujours différentes de nos paramètres dans plusieurs jeux et conversations.
Les contraintes textuelles simples sur la génération du modèle ont généralement une faible précision, et nous ne pouvons pas décrire avec précision une personne par le texte simple.
Les contraintes textuelles simples sur le modèle peuvent entraîner des conversations trop courtes en raison de la longueur du texte limitatif.
Pour améliorer la précision grâce aux contraintes de langage naturel, des contraintes de langage naturel plus longues sont nécessaires. Plus la contrainte de langage naturel est longue, plus elle occupe d'espace de contexte de dialogue, ce qui entraîne une conversation réelle trop courte.
Lorsque des ajustements d'entrée simples ne peuvent pas résoudre ces problèmes, des techniques de réglage fin de modèle sont nécessaires.
Le réglage fin du modèle consiste à reformer un modèle existant sur des données spécifiques pour rendre le modèle plus adapté à un scénario particulier.
Par exemple, les problèmes rencontrés dans les scénarios ci-dessus peuvent tous être résolus grâce au réglage fin du modèle.
Il peut ne pas être possible de décrire avec précision le contenu généré souhaité par le biais du langage naturel.
Puisque nous ne pouvons pas décrire le visage d'une célébrité par le langage, nous pouvons utiliser leurs photos pour dire au modèle quelle sorte de personne nous voulons générer.
Tout d'abord, nous collectons 10 à 40 photos claires du visage de la célébrité en ligne, puis nous affinons le modèle sur ces photos. Après le réglage fin, nous pouvons utiliser le modèle affiné pour générer des photos de cette célébrité.
Les descriptions simples en langage naturel ne peuvent pas garantir que le contenu généré par le modèle est stable.
Tout d'abord, nous devons collecter les données de chat de la fille-chat que nous avons aimée auparavant et trouver son style de parole. Si les données de conversation précédentes ne sont pas suffisantes, nous pouvons laisser le chatbot générer directement plusieurs langues qui imitent ce style, puis choisir le texte approprié. Ensuite, nous affinons le modèle sur ce texte, et le modèle affiné produira du texte qui penche vers le style des données de réglage fin.
Les contraintes textuelles simples sur le modèle peuvent entraîner des conversations trop courtes en raison de la longueur du texte limitatif.
Tout d'abord, nous devons également préparer certaines données de l'ami X, comme leurs conversations de chat et leur caractère de fond. Ensuite, nous affinons le modèle sur ce texte, et le modèle affiné peut converser directement dans le style de ce personnage sans paramètres de fond complexes.
En général, l'importance des modèles de réglage fin est de rendre le contenu généré par le modèle plus personnalisé.
Quand n'avez-vous pas besoin de régler fin un modèle
Par exemple, si vous voulez préciser que les personnages d'une image portent tous des T-shirts blancs, ou si vous voulez qu'un chatbot joue un rôle utilitaire, généralement, dans des scénarios non personnalisés, vous pouvez utiliser un modèle général sans réglage fin.
De quoi avez-vous besoin pour régler fin un modèle
Équipement: Un ordinateur avec une carte graphique Nvidia (si vous n'avez pas un tel équipement, vous pouvez louer un service en ligne)
Données:
- Pour les types d'images, vous devez préparer des images
- Pour les types de texte, vous devez préparer un corpus de texte
- Pour les types audio, vous devez préparer des fichiers de musique ou de chanson
Comment utiliser le modèle affiné
Veuillez vous référer au contenu de l'aperçu de l'utilisation du modèle.