Dcard Sentiment Fine-tuning (Chinese)
Online-Erfahrung
Ergebnisse
Datenbeschreibung
Dcard ist ein taiwanesisches Community-Forum, das Beiträge in Themenbereiche gliedert. In diesem Projekt wurden Beiträge aus dem Sentiment-Bereich von Dcard gesammelt und ein Modell auf LLaMA mit diesen Daten verfeinert.
Kurze Einführung
In diesem Projekt wurden Textdaten aus dem Sentiment-Bereich von Dcard gesammelt, in Klartext konvertiert und dann das P01son/Linly-Chinese-LLaMA-7b-hf-Modell verfeinert.
Tutorial
Modell verfeinern
Installieren Sie text-generation-webui
Folgen Sie der Installationsanleitung für text-generation-webui, um es zu installieren.
Starten Sie text-generation-webui und wählen Sie die Registerkarte "Modell" aus den oberen Optionen aus.
Geben Sie in der Modellregisterkarte P01son/Linly-Chinese-LLaMA-7b-hf ein und klicken Sie dann auf Download, um das Basismodell herunterzuladen (Sie können das Modell auch manuell herunterladen und in das Verzeichnis "models" der text-generation-webui-Installation kopieren).
Laden Sie den vorbereiteten dcard-Datensatz herunter und legen Sie ihn im Verzeichnis "training/datasets" der text-generation-webui-Installation ab.
Wechseln Sie zur Registerkarte "Training" in text-generation-webui.
Wählen Sie den dcard-Datensatz aus.
Wechseln Sie zur Option "Rohdatei" und wählen Sie den dcard-Datensatz aus.
Starten Sie das Training.
Verwenden Sie die Standardparameter für das Training. Wenn Sie die Kontextlänge erhöhen möchten, können Sie den Cutoff-Parameter erhöhen.
Klicken Sie auf "Start LoRA Training", um das Training zu starten.
Sie können den Fortschritt des Trainings in text-generation-webui sehen.
Warten Sie, bis das Modell das Training abgeschlossen hat. Dies dauert normalerweise 1-8 Stunden.
Das Ergebnis des Trainingprozesses wird im Verzeichnis "lora" gespeichert. Sie können auch den Trainingsprozess unterbrechen und das vorhandene Checkpoint-Modell im Verzeichnis "lora" verwenden.
Verwenden Sie das Modell.
Erstellen Sie manuell einen Ordner namens "dcard_m" im Verzeichnis "lora".
Kopieren Sie das neueste Checkpoint-Modell aus dem Ordner in das Verzeichnis "lora".
Verwendung des verfeinerten Modells
Wechseln Sie zur Modellregisterkarte und wählen Sie zuerst das Modell aus.
Wählen Sie LoRA aus. Wenn LoRA nicht angezeigt wird, klicken Sie auf die Schaltfläche "Aktualisieren" auf der rechten Seite oder prüfen Sie, ob das LoRA-Modell im LoRA-Verzeichnis von text-generation-webui platziert wurde.
Wenden Sie LoRA an, indem Sie auf "Ausgewählte LoRAs anwenden" klicken.
Nach erfolgreicher Anwendung wird eine Meldung angezeigt.
Verwenden Sie das Modell.
Wechseln Sie zur Registerkarte "Textgenerierung", geben Sie den Anfang der Geschichte ein und klicken Sie auf "Generieren", um den Rest der Geschichte automatisch auf der rechten Seite zu generieren.
