Доводка настроенной модели Dcard Sentiment (китайский)
Опыт в Интернете
Результаты
Описание данных
Dcard - это тайваньский форум сообщества, который организует сообщения в разделы по темам. В этом проекте были собраны сообщения из раздела настроения Dcard, и на этих данных была доведена модель на LLaMA.
Краткое введение
В этом проекте были собраны текстовые данные из раздела настроения Dcard, преобразованные в обычный текст, а затем доведена модель P01son/Linly-Chinese-LLaMA-7b-hf.
Учебник
Доведение модели
Установите text-generation-webui
Следуйте инструкциям по установке text-generation-webui.
Запустите text-generation-webui и выберите вкладку Model в верхнем меню
Во вкладке Model введите P01son/Linly-Chinese-LLaMA-7b-hf, затем нажмите кнопку Download, чтобы загрузить базовую модель (вы также можете вручную загрузить модель и поместить ее в каталог models установки text-generation-webui)
Загрузите подготовленный набор данных dcard и поместите его в каталог training/datasets установки text-generation-webui
Переключитесь на вкладку training в text-generation-webui
Выберите набор данных dcard
Переключитесь на опцию Raw text file и выберите набор данных dcard
Начните обучение
Используйте параметры по умолчанию для обучения. Если вы хотите увеличить длину контекста, вы можете увеличить параметр cutoff.
Нажмите кнопку Start LoRA Training, чтобы начать обучение.
Вы можете увидеть процесс обучения в text-generation-webui.
Дождитесь завершения обучения модели. Это обычно занимает от 1 до 8 часов.
Результаты процесса обучения сохраняются в каталоге lora. Вы также можете прервать процесс обучения и использовать существующую модель контрольной точки в каталоге lora.
Использование модели
Вручную создайте папку с именем dcard_m в каталоге lora.
Скопируйте последнюю модель контрольной точки из папки в каталог lora.
Использование доведенной модели
Переключитесь на вкладку Model и сначала выберите модель
Выберите LoRA. Если LoRA не появляется, нажмите кнопку обновления справа или проверьте, была ли модель LoRA помещена в каталог LoRA text-generation-webui.
Примените LoRA, нажав кнопку Apply the selected LoRAs.
После успешного применения появится сообщение.
Использование модели
Переключитесь на вкладку Text generation, введите начало истории и нажмите кнопку Generate, чтобы автоматически сгенерировать остаток истории справа.
