跳到主要内容

Dcard 情感区微调（中文）

在线体验​

可以色色

效果​

Untitled

Untitled

截屏2023-05-15 11.53.39.png

截屏2023-05-15 11.54.39.png

数据说明​

Dcard是一个台湾的社区类论坛，以话题板块的形势组织帖子，采集了Dcard情感区板块的帖子数据，然后基于这些数据在LLaMA上进行微调

简要介绍​

采集 Dcard 情感区的帖子数据，转为纯文本数据，然后在 P01son/Linly-Chinese-LLaMA-7b-hf 模型上进行了微调训练

教程​

训练微调模型​

  1. 安装text-generation-webui

    按照 text-generation-webui 的安装指南，安装text-generation-webui

  2. 启动 text-generation-webui，从顶部的选项卡选择，进入到 Model 选项 Untitled

  3. 在 Model 选项卡下，输入 P01son/Linly-Chinese-LLaMA-7b-hf ，然后点击下载，下载基础模型（也可以手动下载模型，然后放到 text-generation-webui 安装目录下的 models 目录） Untitled

  4. 下载准备好的 dcard 数据集，将数据集放到 text-generation-webui 安装目录下的 training/datasets 里

    Untitled

  5. 切换到 text-generation-webui 的 training 选项卡

    Untitled

  6. 选择 dcard 数据

    切换到 Raw text file，选择 dcard 数据

    Untitled

  7. 开始训练

    使用默认的参数进行训练即可，如果希望增加上下文长度，可以调高 cutoff 参数，

    点击 Start LoRA Training 开始训练

    开始训练后，能在 text-generation-webui 看到训练进度

    Untitled

    等待模型训练完成，通常，这将持续1～8个小时

    训练过程中的产物保存在 lora 目录下，你也可以中途中断训练，直接使用 lora 目录现有的 checkpoint 模型

    Untitled

  8. 使用模型

    在 lora 目录下手动新建一个文件夹，名字为 dcard_m

    将最新的 checkpoint 模型，从文件夹中复制到 lora 目录下

    Untitled

使用微调模型​

  1. 切换到 Model 选项卡，先选择Model Untitled

  2. 选择 LoRA，如果没有出现Lora的选择，请点击右边的刷新按钮或者检查LoRA模型是否已经放到text-generation-webui 的 LoRA目录下

    Untitled

  3. 应用LoRA，点击 Apply the selected LoRAs Untitled

  4. 在应用成功后，可以看到提示 Untitled

  5. 使用模型

    切换到 Text generation 选项卡，然后输出故事的开头，点击Generate，会在右边自动生成故事的后续 Untitled