Установка окружения
Установка text-generation-webui
Установка с помощью пакета
После скачивания пакета, распакуйте его и следуйте инструкциям в файле INSTRUCTIONS.TXT для установки. Запустите скрипт start_xx.sh в пакете для установки.
Установка из исходного кода
Установка
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
pip install -r requirements.txt
Запуск
# по умолчанию он будет слушать 7860
# доступ по адресу http://localhost:7860
python server.py
После запуска посетите http://localhost:7860 для использования.
Загрузка модели
После установки text-generation-webui вам также необходимо загрузить соответствующую модель для использования.
Запустите text-generation-webui и перейдите на вкладку Model.
Найдите и загрузите модели.
Введите название модели для загрузки. Для разных языков рекомендуется выбирать разные модели.
- Английский TheBloke/Wizard-Vicuna-7B-Uncensored-HF
- Китайский P01son/Linly-Chinese-LLaMA-7b-hf
- Корейский kollama-7b