Instalación del entorno
Instalación de text-generation-webui
Instalación mediante paquete
Después de descargar el paquete, descomprímalo y siga el proceso de instalación en el archivo INSTRUCTIONS.TXT. Ejecute el script start_xx.sh en el paquete para instalar.
Instalación desde el código fuente
Instalación
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
pip install -r requirements.txt
Lanzamiento
# por defecto, escuchará en el puerto 7860
# acceder a http://localhost:7860
python server.py
Después de esperar al lanzamiento, visite http://localhost:7860 para usarlo.
Descarga del modelo
Después de instalar text-generation-webui, también es necesario descargar el modelo correspondiente para usarlo.
Inicie text-generation-webui y cambie a la pestaña Modelo.
Encuentre y descargue los modelos.
Ingrese el nombre del modelo para descargar. Para diferentes idiomas, se recomienda elegir diferentes modelos.
- Inglés TheBloke/Wizard-Vicuna-7B-Uncensored-HF
- Chino P01son/Linly-Chinese-LLaMA-7b-hf
- Coreano kollama-7b