Umgebung Installation
Installieren von text-generation-webui
Installieren mit Paket
Nach dem Herunterladen des Pakets entpacken Sie es und befolgen Sie den Installationsprozess in der INSTRUCTIONS.TXT-Datei. Führen Sie das start_xx.sh-Skript im Paket aus, um zu installieren.
Installieren aus dem Quellcode
Installation
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
pip install -r requirements.txt
Starten
# Standardmäßig wird es auf 7860 hören
# Zugriff auf http://localhost:7860
python server.py
Nachdem Sie auf den Start gewartet haben, besuchen Sie http://localhost:7860, um es zu verwenden.
Modell-Download
Nach der Installation von text-generation-webui müssen Sie auch das entsprechende Modell herunterladen, um es zu verwenden.
Starten Sie text-generation-webui und wechseln Sie zur Registerkarte Modell.
Suchen und laden Sie Modelle herunter.
Geben Sie den Modellnamen ein, um ihn herunterzuladen. Für verschiedene Sprachen wird empfohlen, verschiedene Modelle auszuwählen.
- Englisch TheBloke/Wizard-Vicuna-7B-Uncensored-HF
- Chinesisch P01son/Linly-Chinese-LLaMA-7b-hf
- Koreanisch kollama-7b