Особенности
Основной функцией text-generation-webui является генерация текста, включающая в себя следующие возможности:
- Интерактивное общение с моделью через чат, интерактивные заметки и беседу
- Интеграция с несколькими средами выполнения модели, поддерживающими различные форматы и среды выполнения модели, такие как peft, llama.cpp и GPTQ-for-LLaMa
- Поддержка графического интерфейса для настройки обучения модели, включая обучение для peft LoRA
- Расширяемость, позволяющая другим разработчикам сообщества интегрировать text-generation-webui через разработку расширений
📄️ Интерактивный режим
text-generation-webui поддерживает несколько различных интерактивных режимов.
📄️ Расширения/Плагины
text-generation-webui поддерживает различные плагины.