Текстовые модели AIGC
В настоящее время существует множество текстовых моделей, некоторые из которых являются продуктами настройки существующих больших моделей, а некоторые - базовыми моделями, обученными с нуля различными компаниями.
Известные базовые модели
| Базовая модель | Дата выпуска | Размер модели | Издатель | Язык | Особенности |
|---|---|---|---|---|---|
| LLaMA | 2023.03 | 7B~65B | Meta | Главным образом английский, слабая поддержка для других языков | |
| MPT | 2023.05 | 7B | mosaicml | Главным образом английский, слабая поддержка для других языков | Коммерчески доступна, поддерживает длинные контексты |
| ChatGLM | 2023.03 | 6B | THUDM | Китайский и английский | |
| Cerebras-GPT | 2023.03 | 1.3B~13B | cerebras | Главным образом английский, слабая поддержка для других языков | |
| rwkv-4-raven | 2023.04 | 1.5B~14B | BlinkDL | Разные версии, разные версии имеют разную поддержку языков | Не трансформирует структуру |
| OpenFlamingo | 2023.03 | 9B | LAION | Главным образом английский, слабая поддержка для других языков | Мульти-модальная, поддерживает изображения |
| StableLM | 2023.04 | 3B~7B | stability.ai | Главным образом английский, слабая поддержка для других языков | |
| Bloom | 2022.10 | 1B～176B | bigscience | 59 языков | |
| RedPajama-INCITE | 2023.05 | 3B~7B | together | Главным образом английский, слабая поддержка для других языков | |
| pythia | 2023.03 | 1B~12B | eleuther.ai | Английский | |
| GPT-Neo | 2021.03 | 125M~2.7B | eleuther.ai | Английский | |
| GPT-J | 2021.03 | 6B | eleuther.ai | Английский | |
| GPT-NeoX | 2022.02 | 20B | eleuther.ai | Английский | |
| OPT | 2022.05 | 125M-175B | Meta | Главным образом английский, слабая поддержка для других языков |
Замечания
Связь между другими известными моделями в сообществе и этими базовыми моделями показана в следующей таблице.
| Базовая модель | Название модели | Метод настройки | Издатель | Введение |
|---|---|---|---|---|
| LLaMA | Alpaca | Полная настройка параметров | stanford | Настроенная модель LLaMA, настроенная с использованием OpenAI's text-davinci-003 |
| Alpaca-LoRA | Легкая настройка | tloen | То же, что и Alpaca, но настроенная с использованием Lora | |
| Vicuna | Полная настройка параметров | LMSYS Org | Настроенная модель LLaMA, обученная и настроенная с использованием диалогов, собранных от пользователей, собранных из ShareGPT | |
| Koala | Полная настройка параметров | berkeley | Настроенная модель LLaMA | |
| WizardLM | Полная настройка параметров | WizardLM | Настроенная модель LLaMA, сосредоточенная на настройке сложных инструкций | |
| GPT-J | dolly-v1 | Полная настройка параметров | databricks | Настроенная модель GPT-J, сосредоточенная на настройке инструкций |
| gpt4all-j | Полная настройка параметров | nomic.ai | Настроенная модель GPT-J | |
| pythia | dolly-v2 | Полная настройка параметров | databricks | Настроенная модель pythia, сосредоточенная на настройке инструкций |