Modèles de texte AIGC
Il existe actuellement de nombreux modèles de texte, certains étant le produit du réglage fin des modèles existants, et d'autres étant des modèles de base entraînés à partir de zéro par diverses entreprises.
Modèles de base bien connus
| Modèle de base | Date de sortie | Taille du modèle | Éditeur | Langue | Fonctionnalités |
|---|---|---|---|---|---|
| LLaMA | 2023.03 | 7B~65B | Meta | Principalement en anglais, support faible pour d'autres langues | |
| MPT | 2023.05 | 7B | mosaicml | Principalement en anglais, support faible pour d'autres langues | Disponible commercialement, prend en charge les contextes longs |
| ChatGLM | 2023.03 | 6B | THUDM | Chinois et anglais | |
| Cerebras-GPT | 2023.03 | 1,3B~13B | cerebras | Principalement en anglais, support faible pour d'autres langues | |
| rwkv-4-raven | 2023.04 | 1,5B~14B | BlinkDL | Versions multiples, différentes versions ont un support linguistique différent | Structure non transformée |
| OpenFlamingo | 2023.03 | 9B | LAION | Principalement en anglais, support faible pour d'autres langues | Multi-modal, prend en charge les images |
| StableLM | 2023.04 | 3B~7B | stability.ai | Principalement en anglais, support faible pour d'autres langues | |
| Bloom | 2022.10 | 1B～176B | bigscience | 59 langues | |
| RedPajama-INCITE | 2023.05 | 3B~7B | together | Principalement en anglais, support faible pour d'autres langues | |
| pythia | 2023.03 | 1B~12B | eleuther.ai | Anglais | |
| GPT-Neo | 2021.03 | 125M~2.7B | eleuther.ai | Anglais | |
| GPT-J | 2021.03 | 6B | eleuther.ai | Anglais | |
| GPT-NeoX | 2022.02 | 20B | eleuther.ai | Anglais | |
| OPT | 2022.05 | 125M-175B | Meta | Principalement en anglais, support faible pour d'autres langues |
Remarques
La relation entre d'autres modèles bien connus dans la communauté et ces modèles de base est présentée dans le tableau suivant.
| Modèle de base | Nom du modèle | Méthode de réglage fin | Éditeur | Introduction |
|---|---|---|---|---|
| LLaMA | Alpaca | Réglage fin de tous les paramètres | stanford | Modèle affiné de LLaMA, affiné en utilisant le modèle text-davinci-003 d'OpenAI |
| Alpaca-LoRA | Réglage fin léger | tloen | Identique à Alpaca, mais affiné en utilisant Lora | |
| Vicuna | Réglage fin de tous les paramètres | LMSYS Org | Modèle affiné de LLaMA, entraîné et affiné en utilisant des dialogues partagés par les utilisateurs collectés à partir de ShareGPT | |
| Koala | Réglage fin de tous les paramètres | berkeley | Modèle affiné de LLaMA | |
| WizardLM | Réglage fin de tous les paramètres | WizardLM | Modèle affiné de LLaMA, axé sur l'affinage des instructions complexes | |
| GPT-J | dolly-v1 | Réglage fin de tous les paramètres | databricks | Modèle affiné de GPT-J, axé sur l'affinage des instructions |
| gpt4all-j | Réglage fin de tous les paramètres | nomic.ai | Modèle affiné de GPT-J | |
| pythia | dolly-v2 | Réglage fin de tous les paramètres | databricks | Modèle affiné de pythia, axé sur l'affinage des instructions |