テキストAIGCモデル
現在、多数のテキストモデルが存在します。そのうちのいくつかは既存の大規模モデルの微調整によるものであり、またいくつかは様々な企業によってスクラッチからトレーニングされた基本的なモデルです。
有名な基本モデル
| 基本モデル | リリース日 | モデルサイズ | 出版社 | 言語 | 特徴 |
|---|---|---|---|---|---|
| LLaMA | 2023.03 | 7B~65B | Meta | 英語主体、その他の言語には弱いサポート | |
| MPT | 2023.05 | 7B | mosaicml | 英語主体、その他の言語には弱いサポート | 商用利用可能、長いコンテキストに対応 |
| ChatGLM | 2023.03 | 6B | THUDM | 中国語と英語 | |
| Cerebras-GPT | 2023.03 | 1.3B~13B | cerebras | 英語主体、その他の言語には弱いサポート | |
| rwkv-4-raven | 2023.04 | 1.5B~14B | BlinkDL | 複数のバージョン、バージョンによって言語サポートが異なる | 非変換構造 |
| OpenFlamingo | 2023.03 | 9B | LAION | 英語主体、その他の言語には弱いサポート | マルチモーダル、画像に対応 |
| StableLM | 2023.04 | 3B~7B | stability.ai | 英語主体、その他の言語には弱いサポート | |
| Bloom | 2022.10 | 1B～176B | bigscience | 59言語 | |
| RedPajama-INCITE | 2023.05 | 3B~7B | together | 英語主体、その他の言語には弱いサポート | |
| pythia | 2023.03 | 1B~12B | eleuther.ai | 英語 | |
| GPT-Neo | 2021.03 | 125M~2.7B | eleuther.ai | 英語 | |
| GPT-J | 2021.03 | 6B | eleuther.ai | 英語 | |
| GPT-NeoX | 2022.02 | 20B | eleuther.ai | 英語 | |
| OPT | 2022.05 | 125M-175B | Meta | 英語主体、その他の言語には弱いサポート |
備考
コミュニティ内の他の有名なモデルとこれらの基本モデルとの関係は、以下の表に示されています。
| 基本モデル | モデル名 | ファインチューニング方法 | 出版社 | 紹介 |
|---|---|---|---|---|
| LLaMA | Alpaca | フルパラメータファインチューニング | stanford | LLaMAのファインチューニングモデル。OpenAIのtext-davinci-003を使用してファインチューニングされました。 |
| Alpaca-LoRA | 軽量ファインチューニング | tloen | Alpacaと同じですが、Loraを使用してファインチューニングされました。 | |
| Vicuna | フルパラメータファインチューニング | LMSYS Org | LLaMAのファインチューニングモデル。ShareGPTから収集されたユーザー共有の対話をトレーニングおよびファインチューニングしました。 | |
| Koala | フルパラメータファインチューニング | berkeley | LLaMAのファインチューニングモデル。 | |
| WizardLM | フルパラメータファインチューニング | WizardLM | LLaMAのファインチューニングモデル。複雑な指示のファインチューニングに焦点を当てています。 | |
| GPT-J | dolly-v1 | フルパラメータファインチューニング | databricks | GPT-Jのファインチューニングモデル。指示のファインチューニングに焦点を当てています。 |
| gpt4all-j | フルパラメータファインチューニング | nomic.ai | GPT-Jのファインチューニングモデル。 | |
| pythia | dolly-v2 | フルパラメータファインチューニング | databricks | pythiaのファインチューニングモデル。指示のファインチューニングに焦点を当てています。 |