Text AIGC-Modelle

Es gibt derzeit viele Textmodelle, von denen einige durch Feinabstimmung bestehender großer Modelle entstanden sind und einige grundlegende Modelle sind, die von verschiedenen Unternehmen von Grund auf geschult wurden.

Bekannte grundlegende Modelle

Grundlegendes Modell	Veröffentlichungsdatum	Modellgröße	Herausgeber	Sprache	Funktionen
LLaMA	2023.03	7B~65B	Meta	Hauptsächlich Englisch, schwache Unterstützung für andere Sprachen
MPT	2023.05	7B	mosaicml	Hauptsächlich Englisch, schwache Unterstützung für andere Sprachen	Kommerziell erhältlich, unterstützt lange Kontexte
ChatGLM	2023.03	6B	THUDM	Chinesisch und Englisch
Cerebras-GPT	2023.03	1.3B~13B	cerebras	Hauptsächlich Englisch, schwache Unterstützung für andere Sprachen
rwkv-4-raven	2023.04	1.5B~14B	BlinkDL	Mehrere Versionen, verschiedene Versionen haben unterschiedliche Sprachunterstützung	Nicht-Transformationsstruktur
OpenFlamingo	2023.03	9B	LAION	Hauptsächlich Englisch, schwache Unterstützung für andere Sprachen	Multi-modal, unterstützt Bilder
StableLM	2023.04	3B~7B	stability.ai	Hauptsächlich Englisch, schwache Unterstützung für andere Sprachen
Bloom	2022.10	1B～176B	bigscience	59 Sprachen
RedPajama-INCITE	2023.05	3B~7B	together	Hauptsächlich Englisch, schwache Unterstützung für andere Sprachen
pythia	2023.03	1B~12B	eleuther.ai	Englisch
GPT-Neo	2021.03	125M~2.7B	eleuther.ai	Englisch
GPT-J	2021.03	6B	eleuther.ai	Englisch
GPT-NeoX	2022.02	20B	eleuther.ai	Englisch
OPT	2022.05	125M-175B	Meta	Hauptsächlich Englisch, schwache Unterstützung für andere Sprachen

Anmerkungen

Die Beziehung zwischen anderen bekannten Modellen in der Community und diesen grundlegenden Modellen wird in der folgenden Tabelle gezeigt.

Grundlegendes Modell	Modellname	Feinabstimmungsmethode	Herausgeber	Einführung
LLaMA	Alpaca	Vollparameter-Feinabstimmung	stanford	Feinabgestimmtes Modell von LLaMA, feinabgestimmt mit OpenAI's text-davinci-003
	Alpaca-LoRA	Leichtgewichtige Feinabstimmung	tloen	Gleich wie Alpaca, aber feinabgestimmt mit Lora
	Vicuna	Vollparameter-Feinabstimmung	LMSYS Org	Feinabgestimmtes Modell von LLaMA, trainiert und feinabgestimmt mit vom Benutzer geteilten Dialogen, die von ShareGPT gesammelt wurden
	Koala	Vollparameter-Feinabstimmung	berkeley	Feinabgestimmtes Modell von LLaMA
	WizardLM	Vollparameter-Feinabstimmung	WizardLM	Feinabgestimmtes Modell von LLaMA, konzentriert sich auf komplexe Anweisungsfeinabstimmung
GPT-J	dolly-v1	Vollparameter-Feinabstimmung	databricks	Feinabgestimmtes Modell von GPT-J, konzentriert sich auf Anweisungsfeinabstimmung
	gpt4all-j	Vollparameter-Feinabstimmung	nomic.ai	Feinabgestimmtes Modell von GPT-J
pythia	dolly-v2	Vollparameter-Feinabstimmung	databricks	Feinabgestimmtes Modell von pythia, konzentriert sich auf Anweisungsfeinabstimmung