text-aigc-model
아이지씨 텍스트 모델
현재 많은 텍스트 모델이 있으며, 일부는 기존 대형 모델을 세밀하게 조정한 제품이고, 일부는 다양한 회사에서 처음부터 교육한 기본 모델입니다.
잘 알려진 기본 모델
| 기본 모델 | 릴리스 날짜 | 모델 크기 | 출판사 | 언어 | 특징 |
|---|---|---|---|---|---|
| LLaMA | 2023.03 | 7B~65B | Meta | 주로 영어, 다른 언어에 대한 약한 지원 | |
| MPT | 2023.05 | 7B | mosaicml | 주로 영어, 다른 언어에 대한 약한 지원 | 상용화, 긴 문맥 지원 |
| ChatGLM | 2023.03 | 6B | THUDM | 중국어와 영어 | |
| Cerebras-GPT | 2023.03 | 1.3B~13B | cerebras | 주로 영어, 다른 언어에 대한 약한 지원 | |
| rwkv-4-raven | 2023.04 | 1.5B~14B | BlinkDL | 다양한 버전, 다른 버전은 다른 언어 지원 | 변환 구조 없음 |
| OpenFlamingo | 2023.03 | 9B | LAION | 주로 영어, 다른 언어에 대한 약한 지원 | 멀티 모달, 이미지 지원 |
| StableLM | 2023.04 | 3B~7B | stability.ai | 주로 영어, 다른 언어에 대한 약한 지원 | |
| Bloom | 2022.10 | 1B～176B | bigscience | 59개 언어 | |
| RedPajama-INCITE | 2023.05 | 3B~7B | together | 주로 영어, 다른 언어에 대한 약한 지원 | |
| pythia | 2023.03 | 1B~12B | eleuther.ai | 영어 | |
| GPT-Neo | 2021.03 | 125M~2.7B | eleuther.ai | 영어 | |
| GPT-J | 2021.03 | 6B | eleuther.ai | 영어 | |
| GPT-NeoX | 2022.02 | 20B | eleuther.ai | 영어 | |
| OPT | 2022.05 | 125M-175B | Meta | 주로 영어, 다른 언어에 대한 약한 지원 |
비고
커뮤니티에서 잘 알려진 다른 모델과 이러한 기본 모델 간의 관계는 다음 표에서 볼 수 있습니다.
| 기본 모델 | 모델 이름 | 세밀 조정 방법 | 출판사 | 소개 |
|---|---|---|---|---|
| LLaMA | Alpaca | 전체 매개 변수 세밀 조정 | stanford | OpenAI의 text-davinci-003을 사용하여 세밀하게 조정된 LLaMA 모델 |
| Alpaca-LoRA | 경량화 세밀 조정 | tloen | Lora를 사용하여 세밀하게 조정된 Alpaca와 동일 | |
| Vicuna | 전체 매개 변수 세밀 조정 | LMSYS Org | ShareGPT에서 수집한 사용자 공유 대화를 교육하고 세밀하게 조정된 LLaMA 모델 | |
| Koala | 전체 매개 변수 세밀 조정 | berkeley | LLaMA의 세밀하게 조정된 모델 | |
| WizardLM | 전체 매개 변수 세밀 조정 | WizardLM | 복잡한 지시문 세밀 조정에 중점을 둔 LLaMA의 세밀하게 조정된 모델 | |
| GPT-J | dolly-v1 | 전체 매개 변수 세밀 조정 | databricks | GPT-J의 세밀하게 조정된 모델, 지시문 세밀 조정에 중점을 둠 |
| gpt4all-j | 전체 매개 변수 세밀 조정 | nomic.ai | GPT-J의 세밀하게 조정된 모델 | |
| pythia | dolly-v2 | 전체 매개 변수 세밀 조정 | databricks | 지시문 세밀 조정에 중점을 둔 pythia의 세밀하게 조정된 모델 |