Alpaca란?
- Alpaca 모델은 Stanford 대학에서 발표한 Llama 1 7B 모델을 지시어 튜닝을 이용하여 Fine-Tuning 한 오픈소스 경량 LLM 모델이다.
- LLaMA 7B 모델을 52K 의 명령 수행 시연 (Instruction-following demonstrations)을 기반으로 미세 조정하여 Alpaca 7B 모델을 소개함.
- text-davinci-003을 이용하여 self-instruct 스타일로 생성된 52K의 명령을 따르는 시연을 기반으로 Alpaca 모델을 훈련시킴. 작고 재현하기 쉽고 저렴함.
- Alpaca의 답변은 일반적으로 ChatGPT 보다 짧으며, 이는 text-davinci-003의 더 짧은 출력을 반영함.
Training ~ Instruction 예시 - Alpaca Data Format 구성 예시
<- 중간 input이 없도록 구성함.
<- 중간 input이 있도록 구성함.
'자연어 > LLM' 카테고리의 다른 글
| LLM 프로젝트 공부 - 섹션 5.Parameter-Efficient Fine-Tuning (PEFT) (1) | 2023.10.11 |
|---|---|
| LLM 프로젝트 공부 - 섹션 3.Llama 2 논문 리뷰 (2) | 2023.10.10 |
| LLM 프로젝트 공부 - 섹션 2. Llama 1 모델 리뷰 (2) | 2023.10.10 |
| LLM 프로젝트 공부 - 섹션 1. LLM 개요 (4) | 2023.10.10 |
| LLM 프로젝트 공부 - OpenAI의 ChatGPT를 Fine-tuning 해보기 (0) | 2023.10.04 |