LLM 프로젝트 공부 - 섹션 5.Parameter-Efficient Fine-Tuning (PEFT)

Parameter-Efficient Fine-Tuning (PEFT)란?

이 방법은 모든 모델의 매개변수를 미세 조정 (Fine-Tuning) 하지 않고도 사전 훈련된 (Pre-trained) 언어 모델 (PLM)을 다양한 하위 작업에 효과적으로 적으시키는 데 도움을 줌.

- 대규모 언어모델의 미세 조정은 종종 비용이 많이 듦. PEFT 방법은 소수의 모델 매개변수만을 미세 조정하여 계산 및 저장 비용을 크게 줄임. ex) LoRA

 

Low-Rank Adaptation of Large Language Models (LoRA) LoRA

- LoRA의 핵심 idea : fine-tuning 과정시 pre-train이 끝난 파라미터 w_0 를 고정하고 low-rank decomposition 세팅의 새로운 파라미터를 학습시킴.

- LoRA : 사전 훈련된 모델 가중치를 고정하고 각 변환 아키텍처 계층에 훈련 가능한 순위 분해 행렬을 주입함으로써, 다운스트림 작업에 대한 훈련 가능한 파라미터의 수를 크게 줄임.

 

LoRA 실제 코드로 구현하기

코랩으로 돌렸음.

 

Prefix-Tuning(Prefix-Tuning : Optimizing Continuous Prompts for Generation) 기법 리뷰

- Prefix-Tuning의 핵심 idea : fine-tuning 과정시 pre-train 이 끝난 파라미터 w_0 를 고정하고 Prefix-tuning 세팅의 새로운 파라미터를 학습시킴.

- Prefix-Tuning : 언어 모델의 매개변수를 고정시키고 작은 연속적인 작업별 벡터만을 최적화함.

 

Prefix-Tuning 실제 코드로 구현하기

코랩으로 돌렸음.