Parameter-Efficient Fine-Tuning (PEFT)란? 이 방법은 모든 모델의 매개변수를 미세 조정 (Fine-Tuning) 하지 않고도 사전 훈련된 (Pre-trained) 언어 모델 (PLM)을 다양한 하위 작업에 효과적으로 적으시키는 데 도움을 줌. - 대규모 언어모델의 미세 조정은 종종 비용이 많이 듦. PEFT 방법은 소수의 모델 매개변수만을 미세 조정하여 계산 및 저장 비용을 크게 줄임. ex) LoRA Low-Rank Adaptation of Large Language Models (LoRA) LoRA - LoRA의 핵심 idea : fine-tuning 과정시 pre-train이 끝난 파라미터 w_0 를 고정하고 low-rank decomposition 세팅의 새로운 파라..