2jin2story

Parameter-Efficient Fine-Tuning (PEFT)란? 이 방법은 모든 모델의 매개변수를 미세 조정 (Fine-Tuning) 하지 않고도 사전 훈련된 (Pre-trained) 언어 모델 (PLM)을 다양한 하위 작업에 효과적으로 적으시키는 데 도움을 줌. - 대규모 언어모델의 미세 조정은 종종 비용이 많이 듦. PEFT 방법은 소수의 모델 매개변수만을 미세 조정하여 계산 및 저장 비용을 크게 줄임. ex) LoRA Low-Rank Adaptation of Large Language Models (LoRA) LoRA - LoRA의 핵심 idea : fine-tuning 과정시 pre-train이 끝난 파라미터 w_0 를 고정하고 low-rank decomposition 세팅의 새로운 파라..

Alpaca란? - Alpaca 모델은 Stanford 대학에서 발표한 Llama 1 7B 모델을 지시어 튜닝을 이용하여 Fine-Tuning 한 오픈소스 경량 LLM 모델이다. - LLaMA 7B 모델을 52K 의 명령 수행 시연 (Instruction-following demonstrations)을 기반으로 미세 조정하여 Alpaca 7B 모델을 소개함. - text-davinci-003을 이용하여 self-instruct 스타일로 생성된 52K의 명령을 따르는 시연을 기반으로 Alpaca 모델을 훈련시킴. 작고 재현하기 쉽고 저렴함. - Alpaca의 답변은 일반적으로 ChatGPT 보다 짧으며, 이는 text-davinci-003의 더 짧은 출력을 반영함. Training ~ Instruction..

Llama 2란? Meta(Facebook)에서 무료로 공개한 연구와 상업적 용도로 활용할 수 있는 LLM이다. 모델들은 파라미터가 70억개 (7B)에서 700억개 (70B)까지 다양함. 1) Introductuon 2) Pretraining Llama 1과의 주요 구조적 차이점은 문맥 길이의 증가와 grouped-query attention(GOA)을 포함하고 있음. 3) Fine-tuning 1단계 : Pretraining. 2단계 : Prompt 쌍의 리스트로 저장한 질문 형태의 데이터들을 지도 학습 시킴. 3단계 : RLHF 사용 -> 이거에 대해서 좀 더 공부해보기 3.1) Supervied Fine-Tuning (SFT) - 어떤 Prompt 에 대한 Response 를 파인튜닝 해줌. (2,..

Llama 2는 Mata(Facabook) 에서 무료로 공개한 연구와 상업적 용도로 활용할 수 있는 LLm이다. Llama 1 Paper 1) Abstract - LLaMA 라는 파운데이션 모델을 소개함. - 이 모델들을 수조 개의 초큰에 대해 훈련시키며, 공개적으로 이용 가능한 데이터셋만을 사용하여도 최첨단 모델을 훈련시킬 수 있다는 것을 보여줌. 2) Introduction - 주어진 컴퓨팅 예산으로 최상의 성능을 달성하는 것은 가장 큰 모델이 아니라, 2.1) Pre-training Data - 일반 사람들도 접근 가능한 데이터들을 사용해서 학습시킴. 스택 오버플로우에 대해서 공부 - 토큰화 후 전체 훈련 데이터셋은 대략 1.4T의 토큰 (1.4조개) 2.2) Architecture - 트랜스포머 ..

LLM (Large Language Model) : 대규모 데이터 세트에서 훈련된 인공지능 언어 모델 자연어 처리 (NLP) 작업에 널리 사용되며, 텍스트 생성, 분류, 번역, 질문 응답, 감정 분석 등 다양한 작업 수행 가능. LLM에 사용 되는 딥러닝 모델 : Transformer 대부분의 LLM은 트랜스포머(Transformer) 딥러닝 모델을 사용함. 언어모델 LM : 다음에 올 단어를 맞추는 것 -> LLM의 기본 원리, ChatGPT의 기본원리 파운데이션 모델 (Foundation Model) : 범용성이 높고 다양한 응용 분야에서 사용될 수 있는 대규모 머신 러닝 모델을 의미함. 이러한 모델들은 일반적으로 막대한 양의 데이터에서 훈련되고, 사람의 언어 이해 능력을 모방하거나 초과할 수 있는 ..

제1부: OpenAI의 ChatGPT를 Fine-tuning 하기 이 책의 제 1부에서는 OpenAI의 ChatGPT를 Fine-tuning 하는 방법에 대해 다룹니다. Fine-tuning은 ChatGPT와 같은 언어 모델을 특정한 용도에 맞… wikidocs.net 01. OpenAI의 FIne-tuning - 파인튜닝 : 특정 응용 프로그램에 맞게 언어 모델을 사용자 정의하는 기술임. 파인튜닝 과정 요약 1) 훈련 데이터 준비 및 업로드 훈련 데이터의 각 줄은 프롬프트-완성 쌍을 나타내야함. 2) 새로운 파인튜닝 모델 훈련 OPenAI 명령줄 인터페이스(CLI)를 사용하여 훈련 데이터 파일과 시작할 기본 모델을 지정하여 파인튜닝 작업을 시작함. 3) 파인튜닝된 모델 사용 파인튜닝 작업이 완료되면, ..

- 지금 나온 Chat GPT-3.5는 2021년 9월 정보로 업데이트되어 있으며, 그 이후의 정보나 논문에 대한 접근은 제한되어 있음. 저번에 논문을 검색해달라는 요청은 들어줬지만 아마 최근 논문들은 못 찾아줄 것임. 파인튜닝(fine-tuning)이란? - 사전 학습된 인공지능 모델의 가중치를 새로운 데이터에 맞게 세밀하게 조정하여 성능을 향상키기고 학습 시간을 줄이는 과정이다. - 이미 학습된 인공지능 모델을 새로운 문제에 맞게 미세하게 조정하여 성능을 높이고 학습 시간을 줄이는 과정임. ex) 자전거를 타는 법을 알고 있는 사람이 오토바이를 타려고 할 때, 자전거 타기에서 배운 기초적인 지식을 활용하면서 오토바이에 맞게 몇 가지 세부 사항을 조정하는 것. 파인튜닝 과정 - 세밀 조정의 핵심 아이디..

이준범(Beomi)님의 강연 - 2023.05.30 - KoAlpaca -> 어떻게 만들었는지, 어떻게 쓰이는지? 에 대한 강연 내용. - LLM이란? LM이란? Instruction 이란? - LM : 언어모델의 약자. 다음 단어 맞추기 앞에 나온 단어들로 그 다음에 나오는 단어를 예측하는 것. - LLM : 큰 언어모델의 약자. - Instruction : 모델이 좀 더 똑똑하게 실행할 수 있는 능력을 갖게되는 것. 질문을 하면 그거에 대한 답을 알려줘. ex) ~해줘. 하면 ~해줌 그리고 파인튜닝에 대해서도 공부하기. 완 - LLM은 다양한 지식을 알고 있고, 언어 이해 능력이 뛰어남. 예제 몇 개만으로도 뛰어난 성능. 쉬운 API 서비스 - ICL : 너는 ~ 해. 이것의 예제로는 ** && @@..

보호되어 있는 글입니다.

보호되어 있는 글입니다.