2jin2story

Llama 2란? Meta(Facebook)에서 무료로 공개한 연구와 상업적 용도로 활용할 수 있는 LLM이다. 모델들은 파라미터가 70억개 (7B)에서 700억개 (70B)까지 다양함. 1) Introductuon 2) Pretraining Llama 1과의 주요 구조적 차이점은 문맥 길이의 증가와 grouped-query attention(GOA)을 포함하고 있음. 3) Fine-tuning 1단계 : Pretraining. 2단계 : Prompt 쌍의 리스트로 저장한 질문 형태의 데이터들을 지도 학습 시킴. 3단계 : RLHF 사용 -> 이거에 대해서 좀 더 공부해보기 3.1) Supervied Fine-Tuning (SFT) - 어떤 Prompt 에 대한 Response 를 파인튜닝 해줌. (2,..

LLM (Large Language Model) : 대규모 데이터 세트에서 훈련된 인공지능 언어 모델 자연어 처리 (NLP) 작업에 널리 사용되며, 텍스트 생성, 분류, 번역, 질문 응답, 감정 분석 등 다양한 작업 수행 가능. LLM에 사용 되는 딥러닝 모델 : Transformer 대부분의 LLM은 트랜스포머(Transformer) 딥러닝 모델을 사용함. 언어모델 LM : 다음에 올 단어를 맞추는 것 -> LLM의 기본 원리, ChatGPT의 기본원리 파운데이션 모델 (Foundation Model) : 범용성이 높고 다양한 응용 분야에서 사용될 수 있는 대규모 머신 러닝 모델을 의미함. 이러한 모델들은 일반적으로 막대한 양의 데이터에서 훈련되고, 사람의 언어 이해 능력을 모방하거나 초과할 수 있는 ..