Llama 2는 Mata(Facabook) 에서 무료로 공개한 연구와 상업적 용도로 활용할 수 있는 LLm이다. Llama 1 Paper 1) Abstract - LLaMA 라는 파운데이션 모델을 소개함. - 이 모델들을 수조 개의 초큰에 대해 훈련시키며, 공개적으로 이용 가능한 데이터셋만을 사용하여도 최첨단 모델을 훈련시킬 수 있다는 것을 보여줌. 2) Introduction - 주어진 컴퓨팅 예산으로 최상의 성능을 달성하는 것은 가장 큰 모델이 아니라, 2.1) Pre-training Data - 일반 사람들도 접근 가능한 데이터들을 사용해서 학습시킴. 스택 오버플로우에 대해서 공부 - 토큰화 후 전체 훈련 데이터셋은 대략 1.4T의 토큰 (1.4조개) 2.2) Architecture - 트랜스포머 ..
