It's going to be one day 🍀

안녕하세요! 매일 매일 공부하려고 노력하는 백엔드 개발자 지망생의 공부 흔적입니다.

분류 전체보기 150
LLM 프로젝트 공부 - 섹션 2. Llama 1 모델 리뷰

Llama 2는 Mata(Facabook) 에서 무료로 공개한 연구와 상업적 용도로 활용할 수 있는 LLm이다. Llama 1 Paper 1) Abstract - LLaMA 라는 파운데이션 모델을 소개함. - 이 모델들을 수조 개의 초큰에 대해 훈련시키며, 공개적으로 이용 가능한 데이터셋만을 사용하여도 최첨단 모델을 훈련시킬 수 있다는 것을 보여줌. 2) Introduction - 주어진 컴퓨팅 예산으로 최상의 성능을 달성하는 것은 가장 큰 모델이 아니라, 2.1) Pre-training Data - 일반 사람들도 접근 가능한 데이터들을 사용해서 학습시킴. 스택 오버플로우에 대해서 공부 - 토큰화 후 전체 훈련 데이터셋은 대략 1.4T의 토큰 (1.4조개) 2.2) Architecture - 트랜스포머 ..
자연어/LLM 2023.10.10

LLM 프로젝트 공부 - 섹션 1. LLM 개요

LLM (Large Language Model) : 대규모 데이터 세트에서 훈련된 인공지능 언어 모델 자연어 처리 (NLP) 작업에 널리 사용되며, 텍스트 생성, 분류, 번역, 질문 응답, 감정 분석 등 다양한 작업 수행 가능. LLM에 사용 되는 딥러닝 모델 : Transformer 대부분의 LLM은 트랜스포머(Transformer) 딥러닝 모델을 사용함. 언어모델 LM : 다음에 올 단어를 맞추는 것 -> LLM의 기본 원리, ChatGPT의 기본원리 파운데이션 모델 (Foundation Model) : 범용성이 높고 다양한 응용 분야에서 사용될 수 있는 대규모 머신 러닝 모델을 의미함. 이러한 모델들은 일반적으로 막대한 양의 데이터에서 훈련되고, 사람의 언어 이해 능력을 모방하거나 초과할 수 있는 ..
자연어/LLM 2023.10.10

LLM 프로젝트 공부 - OpenAI의 ChatGPT를 Fine-tuning 해보기

제1부: OpenAI의 ChatGPT를 Fine-tuning 하기 이 책의 제 1부에서는 OpenAI의 ChatGPT를 Fine-tuning 하는 방법에 대해 다룹니다. Fine-tuning은 ChatGPT와 같은 언어 모델을 특정한 용도에 맞… wikidocs.net 01. OpenAI의 FIne-tuning - 파인튜닝 : 특정 응용 프로그램에 맞게 언어 모델을 사용자 정의하는 기술임. 파인튜닝 과정 요약 1) 훈련 데이터 준비 및 업로드 훈련 데이터의 각 줄은 프롬프트-완성 쌍을 나타내야함. 2) 새로운 파인튜닝 모델 훈련 OPenAI 명령줄 인터페이스(CLI)를 사용하여 훈련 데이터 파일과 시작할 기본 모델을 지정하여 파인튜닝 작업을 시작함. 3) 파인튜닝된 모델 사용 파인튜닝 작업이 완료되면, ..
자연어/LLM 2023.10.04

LLM 프로젝트 공부 - 용어 공부

- 지금 나온 Chat GPT-3.5는 2021년 9월 정보로 업데이트되어 있으며, 그 이후의 정보나 논문에 대한 접근은 제한되어 있음. 저번에 논문을 검색해달라는 요청은 들어줬지만 아마 최근 논문들은 못 찾아줄 것임. 파인튜닝(fine-tuning)이란? - 사전 학습된 인공지능 모델의 가중치를 새로운 데이터에 맞게 세밀하게 조정하여 성능을 향상키기고 학습 시간을 줄이는 과정이다. - 이미 학습된 인공지능 모델을 새로운 문제에 맞게 미세하게 조정하여 성능을 높이고 학습 시간을 줄이는 과정임. ex) 자전거를 타는 법을 알고 있는 사람이 오토바이를 타려고 할 때, 자전거 타기에서 배운 기초적인 지식을 활용하면서 오토바이에 맞게 몇 가지 세부 사항을 조정하는 것. 파인튜닝 과정 - 세밀 조정의 핵심 아이디..
자연어/LLM 2023.10.02

챗GPT 러닝데이 | 한국어 LLM 민주화의 시작 KoAlpaca

이준범(Beomi)님의 강연 - 2023.05.30 - KoAlpaca -> 어떻게 만들었는지, 어떻게 쓰이는지? 에 대한 강연 내용. - LLM이란? LM이란? Instruction 이란? - LM : 언어모델의 약자. 다음 단어 맞추기 앞에 나온 단어들로 그 다음에 나오는 단어를 예측하는 것. - LLM : 큰 언어모델의 약자. - Instruction : 모델이 좀 더 똑똑하게 실행할 수 있는 능력을 갖게되는 것. 질문을 하면 그거에 대한 답을 알려줘. ex) ~해줘. 하면 ~해줌 그리고 파인튜닝에 대해서도 공부하기. 완 - LLM은 다양한 지식을 알고 있고, 언어 이해 능력이 뛰어남. 예제 몇 개만으로도 뛰어난 성능. 쉬운 API 서비스 - ICL : 너는 ~ 해. 이것의 예제로는 ** && @@..
자연어/LLM 2023.10.02
1 ··· 11 12 13 14 15
더보기

티스토리툴바