2jin2story

보호되어 있는 글입니다.

[공부 내용 정리] contents h1, h2, h3, h4, h5, h6 Heading : 제목 웹 페이지가 하나의 책이라면 제목 태그는 목차와 같음. h1 ~ h6 순서대로 작성해야함. 위니브 위니브 캐릭터 라이캣 칠리 개리 위니브 소개 위니브는... 위니브 커리큘럼 a (앵커) : 다른 페이지나 같은 페이지의 어느 위치, 파일, 이메일 주소와 그 외 다른 URL로 연결할 수 있는 하이퍼링크를 만듦. href tel : 전화번호 mailto : 이메일주소 target 속성값 _self : 현재 페이지 (기본) _blank : 새 탭 download : 링크 이동 대신 사용자에게 URL에 위치하는 대상을 저장할지 물어봄. 이때 브라우저에서 바로 열 수 있는 파일 포멧이라면 바로 실행. download..

보호되어 있는 글입니다.

보호되어 있는 글입니다.

[공부 내용 정리] https://developer.mozilla.org/en-US/docs/Web/HTML/Attributes/rel → html 태그에 대한 references 참고하기 제일 좋은 사이트! https://docs.oracle.com/javase/8/docs/technotes/tools/windows/javadoc.html → java는 javadoc 사이트 프론트 개발자 : 웹 브라우저에서 동작 할 수 있는 언어를 이용하여 사용자가 이용하는 웹 페이지를 만드는 작업. HTML (hyper text markup language) HTTP (hyper text transfer protocol) 요소 분석 태그 : 어떤 표시를 하기 위해 붙인 꼬리표. 웹 문서에 정보를 정의해주는 형식. 기..

[공부 내용 정리] Git과 GitHub는 다른 것! - Git은 버전 관리 시스템 - Git은 개발자들에게 필요한 협업환경을 조성하기 위한 수단. 빠른 협업 환경을 조성할 수 있고 그 외에도 다음과 같은 사용 이유가 있음. - 이전 코드의 히스토리를 볼 수 있어서 이슈트래킹(프로젝트의 이슈를 추적하고 관리)을 할 수 있음. - 대부분의 IDE에서 git을 연동할 수 있게 제공 - GitHub와 연결할 수 있으며 코드리뷰 가능 -> Git을 사용하면 프로젝트의 버전을 과거로 되돌리거나, 특정 내역을 취소할 수 있음. 그렇기 때문에 프로젝트의 여러 모드를 쉽게 전환하고 관리할 수 있음. - GitHub는 Git으로 관리하는 프로젝트를 올려둘 수 있는 사이트 +) SourceTree는 Git의 GUI 툴이다..

보호되어 있는 글입니다.

Parameter-Efficient Fine-Tuning (PEFT)란? 이 방법은 모든 모델의 매개변수를 미세 조정 (Fine-Tuning) 하지 않고도 사전 훈련된 (Pre-trained) 언어 모델 (PLM)을 다양한 하위 작업에 효과적으로 적으시키는 데 도움을 줌. - 대규모 언어모델의 미세 조정은 종종 비용이 많이 듦. PEFT 방법은 소수의 모델 매개변수만을 미세 조정하여 계산 및 저장 비용을 크게 줄임. ex) LoRA Low-Rank Adaptation of Large Language Models (LoRA) LoRA - LoRA의 핵심 idea : fine-tuning 과정시 pre-train이 끝난 파라미터 w_0 를 고정하고 low-rank decomposition 세팅의 새로운 파라..

Alpaca란? - Alpaca 모델은 Stanford 대학에서 발표한 Llama 1 7B 모델을 지시어 튜닝을 이용하여 Fine-Tuning 한 오픈소스 경량 LLM 모델이다. - LLaMA 7B 모델을 52K 의 명령 수행 시연 (Instruction-following demonstrations)을 기반으로 미세 조정하여 Alpaca 7B 모델을 소개함. - text-davinci-003을 이용하여 self-instruct 스타일로 생성된 52K의 명령을 따르는 시연을 기반으로 Alpaca 모델을 훈련시킴. 작고 재현하기 쉽고 저렴함. - Alpaca의 답변은 일반적으로 ChatGPT 보다 짧으며, 이는 text-davinci-003의 더 짧은 출력을 반영함. Training ~ Instruction..

Llama 2란? Meta(Facebook)에서 무료로 공개한 연구와 상업적 용도로 활용할 수 있는 LLM이다. 모델들은 파라미터가 70억개 (7B)에서 700억개 (70B)까지 다양함. 1) Introductuon 2) Pretraining Llama 1과의 주요 구조적 차이점은 문맥 길이의 증가와 grouped-query attention(GOA)을 포함하고 있음. 3) Fine-tuning 1단계 : Pretraining. 2단계 : Prompt 쌍의 리스트로 저장한 질문 형태의 데이터들을 지도 학습 시킴. 3단계 : RLHF 사용 -> 이거에 대해서 좀 더 공부해보기 3.1) Supervied Fine-Tuning (SFT) - 어떤 Prompt 에 대한 Response 를 파인튜닝 해줌. (2,..