반응형 런팟5 [Day5] LLM 스터디 1기 - GPT, Gemma, Llama3 모델 특징 비교 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스03. 전체 파인튜닝 Gemma 모델 구조 분석Gemma는 매개변수를 늘려 성능을 높이는데 집중한 기존 모델들과 달리, 모델의 크기를 줄여도 성능을 유지하며 효율적으로 작동할 수 있다는 것을 보여줬다.GPT와 Gemma의 모델 구조를 비교한 이미지다. 해상도가 좀 낮지만.. 어쨌든 가장 눈에 띄는 변화는 input_layernorm과 post_attention_layernorm가 추가된 것이다. layernorm(RMSNorm)은 그레디언트가 너무 크거나 작아지지 않고 항상 적절한 크기를 유지하도록 조절해 주는 장치다. 다음으로 다른 부분은 Rotary Position Embedding(RoPE)으로 위치 정보를 회전하는 원판처럼 표한하는 방.. 2025. 1. 15. [Day4] LLM 스터디 1기 - 파인튜닝 개념 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스3일 차가 고비였는데 4일 차는 쉬어가는 느낌이다. 파인튜닝이 무엇인지, 왜 쓰는지, 어떤 종류들이 있는지에 대해 조금은 가벼운 마음으로 공부했다.03. 전체 파인튜닝파인튜닝 개념 및 데이터 준비 과정 이해파인튜닝은(Fine-Tuning) 이미 학습되어 공개된 언어 모델(Pre-trained Language Model, 사전 훈련된 언어 모델)을 특정 작업에 맞게 추가로 학습하는 것을 말한다. 새로운 언어 모델을 개발하지 않고 굳이 파인튜닝을 하는 이유는 훨씬 더 경제적이고 편리하기 때문이다. 참고로 Llama 3 모델을 개발하는 데에는 약 7,700만 시간과 7억2천만 달러 이상의 비용이 들었다고 한다. 또한 우리가 가진 특정 분야의 (상대.. 2025. 1. 11. [Day3] LLM 스터디 1기 - 멀티헤드 어텐션 & 피드포워드 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스스터디 3일 차다. 지난 시간에 셀프 어텐션까지 마쳤고 오늘은 이를 더 발전시켜서 '멀티헤드 어텐션'부터 시작한다.02. GPT멀티헤드 어텐션과 피드포워드멀티헤드 어텐션은 말 그대로 여러 개의 어텐션 메커니즘을 병렬로 사용하는 것이라고 한다. 여기서 병렬 처리란 하나의 데이터를 여러 관점에서 동시에 처리하는 것을 말한다. 코드는 아래와 같다.class MultiHeadAttention(nn.Module): def __init__(self, num_heads, head_size): super().__init__() self.heads = nn.ModuleList([Head(head_size) for _ in ran.. 2025. 1. 10. [Day2] LLM 스터디 1기 - 언어 모델 구조 및 셀프 어텐션 메커니즘 이해 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스LLM은커녕 전반적인 AI 관련 지식이 전무하다 보니 스터디 진도 따라가기가 쉽지 않다. 어제까지 스터디 5일 차가 끝났어야 하는데 아직 2일 차의 학습 범위를 벗아지 못하고 있다. 일단 동작 확인 중심으로 해서 진도를 따라가 보려고 한다. 오늘은 '2장 GPT'에서 '기본적인 언어 모델 구조 학습(46~66p)', '셀프 어텐션 매커니즘 이해(67~88p)' 부분을 공부했다.02. GPT언어 모델 만들기 (Optimizer 포함)sepmGPT라는 이름의 클래스를 작성하는 것으로부터 간단한 언어 모델을 만드는 과정이 시작된다. 해당 클래스는 크게 '__init__' 메서드와 'forward' 메서드로 이뤄져 있다. 나는 파이썬도 잘 모르는데 .. 2025. 1. 5. [Day1] LLM 스터디 1기 - NLP 이해와 런팟 설치 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스'한 권으로 끝내는 실전 LLM 파인튜닝' 도서를 기반으로 하는 온라인 스터디 모임에 참석하게 됐다. 앞으로 3주 동안 15일(주말 제외)에 걸쳐 진행된다. 오늘이 1일 차. 01 NLP의 과거와 오늘1장은 자연어 처리(NLP: Natural Language Processing)와 인공지능의 발전을 과정을 단계적으로 다루고 있다. LLM에 지식이 전무한데도 옛날 이야기를 듣는 느낌이라 딱히 어려운 부분은 없었다. AI와 NLP의 역사는 1930년대부터 시작됐는데 1957년에 프랭크 로젠블렛이 개발한 '퍼셉트론(Perceptron)'이 현재 구현된 인공신경망의 핵심이라고 한다. 퍼셉트론 시스템은 서로 다른 두 유형의 자극을 스스로 구분할 수 있.. 2024. 12. 30. 이전 1 다음 반응형
