반응형 llama8 [Day6] LLM 스터디 1기 - GPU 병렬화 기법 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스03. 전체 파인튜닝병렬화 기법 이해병렬화 기술은 '여러 컴퓨팅 자원을 동시에 활용해 대규모 작업을 효율적으로 처리'하는 방법이라는 매우 일반적인 이야기가 적혀있다. 인공지능 분야에서는 컴퓨팅 자원 중에서 특히 (고가의) GPU를 효율적으로 사용해야 하는데 그 방식으로 '데이터 병렬화(DP), 모델 병렬화(MP), 파이프라인 병렬화(PP), 텐서 병렬화(TP) 등이 있다.데이터 병렬 처리 (DP: Data Parallelism)대규모 데이터셋을 효과적으로 나누는 병렬 기법이다. 데이터셋을 여러 미니배치로 나누고 각자의 데이터 배치에 대해 독립적으로 순전파와 역전파를 수행한다. 계산이 끝나면 모든 GPU는 동일한 상태를 유지하게 된다. 메모리 .. 2025. 1. 16. [Day5] LLM 스터디 1기 - GPT, Gemma, Llama3 모델 특징 비교 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스03. 전체 파인튜닝 Gemma 모델 구조 분석Gemma는 매개변수를 늘려 성능을 높이는데 집중한 기존 모델들과 달리, 모델의 크기를 줄여도 성능을 유지하며 효율적으로 작동할 수 있다는 것을 보여줬다.GPT와 Gemma의 모델 구조를 비교한 이미지다. 해상도가 좀 낮지만.. 어쨌든 가장 눈에 띄는 변화는 input_layernorm과 post_attention_layernorm가 추가된 것이다. layernorm(RMSNorm)은 그레디언트가 너무 크거나 작아지지 않고 항상 적절한 크기를 유지하도록 조절해 주는 장치다. 다음으로 다른 부분은 Rotary Position Embedding(RoPE)으로 위치 정보를 회전하는 원판처럼 표한하는 방.. 2025. 1. 15. 이전 1 2 다음 반응형
