반응형 텐서병렬처리1 [Day6] LLM 스터디 1기 - GPU 병렬화 기법 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스03. 전체 파인튜닝병렬화 기법 이해병렬화 기술은 '여러 컴퓨팅 자원을 동시에 활용해 대규모 작업을 효율적으로 처리'하는 방법이라는 매우 일반적인 이야기가 적혀있다. 인공지능 분야에서는 컴퓨팅 자원 중에서 특히 (고가의) GPU를 효율적으로 사용해야 하는데 그 방식으로 '데이터 병렬화(DP), 모델 병렬화(MP), 파이프라인 병렬화(PP), 텐서 병렬화(TP) 등이 있다.데이터 병렬 처리 (DP: Data Parallelism)대규모 데이터셋을 효과적으로 나누는 병렬 기법이다. 데이터셋을 여러 미니배치로 나누고 각자의 데이터 배치에 대해 독립적으로 순전파와 역전파를 수행한다. 계산이 끝나면 모든 GPU는 동일한 상태를 유지하게 된다. 메모리 .. 2025. 1. 16. 이전 1 다음 반응형
