반응형 HuggingFace9 [Day9] LLM 스터디 1기 - 단일 GPU Gemma 파인튜닝 #3 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스03. 전체 파인튜닝학습 파라미터 설정Weights & Biases(wandb)를 사용해서 모델 학습에 사용되는 파라미터 설정부터 시작한다. 참고로 wandb는 머신러닝 실험을 추적하고 시각화하는 데 널리 쓰이는 플랫폼이라고 한다. 가입 후에 사용자 계정과 로그인 API Key 등을 확인한다.https://wandb.ai/ Weights & Biases: The AI Developer PlatformWeights & Biases is the leading AI developer platform to train and fine-tune models, manage models from experimentation to production, and.. 2025. 1. 19. [Day8] LLM 스터디 1기 - 단일 GPU Gemma 파인튜닝 #2 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스03. 전체 파인튜닝키워드 데이터 생성데이터셋(jaehy12/new3)에 포함되지 않은 각 기사별 키워드 정보를 추출하는 것부터 시작한다. 주요 코드는 아래와 같다.pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, device_map="auto")def key_word_prompt(input_text, summary_text): return [ {"role": "user", "content": f"{input_text}"}, {"role": "assistant", "content": f"{summary_text}"}, {"role": "user", .. 2025. 1. 18. [Day7] LLM 스터디 1기 - 단일 GPU Gemma 파인튜닝 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스03. 전체 파인튜닝단일 GPU를 활용한 Gemma-2B-it 파인튜닝이번 6일 차 스터디에서는 지난 5일 차 스터디에서 공부했던 Gemma 모델을 파인튜닝하는 실습을 진행했다. 먼저 런팟(https://www.runpod.io/)에서 엔비디아 H100 PCIe GPU를 선택해서 deploy 했다.다른 부분은 기본 값 그대로 놔두고 Container Disk, Volume Disk 값만 200GB로 상향 조정했다. 그리고 주피터 랩 환경에 접속해서 터미널을 열고, 아래 저장소로부터 출판사에서 제공하는 실습 코드를 내려받았다.https://github.com/wikibook/llm-finetuning GitHub - wikibook/llm-fi.. 2025. 1. 17. 이전 1 2 다음 반응형
