반응형 datacollatorforcompletiononlylm1 [Day8] LLM 스터디 1기 - 단일 GPU Gemma 파인튜닝 #2 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스03. 전체 파인튜닝키워드 데이터 생성데이터셋(jaehy12/new3)에 포함되지 않은 각 기사별 키워드 정보를 추출하는 것부터 시작한다. 주요 코드는 아래와 같다.pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, device_map="auto")def key_word_prompt(input_text, summary_text): return [ {"role": "user", "content": f"{input_text}"}, {"role": "assistant", "content": f"{summary_text}"}, {"role": "user", .. 2025. 1. 18. 이전 1 다음 반응형
