본문 바로가기
반응형

분류 전체보기1626

[책 리뷰] 요즘 바이브 코딩 - 클로드 코드 완벽 가이드 #1 https://www.aladin.co.kr/shop/wproduct.aspx?ItemId=370283273 요즘 바이브 코딩 클로드 코드 완벽 가이드 | 요즘 바이브 코딩 | 최지호AI 파트너 클로드 코드의 완벽 가이드북이다. 현업 개발자인 저자가 매일 10시간 이상 투자하여 얻어낸 클로드 코드의 실전 활용법을 기초부터 고급 활용까지 체계적으로 정리했다. 클로드 코드www.aladin.co.kr얼떨결에 Claude Code 해커톤 본선에 진출했다. 대회의 정식 명칭은 "SK AI SUMMIT 2025 Claude Code Builder Hackathon"이다. SK 그룹에서 매년 개최하는 'SK AI SUMMIT' 컨퍼런스의 여러 이벤트 중 하나다. 본선이 11월3일인데 기본적인 기능만 써왔기 때문에 .. 2025. 10. 31.
Windsurf Puguins 소개 및 간단한 사용기 요즘 Cursor로 대표되는 AI 코드 에디터가 정말 핫한데요. 일단 제 주변 개발자들은 모두들 사용하고 있는 것 같습니다. 다양한 툴들이 있지만 대부분 Cursor를 사용하시는 것 같고 저도 그랬는데요, 우연한 기회에 Windsurf라는 툴을 알게 돼서 지금도 주력으로 사용하고 있습니다. 제가 파워유저는 아니지만 Windsurf를 조금은 특이하게 사용하고 있어서 사용기를 공유하려고 합니다. Windsurf의 전신은 Codeium이라는 코딩 어시스턴트 툴이었는데요, github copilot를 떠올리시면 이해가 빠를 듯합니다. Codeium은 VSCode, JetBrains, chorme 등 다양한 개발 도구에 익스텐션 형태로 추가해서 사용하는 형태였습니다. 이를 Cursor처럼 독립된 IDE로 출시한 .. 2025. 6. 21.
[Day15] LLM 스터디 1기 - vLLM 서빙 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스">한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스05. vLLM을 활용한 서빙드디어 마지막 15일 차다. 학습된 모델을 실제 서비스에 적용하는 과정을 실습한다. 앞에서 LLM을 이용해서 문장을 생성할 때 시간이 꽤 오래 걸렸다. 실제 서비스 단계에서는 사용자 경험을 고려해야 하는데 LLM의 추론 속도가 큰 영향을 미친다. vLLM은 이러한 추론 속도 문제를 해결하기 위한 도구로, 페이지드 어텐션(Paged Attention)이라는 기술을 사용한다. 책에 따로 언급되지 않았지만 관련 논문은 https://arxiv.org/pdf/2309.06180로 보인다.페이지드 어텐션 원리페이지드 어텐션 시스템은 'Logical KV Ca.. 2025. 1. 30.
[Day14] LLM 스터디 1기 - 효율적인 파라미터 튜닝(QLoRA 튜닝 실습) 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스">한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스04. 효율적인 파라미터 튜닝 기법이번 14일 차는 책에 오타가 몇 개 있다. 실습을 진행하면서 해당 부분에 명시해 놓겠다.파라미터 설정args = TrainingArguments( output_dir="code-llama3-8B-text-to-sql", num_train_epochs=1, # max_steps=100, per_device_train_batch_size=1, gradient_accumulation_steps=2, gradient_.. 2025. 1. 29.
[Day13] LLM 스터디 1기 - 효율적인 파라미터 튜닝(양자화 & QLoRA) 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스04. 효율적인 파라미터 튜닝 기법 (PEFT)70B Llama 3 모델을 16bits로 로드한다면 무려 140GB VRAM이 필요하다고 한다. 최근 연구는 대규모 모델을 더 적은 VRAM을 사용해 로드할 수 있는 방법에 초점을 맞추고 있는데 주요 기술 중 하나가 바로 양자화(quantization)이다.양자화의 이해딥러닝 모델을 사용하다 보면 FP32, BF16, FP16 같은 torch.dtype 설정을 하게 되는데 이는 모두 부동소수점 방식을 사용해 숫자를 표현하는 데이터 타입이다. 아래 이미지는 FP32(Float 32-bit)와 FP16(Float 16-bit)로 원주율을 표현하는 예시다.가수(fraction/mantissa) 부분 .. 2025. 1. 27.
[Day12] LLM 스터디 1기 - 효율적인 파라미터 튜닝(LoRA) #2 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스04. 효율적인 파라미터 튜닝 기법 (PEFT)지난 11일 차에 학습 파라미터 설정까지 완료했고 오늘은 이를 바탕으로 모델 학습에 들어간다.LoRA 적용 및 모델 학습/평가trainer = SFTTrainer( model=model, args=args, train_dataset=dataset, max_seq_length=512, peft_config=peft_config, tokenizer=tokenizer, packing=True,)지난번 전체 파인튜닝과 동일하게 파인튜닝을 쉽게 수행할 수 있도록 해주는 도구인 SFTTrainer 클래스를 사용해서 훈련 과정을 구성한다. 선택한 모델, 토크나이저, 학습에.. 2025. 1. 23.
반응형

티스토리툴바