반응형 셀프어텐션2 [논문 스터디] Attention Is All You Need https://arxiv.org/pdf/1706.03762그 유명한 'Attention Is All You Need'를 (여러 LLM 친구들과 함께..) 읽었다. 대단한 일을 한 건 아니지만 혼자였다면 시작도 못 했을 것이 거의 확실하다. 학교에서 AI 관련 논문을 읽는 스터디에 가입해서 활동 중이다. 유령회원이 될 뻔했지만 어찌어찌 마감일인 오늘 다 읽고 글로 정리까지 해서 한 사람 몫은 했다. 스터디 노션 페이지에 쓴 내용을 여기에 다시 쓴다.개요 및 요약핵심 아이디어이전의 RNN·LSTM처럼 순차적으로 입력을 처리하는 구조를 버리고, 오직 Attention 메커니즘만으로 입력 전체를 한 번에 처리하는 모델을 만들었다는 것이 가장 큰 혁신주요 특징Self-Attention 도입문장의 모든 단어가 서로.. 2025. 11. 30. [Day2] LLM 스터디 1기 - 언어 모델 구조 및 셀프 어텐션 메커니즘 이해 한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스LLM은커녕 전반적인 AI 관련 지식이 전무하다 보니 스터디 진도 따라가기가 쉽지 않다. 어제까지 스터디 5일 차가 끝났어야 하는데 아직 2일 차의 학습 범위를 벗아지 못하고 있다. 일단 동작 확인 중심으로 해서 진도를 따라가 보려고 한다. 오늘은 '2장 GPT'에서 '기본적인 언어 모델 구조 학습(46~66p)', '셀프 어텐션 매커니즘 이해(67~88p)' 부분을 공부했다.02. GPT언어 모델 만들기 (Optimizer 포함)sepmGPT라는 이름의 클래스를 작성하는 것으로부터 간단한 언어 모델을 만드는 과정이 시작된다. 해당 클래스는 크게 '__init__' 메서드와 'forward' 메서드로 이뤄져 있다. 나는 파이썬도 잘 모르는데 .. 2025. 1. 5. 이전 1 다음 반응형
