반응형 AttentionIsAllYouNeed1 [논문 스터디] Attention Is All You Need https://arxiv.org/pdf/1706.03762그 유명한 'Attention Is All You Need'를 (여러 LLM 친구들과 함께..) 읽었다. 대단한 일을 한 건 아니지만 혼자였다면 시작도 못 했을 것이 거의 확실하다. 학교에서 AI 관련 논문을 읽는 스터디에 가입해서 활동 중이다. 유령회원이 될 뻔했지만 어찌어찌 마감일인 오늘 다 읽고 글로 정리까지 해서 한 사람 몫은 했다. 스터디 노션 페이지에 쓴 내용을 여기에 다시 쓴다.개요 및 요약핵심 아이디어이전의 RNN·LSTM처럼 순차적으로 입력을 처리하는 구조를 버리고, 오직 Attention 메커니즘만으로 입력 전체를 한 번에 처리하는 모델을 만들었다는 것이 가장 큰 혁신주요 특징Self-Attention 도입문장의 모든 단어가 서로.. 2025. 11. 30. 이전 1 다음 반응형
