본문 바로가기
반응형

트랜스포머2

OpenClaw 에이전트에 Brave Search API를 연동해서 웹 검색 기능 강화하기 들어가는 글OpenClaw가 뜨니까 비슷한 프로젝트들이 우후죽순 생겨 나고 있다. 그중 홍콩대 연구팀에서 만든 nanobot이라는 이름의 프로젝트가 눈에 띄었다. nanobot은 OpenClaw의 초경량 클론으로 4,000줄 남짓한 코드로 핵심 기능을 구현했다.https://github.com/HKUDS/nanobot GitHub - HKUDS/nanobot: "🐈 nanobot: The Ultra-Lightweight Clawdbot""🐈 nanobot: The Ultra-Lightweight Clawdbot". Contribute to HKUDS/nanobot development by creating an account on GitHub.github.com 살짝 허전한 데일리 리포트나름 Open.. 2026. 2. 6.
[논문 스터디] Attention Is All You Need https://arxiv.org/pdf/1706.03762그 유명한 'Attention Is All You Need'를 (여러 LLM 친구들과 함께..) 읽었다. 대단한 일을 한 건 아니지만 혼자였다면 시작도 못 했을 것이 거의 확실하다. 학교에서 AI 관련 논문을 읽는 스터디에 가입해서 활동 중이다. 유령회원이 될 뻔했지만 어찌어찌 마감일인 오늘 다 읽고 글로 정리까지 해서 한 사람 몫은 했다. 스터디 노션 페이지에 쓴 내용을 여기에 다시 쓴다.개요 및 요약핵심 아이디어이전의 RNN·LSTM처럼 순차적으로 입력을 처리하는 구조를 버리고, 오직 Attention 메커니즘만으로 입력 전체를 한 번에 처리하는 모델을 만들었다는 것이 가장 큰 혁신주요 특징Self-Attention 도입문장의 모든 단어가 서로.. 2025. 11. 30.
반응형