#RoPE

이 리포트는 LLM 핵심 설계를 Architecture·RoPE·Attention 축으로 다시 묶어준다

Jin’s Doodle의 Large-scale Model 핵심 기술 리포트는 decoder-only 아키텍처, RMSNorm·SwiGLU·Pre-Norm, RoPE·mRoPE, FlashAttention·GQA를 하나의 설계 지도처럼 엮어 최신 LLM...