LLMs-from-scratch의 DSA 예제는 DeepSeek식 sparse attention을 읽을 수 있는 코드로 낮춘다
rasbt/LLMs-from-scratch의 ch04/09_dsa는 DeepSeek-V3.2의 DeepSeek Sparse Attention을 작은 GPT 코드로 재구성해, long-context attention 비용 절감 아이디어와 구현상의 한계를...
Tag4 posts
#LLM Architecture
글 목록
최근 LLM 아키텍처는 파라미터보다 KV 캐시와 잔차 경로를 다시 설계한다
Sebastian Raschka의 최근 LLM 아키텍처 정리는 Gemma 4의 cross-layer KV sharing, Laguna XS.2의 layer-wise attention budget, ZAYA1-8B의 CCA, DeepSeek V4의 mH...
UniPool은 MoE expert를 레이어별 자산이 아니라 전역 풀로 바꾼다
UniPool은 MoE에서 레이어마다 따로 들고 있던 expert 집합을 전역 공유 풀로 바꾸고, pool-level balancing과 NormRouter를 더해 깊이에 비례하던 expert 파라미터 증가를 느슨하게 만든다.
이 리포트는 LLM 핵심 설계를 Architecture·RoPE·Attention 축으로 다시 묶어준다
Jin’s Doodle의 Large-scale Model 핵심 기술 리포트는 decoder-only 아키텍처, RMSNorm·SwiGLU·Pre-Norm, RoPE·mRoPE, FlashAttention·GQA를 하나의 설계 지도처럼 엮어 최신 LLM...