MALA는 어텐션이 확률 질량으로 계산량을 배분하게 한다
MassAlloc Attention(MALA)은 모든 인과적 QK 점수는 계산하되, 기여도가 낮은 타일의 후속 연산을 건너뛰어 긴 문맥의 attention 비용을 줄인다. 단, QK 점수 탐색은 여전히 제곱 복잡도다.
Tag6 posts
#Sparse Attention
글 목록
GLM-5.2는 1M 컨텍스트를 코딩 에이전트의 운영 문제로 끌고 온다
Z.AI의 GLM-5.2는 753B MoE, 1M-token context, IndexShare sparse attention, 개선된 MTP, slime RL 인프라, anti-hack guardrail을 묶어 장시간 코딩 에이전트 작업을 겨냥한 M...
MiniMax Sparse Attention은 100만 토큰 어텐션을 블록 선택 문제로 바꾼다
MiniMax Sparse Attention은 GQA 위에 경량 Index Branch를 붙여 GQA 그룹별 Top-k KV 블록만 정확 어텐션하고, 1M 컨텍스트에서 어텐션 compute와 wall-clock 비용을 크게 줄이려는 장기 컨텍스트 추론...
Keye-VL-2.0은 긴 비디오를 256K 컨텍스트 문제로 다시 쓴다
Kwai Keye-VL-2.0-30B-A3B는 30B MoE에 3B active parameter, GQA용 DeepSeek Sparse Attention, Cross-Modal MOPD를 결합해 장시간 비디오 이해와 코드·툴·검색 agent 능력을...
MiniCPM4는 온디바이스 LLM을 모델·데이터·추론 스택 전체로 줄인다
MiniCPM4는 0.5B·8B 모델, InfLLM v2 sparse attention, UltraClean 데이터 필터링, CPM.cu/ArkInfer 추론 스택을 한 번에 묶어 온디바이스 LLM의 병목을 시스템 차원에서 줄이려는 OpenBMB의 기...
LLMs-from-scratch의 DSA 예제는 DeepSeek식 sparse attention을 읽을 수 있는 코드로 낮춘다
rasbt/LLMs-from-scratch의 ch04/09_dsa는 DeepSeek-V3.2의 DeepSeek Sparse Attention을 작은 GPT 코드로 재구성해, long-context attention 비용 절감 아이디어와 구현상의 한계를...