MALA는 어텐션이 확률 질량으로 계산량을 배분하게 한다
MassAlloc Attention(MALA)은 모든 인과적 QK 점수는 계산하되, 기여도가 낮은 타일의 후속 연산을 건너뛰어 긴 문맥의 attention 비용을 줄인다. 단, QK 점수 탐색은 여전히 제곱 복잡도다.
Tag14 posts
#Long Context
글 목록
Qwen3.8-27B는 27B 모델을 에이전트 실행의 운영 계약으로 확장한다
Qwen3.8-27B는 27B dense 비전-언어 모델에 기본 thinking, 추론 깊이 제어, 보존형 추론 문맥, 262K 네이티브 컨텍스트와 1M 확장 경로를 묶어 장기 에이전트 작업을 겨냥한 Apache-2.0 오픈 웨이트 릴리스다.
Motif 3는 314B MoE를 7개 전문 교사의 단일 정책으로 묶는다
Motif 3는 314B total·13.2B activated MoE, 256K context, GDLA와 MOPD를 결합해 큰 희소 모델의 용량을 도구 사용·코드·장문 추론 전문성으로 통합하려는 공개 모델 릴리스다.
GLM-5.2는 1M 컨텍스트를 코딩 에이전트의 운영 문제로 끌고 온다
Z.AI의 GLM-5.2는 753B MoE, 1M-token context, IndexShare sparse attention, 개선된 MTP, slime RL 인프라, anti-hack guardrail을 묶어 장시간 코딩 에이전트 작업을 겨냥한 M...
MiniMax Sparse Attention은 100만 토큰 어텐션을 블록 선택 문제로 바꾼다
MiniMax Sparse Attention은 GQA 위에 경량 Index Branch를 붙여 GQA 그룹별 Top-k KV 블록만 정확 어텐션하고, 1M 컨텍스트에서 어텐션 compute와 wall-clock 비용을 크게 줄이려는 장기 컨텍스트 추론...
Kimi K2.7 Code는 1T MoE를 코딩 에이전트용으로 더 날카롭게 만든다
Moonshot AI의 Kimi K2.7 Code는 1T total/32B active MoE 구조를 유지하면서 장기 코딩 에이전트, preserved thinking, 멀티모달 API, self-host 배포 경로를 함께 밀어 넣은 코딩 특화 공개...
Efficiency Frontier는 LLM 컨텍스트 관리를 비용-성능 최적화 문제로 바꾼다
The Efficiency Frontier는 긴 컨텍스트를 무조건 늘리는 대신, 검색·압축·전체 컨텍스트 전략을 성능 목표와 재사용 조건에 맞춰 선택하는 배포 지향 평가 프레임워크다.
ThriftAttention은 긴 컨텍스트 FP4 어텐션을 선택적 혼합정밀로 보정한다
ThriftAttention은 Blackwell FP4 어텐션의 장기 컨텍스트 품질 저하를 전체 고정밀 계산이 아니라 중요한 query-key block만 FP16으로 승격하는 선택적 혼합정밀 방식으로 줄이려는 inference-time attenti...
Priming은 사전학습 Transformer를 Hybrid SSM으로 바꾸는 지름길을 제안한다
arXiv 2605.08301은 Qwen·Llama·Mistral 계열 사전학습 Transformer에서 일부 attention layer를 SSM layer로 바꾸고, 짧은 alignment와 post-training만으로 128K long-cont...
최근 LLM 아키텍처는 파라미터보다 KV 캐시와 잔차 경로를 다시 설계한다
Sebastian Raschka의 최근 LLM 아키텍처 정리는 Gemma 4의 cross-layer KV sharing, Laguna XS.2의 layer-wise attention budget, ZAYA1-8B의 CCA, DeepSeek V4의 mH...
MMProLong은 128K VLM 학습을 더 긴 샘플이 아니라 데이터 레시피 문제로 본다
MMProLong은 Qwen2.5-VL-7B를 32K에서 128K로 확장하며, long-document VQA 합성·pool-native 길이 분포·8:2 추출/추론 혼합이 긴 멀티모달 컨텍스트 일반화에 더 중요하다는 실험적 레시피를 제시한다.
DeepSeek-V4-Pro는 1M 컨텍스트를 49B 활성 경로로 밀어붙인다
DeepSeek-V4-Pro는 1.6T total / 49B activated MoE와 CSA·HCA 하이브리드 attention, mHC, Muon optimizer를 결합해 1M 토큰 문맥에서 추론 비용과 KV-cache를 크게 줄이면서도 코딩·추...
MiMo-V2.5는 1M 컨텍스트·오디오·에이전트를 한 모델로 묶는다
Xiaomi의 MiMo-V2.5는 310B Sparse MoE에 비전·오디오 인코더와 에이전트 후학습을 결합해, 1M 컨텍스트와 네이티브 옴니모달 이해를 하나의 공개 모델로 밀어 넣은 릴리스다.
Doc-to-LoRA는 문서를 LoRA 어댑터로 즉시 내재화한다
Doc-to-LoRA는 긴 문맥을 매번 다시 읽지 않고도 답할 수 있도록, 문서에서 LoRA 어댑터를 한 번의 forward pass로 생성하는 hypernetwork를 메타학습해 context distillation의 지연과 메모리 비용을 크게 줄이...