MALA는 어텐션이 확률 질량으로 계산량을 배분하게 한다
MassAlloc Attention(MALA)은 모든 인과적 QK 점수는 계산하되, 기여도가 낮은 타일의 후속 연산을 건너뛰어 긴 문맥의 attention 비용을 줄인다. 단, QK 점수 탐색은 여전히 제곱 복잡도다.
Tag5 posts
#Inference Systems
글 목록
MrFlow는 이미지 생성 추론을 저해상도 구조 생성과 1-step 보정으로 가속한다
MrFlow는 flow-matching 이미지 생성 모델에서 저해상도 샘플링, 픽셀 공간 업스케일, 약한 노이즈 주입, 고해상도 1-step refinement를 묶어 학습 없이 8–10× 추론 가속을 노리는 staged sampler다.
MiniMax Sparse Attention은 100만 토큰 어텐션을 블록 선택 문제로 바꾼다
MiniMax Sparse Attention은 GQA 위에 경량 Index Branch를 붙여 GQA 그룹별 Top-k KV 블록만 정확 어텐션하고, 1M 컨텍스트에서 어텐션 compute와 wall-clock 비용을 크게 줄이려는 장기 컨텍스트 추론...
ThriftAttention은 긴 컨텍스트 FP4 어텐션을 선택적 혼합정밀로 보정한다
ThriftAttention은 Blackwell FP4 어텐션의 장기 컨텍스트 품질 저하를 전체 고정밀 계산이 아니라 중요한 query-key block만 FP16으로 승격하는 선택적 혼합정밀 방식으로 줄이려는 inference-time attenti...
LongLive-2.0은 긴 비디오 생성을 NVFP4 학습·추론 시스템 문제로 바꾼다
NVIDIA LongLive-2.0은 Balanced SP, NVFP4 학습·추론, KV-cache 양자화, asynchronous VAE decoding을 묶어 긴 비디오 생성의 학습 비용과 실시간 추론 병목을 동시에 낮추려는 공개 시스템 릴리스다.