VisionWeave: 시각 토큰을 버리지 않고 해상도를 배분한다
VisionWeave는 공간 블록마다 정밀 토큰과 압축 토큰을 선택해 시각 표현의 밀도를 학습한다. 토큰 절감·서빙 효과와 아직 공개되지 않은 학습 가중치를 함께 살핀다.
Category33 posts
Inference Systems
서빙, speculative decoding, pruning, GPU 커널, 로컬 런타임처럼 모델 실행 시스템을 다룹니다.
글 목록
S-Space: 모델은 위치를 알면서도 시점 전환을 틀린다
S-Space는 멀티모달 모델의 객체 토큰에서 공간 좌표를 읽고 개입해, 위치 지각과 시점 변환 추론의 실패를 분리하는 진단 방법이다.
MALA는 어텐션이 확률 질량으로 계산량을 배분하게 한다
MassAlloc Attention(MALA)은 모든 인과적 QK 점수는 계산하되, 기여도가 낮은 타일의 후속 연산을 건너뛰어 긴 문맥의 attention 비용을 줄인다. 단, QK 점수 탐색은 여전히 제곱 복잡도다.
MobileMoE는 MoE를 스마트폰 지연·메모리 문제로 다시 설계한다
MobileMoE는 0.3–0.9B 활성 파라미터의 MoE를 온디바이스 메모리·연산 제약에 맞춰 설계하고, INT4 QAT와 ExecuTorch 커스텀 커널로 실제 스마트폰에서 dense MobileLLM-Pro 대비 빠른 prefill/decode를...
GLM-5.2의 600 tok/s는 커널 하나가 아니라 MTP acceptance를 보존한 서빙 스택의 결과다
Sionic은 B300에서 753B MoE GLM-5.2의 batch-1 생성을 600~1000 tok/s로 끌어올렸다고 보고한다. 핵심은 SASS·TMEM 기반 커널, live FP8 quantization, SGLang 런타임 패치, 그리고 MTP...
MrFlow는 이미지 생성 추론을 저해상도 구조 생성과 1-step 보정으로 가속한다
MrFlow는 flow-matching 이미지 생성 모델에서 저해상도 샘플링, 픽셀 공간 업스케일, 약한 노이즈 주입, 고해상도 1-step refinement를 묶어 학습 없이 8–10× 추론 가속을 노리는 staged sampler다.
DeepSpec은 speculative decoding을 초안 모델 학습 파이프라인으로 공개했다
DeepSeek의 DeepSpec은 DSpark·DFlash·Eagle3 초안 모델을 데이터 준비, 학습, 평가까지 묶어 공개하며, 추측 디코딩을 단순 런타임 옵션이 아니라 재학습 가능한 서빙 스택으로 보여준다.
ELDR는 MoE 디코딩 라우팅을 expert locality 문제로 바꾼다
ELDR는 PD-disaggregated MoE 서빙에서 prefill expert signature를 이용해 decode worker를 고르고, active expert union을 줄여 TPOT를 낮추는 vLLM 기반 라우팅 연구다.
SGLang Waterfill·LPLB는 MoE 서빙의 느린 rank를 dispatch-time에 줄인다
LMSYS의 Waterfill·LPLB 글은 SGLang/DeepEP MoE inference에서 shared expert와 redundant expert replica를 runtime에 재배치해 EP rank imbalance를 줄이는 두 가지 di...
Gemini Nano의 Frozen MTP는 Pixel 온디바이스 추론을 별도 drafter 없이 가속한다
Google Research의 Frozen Multi-Token Prediction은 이미 배포된 Gemini Nano v3의 backbone을 고정한 채 MTP head만 붙여 Pixel 9·10의 온디바이스 생성 지연과 메모리 병목을 줄이는 추론...
Hugging Face의 로컬 오픈 모델 입문 영상은 모델보다 실행 스택을 먼저 고르게 만든다
Hugging Face 라이브스트림 ‘Welcome to Open Source AI’는 오픈 모델을 로컬에서 쓰는 법을 llama.cpp, GGUF/quant, llama.app, Inference Providers, Pi/OpenClaw 같은 실행...
LAMP는 AR 헤드셋의 사람 추적을 ‘월드 좌표 ray’ 문제로 바꾼다
Meta Reality Labs의 CVPR 2026 논문 LAMP는 다중 카메라 헤드셋의 2D keypoint를 6-DoF pose로 3D ray cloud에 올린 뒤, LAMP-Net으로 metric 3D human motion을 맞추는 egocen...
MiniMax Sparse Attention은 100만 토큰 어텐션을 블록 선택 문제로 바꾼다
MiniMax Sparse Attention은 GQA 위에 경량 Index Branch를 붙여 GQA 그룹별 Top-k KV 블록만 정확 어텐션하고, 1M 컨텍스트에서 어텐션 compute와 wall-clock 비용을 크게 줄이려는 장기 컨텍스트 추론...
SAHI는 작은 객체 탐지를 ‘이미지 전체’가 아니라 ‘겹치는 타일’ 문제로 바꾼다
SAHI는 큰 항공·감시 이미지에서 작은 객체가 입력 리사이즈 과정에서 사라지는 문제를, 겹치는 슬라이스별 추론과 좌표 병합으로 풀어 기존 detector 위에 바로 얹을 수 있는 실용적 small-object inference 프레임워크다.
ESOD는 고해상도 작은 객체 탐지를 ‘전체 이미지’가 아니라 ‘필요한 패치’ 문제로 바꾼다
ESOD는 고해상도 이미지에서 작은 객체가 희소하게 모여 있다는 관찰을 이용해, 특징 맵 수준에서 객체 후보 패치만 남기고 sparse head로 계산량과 메모리 비용을 줄이는 효율적 객체 탐지 프레임워크다.
Efficient Reasoning on the Edge는 온디바이스 추론을 LoRA·예산·라우팅 문제로 바꾼다
Qualcomm AI Research의 Efficient Reasoning on the Edge는 Qwen2.5-7B에 LoRA reasoning adapter, budget forcing, switcher, 병렬 verifier, 양자화 배포 경로를...
ReRe는 공간 추론을 한 번 더 보게 만든다: egocentric video에서 합성 시점으로 검증하기
ICML 2026 논문 Reason, Then Re-reason은 egocentric video 하나만 보고 답을 확정하는 대신, 먼저 가설을 만들고 VGGT 기반 Geometry-to-Video가 만든 allocentric view로 다시 검증하는...
OpenCV 5는 컴퓨터 비전 라이브러리를 다시 추론 런타임으로 만든다
OpenCV 5는 그래프 기반 DNN 엔진, 80%+ ONNX operator coverage, LLM/VLM 실행, 새 HAL, 0D/1D tensor와 3D 모듈 재편을 통해 전통적 CV 라이브러리를 현대 AI vision runtime으로 재정의...
MiniCPM4는 온디바이스 LLM을 모델·데이터·추론 스택 전체로 줄인다
MiniCPM4는 0.5B·8B 모델, InfLLM v2 sparse attention, UltraClean 데이터 필터링, CPM.cu/ArkInfer 추론 스택을 한 번에 묶어 온디바이스 LLM의 병목을 시스템 차원에서 줄이려는 OpenBMB의 기...
Efficiency Frontier는 LLM 컨텍스트 관리를 비용-성능 최적화 문제로 바꾼다
The Efficiency Frontier는 긴 컨텍스트를 무조건 늘리는 대신, 검색·압축·전체 컨텍스트 전략을 성능 목표와 재사용 조건에 맞춰 선택하는 배포 지향 평가 프레임워크다.
ThriftAttention은 긴 컨텍스트 FP4 어텐션을 선택적 혼합정밀로 보정한다
ThriftAttention은 Blackwell FP4 어텐션의 장기 컨텍스트 품질 저하를 전체 고정밀 계산이 아니라 중요한 query-key block만 FP16으로 승격하는 선택적 혼합정밀 방식으로 줄이려는 inference-time attenti...
QueST는 사용자 질문 하나로 테스트 시점 LoRA 적응을 만든다
QueST는 입력 질문에서 관련 문제-해설 쌍을 생성하고, 이를 이용해 추론 직전에 LoRA로 모델을 가볍게 적응시키는 query-conditioned test-time self-training 방법이다.
DeepConf는 확신도로 LLM 병렬 추론의 낭비를 줄인다
DeepConf는 self-consistency식 병렬 추론에서 모든 reasoning trace를 같은 한 표로 취급하지 않고, 모델 내부 confidence 신호로 낮은 품질의 추론을 필터링하거나 조기 중단해 정확도와 토큰 효율을 함께 개선하려는...
Unsloth는 QAT와 ExecuTorch로 Qwen3를 스마트폰 안으로 밀어 넣는다
Unsloth의 phone deployment 가이드는 Qwen3-0.6B를 QAT로 파인튜닝하고 TorchAO/ExecuTorch로 .pte 모델을 내보낸 뒤, Pixel 8과 iPhone 계열 기기에서 로컬 LLM을 실행하는 end-to-end 경...
LLMs-from-scratch의 DSA 예제는 DeepSeek식 sparse attention을 읽을 수 있는 코드로 낮춘다
rasbt/LLMs-from-scratch의 ch04/09_dsa는 DeepSeek-V3.2의 DeepSeek Sparse Attention을 작은 GPT 코드로 재구성해, long-context attention 비용 절감 아이디어와 구현상의 한계를...
최근 LLM 아키텍처는 파라미터보다 KV 캐시와 잔차 경로를 다시 설계한다
Sebastian Raschka의 최근 LLM 아키텍처 정리는 Gemma 4의 cross-layer KV sharing, Laguna XS.2의 layer-wise attention budget, ZAYA1-8B의 CCA, DeepSeek V4의 mH...
MLX와 Locally AI는 iPhone을 작은 로컬 LLM 런타임으로 바꾸고 있다
Adrien Grondin의 AI Engineer 발표는 Gemma 4를 iPhone에서 약 40 tok/s로 실행하는 데모를 통해, MLX Swift LM, Hugging Face MLX Community, 4-bit~8-bit 양자화, Locall...
OptiLLM은 추론 시간 최적화를 OpenAI 호환 프록시로 묶는다
OptiLLM은 Best-of-N, MoA, MCTS, CePO, MARS 같은 inference-time 기법을 OpenAI 호환 프록시 뒤에 묶어, 모델 재학습 없이 더 많은 추론 계산으로 정확도와 운영 유연성을 끌어올리려는 런타임 계층이다.
LiteVLA-H는 드론 VLA를 20Hz 액션 루프와 6Hz 의미 루프로 나눈다
LiteVLA-H는 Jetson AGX Orin 위의 256M VLA에서 pre-fill이 액션 지연의 대부분을 차지한다는 관찰을 바탕으로, 빠른 외부 guidance 루프와 느린 semantic perception 루프를 분리해 온보드 드론 추론을...
Gemma 4 MTP는 speculative decoding을 제품형 추론 가속 계층으로 밀어 넣는다
Google의 Gemma 4 Multi-Token Prediction drafters는 작은 draft model이 여러 토큰을 미리 제안하고 target model이 이를 병렬 검증하는 구조를 통해, 출력 품질을 바꾸지 않으면서 최대 3배까지 추론...
SuperGemma4는 Apple Silicon에서 Gemma 4를 더 빠르고 덜 검열된 로컬 에이전트 모델로 바꾼다
Jiunsong의 SuperGemma4-26B-Uncensored-Fast v2는 Google Gemma 4 26B IT를 MLX 4bit 형식으로 재가공해, Apple Silicon 로컬 환경에서 속도와 실사용 에이전트 성능을 함께 끌어올리려는 비공...
AutoKernel은 GPU 커널 최적화를 에이전트 실험 루프로 바꾼다
AutoKernel은 PyTorch 모델을 프로파일링해 병목 GPU 커널을 추출한 뒤, Triton 또는 CUDA C++ 커널을 에이전트가 반복적으로 수정·벤치마크·유지/되돌리기 하도록 설계해 하룻밤 단위의 자동 커널 최적화를 가능하게 하려는 오픈소스...
POP은 prefill만 가지치기해 LLM 추론을 가속한다
POP은 LLM 추론의 prefill과 decode가 서로 다른 역할을 가진다는 점을 이용해, 문맥 인코딩 단계에서만 깊은 층을 생략하고 decode는 풀모델로 유지함으로써 정확도 손실을 크게 늘리지 않고 prefill 지연을 줄이려는 stage-aw...