MrFlow는 이미지 생성 추론을 저해상도 구조 생성과 1-step 보정으로 가...
MrFlow는 flow-matching 이미지 생성 모델에서 저해상도 샘플링, 픽셀 공간 업스케일, 약한 노이즈 주입, 고해상도 1-step refinement를 묶어 학습 없이 8–10× 추론 가속을 노리는 s...
Category
Inference Systems
DeepSpec은 speculative decoding을 초안 모델 학습 파이프...
DeepSeek의 DeepSpec은 DSpark·DFlash·Eagle3 초안 모델을 데이터 준비, 학습, 평가까지 묶어 공개하며, 추측 디코딩을 단순 런타임 옵션이 아니라 재학습 가능한 서빙 스택으로 보여준다.
ELDR는 MoE 디코딩 라우팅을 expert locality 문제로 바꾼다
ELDR는 PD-disaggregated MoE 서빙에서 prefill expert signature를 이용해 decode worker를 고르고, active expert union을 줄여 TPOT를 낮추는 vL...
SGLang Waterfill·LPLB는 MoE 서빙의 느린 rank를 disp...
LMSYS의 Waterfill·LPLB 글은 SGLang/DeepEP MoE inference에서 shared expert와 redundant expert replica를 runtime에 재배치해 EP rank...
Gemini Nano의 Frozen MTP는 Pixel 온디바이스 추론을 별도...
Google Research의 Frozen Multi-Token Prediction은 이미 배포된 Gemini Nano v3의 backbone을 고정한 채 MTP head만 붙여 Pixel 9·10의 온디바이스...
Hugging Face의 로컬 오픈 모델 입문 영상은 모델보다 실행 스택을 먼저...
Hugging Face 라이브스트림 ‘Welcome to Open Source AI’는 오픈 모델을 로컬에서 쓰는 법을 llama.cpp, GGUF/quant, llama.app, Inference Provide...
LAMP는 AR 헤드셋의 사람 추적을 ‘월드 좌표 ray’ 문제로 바꾼다
Meta Reality Labs의 CVPR 2026 논문 LAMP는 다중 카메라 헤드셋의 2D keypoint를 6-DoF pose로 3D ray cloud에 올린 뒤, LAMP-Net으로 metric 3D hu...
MiniMax Sparse Attention은 100만 토큰 어텐션을 블록 선택...
MiniMax Sparse Attention은 GQA 위에 경량 Index Branch를 붙여 GQA 그룹별 Top-k KV 블록만 정확 어텐션하고, 1M 컨텍스트에서 어텐션 compute와 wall-clock...
SAHI는 작은 객체 탐지를 ‘이미지 전체’가 아니라 ‘겹치는 타일’ 문제로 바...
SAHI는 큰 항공·감시 이미지에서 작은 객체가 입력 리사이즈 과정에서 사라지는 문제를, 겹치는 슬라이스별 추론과 좌표 병합으로 풀어 기존 detector 위에 바로 얹을 수 있는 실용적 small-object...
ESOD는 고해상도 작은 객체 탐지를 ‘전체 이미지’가 아니라 ‘필요한 패치’...
ESOD는 고해상도 이미지에서 작은 객체가 희소하게 모여 있다는 관찰을 이용해, 특징 맵 수준에서 객체 후보 패치만 남기고 sparse head로 계산량과 메모리 비용을 줄이는 효율적 객체 탐지 프레임워크다.
Efficient Reasoning on the Edge는 온디바이스 추론을 L...
Qualcomm AI Research의 Efficient Reasoning on the Edge는 Qwen2.5-7B에 LoRA reasoning adapter, budget forcing, switcher, 병...
ReRe는 공간 추론을 한 번 더 보게 만든다: egocentric video에...
ICML 2026 논문 Reason, Then Re-reason은 egocentric video 하나만 보고 답을 확정하는 대신, 먼저 가설을 만들고 VGGT 기반 Geometry-to-Video가 만든 allo...
OpenCV 5는 컴퓨터 비전 라이브러리를 다시 추론 런타임으로 만든다
OpenCV 5는 그래프 기반 DNN 엔진, 80%+ ONNX operator coverage, LLM/VLM 실행, 새 HAL, 0D/1D tensor와 3D 모듈 재편을 통해 전통적 CV 라이브러리를 현대 A...
MiniCPM4는 온디바이스 LLM을 모델·데이터·추론 스택 전체로 줄인다
MiniCPM4는 0.5B·8B 모델, InfLLM v2 sparse attention, UltraClean 데이터 필터링, CPM.cu/ArkInfer 추론 스택을 한 번에 묶어 온디바이스 LLM의 병목을 시스...
Efficiency Frontier는 LLM 컨텍스트 관리를 비용-성능 최적화...
The Efficiency Frontier는 긴 컨텍스트를 무조건 늘리는 대신, 검색·압축·전체 컨텍스트 전략을 성능 목표와 재사용 조건에 맞춰 선택하는 배포 지향 평가 프레임워크다.
ThriftAttention은 긴 컨텍스트 FP4 어텐션을 선택적 혼합정밀로 보...
ThriftAttention은 Blackwell FP4 어텐션의 장기 컨텍스트 품질 저하를 전체 고정밀 계산이 아니라 중요한 query-key block만 FP16으로 승격하는 선택적 혼합정밀 방식으로 줄이려는...
QueST는 사용자 질문 하나로 테스트 시점 LoRA 적응을 만든다
QueST는 입력 질문에서 관련 문제-해설 쌍을 생성하고, 이를 이용해 추론 직전에 LoRA로 모델을 가볍게 적응시키는 query-conditioned test-time self-training 방법이다.
MobileMoE는 MoE를 스마트폰 지연·메모리 문제로 다시 설계한다
MobileMoE는 0.3–0.9B 활성 파라미터의 MoE를 온디바이스 메모리·연산 제약에 맞춰 설계하고, INT4 QAT와 ExecuTorch 커스텀 커널로 실제 스마트폰에서 dense MobileLLM-Pro...
DeepConf는 확신도로 LLM 병렬 추론의 낭비를 줄인다
DeepConf는 self-consistency식 병렬 추론에서 모든 reasoning trace를 같은 한 표로 취급하지 않고, 모델 내부 confidence 신호로 낮은 품질의 추론을 필터링하거나 조기 중단해...
Unsloth는 QAT와 ExecuTorch로 Qwen3를 스마트폰 안으로 밀어...
Unsloth의 phone deployment 가이드는 Qwen3-0.6B를 QAT로 파인튜닝하고 TorchAO/ExecuTorch로 .pte 모델을 내보낸 뒤, Pixel 8과 iPhone 계열 기기에서 로컬...
LLMs-from-scratch의 DSA 예제는 DeepSeek식 sparse...
rasbt/LLMs-from-scratch의 ch04/09_dsa는 DeepSeek-V3.2의 DeepSeek Sparse Attention을 작은 GPT 코드로 재구성해, long-context attentio...
최근 LLM 아키텍처는 파라미터보다 KV 캐시와 잔차 경로를 다시 설계한다
Sebastian Raschka의 최근 LLM 아키텍처 정리는 Gemma 4의 cross-layer KV sharing, Laguna XS.2의 layer-wise attention budget, ZAYA1-8B...
MLX와 Locally AI는 iPhone을 작은 로컬 LLM 런타임으로 바꾸고...
Adrien Grondin의 AI Engineer 발표는 Gemma 4를 iPhone에서 약 40 tok/s로 실행하는 데모를 통해, MLX Swift LM, Hugging Face MLX Community, 4...
OptiLLM은 추론 시간 최적화를 OpenAI 호환 프록시로 묶는다
OptiLLM은 Best-of-N, MoA, MCTS, CePO, MARS 같은 inference-time 기법을 OpenAI 호환 프록시 뒤에 묶어, 모델 재학습 없이 더 많은 추론 계산으로 정확도와 운영 유연...
LiteVLA-H는 드론 VLA를 20Hz 액션 루프와 6Hz 의미 루프로 나눈...
LiteVLA-H는 Jetson AGX Orin 위의 256M VLA에서 pre-fill이 액션 지연의 대부분을 차지한다는 관찰을 바탕으로, 빠른 외부 guidance 루프와 느린 semantic percepti...
Gemma 4 MTP는 speculative decoding을 제품형 추론 가속...
Google의 Gemma 4 Multi-Token Prediction drafters는 작은 draft model이 여러 토큰을 미리 제안하고 target model이 이를 병렬 검증하는 구조를 통해, 출력 품질...
SuperGemma4는 Apple Silicon에서 Gemma 4를 더 빠르고...
Jiunsong의 SuperGemma4-26B-Uncensored-Fast v2는 Google Gemma 4 26B IT를 MLX 4bit 형식으로 재가공해, Apple Silicon 로컬 환경에서 속도와 실사용...
AutoKernel은 GPU 커널 최적화를 에이전트 실험 루프로 바꾼다
AutoKernel은 PyTorch 모델을 프로파일링해 병목 GPU 커널을 추출한 뒤, Triton 또는 CUDA C++ 커널을 에이전트가 반복적으로 수정·벤치마크·유지/되돌리기 하도록 설계해 하룻밤 단위의 자동...
POP은 prefill만 가지치기해 LLM 추론을 가속한다
POP은 LLM 추론의 prefill과 decode가 서로 다른 역할을 가진다는 점을 이용해, 문맥 인코딩 단계에서만 깊은 층을 생략하고 decode는 풀모델로 유지함으로써 정확도 손실을 크게 늘리지 않고 pre...