DeepSpec은 speculative decoding을 초안 모델 학습 파이프라인으로 공개했다
DeepSeek의 DeepSpec은 DSpark·DFlash·Eagle3 초안 모델을 데이터 준비, 학습, 평가까지 묶어 공개하며, 추측 디코딩을 단순 런타임 옵션이 아니라 재학습 가능한 서빙 스택으로 보여준다.
Tag4 posts
#LLM Serving
글 목록
OptiLLM은 추론 시간 최적화를 OpenAI 호환 프록시로 묶는다
OptiLLM은 Best-of-N, MoA, MCTS, CePO, MARS 같은 inference-time 기법을 OpenAI 호환 프록시 뒤에 묶어, 모델 재학습 없이 더 많은 추론 계산으로 정확도와 운영 유연성을 끌어올리려는 런타임 계층이다.
Gemma 4 MTP는 speculative decoding을 제품형 추론 가속 계층으로 밀어 넣는다
Google의 Gemma 4 Multi-Token Prediction drafters는 작은 draft model이 여러 토큰을 미리 제안하고 target model이 이를 병렬 검증하는 구조를 통해, 출력 품질을 바꾸지 않으면서 최대 3배까지 추론...
POP은 prefill만 가지치기해 LLM 추론을 가속한다
POP은 LLM 추론의 prefill과 decode가 서로 다른 역할을 가진다는 점을 이용해, 문맥 인코딩 단계에서만 깊은 층을 생략하고 decode는 풀모델로 유지함으로써 정확도 손실을 크게 늘리지 않고 prefill 지연을 줄이려는 stage-aw...