ELDR는 MoE 디코딩 라우팅을 expert locality 문제로 바꾼다
ELDR는 PD-disaggregated MoE 서빙에서 prefill expert signature를 이용해 decode worker를 고르고, active expert union을 줄여 TPOT를 낮추는 vLLM 기반 라우팅 연구다.
Tag2 posts
#MoE Serving
글 목록
SGLang Waterfill·LPLB는 MoE 서빙의 느린 rank를 dispatch-time에 줄인다
LMSYS의 Waterfill·LPLB 글은 SGLang/DeepEP MoE inference에서 shared expert와 redundant expert replica를 runtime에 재배치해 EP rank imbalance를 줄이는 두 가지 di...