ELDR는 MoE 디코딩 라우팅을 expert locality 문제로 바꾼다
ELDR는 PD-disaggregated MoE 서빙에서 prefill expert signature를 이용해 decode worker를 고르고, active expert union을 줄여 TPOT를 낮추는 vLLM 기반 라우팅 연구다.
Tag1 posts
Tag1 posts
ELDR는 PD-disaggregated MoE 서빙에서 prefill expert signature를 이용해 decode worker를 고르고, active expert union을 줄여 TPOT를 낮추는 vLLM 기반 라우팅 연구다.