MPI는 MoE 라우터를 전문가 행렬의 주성분 방향으로 당긴다
arXiv 2606.12397은 MoE router row를 각 expert weight matrix의 principal singular direction에 맞추는 Manifold Power Iteration을...
Tag
#Manifold Power Iteration
Manifold Power Iteration 태그가 붙은 글입니다.
Tag
Manifold Power Iteration 태그가 붙은 글입니다.
arXiv 2606.12397은 MoE router row를 각 expert weight matrix의 principal singular direction에 맞추는 Manifold Power Iteration을...