SlimQwen은 거대 MoE를 그냥 자르지 않고, 사전학습 궤적까지 함께 압축한다
SlimQwen은 Qwen3-Next-80A3B를 23A2B로 줄이는 과정에서 구조적 pruning, partial-preservation expert merging, KD+LM objective, MTP distillation, progressive...
Tag2 posts
#LLM Pretraining
글 목록
EMO는 MoE를 거대한 단일 모델이 아니라 조립 가능한 expert 모듈로 학습한다
Ai2와 UC Berkeley의 EMO는 문서 경계를 약한 supervision으로 삼아 같은 문서의 토큰이 공유 expert pool 안에서 routing되도록 MoE를 사전학습한다. 1B active / 14B total 모델에서 full-mode...