EMO는 MoE를 거대한 단일 모델이 아니라 조립 가능한 expert 모듈로 학습한다
Ai2와 UC Berkeley의 EMO는 문서 경계를 약한 supervision으로 삼아 같은 문서의 토큰이 공유 expert pool 안에서 routing되도록 MoE를 사전학습한다. 1B active / 14B total 모델에서 full-mode...
Tag1 posts
Tag1 posts
Ai2와 UC Berkeley의 EMO는 문서 경계를 약한 supervision으로 삼아 같은 문서의 토큰이 공유 expert pool 안에서 routing되도록 MoE를 사전학습한다. 1B active / 14B total 모델에서 full-mode...