Motif 3는 314B MoE를 7개 전문 교사의 단일 정책으로 묶는다
Motif 3는 314B total·13.2B activated MoE, 256K context, GDLA와 MOPD를 결합해 큰 희소 모델의 용량을 도구 사용·코드·장문 추론 전문성으로 통합하려는 공개 모델 릴리스다.
Tag1 posts
Tag1 posts
Motif 3는 314B total·13.2B activated MoE, 256K context, GDLA와 MOPD를 결합해 큰 희소 모델의 용량을 도구 사용·코드·장문 추론 전문성으로 통합하려는 공개 모델 릴리스다.