MobileMoE는 MoE를 스마트폰 지연·메모리 문제로 다시 설계한다
MobileMoE는 0.3–0.9B 활성 파라미터의 MoE를 온디바이스 메모리·연산 제약에 맞춰 설계하고, INT4 QAT와 ExecuTorch 커스텀 커널로 실제 스마트폰에서 dense MobileLLM-Pro 대비 빠른 prefill/decode를...
Tag3 posts
#Mixture of Experts
글 목록
멀티모달 사전학습의 물리학: 무엇을 공유하고, 언제 섞고, 생성에는 얼마나 써야 하는가
arXiv 2608.05000은 언어·시각 이해·시각 생성을 하나의 모델에 함께 사전학습할 때의 지식 흐름, 용량 경쟁, 조기 통합, 데이터 비율을 통제 실험으로 분해해 실무적인 설계 규칙으로 연결한다.
Agents-A1은 파라미터보다 에이전트의 horizon을 스케일링한다
Agents-A1은 Qwen3.5-35B-A3B 기반 35B MoE를 45K 토큰 장기 trajectory, knowledge-action graph, domain-routed on-policy distillation로 학습해 1T급 agent ben...