MobileMoE는 MoE를 스마트폰 지연·메모리 문제로 다시 설계한다
MobileMoE는 0.3–0.9B 활성 파라미터의 MoE를 온디바이스 메모리·연산 제약에 맞춰 설계하고, INT4 QAT와 ExecuTorch 커스텀 커널로 실제 스마트폰에서 dense MobileLLM-Pro 대비 빠른 prefill/decode를...
Tag2 posts
#ExecuTorch
글 목록
Unsloth는 QAT와 ExecuTorch로 Qwen3를 스마트폰 안으로 밀어 넣는다
Unsloth의 phone deployment 가이드는 Qwen3-0.6B를 QAT로 파인튜닝하고 TorchAO/ExecuTorch로 .pte 모델을 내보낸 뒤, Pixel 8과 iPhone 계열 기기에서 로컬 LLM을 실행하는 end-to-end 경...