MobileMoE는 MoE를 스마트폰 지연·메모리 문제로 다시 설계한다
MobileMoE는 0.3–0.9B 활성 파라미터의 MoE를 온디바이스 메모리·연산 제약에 맞춰 설계하고, INT4 QAT와 ExecuTorch 커스텀 커널로 실제 스마트폰에서 dense MobileLLM-Pro 대비 빠른 prefill/decode를...
Tag13 posts
#On-device AI
글 목록
Gemini Nano의 Frozen MTP는 Pixel 온디바이스 추론을 별도 drafter 없이 가속한다
Google Research의 Frozen Multi-Token Prediction은 이미 배포된 Gemini Nano v3의 backbone을 고정한 채 MTP head만 붙여 Pixel 9·10의 온디바이스 생성 지연과 메모리 병목을 줄이는 추론...
Efficient Reasoning on the Edge는 온디바이스 추론을 LoRA·예산·라우팅 문제로 바꾼다
Qualcomm AI Research의 Efficient Reasoning on the Edge는 Qwen2.5-7B에 LoRA reasoning adapter, budget forcing, switcher, 병렬 verifier, 양자화 배포 경로를...
MiniCPM4는 온디바이스 LLM을 모델·데이터·추론 스택 전체로 줄인다
MiniCPM4는 0.5B·8B 모델, InfLLM v2 sparse attention, UltraClean 데이터 필터링, CPM.cu/ArkInfer 추론 스택을 한 번에 묶어 온디바이스 LLM의 병목을 시스템 차원에서 줄이려는 OpenBMB의 기...
Gemma 4 12B는 인코더 없는 멀티모달을 로컬 에이전트 모델로 밀어 넣는다
Google의 Gemma 4 12B Unified는 11.95B dense 모델에서 별도 비전·오디오 인코더를 제거하고 raw patch와 waveform을 LLM backbone에 직접 투입해, 노트북급 로컬 에이전트와 멀티모달 앱을 겨냥한 공개 모...
LFM2.5-8B-A1B는 온디바이스 에이전트를 위한 MoE를 128K reasoning 모델로 다시 조정한다
Liquid AI의 LFM2.5-8B-A1B는 8.3B total / 1.5B active MoE를 128K 컨텍스트, 38T 토큰 학습, 확장된 토크나이저, reasoning-only 후처리와 엣지 런타임 패키징으로 갱신한 온디바이스 에이전트 모델...
Fara-7B는 컴퓨터 사용 에이전트를 온디바이스 7B 문제로 바꾼다
Microsoft Research의 Fara-7B는 스크린샷만 보고 좌표 행동을 예측하는 7B 컴퓨터 사용 에이전트로, FaraGen 합성 궤적과 Critical Point 안전장치를 통해 웹 자동화의 비용·프라이버시·검증 문제를 함께 다룬다.
Unsloth는 QAT와 ExecuTorch로 Qwen3를 스마트폰 안으로 밀어 넣는다
Unsloth의 phone deployment 가이드는 Qwen3-0.6B를 QAT로 파인튜닝하고 TorchAO/ExecuTorch로 .pte 모델을 내보낸 뒤, Pixel 8과 iPhone 계열 기기에서 로컬 LLM을 실행하는 end-to-end 경...
LFM2는 파운데이션 모델을 엣지 지연·메모리 문제로 다시 설계한다
LFM2 Technical Report는 게이트드 짧은 합성곱과 소수의 GQA 블록을 결합한 하이브리드 백본, 32K 컨텍스트, VL·Audio·ColBERT 변형, 엣지 런타임 패키징을 한 묶음으로 공개한 Liquid AI의 온디바이스 모델 패밀리...
Hy-MT2는 번역 모델을 온디바이스까지 밀어 넣는 텐센트의 새 공개 모델 패키지다
Hy-MT2는 1.8B·7B·30B-A3B 번역 모델, IFMTBench, FP8/GGUF 양자화 변형을 함께 공개하며 번역 전용 post-training과 1.25-bit 압축을 결합한 텐센트 Hunyuan의 다국어 번역 릴리스다.
Apple Intelligence 접근성 업데이트는 AI를 운영체제의 보조 레이어로 배치한다
Apple의 2026년 접근성 업데이트는 생성형 AI를 별도 챗봇이 아니라 VoiceOver, Magnifier, Voice Control, Accessibility Reader, 자막, Vision Pro 입력 체계 안으로 흡수하려는 운영체제 전략을...
MLX와 Locally AI는 iPhone을 작은 로컬 LLM 런타임으로 바꾸고 있다
Adrien Grondin의 AI Engineer 발표는 Gemma 4를 iPhone에서 약 40 tok/s로 실행하는 데모를 통해, MLX Swift LM, Hugging Face MLX Community, 4-bit~8-bit 양자화, Locall...
MiniCPM-V 4.6은 1.3B 멀티모달 모델을 휴대폰 배포 기준으로 다시 깎는다
MiniCPM-V 4.6은 SigLIP2-400M과 Qwen3.5-0.8B, LLaVA-UHD v4식 시각 토큰 압축을 결합해 이미지·비디오 이해를 1.3B 규모와 모바일 배포 surface로 끌어내린 공개 VLM이다.