Unsloth는 QAT와 ExecuTorch로 Qwen3를 스마트폰 안으로 밀어...
Unsloth의 phone deployment 가이드는 Qwen3-0.6B를 QAT로 파인튜닝하고 TorchAO/ExecuTorch로 .pte 모델을 내보낸 뒤, Pixel 8과 iPhone 계열 기기에서 로컬...
Tag
#Mobile LLM
MLX와 Locally AI는 iPhone을 작은 로컬 LLM 런타임으로 바꾸고...
Adrien Grondin의 AI Engineer 발표는 Gemma 4를 iPhone에서 약 40 tok/s로 실행하는 데모를 통해, MLX Swift LM, Hugging Face MLX Community, 4...