#MLX

Rapid-MLX는 Apple Silicon에서 로컬 LLM을 OpenAI API처럼 빠르게 서빙한다

raullenchai/Rapid-MLX는 Apple Silicon Mac에서 MLX 기반 로컬 LLM을 OpenAI-compatible API로 서빙하고, Cursor·Claude Code·Aider 같은 도구를 로컬 모델에 붙이기 쉽게 만드는 Python inference 서버다.

• Apple Silicon Mac에서 `rapid-mlx serve qwen3.5-4b`만으로 OpenAI-compatible `/v1` 서버를 띄우는 것이 핵심 사용...
• Cursor, Claude Code, Aider, OpenCode, PydanticAI, LangChain, smolagents, Open WebUI, LibreCh...
• Qwen3.5, Qwen3-Coder, Nemotron, DeepSeek, GLM, Kimi, GPT-OSS 등 모델 alias와 tool-call/reasoning...