Sangmin LeeAI Engineer & Researcher

Tips2 tips

#OpenAI API

2 tips tagged #OpenAI API, 1-2 showing
1 / 1

Upstream unavailableApache-2.0

Flock은 여러 머신의 로컬 LLM을 한 엔드포인트로 묶는 self-hosted inference control plane이다

hadihonarvar/flock은 macOS·Linux 머신의 Ollama, vLLM, MLX-LM, llama.cpp-RPC 백엔드를 OpenAI·Anthropic 호환 API, 키·쿼터·감사 로그, 대시보드로 묶는 Go 기반 로컬 LLM 오케스트레이터다.

  • 단일 Go 바이너리로 leader/worker/CLI를 겸하며, GitHub Release v0.1.0은 darwin·linux의 amd64/arm64 tarball...
  • `/v1/chat/completions`, `/v1/models`, `/v1/messages`, `/v1/messages/count_tokens`를 인증·쿼터 mid...
  • Ollama를 기본 엔진으로 쓰되 vLLM, MLX-LM, llama.cpp/RPC 엔진과 model catalog, `flock shard create <model...
macOS / Linux
#Local LLM#Inference Server#OpenAI API#Claude Code

hadihonarvar/flock

Open source betaApache-2.0

Rapid-MLX는 Apple Silicon에서 로컬 LLM을 OpenAI API처럼 빠르게 서빙한다

raullenchai/Rapid-MLX는 Apple Silicon Mac에서 MLX 기반 로컬 LLM을 OpenAI-compatible API로 서빙하고, Cursor·Claude Code·Aider 같은 도구를 로컬 모델에 붙이기 쉽게 만드는 Python inference 서버다.

  • Apple Silicon Mac에서 `rapid-mlx serve qwen3.5-4b`만으로 OpenAI-compatible `/v1` 서버를 띄우는 것이 핵심 사용...
  • Cursor, Claude Code, Aider, OpenCode, PydanticAI, LangChain, smolagents, Open WebUI, LibreCh...
  • Qwen3.5, Qwen3-Coder, Nemotron, DeepSeek, GLM, Kimi, GPT-OSS 등 모델 alias와 tool-call/reasoning...
macOS / Linux
#Local AI#Apple Silicon#MLX#OpenAI API

raullenchai/Rapid-MLXSource ↗