Flock은 여러 머신의 로컬 LLM을 한 엔드포인트로 묶는 self-hosted inference control plane이다
hadihonarvar/flock은 macOS·Linux 머신의 Ollama, vLLM, MLX-LM, llama.cpp-RPC 백엔드를 OpenAI·Anthropic 호환 API, 키·쿼터·감사 로그, 대시보드로 묶는 Go 기반 로컬 LLM 오케스트레이터다.
- 단일 Go 바이너리로 leader/worker/CLI를 겸하며, GitHub Release v0.1.0은 darwin·linux의 amd64/arm64 tarball...
- `/v1/chat/completions`, `/v1/models`, `/v1/messages`, `/v1/messages/count_tokens`를 인증·쿼터 mid...
- Ollama를 기본 엔진으로 쓰되 vLLM, MLX-LM, llama.cpp/RPC 엔진과 model catalog, `flock shard create <model...
hadihonarvar/flock