Tips

#Inference Server

Inference Server 태그가 붙은 응용프로그램 팁입니다.

1 tips tagged #Inference Server, 1-1 showing
1 / 1
Open source alpha
Apache-2.0

Flock은 여러 머신의 로컬 LLM을 한 엔드포인트로 묶는 self-hosted in...

hadihonarvar/flock은 macOS·Linux 머신의 Ollama, vLLM, MLX-LM, llama.cpp-RPC 백엔드를 OpenAI·Anthropic 호환 API, 키·쿼터·감사 로그, 대시보드로 묶는 G...

  • 단일 Go 바이너리로 leader/worker/CLI를 겸하며, GitHub Release v0.1.0은 darwin·linux의 amd64/arm64 tarball...
  • `/v1/chat/completions`, `/v1/models`, `/v1/messages`, `/v1/messages/count_tokens`를 인증·쿼터 mid...
  • Ollama를 기본 엔진으로 쓰되 vLLM, MLX-LM, llama.cpp/RPC 엔진과 model catalog, `flock shard create <model...
  • `flock connect`는 Claude Code, Cursor, Aider, Continue, Zed, Cline, Qwen Code, OpenAI/Anthrop...
  • 기본 listen 값은 `:8080`이고 API key는 켜져 있지만, LAN/외부 노출·worker join token·cloud fallback key·Prome...
hadihonarvar/flockSource