Sangmin LeeAI Engineer & Researcher

Tips3 tips

#Local LLM

3 tips tagged #Local LLM, 1-3 showing
1 / 1

Upstream unavailableApache-2.0

Flock은 여러 머신의 로컬 LLM을 한 엔드포인트로 묶는 self-hosted inference control plane이다

hadihonarvar/flock은 macOS·Linux 머신의 Ollama, vLLM, MLX-LM, llama.cpp-RPC 백엔드를 OpenAI·Anthropic 호환 API, 키·쿼터·감사 로그, 대시보드로 묶는 Go 기반 로컬 LLM 오케스트레이터다.

  • 단일 Go 바이너리로 leader/worker/CLI를 겸하며, GitHub Release v0.1.0은 darwin·linux의 amd64/arm64 tarball...
  • `/v1/chat/completions`, `/v1/models`, `/v1/messages`, `/v1/messages/count_tokens`를 인증·쿼터 mid...
  • Ollama를 기본 엔진으로 쓰되 vLLM, MLX-LM, llama.cpp/RPC 엔진과 model catalog, `flock shard create <model...
macOS / Linux
#Local LLM#Inference Server#OpenAI API#Claude Code

hadihonarvar/flock

Free web calculatorProprietary / Terms of Use

APXML VRAM Calculator는 로컬 LLM이 내 GPU에 들어갈지 빠르게 가늠하게 해준다

ApX Machine Learning의 APXML VRAM Calculator는 LLM 추론·파인튜닝에서 모델 크기, 양자화, KV 캐시, 컨텍스트 길이, 배치, 동시 사용자, GPU VRAM을 조합해 메모리와 대략적인 처리 속도를 추정하는 무료 웹 도구다.

  • 설치형 앱이나 오픈소스 저장소가 아니라 브라우저에서 쓰는 ApX Machine Learning의 무료 웹 계산기이며, 조사 시점에 공개된 calculator sour...
  • Inference와 Fine-tuning 탭을 나누고, FP16/Q8/Q4 같은 모델 weight quantization과 KV cache quantization을...
  • 모델 구조, layer/hidden dimension, active experts, attention 구조, batch size, sequence length, co...
macOS / LinuxWinOS
#Local LLM#VRAM#GPU#Fine-tuning

ApX Machine Learning / VRAM CalculatorSource ↗

Open source betaMIT

Forge는 로컬 LLM tool calling에 구조적 guardrails를 얹는다

antoinezambelli/forge는 작은 self-hosted LLM이 multi-step tool-calling workflow에서 덜 흔들리도록 rescue parsing, retry nudges, step enforcement, context compaction, OpenAI...

  • PyPI 패키지는 `forge-guardrails` v0.6.0이고 Python 3.12+, MIT license, GitHub tag는 v0.6.0/v0.5.0이지...
  • WorkflowRunner, Guardrails middleware, OpenAI-compatible proxy 세 가지 방식으로 붙일 수 있어 새 agent loo...
  • Ollama, llama-server, Llamafile, Anthropic backend를 지원하며 README와 Model Guide는 llama-server +...
macOS / LinuxWinOS
#AI Agents#Local LLM#Tool Calling#Guardrails

antoinezambelli/forgeSource ↗