Tips

#Evaluation

Evaluation 태그가 붙은 응용프로그램 팁입니다.

2 tips tagged #Evaluation, 1-2 showing
1 / 1
Open source alpha
Apache-2.0

CtxGov는 에이전트가 행동하기 전 컨텍스트 권한 변화를 읽는 로컬 거버넌스 CLI다

ctxgov/ctxgov는 에이전트가 다음 세션·메모리·AGENTS류 지시·로컬 trace를 실제 권한처럼 쓰기 전에, authority·capability·scope 변화를 read-only로 점검하는 Python 기반...

  • `ctxgov change-gate-check --root . --format summary`로 AGENTS/README/agent-facing surface를 읽고...
  • 세션 연속성 sidecar, Memory X-Ray shape validation, governance replay, forensics fixture trace처럼...
  • v0.9.0 public surface는 네트워크/API/model 호출, daemon, scheduler, target repo write, public write...
  • README·pyproject·release note는 0.9.0을 public package version으로 고정하지만, GitHub tag 목록에는 더 높은 v...
  • GitHub API license는 Other/NOASSERTION으로 보이지만 checked-in LICENSE와 pyproject는 Apache-2.0이다.
ctxgov/ctxgovSource
Open source
AGPL-3.0

Transformer Lab은 로컬 실험과 GPU 클러스터를 하나의 AI 연구실 UI로...

transformerlab/transformerlab-app은 모델 다운로드, fine-tuning, evaluation, dataset/task/job 관리, Slurm·SkyPilot·cloud GPU 실행을 한 UI와...

  • 개인용으로는 macOS Apple Silicon, Linux GPU, Windows WSL2/CUDA 환경에서 브라우저 기반 연구 UI를 띄우는 흐름을 제공한다.
  • 팀용으로는 Slurm, SkyPilot, RunPod, dstack, AWS, Azure, GCP 같은 compute provider를 등록하고 task/job을 큐...
  • MLX, vLLM, Ollama, Hugging Face Transformers, LoRA/QLoRA/RLHF, LM Evaluation Harness, model...
  • 공식 Desktop app은 v0.28.0 이후 deprecate 방향이며, 현재 권장 경로는 CLI로 서버를 설치하고 브라우저에서 `localhost:8338`에...
  • 기본 admin 계정, 원격 storage credential, Slurm SSH key, AGPL-3.0, 앱 telemetry opt-out을 도입 전에 반드시...
transformerlab/transformerlab-appSource