Tips

#Evaluation

3 tips tagged #Evaluation, 1-3 showing
1 / 1
Open source preview
MIT

Skill Evolution: 에이전트 스킬을 ‘제안 → 평가 → 승인’ 흐름으로 개선...

Carlo1911/skill-evolution은 Hermes·Claude Code의 과거 세션과 설치된 스킬을 비교해 개선 제안을 만들고, 평가 게이트와 사람의 승인 뒤에만 변경을 실행하도록 설계한 Python 기반 스킬...

  • 과거 세션과 설치된 스킬을 비교해 누락·중복·노후화·개선 후보를 사람이 읽을 수 있는 Markdown 제안으로 남긴다.
  • 기본 동작은 review-only다. 높은 confidence만으로는 부족하며 평가 게이트를 통과한 뒤 별도 사람/에이전트 단계가 변경을 실행한다.
  • Hermes와 Claude Code용 HostAdapter를 제공하며, 다른 호스트도 세션·스킬 읽기와 쓰기 계약을 구현해 붙일 수 있다.
  • 기본 평가에는 구조·크기·증감 제한, LLM judge, 이전 통과 결과 대비 regression 검사가 포함된다.
  • 2026년 7월 말에 만들어진 초기 프로젝트이며 release/tag가 없으므로, 먼저 review-only로 작은 스킬 집합에서 검증하는 편이 좋다.
Carlo1911/skill-evolutionSource
Open source alpha
Apache-2.0

CtxGov는 에이전트가 행동하기 전 컨텍스트 권한 변화를 읽는 로컬 거버넌스 CLI다

ctxgov/ctxgov는 에이전트가 다음 세션·메모리·AGENTS류 지시·로컬 trace를 실제 권한처럼 쓰기 전에, authority·capability·scope 변화를 read-only로 점검하는 Python 기반...

  • `ctxgov change-gate-check --root . --format summary`로 AGENTS/README/agent-facing surface를 읽고...
  • 세션 연속성 sidecar, Memory X-Ray shape validation, governance replay, forensics fixture trace처럼...
  • v0.9.0 public surface는 네트워크/API/model 호출, daemon, scheduler, target repo write, public write...
  • README·pyproject·release note는 0.9.0을 public package version으로 고정하지만, GitHub tag 목록에는 더 높은 v...
  • GitHub API license는 Other/NOASSERTION으로 보이지만 checked-in LICENSE와 pyproject는 Apache-2.0이다.
ctxgov/ctxgovSource
Open source
AGPL-3.0

Transformer Lab은 로컬 실험과 GPU 클러스터를 하나의 AI 연구실 UI로...

transformerlab/transformerlab-app은 모델 다운로드, fine-tuning, evaluation, dataset/task/job 관리, Slurm·SkyPilot·cloud GPU 실행을 한 UI와...

  • 개인용으로는 macOS Apple Silicon, Linux GPU, Windows WSL2/CUDA 환경에서 브라우저 기반 연구 UI를 띄우는 흐름을 제공한다.
  • 팀용으로는 Slurm, SkyPilot, RunPod, dstack, AWS, Azure, GCP 같은 compute provider를 등록하고 task/job을 큐...
  • MLX, vLLM, Ollama, Hugging Face Transformers, LoRA/QLoRA/RLHF, LM Evaluation Harness, model...
  • 공식 Desktop app은 v0.28.0 이후 deprecate 방향이며, 현재 권장 경로는 CLI로 서버를 설치하고 브라우저에서 `localhost:8338`에...
  • 기본 admin 계정, 원격 storage credential, Slurm SSH key, AGPL-3.0, 앱 telemetry opt-out을 도입 전에 반드시...
transformerlab/transformerlab-appSource