Sangmin LeeAI Engineer & Researcher

Tips3 tips

#Evaluation

3 tips tagged #Evaluation, 1-3 showing
1 / 1

Open source previewMIT

Skill Evolution: 에이전트 스킬을 ‘제안 → 평가 → 승인’ 흐름으로 개선하는 피드백 루프

Carlo1911/skill-evolution은 Hermes·Claude Code의 과거 세션과 설치된 스킬을 비교해 개선 제안을 만들고, 평가 게이트와 사람의 승인 뒤에만 변경을 실행하도록 설계한 Python 기반 스킬 유지보수 도구입니다.

  • 과거 세션과 설치된 스킬을 비교해 누락·중복·노후화·개선 후보를 사람이 읽을 수 있는 Markdown 제안으로 남긴다.
  • 기본 동작은 review-only다. 높은 confidence만으로는 부족하며 평가 게이트를 통과한 뒤 별도 사람/에이전트 단계가 변경을 실행한다.
  • Hermes와 Claude Code용 HostAdapter를 제공하며, 다른 호스트도 세션·스킬 읽기와 쓰기 계약을 구현해 붙일 수 있다.
macOS / Linux
#AI Agents#Agent Skills#Hermes#Claude Code

Carlo1911/skill-evolutionSource ↗

Open source alphaApache-2.0

CtxGov는 에이전트가 행동하기 전 컨텍스트 권한 변화를 읽는 로컬 거버넌스 CLI다

ctxgov/ctxgov는 에이전트가 다음 세션·메모리·AGENTS류 지시·로컬 trace를 실제 권한처럼 쓰기 전에, authority·capability·scope 변화를 read-only로 점검하는 Python 기반 로컬 거버넌스 평가 도구입니다.

  • `ctxgov change-gate-check --root . --format summary`로 AGENTS/README/agent-facing surface를 읽고...
  • 세션 연속성 sidecar, Memory X-Ray shape validation, governance replay, forensics fixture trace처럼...
  • v0.9.0 public surface는 네트워크/API/model 호출, daemon, scheduler, target repo write, public write...
macOS / LinuxWinOS
#AI Agents#Governance#Context Engineering#CLI

ctxgov/ctxgovSource ↗

Open sourceAGPL-3.0

Transformer Lab은 로컬 실험과 GPU 클러스터를 하나의 AI 연구실 UI로 묶는다

transformerlab/transformerlab-app은 모델 다운로드, fine-tuning, evaluation, dataset/task/job 관리, Slurm·SkyPilot·cloud GPU 실행을 한 UI와 CLI로 묶는 AGPL-3.0 오픈소스 AI 연구 플랫폼이다.

  • 개인용으로는 macOS Apple Silicon, Linux GPU, Windows WSL2/CUDA 환경에서 브라우저 기반 연구 UI를 띄우는 흐름을 제공한다.
  • 팀용으로는 Slurm, SkyPilot, RunPod, dstack, AWS, Azure, GCP 같은 compute provider를 등록하고 task/job을 큐...
  • MLX, vLLM, Ollama, Hugging Face Transformers, LoRA/QLoRA/RLHF, LM Evaluation Harness, model...
macOS / LinuxWinOS
#AI Research#MLOps#LLM Training#Evaluation

transformerlab/transformerlab-appSource ↗