Commercial / experiment repo unlicensed
Jev-as-a-Judge: LangSmith에서 agent eval 비용·분산을 분리...
LangChain의 Jev-as-a-Judge 실험은 고정한 agent trace를 반복 평가해, typed decision model이 LLM judge의 비용·지연·반복성 문제에 어떤 선택지를 주는지 보여 주는 재현용...
- 고정한 agent trace를 반복 평가해 judge 분산을 따로 측정
- Jev의 typed Noul·Choice·Score 신호를 evaluator로 연결
- 작은 5-case 실험이라 production 일반화 전 인간 검증이 필수
danielgshea/jev-as-a-judgeSource