KeyFrame-Compass는 ‘키프레임을 지켰는가’를 비디오 생성의 독립 평...
KeyFrame-Compass는 386개 기본 샘플과 키프레임 실행·전체 비디오 품질을 분리한 진단 지표로, 멀티 키프레임 비디오 생성이 자연스러움과 제어 충실도 사이에서 어떤 trade-off를 보이는지 측정하...
Tag
#Evaluation
자기개선 에이전트는 모델과 scaffold를 따로 봐야 한다
arXiv 2607.13104는 자기개선 에이전트를 foundation model 업데이트와 prompt·memory·tool·control logic을 고치는 scaffold 업데이트로 나누고, 성능보다 tra...
AIDE²는 ‘더 잘하는 에이전트’보다 ‘더 잘 개선하는 에이전트’를 시험한다
Weco AI의 AIDE² 리포트는 outer loop가 inner research-agent harness를 100회 재작성하고, 고정 비용·비공개 점수·외부 벤치마크로 살아남은 변경만 채택해 인간 수동 튜닝보...
Awesome Harness Engineering은 에이전트 신뢰성을 모델 밖에...
walkinglabs의 Awesome Harness Engineering은 컨텍스트·평가·관측성·런타임 제어·안전한 자율성을 하나의 하네스 엔지니어링 문제로 묶어, 장기 실행 AI 에이전트를 더 신뢰할 수 있게...
Empromptu는 AI 앱을 만드는 동시에 모델 소유권 루프를 만들려 한다
Empromptu AI와 Alchemy는 no-code AI 앱 빌더라는 표면보다, 운영 중인 앱의 사용·수정·평가 데이터를 모아 기업이 소유하는 custom model로 되돌리는 continuous improv...
Skills-Coach는 스킬 마켓을 평가 가능한 최적화 루프로 바꾸려 한다
Skills-Coach는 LLM 에이전트 스킬을 자동으로 테스트하고, Training-Free GRPO로 문서와 코드를 다듬고, 원본과 최적화본을 비교 평가하는 self-evolving optimizer 프레임워...