J-Space는 추론력을 높이는 스킬인가, 검증 가능한 작업 프로토콜인가
J-Space Cognition Suite V3.6은 모델 가중치를 바꾸지 않고 스킬 문서와 선택형 상태 기록 도구로 장기 작업을 제어하려는 프로젝트다. 구현의 완성도와 공개 벤치마크 주장을 분리해 살펴본다.
Tag6 posts
#Evaluation
글 목록
KeyFrame-Compass는 ‘키프레임을 지켰는가’를 비디오 생성의 독립 평가 축으로 만든다
KeyFrame-Compass는 386개 기본 샘플과 키프레임 실행·전체 비디오 품질을 분리한 진단 지표로, 멀티 키프레임 비디오 생성이 자연스러움과 제어 충실도 사이에서 어떤 trade-off를 보이는지 측정하는 공개 벤치마크다.
자기개선 에이전트는 모델과 scaffold를 따로 봐야 한다
arXiv 2607.13104는 자기개선 에이전트를 foundation model 업데이트와 prompt·memory·tool·control logic을 고치는 scaffold 업데이트로 나누고, 성능보다 transfer·regression·비용·안전...
AIDE²는 ‘더 잘하는 에이전트’보다 ‘더 잘 개선하는 에이전트’를 시험한다
Weco AI의 AIDE² 리포트는 outer loop가 inner research-agent harness를 100회 재작성하고, 고정 비용·비공개 점수·외부 벤치마크로 살아남은 변경만 채택해 인간 수동 튜닝보다 효율적이었다고 주장한다.
Empromptu는 AI 앱을 만드는 동시에 모델 소유권 루프를 만들려 한다
Empromptu AI와 Alchemy는 no-code AI 앱 빌더라는 표면보다, 운영 중인 앱의 사용·수정·평가 데이터를 모아 기업이 소유하는 custom model로 되돌리는 continuous improvement loop를 제품화하려는 시도에...
Skills-Coach는 스킬 마켓을 평가 가능한 최적화 루프로 바꾸려 한다
Skills-Coach는 LLM 에이전트 스킬을 자동으로 테스트하고, Training-Free GRPO로 문서와 코드를 다듬고, 원본과 최적화본을 비교 평가하는 self-evolving optimizer 프레임워크다. 논문은 48개 Skill-X 벤치...