Novelty Judge Bench: 연구 아이디어를 평가하는 LLM은 얼마나 흔들리는가
Ai2의 Novelty Judge Bench는 리뷰에서 추출한 신규성 신호와 생성 아이디어를 이용해 LLM 평가기의 프롬프트 민감도, 검색 효과, 비용을 비교한다. 높은 판정 점수보다 먼저 확인할 것은 평가 설정과 라벨의 근거다.
Tag1 posts
Tag1 posts
Ai2의 Novelty Judge Bench는 리뷰에서 추출한 신규성 신호와 생성 아이디어를 이용해 LLM 평가기의 프롬프트 민감도, 검색 효과, 비용을 비교한다. 높은 판정 점수보다 먼저 확인할 것은 평가 설정과 라벨의 근거다.