SVP는 VLM 정렬을 더 많은 라벨이 아니라 grounding feedback 루프로 바꾼다
Sampling-based Visual Projection(SVP)은 소량의 이미지, self-captioning, GroundingDINO류 grounding feedback만으로 VLM의 시각-언어 정렬을 보강하는 post-training 레시피를...
Tag2 posts
#Hallucination
글 목록
OSCAR는 VLM 환각 억제를 더 강한 교사보다 자기 검증 루프로 옮긴다
OSCAR는 더 강한 VLM의 오프라인 정답을 흉내 내는 대신, 모델 자신의 판별 능력과 MCTS 탐색을 이용해 온라인 preference 데이터를 만들고 DPO로 갱신함으로써 시각 환각을 줄이는 정렬 프레임을 제안한다.