VisionWeave: 시각 토큰을 버리지 않고 해상도를 배분한다
VisionWeave는 공간 블록마다 정밀 토큰과 압축 토큰을 선택해 시각 표현의 밀도를 학습한다. 토큰 절감·서빙 효과와 아직 공개되지 않은 학습 가중치를 함께 살핀다.
Tag3 posts
#Self-Distillation
글 목록
U-OPSD는 모델 자신의 다수결을 teacher context로 바꿔 정답 없이 자기 증류한다
U-OPSD는 여러 on-policy rollout의 합의를 pseudo-solution으로 만들고, 그 합의와 갈린 trajectory에만 token-level distillation을 적용해 ground truth·verifier·더 큰 teach...
VCSD는 ‘검은 이미지와의 차이’로 VLM self-distillation을 시각 근거에 묶는다
Visual Contrastive Self-Distillation(VCSD)은 EMA teacher가 원본 이미지와 content-erased control에서 낸 token distribution의 차이를 이용해, 별도 teacher·정답 hint·...