HAD는 에이전트 증류에서 하네스가 바꾼 행동을 따로 가르친다
Harness-Aware Distillation은 같은 교사를 하네스 유무로 비교해, 작은 에이전트가 외부 상태·피드백에 반응하는 행동을 직접 학습하도록 한다.
Tag6 posts
#On-Policy Distillation
글 목록
D³-MOPD는 멀티티처 증류의 도메인 비중을 학습 중에 다시 배분한다
D³-MOPD는 multi-teacher on-policy distillation에서 이미 계산되는 도메인별 reverse-KL을 이용해, 빠르게 수렴한 도메인에서 아직 개선 중인 도메인으로 rollout 예산을 동적으로 옮기는 zero-overhea...
OPD는 답보다 교사의 정책을 옮기고, 그래서 다중 교사에서 줄다리기가 된다
Every Coin Has Two Sides는 on-policy distillation이 교사의 문제별 정답보다 reasoning behavior를 전이하며, 같은 계보 teacher에서는 범위를 넓히지만 multi-teacher 조합에서는 capab...
U-OPSD는 모델 자신의 다수결을 teacher context로 바꿔 정답 없이 자기 증류한다
U-OPSD는 여러 on-policy rollout의 합의를 pseudo-solution으로 만들고, 그 합의와 갈린 trajectory에만 token-level distillation을 적용해 ground truth·verifier·더 큰 teach...
VCSD는 ‘검은 이미지와의 차이’로 VLM self-distillation을 시각 근거에 묶는다
Visual Contrastive Self-Distillation(VCSD)은 EMA teacher가 원본 이미지와 content-erased control에서 낸 token distribution의 차이를 이용해, 별도 teacher·정답 hint·...
SEED는 hindsight skill을 프롬프트가 아닌 정책 안으로 증류한다
arXiv 2607.14777의 SEED는 완료된 on-policy trajectory에서 hindsight skill을 만들고, 같은 행동을 skill 유무 두 문맥에서 재채점해 GRPO에 dense token-level distillation 신호...