#Direct-OPD

Direct-OPD는 작은 모델의 RL 결과를 큰 모델용 보상으로 다시 쓴다

Direct-OPD는 작은 RL teacher의 최종 정책을 모방하지 않고, 사전·사후 체크포인트의 로그비에 남은 policy shift를 큰 student의 온폴리시 학습용 dense reward로 바꿔 weak-to-strong post-train...