OPD는 답보다 교사의 정책을 옮기고, 그래서 다중 교사에서 줄다리기가 된다
Every Coin Has Two Sides는 on-policy distillation이 교사의 문제별 정답보다 reasoning behavior를 전이하며, 같은 계보 teacher에서는 범위를 넓히지만 multi-teacher 조합에서는 capab...
Tag6 posts
#Reasoning Models
글 목록
U-OPSD는 모델 자신의 다수결을 teacher context로 바꿔 정답 없이 자기 증류한다
U-OPSD는 여러 on-policy rollout의 합의를 pseudo-solution으로 만들고, 그 합의와 갈린 trajectory에만 token-level distillation을 적용해 ground truth·verifier·더 큰 teach...
Direct-OPD는 작은 모델의 RL 결과를 큰 모델용 보상으로 다시 쓴다
Direct-OPD는 작은 RL teacher의 최종 정책을 모방하지 않고, 사전·사후 체크포인트의 로그비에 남은 policy shift를 큰 student의 온폴리시 학습용 dense reward로 바꿔 weak-to-strong post-train...
VibeThinker-3B는 3B 모델에 검증 가능한 추론을 압축한다
WeiboAI의 VibeThinker-3B는 Qwen2.5-Coder-3B 위에 Spectrum-to-Signal post-training, 다중 도메인 RL, offline self-distillation, CLR test-time scaling을...
MobileLLM-R1은 서브-B reasoning model의 학습 레시피를 공개한다
arXiv 2509.24945의 MobileLLM-R1은 140M·360M·950M reasoning model을 공개하면서, 초대형 말뭉치보다 능력별 데이터 선별·재혼합·지식 압축이 작은 모델의 reasoning emergence에 더 직접적인 변수...
SU-01은 올림피아드 추론을 SFT·RL·TTS 하나의 레시피로 밀어올린다
SU-01은 30B-A3B reasoning backbone에 reverse-perplexity SFT, two-stage RL, test-time verification/refinement를 얹어 IMO·USAMO 금메달권 성능을 보고하고 Apach...