HAD는 에이전트 증류에서 하네스가 바꾼 행동을 따로 가르친다
Harness-Aware Distillation은 같은 교사를 하네스 유무로 비교해, 작은 에이전트가 외부 상태·피드백에 반응하는 행동을 직접 학습하도록 한다.
Tag5 posts
#Small Language Models
글 목록
더 작은 모델로 에이전트 비용을 줄이려면, 모델보다 하네스를 먼저 최적화해야 한다
Better Harnesses, Smaller Models는 작은 언어 모델의 실패 trajectory를 진단해 context·tools·agent loop를 자동 적응시키고, 반복 업무에서 frontier LLM 수준의 성능에 가까운 비용-품질 균형...
VibeThinker-3B는 3B 모델에 검증 가능한 추론을 압축한다
WeiboAI의 VibeThinker-3B는 Qwen2.5-Coder-3B 위에 Spectrum-to-Signal post-training, 다중 도메인 RL, offline self-distillation, CLR test-time scaling을...
MobileLLM-R1은 서브-B reasoning model의 학습 레시피를 공개한다
arXiv 2509.24945의 MobileLLM-R1은 140M·360M·950M reasoning model을 공개하면서, 초대형 말뭉치보다 능력별 데이터 선별·재혼합·지식 압축이 작은 모델의 reasoning emergence에 더 직접적인 변수...
SOD는 도구 사용 에이전트 증류를 step 단위로 조절한다
SOD는 tool-integrated reasoning에서 학생 모델의 잘못된 tool call이 만든 상태 드리프트를 step-level divergence로 감지하고, 온폴리시 증류 신호를 단계별로 재가중해 작은 Qwen3 에이전트의 수학·과학·코...