Qwen-Planner-Agent는 모델 훈련과 실행 하네스를 함께 개선한다
모바일 에이전트를 데이터 생성·강화학습·실행 하네스의 폐루프로 개발하는 Qwen-Planner-Agent의 구조와 MobilePA-Bench 결과, 비용 비교의 범위를 살펴본다.
Tag26 posts
#Reinforcement Learning
글 목록
DN-MOPD는 교사 선택을 넘어 피드백의 크기를 맞춘다
Qwen3.5 멀티 교사 증류에서 instruction-following 신호가 수학 신호보다 과도하게 큰 문제를 찾아, 도메인별 피드백 분산을 정규화해 전문가 능력 통합을 개선한다.
SkillGate는 에이전트의 ‘어떤 스킬을 읽을까’를 별도 학습 문제로 만든다
SkillGate는 장기 에이전트 RL에서 스킬 이름을 고르는 극소수 토큰이 보상 신호를 거의 받지 못하는 selector credit starvation을 진단하고, 선택과 실행의 credit을 분리한 두 채널 GRPO로 이를 교정한다.
Skill Entropy는 LLM의 장기 추론을 ‘정답률’이 아니라 ‘기술 전환 난이도’로 본다
Skill²-Bench와 Skill-Entropy RL은 긴 reasoning chain에서 모델이 앞 단계의 기술을 관성적으로 재사용하지 않고 다음 단계에 맞는 skill로 전환하는 능력을 측정하고 훈련하는 프레임워크다.
Qwen-UI-Agent는 GUI 에이전트를 모델이 아니라 현실 실행 스택으로 확장한다
Qwen-UI-Agent는 실제 기기 런타임, GUI·CLI 혼합 행동, 100턴 이상 온라인 RL, 능동형 harness를 하나의 폐루프로 묶어 모바일·컴퓨터·웹을 넘나드는 GUI 에이전트를 제안한다.
Nanbeige4.2-3B는 3B 규모로 agent·코드·툴 사용을 함께 겨냥한다
Nanbeige4.2-3B는 반복 레이어를 쓰는 Looped Transformer와 실행 환경 기반 SFT·다단계 RL을 결합해 3B non-embedding parameter 안에서 코드 agent, office workflow, MCP tool u...
Experience Distillation은 agent의 시행착오를 context에서 가중치로 옮긴다
Experience Distillation(EPD)은 agent가 실제 환경에서 모은 긴 시행착오 기록을 경험 context로 읽는 교사의 다음 결정으로 바꾼 뒤, 새 환경 상호작용이나 world model rollout 없이 학생 모델 가중치에 di...
Direct-OPD는 작은 모델의 RL 결과를 큰 모델용 보상으로 다시 쓴다
Direct-OPD는 작은 RL teacher의 최종 정책을 모방하지 않고, 사전·사후 체크포인트의 로그비에 남은 policy shift를 큰 student의 온폴리시 학습용 dense reward로 바꿔 weak-to-strong post-train...
Dockerless는 테스트 실행 없이 코딩 에이전트 패치를 검증하려 한다
arXiv 2606.28436의 Dockerless는 Docker 이미지와 테스트 실행 없이 issue·reference patch·candidate patch를 바탕으로 저장소를 읽기 전용 탐색해 패치 정합성을 점수화하고, 이를 SFT 필터와 RL...
OpenThoughts-Agent는 에이전트 학습을 데이터 레시피 문제로 공개한다
OpenThoughts-Agent는 100개 이상의 controlled ablation으로 agentic SFT 데이터 파이프라인을 분해하고, 100K trajectory로 Qwen3-32B를 학습해 공개 에이전트 모델의 데이터 레시피를 실험 가능한...
OpenClaw-Skill은 에이전트 스킬을 목록이 아니라 트리로 찾는다
arXiv 2606.16774는 여러 모델의 실행 궤적과 judge 평가를 결합해 전이 가능한 스킬 트리를 만들고, CSRL로 스킬 조건부 rollout을 비교 학습하는 OpenClaw-Skill을 제안한다.
VibeThinker-3B는 3B 모델에 검증 가능한 추론을 압축한다
WeiboAI의 VibeThinker-3B는 Qwen2.5-Coder-3B 위에 Spectrum-to-Signal post-training, 다중 도메인 RL, offline self-distillation, CLR test-time scaling을...
Harness-1은 검색 에이전트 학습을 stateful harness 문제로 본다
Harness-1은 20B 검색 에이전트가 긴 transcript 위에서 모든 상태를 기억하게 하는 대신, 후보 풀·curated set·검증 기록을 하네스가 관리하게 만든 RL 기반 검색 에이전트다.
NoisyAgent는 에이전트를 노이즈 속에서 학습시킨다
NoisyAgent는 user/tool noise를 agentic RL rollout에 통제적으로 주입해, 깨끗한 벤치마크 성능과 실제 환경 robustness 사이의 간극을 줄이려는 에이전트 학습 프레임워크다.
Enactive AI는 에이전트를 ‘세계와 맞물려 배우는 시스템’으로 다시 묻는다
Rafiee와 Sutton의 arXiv 2605.24238은 경험, 행동-지각 불가분성, 자율성, 체화라는 네 개념으로 LLM과 RL 이후의 에이전트 설계를 재해석한다.
ProAct는 에이전트의 lookahead를 환경에 접지해 학습시킨다
ProAct는 LLM 에이전트의 내부 미래 시뮬레이션이 실제 환경과 어긋나는 simulation drift를 GLAD distillation과 MC-Critic 기반 RL로 줄이려는 agent lookahead 학습 프레임워크다.
QUEST는 딥리서치 에이전트를 합성 과제로 훈련한다
QUEST는 8K 합성 연구 과제와 rubric tree 보상, context management, MT→SFT→RL 파이프라인으로 2B~35B 공개 딥리서치 에이전트 패밀리를 만든다.
RL Conductor는 7B 모델을 에이전트 오케스트라의 지휘자로 훈련한다
Sakana AI의 RL Conductor는 7B 모델이 GPT-5, Gemini, Claude, 오픈 모델을 직접 풀어 쓰는 대신 자연어 워크플로를 설계하도록 RL로 학습한 에이전트 오케스트레이션 논문이다.
Nemotron-Orchestrator-8B는 작은 8B 모델로 더 큰 에이전트 시스템을 지휘한다
NVIDIA의 Nemotron-Orchestrator-8B는 Qwen3-8B 기반의 경량 orchestrator를 RL로 학습시켜, 검색·코드 실행·전문 모델·거대 범용 모델을 상황별로 배치하며 GPT-5보다 더 높은 HLE 점수와 더 나은 비용 효율...
RL은 배운 풀이법을 조합할 때 더 강해진다
이 논문은 Pólya식 문제 해결 휴리스틱으로 같은 문제의 여러 정답 풀이를 self-generated mid-training 데이터로 만들고, 그 다양성이 이후 GRPO 기반 RL에서 더 넓은 추론 경로와 조합 행동을 끌어낸다는 점을 실험적으로 보인...
MinT는 LoRA를 학습 기법이 아니라 정책 운영 단위로 만든다
Mind Lab의 MinT 기술 보고서는 LoRA adapter를 단순 메모리 절약용 파라미터가 아니라 rollout, update, export, evaluation, serving, rollback을 통과하는 policy revision으로 정의한...
MetaAgent-X는 자동 멀티 에이전트를 설계자와 실행자까지 함께 학습한다
arXiv 2605.14212는 자동 멀티 에이전트 시스템의 병목을 frozen executor ceiling으로 보고, Designer가 태스크별 MAS 스크립트를 만들고 Executor가 이를 실행하는 과정을 GRPO·계층적 rollout·stag...
LoPE는 왜 의미 없는 문장으로 GRPO의 막힌 탐색을 푸는가
LoPE는 hard question에서 실패한 롤아웃에 Lorem Ipsum 기반 프롬프트 교란을 추가해 GRPO의 zero-advantage 병목을 깨고, prompt-space exploration이 단순 추가 샘플링보다 더 넓은 reasoning...
긴 작업을 못 버티는 이유는 모델 크기가 아니라 horizon일 수 있다
이 논문은 장기 상호작용 에이전트 학습의 병목을 추상적인 탐색 난이도가 아니라 horizon length 자체에서 찾고, macro action과 subgoal decomposition 같은 horizon reduction이 RL 안정성과 일반화까지...
TinyLoRA는 추론 파인튜닝을 13개 파라미터까지 압축한다
Learning to Reason in 13 Parameters는 RL 기반 post-training이 SFT보다 훨씬 정보 밀도가 높은 업데이트를 만든다는 가설 아래, TinyLoRA로 Qwen2.5-7B의 추론 성능을 단 13개 파라미터와 26바이...
Agent Lightning은 에이전트 실행과 학습을 분리해 RL을 붙인다
Agent Lightning은 기존 LangChain·OpenAI Agents SDK·AutoGen 기반 에이전트를 거의 수정하지 않고도 강화학습으로 최적화할 수 있게 하며, 이를 위해 실행 궤적을 통합 인터페이스로 수집하고 Training-Agent...