Harness²: 에이전트의 하네스와 개선 절차를 함께 진화시킨다
Harness²는 정답 피드백 없이 실행 궤적을 대조해 현재 하네스를 고치고, 그 경험을 다음 개선에 재사용한다. 두 재귀의 역할과 성능·추론 비용·평가 오염의 경계를 살펴본다.
Category59 posts
Agent Systems
에이전트 런타임, 오케스트레이션, 멀티에이전트, 도구 사용, 메모리 구조를 정리합니다.
글 목록
REA: 리버스 엔지니어링을 코딩 에이전트의 근거 수집 도구로
REA는 바이너리·Electron·브라우저 분석을 MCP와 CLI로 연결한다. 핵심은 소스 복원이라는 약속보다 관찰 결과의 출처·범위·미확인 사항을 유지하는 Evidence 계약에 있다.
HarnessRouter는 여러 에이전트 하네스를 하나의 실행 API로 묶는다
HarnessRouter Community Edition은 여러 CLI 하네스를 세션별 workspace에서 실행하고, UHP·Responses 호환 API로 task와 실행 상태를 통합하는 self-hosted 런타임이다.
CLM은 에이전트가 행동을 고르는 방식을 점수화한다 — 가능성과 재현성 문제
CLM의 state–action 점수화와 캐시 설계, verifier 성능, 공개 재현성 이슈를 함께 살펴본다
Qwen-Planner-Agent는 모델 훈련과 실행 하네스를 함께 개선한다
모바일 에이전트를 데이터 생성·강화학습·실행 하네스의 폐루프로 개발하는 Qwen-Planner-Agent의 구조와 MobilePA-Bench 결과, 비용 비교의 범위를 살펴본다.
Cua는 computer-use agent를 ‘모델’이 아니라 실행·격리·검증 스택으로 다룬다
Cua는 기존 desktop을 제어하는 Driver, 격리된 computer를 만드는 Sandbox·Lume·Fleet, 그리고 task와 evaluator를 분리하는 Cua-Bench를 묶어 computer-use agent의 실행 기반을 구성하는...
Dream-RSI는 agent의 과거 탐색을 ‘정확한 replay world’로 바꿔 다음 탐색 정책을 고른다
Dream-RSI는 discovery tree에 남은 실행 outcome을 replay simulator로 재해석해, exploration policy 후보를 실제 rollout 없이 비교하고 다음 온라인 탐색으로 재배포하는 meta-explorati...
NeoHorse-1은 라우팅 하네스를 ‘서빙 최적화’에서 다음 학습 분포를 만드는 관측 계층으로 확장한다
NeoHorse-1은 라우팅·도구 실행 기록을 에이전트 post-training에 연결한 RSI 초기 프로토타입이며, 후속 NeoHorse-Jev는 같은 4B 계열을 구조화된 선택과 점수화에 활용한다.
Repo-To-Skill은 GitHub 저장소를 실행 가능한 연구 에이전트 지식으로 바꾼다
Repo-To-Skill은 DisCo가 repository·paper·task 자료에서 절차·검증·복구 경로를 skill graph로 증류하고, AREX-Skill Library가 필요한 분기만 research agent에 로드하는 운영 지식 계층을...
Harness-of-Harness는 coding agent를 한 번의 실행기가 아니라 계속 개선되는 개발 루프로 만든다
Harness-of-Harness는 planner·developer·QA tester를 artifact와 evidence로 연결해, coding agent가 여러 iteration에 걸쳐 계획·구현·검증을 누적하도록 설계한 autonomous soft...
AutoSaddler는 실패 trace를 읽고 agent harness를 지속적으로 고친다
AutoSaddler는 long-horizon agent의 실패 trace를 진단해 prompt·tool·middleware·loop에 구조화된 patch를 적용하고, dev-set generalization gate와 EvoDAG로 일회성 hot-f...
Prime Agent는 긴 작업의 성패를 모델 밖 상태 계층으로 옮긴다
Prime Agent는 persistent REPL, recursive subagent, disk-backed Continual Harness를 결합해 long-horizon agent의 문맥·계산·기억을 분리 운영하려는 오픈소스 RLM 하네스다.
Awesome Harness Engineering은 141개 자료를 에이전트 운영의 실패 지도로 바꾼다
walkinglabs의 Awesome Harness Engineering은 141개 리소스를 컨텍스트·검증·권한·관측성·런타임 같은 여덟 설계면으로 분류해, 모델 밖에서 에이전트 신뢰성을 설계하는 읽기 지도를 제공한다.
AutoDesign은 산출물보다 ‘산출물을 만드는 하네스’를 최적화한다
AutoDesign은 논문을 포스터로 만드는 개별 agent loop를 넘어, rollout 기록·평가·acceptance gate로 재사용 가능한 DesignHarness 자체를 반복 개선하는 meta-harness 프레임워크다.
그래프 엔지니어링은 에이전트를 더 붙이는 대신, 관계를 운영 대상으로 만든다
Graph Engineering은 LLM 에이전트 시스템의 task·agent·runtime state 관계를 명시적·동적 그래프로 다뤄, 단일 agent loop를 넘어 system intelligence를 설계하자는 survey다.
Embodied-Navigator는 VLM에게 3D 좌표 대신 ‘가리키기’를 시킨다
Embodied-Navigator는 VLM이 2D 픽셀 waypoint만 고르게 하고, 선택적 추론·압축 메모리·Two-Level GRPO로 장기 시각 언어 내비게이션을 정렬하는 7B 정책이다.
AI4AI는 강한 모델의 추론을 약한 모델의 테스트 타임 하네스로 컴파일한다
AI4AI는 강한 builder model이 5% validation set에서 약한 target model용 inference-time harness를 반복 제작·검증하게 해, parameter update 없이 Theory-of-Mind 과제의 성...
더 작은 모델로 에이전트 비용을 줄이려면, 모델보다 하네스를 먼저 최적화해야 한다
Better Harnesses, Smaller Models는 작은 언어 모델의 실패 trajectory를 진단해 context·tools·agent loop를 자동 적응시키고, 반복 업무에서 frontier LLM 수준의 성능에 가까운 비용-품질 균형...
WorldClaw는 3D 오픈 월드를 한 번에 만들지 않고 agentic build graph로 조립한다
WorldClaw는 자연어 장면 요청을 구조화된 계획, 전역 지형, 지역별 편집 가능한 3D 객체로 분해하고 render-guided refinement로 다시 검증하는 agentic 3D 오픈 월드 생성 프레임워크다.
OneDayAgent는 장기 agent를 모델이 아니라 harness의 문제로 본다
OneDayAgent는 open-ended everyday task를 bounded subtask, execution memory, global verify/repair로 관리하는 long-horizon harness를 제안하고 AgentIF-OneD...
Semantica는 에이전트의 컨텍스트를 ‘감사 가능한 결정 그래프’로 바꾼다
semantica-agi/semantica는 검색용 벡터 인덱스만으로 남기 쉬운 에이전트의 상태·판단·근거를 context graph, provenance, reasoning, policy 계층으로 묶어 질의 가능한 결정 인프라로 만들려는 오픈소스 P...
Video-DeepResearch는 ‘검색’ 전에 비디오 근거를 강제한다
Video-DeepResearch는 프레임 선택과 객체 crop 검색을 먼저 수행하게 한 뒤 웹 탐색을 풀어 주는 단계적 tool policy, SFT+GRPO 학습, 그리고 실제 시각 근거를 요구하는 VideoDR-Bench를 제안한다.
Qwen-UI-Agent는 GUI 에이전트를 모델이 아니라 현실 실행 스택으로 확장한다
Qwen-UI-Agent는 실제 기기 런타임, GUI·CLI 혼합 행동, 100턴 이상 온라인 RL, 능동형 harness를 하나의 폐루프로 묶어 모바일·컴퓨터·웹을 넘나드는 GUI 에이전트를 제안한다.
MANTA는 멀티에이전트의 연결 구조까지 추론 중에 고친다
arXiv 2607.28527의 MANTA는 agent role·통신 link·실행 순서·정보 가시성·검증 경로를 inference-time trace에 맞춰 제한적으로 갱신하는 Multi-Agent Network Topology Adaptation을...
NOOA는 agent framework를 새 DSL이 아니라 Python object로 만든다
NVIDIA-labs Object-Oriented Agents(NOOA)는 field를 state, method를 capability, docstring을 prompt, type annotation을 contract로 삼아 agent를 하나의 Pyth...
ReferTrack은 ‘누구’를 먼저 가리킨 뒤 ‘어디로’ 갈지 결정한다
ReferTrack은 자연어로 지정된 보행자를 indexed bounding box 중 하나로 먼저 고르는 Refer-CoT와, 선택한 box의 시간적 궤적을 보존하는 TVBI memory를 결합해 단일 전방 카메라 embodied visual tra...
WebSwarm은 웹 검색을 고정 분업이 아니라 재귀적 위임 트리로 푼다
WebSwarm은 검색 중 발견한 증거에 따라 agent node와 search mode를 계속 생성·수정하는 재귀적 orchestration으로, 깊은 추론과 넓은 정보 수집을 같은 실행 흐름에서 결합하려는 웹 검색 framework다.
HORIZON은 RTL 설계를 Git 저장소 진화 문제로 바꾼다
NVIDIA Research의 HORIZON은 Markdown harness를 평가 가능한 project pack으로 컴파일하고, Git worktree 위에서 RTL 설계를 반복 수정·검증·커밋하는 agentic hardware design 프레임워...
Qwen-AgentWorld는 에이전트의 ‘환경’을 예측하는 언어 월드 모델이다
Qwen-AgentWorld는 MCP, 검색, 터미널, SWE, 웹, OS, Android까지 7개 에이전트 환경의 다음 관찰을 예측하도록 학습한 언어 월드 모델과 AgentWorldBench 공개 패키지다.
S-Agent는 공간 추론을 한 장면 예측이 아니라 3D 증거 축적으로 바꾼다
S-Agent는 VLM을 의미적 planner로 두고 2D grounding, 3D lifting, 공간 expert, scene/agent memory를 결합해 multi-view·video 공간 추론을 evidence accumulation 문제로...
HarnessX는 에이전트 하네스를 조립하고 진화시키는 런타임 foundry다
arXiv 2606.14249는 prompt·tool·memory·control flow를 typed harness primitive로 분리하고, AEGIS trace-driven evolution과 cross-harness GRPO로 하네스와 모델을...
Evoflux는 작은 툴 에이전트를 학습보다 실행시간 진화로 고친다
arXiv 2606.12674는 MCP-style 툴 사용을 함수 호출 문제가 아니라 실행 가능한 workflow graph를 고치는 문제로 보고, 작은 planner에서 SFT/DPO보다 inference-time evolutionary search...
DeepMind의 From AGI to ASI는 AGI 이후를 네 경로와 여섯 병목으로 나눈다
Google DeepMind의 arXiv 2606.12683v1은 AGI를 종착점이 아니라 post-AGI 전환의 출발점으로 놓고, ASI로 가는 네 가지 기술 경로와 여섯 가지 병목을 연구 질문으로 정리한다.
TIDE는 에이전트의 proactivity를 ‘하나의 추천’이 아니라 숨은 문제들의 발견 과정으로 바꾼다
TIDE 논문은 proactive agent가 사용자의 명시 요청을 기다리는 대신, 개인 workspace와 software repository 안에 공존하는 여러 숨은 문제를 반복적으로 찾고 근거와 해결 행동까지 묶어 내는 template-guide...
Anthropic의 ‘AI가 스스로를 만든다’는 선언은 재귀적 자기개선보다 먼저 병목 이동을 보여준다
Anthropic Institute의 When AI builds itself는 공개 벤치마크와 내부 데이터를 묶어 AI 개발에서 실행 비용은 급격히 낮아지고, 판단·검증·거버넌스가 새로운 병목으로 떠오른다는 점을 보여준다.
Enactive AI는 에이전트를 ‘세계와 맞물려 배우는 시스템’으로 다시 묻는다
Rafiee와 Sutton의 arXiv 2605.24238은 경험, 행동-지각 불가분성, 자율성, 체화라는 네 개념으로 LLM과 RL 이후의 에이전트 설계를 재해석한다.
MemForest는 에이전트 메모리를 검색 문제가 아니라 쓰기 효율적인 시간 인덱스로 본다
MemForest는 장기 실행 LLM 에이전트의 메모리 병목을 retrieval보다 extraction·maintenance write path에서 찾고, canonical fact와 MemTree 계층형 시간 인덱스로 LongMemEval-S에서 7...
Macaron-A2UI는 개인 에이전트의 응답을 ‘대화+실행 가능한 UI’로 확장한다
Macaron-A2UI는 개인 에이전트가 자연어와 A2UI v0.8 기반 선언형 UI 액션을 함께 생성하도록 학습한 모델군과 A2UI-Bench를 공개하며, 텍스트 채팅 이후의 에이전트 인터페이스를 평가 가능한 학습 문제로 만든다.
Foundation Protocol은 에이전트 사회의 신뢰·거래·감사를 한 계층으로 묶으려 한다
arXiv 2605.23218은 Foundation Protocol(FP)을 agent, tool, human, organization을 하나의 entity graph로 묶고 session, event, receipt, provenance를 표준화하는...
FluxMem은 에이전트 메모리를 고정 저장소가 아니라 진화하는 연결 그래프로 본다
HF Papers 2605.28773 / arXiv 논문은 FluxMem을 통해 에이전트 메모리를 semantic·episodic·procedural 노드가 계속 연결·수정·통합되는 heterogeneous graph로 재정의한다. 다만 compani...
6가지 Agentic Design Pattern은 에이전트를 제품 구조로 보는 언어다
Akshay Pachaar의 LinkedIn 포스트와 Daily Dose of Data Science 인포그래픽을 출발점으로 ReAct, CodeAct, MCP 기반 tool use, self-reflection, multi-agent workflow...
Fara-7B는 컴퓨터 사용 에이전트를 온디바이스 7B 문제로 바꾼다
Microsoft Research의 Fara-7B는 스크린샷만 보고 좌표 행동을 예측하는 7B 컴퓨터 사용 에이전트로, FaraGen 합성 궤적과 Critical Point 안전장치를 통해 웹 자동화의 비용·프라이버시·검증 문제를 함께 다룬다.
RL Conductor는 7B 모델을 에이전트 오케스트라의 지휘자로 훈련한다
Sakana AI의 RL Conductor는 7B 모델이 GPT-5, Gemini, Claude, 오픈 모델을 직접 풀어 쓰는 대신 자연어 워크플로를 설계하도록 RL로 학습한 에이전트 오케스트레이션 논문이다.
Three Roles, One Model은 작은 에이전트를 세 역할로 나눠 AppWorld 실패를 줄인다
arXiv 2604.11465는 Qwen3-8B 하나를 요약기, 메인 에이전트, 독립 교정기라는 세 역할로 반복 호출해 AppWorld pass@1 성능을 FP16 5.4%→8.9%, AWQ 3.0%→5.9%로 끌어올리는 inference-time s...
Nemotron-Orchestrator-8B는 작은 8B 모델로 더 큰 에이전트 시스템을 지휘한다
NVIDIA의 Nemotron-Orchestrator-8B는 Qwen3-8B 기반의 경량 orchestrator를 RL로 학습시켜, 검색·코드 실행·전문 모델·거대 범용 모델을 상황별로 배치하며 GPT-5보다 더 높은 HLE 점수와 더 나은 비용 효율...
Life-Harness는 에이전트 실패를 모델 학습이 아니라 런타임 하네스 적응 문제로 바꾼다
arXiv 2605.22166의 Life-Harness는 frozen LLM agent의 반복 실패를 환경 계약, 절차 스킬, 액션 실현, 궤적 제어 계층에서 고치는 runtime harness 방법이다. 7개 deterministic benchmar...
Code as Agent Harness는 코드를 에이전트의 출력물이 아니라 실행 하네스로 다시 정의한다
arXiv survey Code as Agent Harness는 코드가 reasoning·action·state·verification을 묶는 에이전트 운영 기판이 되며, 하네스 인터페이스·메커니즘·멀티에이전트 확장으로 읽어야 한다고 정리한다.
MetaAgent-X는 자동 멀티 에이전트를 설계자와 실행자까지 함께 학습한다
arXiv 2605.14212는 자동 멀티 에이전트 시스템의 병목을 frozen executor ceiling으로 보고, Designer가 태스크별 MAS 스크립트를 만들고 Executor가 이를 실행하는 과정을 GRPO·계층적 rollout·stag...
Anthropic의 effective agent 원칙은 ‘더 자율적인 모델’보다 먼저 ‘더 단순한 운영면’을 요구한다
Barry Zhang의 AI Engineer 발표는 Anthropic의 Building Effective Agents 글을 바탕으로, 에이전트를 모든 문제에 붙이는 대신 복잡도·가치·검증 가능성·오류 비용을 따지고, 도구와 환경과 시스템 프롬프트로 이...
멀티 에이전트의 방관자 효과: 협업이 추론 주권을 무너뜨리는 순간
이 논문은 GAIA·SWE-bench·Multi-Challenge 문맥에서 22,500개 결정론적 궤적을 평가해, 단순한 다수 auditor 프롬프트가 모델의 독립 추론을 사회적 순응으로 바꾸는 Interaction Depth Limit와 Sovere...
Autogenesis는 자가 진화 에이전트를 프로토콜 문제로 다시 정의한다
arXiv 2604.15034는 프롬프트·에이전트·도구·환경·메모리를 버전 관리되는 리소스로 등록하고, 제안·평가·커밋·롤백을 갖춘 AGP/AGS 구조로 자가 진화를 실행 가능한 에이전트 런타임 문제로 옮긴다.
OneManCompany는 멀티 에이전트를 ‘회사’라는 운영체제로 재구성한다
OneManCompany(OMC)는 Talent–Container, Talent Market, E²R tree search로 이기종 에이전트를 고용·조정·리뷰하는 조직 레이어를 제안하고, PRDBench 84.67% 결과와 공개 구현을 통해 멀티 에이...
Reinforced Agent는 툴 호출을 실행 전에 한 번 더 검토하는 실용적 안전장치다
Reinforced Agent 논문은 툴 호출 에이전트의 오류를 사후 복구가 아니라 실행 전 리뷰 문제로 바꾸고, Helpfulness-Harmfulness 지표로 reviewer agent가 실제로 도움이 되는지 측정한다.
Arize Alyx의 계층적 메모리는 에이전트 실패를 context window 문제가 아니라 제품 아키텍처 문제로 본다
AI Engineer 발표에서 Arize의 Sally-Ann DeLucia는 Alyx를 만들며 겪은 context explosion을 바탕으로, 단순 truncation이나 LLM summarization보다 ID 기반 memory store, lon...
HeavySkill은 에이전트 하네스의 복잡함을 병렬 추론과 요약이라는 내부 스킬로 환원한다
HeavySkill은 멀티에이전트 오케스트레이션의 성능 원천을 외부 시스템 복잡도보다 모델 내부의 heavy thinking 스킬로 재해석하며, 이를 병렬 추론과 순차적 숙의로 분해해 test-time scaling과 RLVR의 결합 지점을 제시한다.
RecursiveMAS는 멀티 에이전트 협업을 텍스트가 아니라 잠재 상태 재귀로 스케일링한다
RecursiveMAS는 여러 LLM 에이전트를 텍스트 메시지 체인 대신 잠재 상태 루프로 연결하고, RecursiveLink와 inner–outer loop 학습으로 시스템 전체를 공동 최적화해 정확도·속도·토큰 사용량을 함께 개선하려는 멀티 에이전...
oh-my-codex는 Codex CLI 위에 멀티에이전트 운영 레이어를 얹는다
oh-my-codex는 OpenAI Codex CLI를 대체하지 않고 그 위에 팀 실행, worktree 격리, 역할 프롬프트, 워크플로우 스킬, MCP 서버, HUD와 상태 관리까지 얹어 단일 코딩 에이전트를 운영 가능한 멀티에이전트 런타임으로 바꾸...
Ruflo는 Claude Code를 다중 에이전트 운영 플랫폼으로 확장한다
ruvnet/ruflo는 Claude Code 위에 swarm coordination, persistent memory, self-learning loop, federation, 32개 플러그인, 300개 수준의 MCP 도구를 얹어 단일 코딩 도우미를...
Agent Lightning은 에이전트 실행과 학습을 분리해 RL을 붙인다
Agent Lightning은 기존 LangChain·OpenAI Agents SDK·AutoGen 기반 에이전트를 거의 수정하지 않고도 강화학습으로 최적화할 수 있게 하며, 이를 위해 실행 궤적을 통합 인터페이스로 수집하고 Training-Agent...