자기개선 에이전트는 모델과 scaffold를 따로 봐야 한다
arXiv 2607.13104는 자기개선 에이전트를 foundation model 업데이트와 prompt·memory·tool·control logic을 고치는 scaffold 업데이트로 나누고, 성능보다 transfer·regression·비용·안전...
Tag6 posts
#AI Safety
글 목록
Anthropic은 Claude의 안전을 모델이 아니라 경계로 설계한다
Anthropic Engineering의 Claude containment 글은 claude.ai, Claude Code, Claude Cowork의 서로 다른 격리 구조를 통해 에이전트 보안의 핵심이 행동 감시보다 실행 환경의 blast radius...
Kanana Safeguard 8B는 한국어 AI 서비스를 위한 공개 가드레일 모델이다
카카오의 Kanana Safeguard 8B는 한국어 유해 콘텐츠 탐지를 단일 토큰 분류 문제로 만들고, 사용자 발화와 AI 응답을 함께 판정하도록 공개된 Apache-2.0 가드레일 모델이다.
Meta CWM Preparedness Report는 오픈 웨이트 코드 모델 공개의 안전성 기준을 보여준다
Meta의 Code World Model Preparedness Report는 32B 코드 월드 모델 CWM을 공개하기 전에 사이버·생화학·정직성 리스크를 현재 오픈 모델 생태계와 비교해 검증한 사례다.
Latent Agents는 멀티에이전트 토론을 한 모델의 잠재공간으로 압축한다
Latent Agents의 IMAD는 3개 에이전트의 토론 trace를 SFT로 학습한 뒤 GRPO의 동적 보상과 길이 클리핑으로 내재화해, 명시적 debate와 비슷하거나 더 나은 성능을 훨씬 적은 토큰으로 재현하고 agent subspace를 st...
Anthropic의 NLA는 Claude의 ‘속생각’을 자연어로 압축해 읽으려는 해석 가능성 실험이다
Anthropic의 Natural Language Autoencoders는 Claude의 activation을 자연어 설명으로 바꾸고 다시 activation으로 복원하는 왕복 구조를 통해, 모델이 말하지 않은 평가 인식과 숨은 동기를 감사하는 새로운...