DualOptim+는 LLM 언러닝의 optimizer state를 공유와 분리 사이에서 조절한다
DualOptim+는 forget·retain 목표의 공통 성분은 base state로 공유하고 충돌하는 잔차는 delta state로 분리해, LLM machine unlearning의 망각-유틸리티 균형을 개선하려는 optimizer 설계다.
Blog401 posts
Knowledge WIKI
AI 에이전트, 검색, 문서 AI, 모델 학습을 읽고 만들면서 정리한 글입니다.
분야와 태그로 좁혀 볼 수 있습니다.
401 posts, 194-205 showing
글 목록
효율적 코딩은 왜 신경계를 임계성과 sloppiness로 밀어 넣는가
arXiv 2605.22598은 Fisher information을 자원 제약 아래 극대화하는 단순한 Gaussian population coding 모델만으로 soft mode, 긴 상관 길이, critical slowing down, sloppin...
Enactive AI는 에이전트를 ‘세계와 맞물려 배우는 시스템’으로 다시 묻는다
Rafiee와 Sutton의 arXiv 2605.24238은 경험, 행동-지각 불가분성, 자율성, 체화라는 네 개념으로 LLM과 RL 이후의 에이전트 설계를 재해석한다.
ThriftAttention은 긴 컨텍스트 FP4 어텐션을 선택적 혼합정밀로 보정한다
ThriftAttention은 Blackwell FP4 어텐션의 장기 컨텍스트 품질 저하를 전체 고정밀 계산이 아니라 중요한 query-key block만 FP16으로 승격하는 선택적 혼합정밀 방식으로 줄이려는 inference-time attenti...
ProAct는 에이전트의 lookahead를 환경에 접지해 학습시킨다
ProAct는 LLM 에이전트의 내부 미래 시뮬레이션이 실제 환경과 어긋나는 simulation drift를 GLAD distillation과 MC-Critic 기반 RL로 줄이려는 agent lookahead 학습 프레임워크다.
LFM2.5-8B-A1B는 온디바이스 에이전트를 위한 MoE를 128K reasoning 모델로 다시 조정한다
Liquid AI의 LFM2.5-8B-A1B는 8.3B total / 1.5B active MoE를 128K 컨텍스트, 38T 토큰 학습, 확장된 토크나이저, reasoning-only 후처리와 엣지 런타임 패키징으로 갱신한 온디바이스 에이전트 모델...
MemForest는 에이전트 메모리를 검색 문제가 아니라 쓰기 효율적인 시간 인덱스로 본다
MemForest는 장기 실행 LLM 에이전트의 메모리 병목을 retrieval보다 extraction·maintenance write path에서 찾고, canonical fact와 MemTree 계층형 시간 인덱스로 LongMemEval-S에서 7...
AutoResearch AI는 과학 자동화를 자율성보다 검증 책임의 문제로 본다
AutoResearch AI는 AI 연구 자동화를 L0~L4 자율성, 다섯 워크플로 단계, 과학 품질 평가, 도메인별 상한으로 정리하며 완전 자율보다 검증·출처·책임 설계를 핵심 병목으로 본다.
QUEST는 딥리서치 에이전트를 합성 과제로 훈련한다
QUEST는 8K 합성 연구 과제와 rubric tree 보상, context management, MT→SFT→RL 파이프라인으로 2B~35B 공개 딥리서치 에이전트 패밀리를 만든다.
SemBridge는 영어 중심 sparse encoder를 다국어 검색기로 옮기는 문제를 embedding 초기화로 푼다
arXiv 2605.26002 SemBridge 논문을 바탕으로, 영어 vocabulary에 갇힌 sparse encoder를 Arabic·Chinese·Hindi·Korean·Russian 검색기로 이전하는 방법과 zero-shot·fine-tuni...
QueST는 사용자 질문 하나로 테스트 시점 LoRA 적응을 만든다
QueST는 입력 질문에서 관련 문제-해설 쌍을 생성하고, 이를 이용해 추론 직전에 LoRA로 모델을 가볍게 적응시키는 query-conditioned test-time self-training 방법이다.
Macaron-A2UI는 개인 에이전트의 응답을 ‘대화+실행 가능한 UI’로 확장한다
Macaron-A2UI는 개인 에이전트가 자연어와 A2UI v0.8 기반 선언형 UI 액션을 함께 생성하도록 학습한 모델군과 A2UI-Bench를 공개하며, 텍스트 채팅 이후의 에이전트 인터페이스를 평가 가능한 학습 문제로 만든다.