NeoMME는 문서 검색을 위해 VLM을 버리고 단일 멀티모달 인코더로 간다
H Company의 NeoMME는 텍스트 토큰과 원본 이미지 패치를 하나의 양방향 Transformer로 처리하고, dense·late-interaction 검색 표현을 한 번에 내보내며 시각 문서 RAG의 모델 크기·색인 비용·속도 균형을 겨냥한다.
Blog401 posts
Knowledge WIKI
AI 에이전트, 검색, 문서 AI, 모델 학습을 읽고 만들면서 정리한 글입니다.
분야와 태그로 좁혀 볼 수 있습니다.
401 posts, 26-37 showing
글 목록
Harness-of-Harness는 coding agent를 한 번의 실행기가 아니라 계속 개선되는 개발 루프로 만든다
Harness-of-Harness는 planner·developer·QA tester를 artifact와 evidence로 연결해, coding agent가 여러 iteration에 걸쳐 계획·구현·검증을 누적하도록 설계한 autonomous soft...
Skaling은 스케일링 법칙의 실험 예산을 ‘전면 격자’에서 경계 샘플링으로 옮긴다
Skaling은 모델 크기와 학습 토큰 수가 독립적으로 loss를 낮춘다는 Chinchilla의 가정을 하나의 결합 지수로 완화하고, 저비용 L-shape 격자만으로 대규모 학습 구간의 loss를 예측하려는 스케일링 법칙이다.
WikiSkill은 에이전트의 시행착오를 스킬보다 먼저 ‘축적되는 지식’으로 만든다
WikiSkill은 실행 trace·지속적으로 누적되는 wiki·실행 가능한 skill을 분리하고, 실패·성공 경험을 패턴과 수용 이력으로 축적한 뒤 validation gate를 통과한 skill 변경만 반영하는 agent skill evolutio...
MobileMoE는 MoE를 스마트폰 지연·메모리 문제로 다시 설계한다
MobileMoE는 0.3–0.9B 활성 파라미터의 MoE를 온디바이스 메모리·연산 제약에 맞춰 설계하고, INT4 QAT와 ExecuTorch 커스텀 커널로 실제 스마트폰에서 dense MobileLLM-Pro 대비 빠른 prefill/decode를...
TimesFM-3는 다변량 시계열을 한 번의 추론으로 예측하려 한다
TimesFM-3는 목표 시계열·과거 공변량·알려진 미래 공변량을 함께 읽고 시간축 인과 주의와 변수축 전체 주의를 교차시켜, fine-tuning 없이 다변량 예측과 분위수 예측을 한 번의 forward pass로 수행하려는 3억 3천만 파라미터 시...
WeMM-Embedding은 왜 2B로 8B 멀티모달 임베딩을 넘었나
Tencent WeChat Vision의 WeMM-Embedding은 Qwen3.5 기반 2B·4B·9B 멀티모달 임베딩 모델군으로, 데이터 정제·세밀한 관련도 감독·교차 규모 증류와 Matryoshka 차원 절감을 결합해 작은 모델의 검색 효율을 밀...
AutoSaddler는 실패 trace를 읽고 agent harness를 지속적으로 고친다
AutoSaddler는 long-horizon agent의 실패 trace를 진단해 prompt·tool·middleware·loop에 구조화된 patch를 적용하고, dev-set generalization gate와 EvoDAG로 일회성 hot-f...
D³-MOPD는 멀티티처 증류의 도메인 비중을 학습 중에 다시 배분한다
D³-MOPD는 multi-teacher on-policy distillation에서 이미 계산되는 도메인별 reverse-KL을 이용해, 빠르게 수렴한 도메인에서 아직 개선 중인 도메인으로 rollout 예산을 동적으로 옮기는 zero-overhea...
Agent-G²는 에이전트 RL의 힌트 깊이를 하나의 값이 아니라 분포로 학습한다
Agent-G²는 장기 에이전트 과제에서 expert trajectory의 prefix를 얼마나 남길지 Gaussian 분포로 샘플링하고, 별도 probe rollout 없이 기존 GRPO rollout 통계만으로 guidance schedule을 갱...
4비트가 16비트를 이긴 이유는 양자화가 아니라 두 번째 증류였다
Quantization-Aware Healing은 구조적으로 압축한 4비트 LLM을 원본 teacher에 다시 증류해, 양자화를 손실 단계가 아니라 배포 직전의 두 번째 복구 단계로 바꾼다.
Prime Agent는 긴 작업의 성패를 모델 밖 상태 계층으로 옮긴다
Prime Agent는 persistent REPL, recursive subagent, disk-backed Continual Harness를 결합해 long-horizon agent의 문맥·계산·기억을 분리 운영하려는 오픈소스 RLM 하네스다.