ELDR는 MoE 디코딩 라우팅을 expert locality 문제로 바꾼다
ELDR는 PD-disaggregated MoE 서빙에서 prefill expert signature를 이용해 decode worker를 고르고, active expert union을 줄여 TPOT를 낮추는 vLLM 기반 라우팅 연구다.
Blog401 posts
Knowledge WIKI
AI 에이전트, 검색, 문서 AI, 모델 학습을 읽고 만들면서 정리한 글입니다.
분야와 태그로 좁혀 볼 수 있습니다.
401 posts, 98-109 showing
글 목록
AMVL은 멀티모달 추론을 텍스트 CoT가 아니라 연속 latent로 보게 한다
AMVL은 목표 답을 보는 posterior와 추론 때 쓰는 prior 사이의 answer leakage를 forward/reverse KL로 보정해, Qwen2.5-VL-7B 기반 멀티모달 추론에서 BLINK 평균 +10.83을 보고한 연속 잠재 추...
CausalMix는 SFT 데이터 믹스를 인과추론 문제로 다시 읽는다
CausalMix는 512개 Qwen2.5-0.5B proxy run에서 데이터 상태, 도메인 비율, downstream 점수를 분리해 SFT 데이터 믹스를 상태별 causal marginal return으로 추정하는 프레임워크다.
Dockerless는 테스트 실행 없이 코딩 에이전트 패치를 검증하려 한다
arXiv 2606.28436의 Dockerless는 Docker 이미지와 테스트 실행 없이 issue·reference patch·candidate patch를 바탕으로 저장소를 읽기 전용 탐색해 패치 정합성을 점수화하고, 이를 SFT 필터와 RL...
Orca는 다음 토큰이 아니라 다음 ‘세계 상태’를 예측하려 한다
BAAI의 Orca는 Next-State Prediction을 중심에 놓고 세계 잠재공간을 학습한 뒤, frozen backbone 위의 텍스트·이미지·행동 readout으로 그 표현이 실제로 쓸모 있는지 검증한 world foundation mode...
Neural Procedural Memory는 에이전트 메모리를 activation으로 저장한다
Neural Procedural Memory는 과거 trajectory의 성공/실패 대비를 steering vector로 압축해, LLM agent의 절차 기억을 텍스트 지시문이 아니라 residual stream 개입으로 재사용하려는 training...
Agentic Abstention은 에이전트에게 ‘언제 멈출지’를 묻는다
Agentic Abstention은 WebShop·Terminal-Bench·AbstentionBench를 28K+ 순차 의사결정 과제로 엮어, LLM 에이전트가 불가능한 요청 앞에서 제때 멈추는지 측정한다.
Agents-A1은 파라미터보다 에이전트의 horizon을 스케일링한다
Agents-A1은 Qwen3.5-35B-A3B 기반 35B MoE를 45K 토큰 장기 trajectory, knowledge-action graph, domain-routed on-policy distillation로 학습해 1T급 agent ben...
Video-MME-Logical은 비디오 모델의 시간-논리 추론을 분해해서 본다
Video-MME-Logical은 25개 절차 생성 과제와 중간 상태 진단으로 MLLM이 프레임을 보는 것을 넘어 시간에 따라 상태를 유지·갱신·조합하는지 평가한다.
ViQ는 이미지도 텍스트처럼 ‘토큰화’하려는 시도다
ViQ는 SigLIP2 기반 시각 표현을 텍스트 정렬·근접 표현 학습·position-aware FSQ로 이산 코드화해, 임의 해상도 이미지 이해와 재구성, VLM 학습 효율을 함께 노리는 visual tokenizer 프레임워크다.
SGLang Waterfill·LPLB는 MoE 서빙의 느린 rank를 dispatch-time에 줄인다
LMSYS의 Waterfill·LPLB 글은 SGLang/DeepEP MoE inference에서 shared expert와 redundant expert replica를 runtime에 재배치해 EP rank imbalance를 줄이는 두 가지 di...
Gemini Nano의 Frozen MTP는 Pixel 온디바이스 추론을 별도 drafter 없이 가속한다
Google Research의 Frozen Multi-Token Prediction은 이미 배포된 Gemini Nano v3의 backbone을 고정한 채 MTP head만 붙여 Pixel 9·10의 온디바이스 생성 지연과 메모리 병목을 줄이는 추론...