Transformer의 문제는 컨텍스트 길이가 아니라 상태 추적의 위상일 수 있...
Google DeepMind의 arXiv 2604.17121은 feedforward Transformer가 긴 문맥 검색에는 강하지만, 시간에 따라 변하는 belief state를 반복 갱신하는 상태 추적에는 구...
Blog
Knowledge WIKI
377 posts, 98-109 showing
Deep Agents와 Bedrock AgentCore는 리서치 에이전트를 컨텍...
AWS와 LangChain의 예제는 웹 리서치, 코드 분석, 장기 메모리, 관측성을 별도 MicroVM과 서브에이전트 경계로 나눠 컨텍스트 압박을 줄이는 실무형 리서치 에이전트 설계를 보여준다.
NVIDIA CuTe DSL 융합 커널은 MoE 학습의 CPU·메모리 병목을 지...
NVIDIA의 CuTe DSL 기반 MoE 융합 MLP 커널은 GEMM, GLU activation, quantization, transpose를 한 커널 경로로 묶고 tokens-per-expert 정보를 GP...
GLM-5.2는 1M 컨텍스트를 코딩 에이전트의 운영 문제로 끌고 온다
Z.AI의 GLM-5.2는 753B MoE, 1M-token context, IndexShare sparse attention, 개선된 MTP, slime RL 인프라, anti-hack guardrail을 묶어...
MiniMax Sparse Attention은 100만 토큰 어텐션을 블록 선택...
MiniMax Sparse Attention은 GQA 위에 경량 Index Branch를 붙여 GQA 그룹별 Top-k KV 블록만 정확 어텐션하고, 1M 컨텍스트에서 어텐션 compute와 wall-clock...
OpenClaw-Skill은 에이전트 스킬을 목록이 아니라 트리로 찾는다
arXiv 2606.16774는 여러 모델의 실행 궤적과 judge 평가를 결합해 전이 가능한 스킬 트리를 만들고, CSRL로 스킬 조건부 rollout을 비교 학습하는 OpenClaw-Skill을 제안한다.
VibeThinker-3B는 3B 모델에 검증 가능한 추론을 압축한다
WeiboAI의 VibeThinker-3B는 Qwen2.5-Coder-3B 위에 Spectrum-to-Signal post-training, 다중 도메인 RL, offline self-distillation, C...
Qwable-v1은 Qwen3.6 위에 Claude식 도구 사용을 얹은 코딩 에...
Qwable-v1은 Qwen3.6-35B-A3B 계열 reasoning distill 위에 Claude Fable-5 도구 사용 흔적을 한 번 더 SFT한 35B MoE 오픈 웨이트 모델이다. 공개된 근거는 ag...
HarnessX는 에이전트 하네스를 조립하고 진화시키는 런타임 foundry다
arXiv 2606.14249는 prompt·tool·memory·control flow를 typed harness primitive로 분리하고, AEGIS trace-driven evolution과 cross-...
FLARE는 하이브리드 어텐션 AR 모델을 디퓨전 LLM으로 바꾼다
FLARE는 Qwen3.5 계열 하이브리드 어텐션 체크포인트를 약 10B 토큰 전이 학습으로 변환해, 한 체크포인트에서 AR 검증식 디코딩과 디퓨전 병렬 디노이징을 함께 지원하려는 dLLM 변환 프레임워크다.
SAHI는 작은 객체 탐지를 ‘이미지 전체’가 아니라 ‘겹치는 타일’ 문제로 바...
SAHI는 큰 항공·감시 이미지에서 작은 객체가 입력 리사이즈 과정에서 사라지는 문제를, 겹치는 슬라이스별 추론과 좌표 병합으로 풀어 기존 detector 위에 바로 얹을 수 있는 실용적 small-object...
ESOD는 고해상도 작은 객체 탐지를 ‘전체 이미지’가 아니라 ‘필요한 패치’...
ESOD는 고해상도 이미지에서 작은 객체가 희소하게 모여 있다는 관찰을 이용해, 특징 맵 수준에서 객체 후보 패치만 남기고 sparse head로 계산량과 메모리 비용을 줄이는 효율적 객체 탐지 프레임워크다.