Kimi K3는 2.8T·1M context를 ‘오픈 웨이트 이전’ API ag...
Moonshot AI의 Kimi K3는 2.8T MoE, 1M context, native vision을 내세운 Kimi의 새 flagship이다. API·Kimi Code·Kimi Work에는 이미 들어왔지만,...
Tag
#MoE
NVIDIA CuTe DSL 융합 커널은 MoE 학습의 CPU·메모리 병목을 지...
NVIDIA의 CuTe DSL 기반 MoE 융합 MLP 커널은 GEMM, GLU activation, quantization, transpose를 한 커널 경로로 묶고 tokens-per-expert 정보를 GP...
Kimi K2.7 Code는 1T MoE를 코딩 에이전트용으로 더 날카롭게 만든...
Moonshot AI의 Kimi K2.7 Code는 1T total/32B active MoE 구조를 유지하면서 장기 코딩 에이전트, preserved thinking, 멀티모달 API, self-host 배포...
MPI는 MoE 라우터를 전문가 행렬의 주성분 방향으로 당긴다
arXiv 2606.12397은 MoE router row를 각 expert weight matrix의 principal singular direction에 맞추는 Manifold Power Iteration을...
LFM2.5-8B-A1B는 온디바이스 에이전트를 위한 MoE를 128K reas...
Liquid AI의 LFM2.5-8B-A1B는 8.3B total / 1.5B active MoE를 128K 컨텍스트, 38T 토큰 학습, 확장된 토크나이저, reasoning-only 후처리와 엣지 런타임 패키...
ERNIE-4.5-VL-Thinking은 3B 활성 MoE로 멀티모달 추론을 가...
Baidu의 ERNIE-4.5-VL-28B-A3B-Thinking은 28B급 총 파라미터와 3B 활성 파라미터를 갖는 공개 VLM으로, 이미지·비디오 reasoning, grounding, tool call, 1...
SlimQwen은 거대 MoE를 그냥 자르지 않고, 사전학습 궤적까지 함께 압축...
SlimQwen은 Qwen3-Next-80A3B를 23A2B로 줄이는 과정에서 구조적 pruning, partial-preservation expert merging, KD+LM objective, MTP dis...
Nemotron 3 Super는 12B 활성 MoE를 Blackwell 추론 스...
NVIDIA Nemotron 3 Super는 120B 총 파라미터·12B 활성 파라미터의 Hybrid Mamba-Attention LatentMoE 모델 위에 NVFP4 pretraining, MTP 기반 nat...
EMO는 MoE를 거대한 단일 모델이 아니라 조립 가능한 expert 모듈로 학...
Ai2와 UC Berkeley의 EMO는 문서 경계를 약한 supervision으로 삼아 같은 문서의 토큰이 공유 expert pool 안에서 routing되도록 MoE를 사전학습한다. 1B active / 14...
ZAYA1-8B는 AMD에서 학습한 초소형 활성 reasoning MoE를 te...
Zyphra의 ZAYA1-8B는 약 0.7B 활성·8B급 총 파라미터의 reasoning MoE 위에 CCA, MLP router, learned residual scaling, Markovian RSA를 결합해...
UniPool은 MoE expert를 레이어별 자산이 아니라 전역 풀로 바꾼다
UniPool은 MoE에서 레이어마다 따로 들고 있던 expert 집합을 전역 공유 풀로 바꾸고, pool-level balancing과 NormRouter를 더해 깊이에 비례하던 expert 파라미터 증가를 느...
Qwen3.6-35B-A3B는 3B 활성 파라미터로 에이전트 코딩 성능을 밀어...
Qwen3.6-35B-A3B는 총 35B·활성 3B의 멀티모달 MoE 구조 위에 agentic coding, preserve_thinking, 초장문 컨텍스트 확장, 오픈 배포 경로를 결합해 작은 활성 비용으로...
DeepSeek-V4-Pro는 1M 컨텍스트를 49B 활성 경로로 밀어붙인다
DeepSeek-V4-Pro는 1.6T total / 49B activated MoE와 CSA·HCA 하이브리드 attention, mHC, Muon optimizer를 결합해 1M 토큰 문맥에서 추론 비용과 K...
dFactory는 Diffusion LLM 파인튜닝을 실험이 아니라 공정으로 만...
dFactory는 확산 언어 모델의 미세 조정을 위해 block diffusion, MoE 가중치 병합, 분산 학습, 병렬 디코딩 경로를 하나의 실행 가능한 프레임워크로 묶는다.