Motif 3는 314B MoE를 7개 전문 교사의 단일 정책으로 묶는다
Motif 3는 314B total·13.2B activated MoE, 256K context, GDLA와 MOPD를 결합해 큰 희소 모델의 용량을 도구 사용·코드·장문 추론 전문성으로 통합하려는 공개 모델 릴리스다.
Tag15 posts
#MoE
글 목록
Kimi K3는 2.8T·104B 활성 경로를 open weight로 공개했다
Moonshot AI의 Kimi K3는 2.8T parameter·104B activated MoE, 1M context, native vision을 내세운 모델이다. 96개 safetensors shard의 full weight와 47쪽 techni...
NVIDIA CuTe DSL 융합 커널은 MoE 학습의 CPU·메모리 병목을 지운다
NVIDIA의 CuTe DSL 기반 MoE 융합 MLP 커널은 GEMM, GLU activation, quantization, transpose를 한 커널 경로로 묶고 tokens-per-expert 정보를 GPU 안에 유지해, GB200/GB300...
Kimi K2.7 Code는 1T MoE를 코딩 에이전트용으로 더 날카롭게 만든다
Moonshot AI의 Kimi K2.7 Code는 1T total/32B active MoE 구조를 유지하면서 장기 코딩 에이전트, preserved thinking, 멀티모달 API, self-host 배포 경로를 함께 밀어 넣은 코딩 특화 공개...
MPI는 MoE 라우터를 전문가 행렬의 주성분 방향으로 당긴다
arXiv 2606.12397은 MoE router row를 각 expert weight matrix의 principal singular direction에 맞추는 Manifold Power Iteration을 제안하고, 1B–11B pretraini...
LFM2.5-8B-A1B는 온디바이스 에이전트를 위한 MoE를 128K reasoning 모델로 다시 조정한다
Liquid AI의 LFM2.5-8B-A1B는 8.3B total / 1.5B active MoE를 128K 컨텍스트, 38T 토큰 학습, 확장된 토크나이저, reasoning-only 후처리와 엣지 런타임 패키징으로 갱신한 온디바이스 에이전트 모델...
ERNIE-4.5-VL-Thinking은 3B 활성 MoE로 멀티모달 추론을 가볍게 밀어붙인다
Baidu의 ERNIE-4.5-VL-28B-A3B-Thinking은 28B급 총 파라미터와 3B 활성 파라미터를 갖는 공개 VLM으로, 이미지·비디오 reasoning, grounding, tool call, 128K 컨텍스트를 Apache-2.0 배...
SlimQwen은 거대 MoE를 그냥 자르지 않고, 사전학습 궤적까지 함께 압축한다
SlimQwen은 Qwen3-Next-80A3B를 23A2B로 줄이는 과정에서 구조적 pruning, partial-preservation expert merging, KD+LM objective, MTP distillation, progressive...
Nemotron 3 Super는 12B 활성 MoE를 Blackwell 추론 스택까지 같이 설계한다
NVIDIA Nemotron 3 Super는 120B 총 파라미터·12B 활성 파라미터의 Hybrid Mamba-Attention LatentMoE 모델 위에 NVFP4 pretraining, MTP 기반 native speculative decodi...
EMO는 MoE를 거대한 단일 모델이 아니라 조립 가능한 expert 모듈로 학습한다
Ai2와 UC Berkeley의 EMO는 문서 경계를 약한 supervision으로 삼아 같은 문서의 토큰이 공유 expert pool 안에서 routing되도록 MoE를 사전학습한다. 1B active / 14B total 모델에서 full-mode...
ZAYA1-8B는 AMD에서 학습한 초소형 활성 reasoning MoE를 test-time compute 시대로 밀어 붙인다
Zyphra의 ZAYA1-8B는 약 0.7B 활성·8B급 총 파라미터의 reasoning MoE 위에 CCA, MLP router, learned residual scaling, Markovian RSA를 결합해 작은 활성 계산량으로 수학·코딩 추론...
UniPool은 MoE expert를 레이어별 자산이 아니라 전역 풀로 바꾼다
UniPool은 MoE에서 레이어마다 따로 들고 있던 expert 집합을 전역 공유 풀로 바꾸고, pool-level balancing과 NormRouter를 더해 깊이에 비례하던 expert 파라미터 증가를 느슨하게 만든다.
Qwen3.6-35B-A3B는 3B 활성 파라미터로 에이전트 코딩 성능을 밀어 올린다
Qwen3.6-35B-A3B는 총 35B·활성 3B의 멀티모달 MoE 구조 위에 agentic coding, preserve_thinking, 초장문 컨텍스트 확장, 오픈 배포 경로를 결합해 작은 활성 비용으로 실전형 코딩 에이전트 성능을 노리는 Qw...
DeepSeek-V4-Pro는 1M 컨텍스트를 49B 활성 경로로 밀어붙인다
DeepSeek-V4-Pro는 1.6T total / 49B activated MoE와 CSA·HCA 하이브리드 attention, mHC, Muon optimizer를 결합해 1M 토큰 문맥에서 추론 비용과 KV-cache를 크게 줄이면서도 코딩·추...
dFactory는 Diffusion LLM 파인튜닝을 실험이 아니라 공정으로 만든다
dFactory는 확산 언어 모델의 미세 조정을 위해 block diffusion, MoE 가중치 병합, 분산 학습, 병렬 디코딩 경로를 하나의 실행 가능한 프레임워크로 묶는다.