NVIDIA CuTe DSL 융합 커널은 MoE 학습의 CPU·메모리 병목을 지운다
NVIDIA의 CuTe DSL 기반 MoE 융합 MLP 커널은 GEMM, GLU activation, quantization, transpose를 한 커널 경로로 묶고 tokens-per-expert 정보를 GPU 안에 유지해, GB200/GB300...
Tag7 posts
#NVIDIA
글 목록
NVIDIA의 JAX MaxText NVFP4는 4비트 학습을 실행 레시피로 내린다
NVIDIA의 JAX/MaxText NVFP4 글은 Blackwell GB200·GB300에서 MLP GEMM을 4비트 NVFP4로 낮추되 RHT, 2D weight scaling, stochastic rounding, 선택적 고정밀 경로를 묶어 FP...
Nemotron-Orchestrator-8B는 작은 8B 모델로 더 큰 에이전트 시스템을 지휘한다
NVIDIA의 Nemotron-Orchestrator-8B는 Qwen3-8B 기반의 경량 orchestrator를 RL로 학습시켜, 검색·코드 실행·전문 모델·거대 범용 모델을 상황별로 배치하며 GPT-5보다 더 높은 HLE 점수와 더 나은 비용 효율...
Nemotron-Labs-Diffusion은 AR·Diffusion·Self-Speculation을 한 모델에서 스위칭한다
NVIDIA Nemotron-Labs-Diffusion은 동일한 백본에서 오토리그레시브, 블록 단위 디퓨전, self-speculation 디코딩을 전환해 품질과 저동시성 추론 효율을 함께 노리는 tri-mode 언어 모델 패밀리다.
NVIDIA AI-Q는 딥리서치를 에이전트 하네스 밖의 전문 스킬로 분리한다
NVIDIA의 AI-Q agent skill은 Claude Code, Codex, OpenCode 같은 범용 에이전트 하네스가 리서치 파이프라인을 직접 재구현하지 않고, 로컬 또는 사내 AI-Q 서버에 장기 리서치 작업을 위임하도록 만드는 경계 설계다...
Nemotron 3 Super는 12B 활성 MoE를 Blackwell 추론 스택까지 같이 설계한다
NVIDIA Nemotron 3 Super는 120B 총 파라미터·12B 활성 파라미터의 Hybrid Mamba-Attention LatentMoE 모델 위에 NVFP4 pretraining, MTP 기반 native speculative decodi...
Unsloth와 NVIDIA의 협업은 LLM 학습 병목을 커널 밖에서 줄인다
Unsloth의 NVIDIA 협업 글은 packed sequence metadata 캐싱, double-buffered checkpoint reload, MoE routing 최적화처럼 커널 주변의 동기화와 데이터 이동 병목을 줄여 LLM 파인튜닝을...