NVIDIA CuTe DSL 융합 커널은 MoE 학습의 CPU·메모리 병목을 지운다
NVIDIA의 CuTe DSL 기반 MoE 융합 MLP 커널은 GEMM, GLU activation, quantization, transpose를 한 커널 경로로 묶고 tokens-per-expert 정보를 GPU 안에 유지해, GB200/GB300...
Tag4 posts
#Training Systems
글 목록
NVIDIA의 JAX MaxText NVFP4는 4비트 학습을 실행 레시피로 내린다
NVIDIA의 JAX/MaxText NVFP4 글은 Blackwell GB200·GB300에서 MLP GEMM을 4비트 NVFP4로 낮추되 RHT, 2D weight scaling, stochastic rounding, 선택적 고정밀 경로를 묶어 FP...
LongLive-2.0은 긴 비디오 생성을 NVFP4 학습·추론 시스템 문제로 바꾼다
NVIDIA LongLive-2.0은 Balanced SP, NVFP4 학습·추론, KV-cache 양자화, asynchronous VAE decoding을 묶어 긴 비디오 생성의 학습 비용과 실시간 추론 병목을 동시에 낮추려는 공개 시스템 릴리스다.
Unsloth와 NVIDIA의 협업은 LLM 학습 병목을 커널 밖에서 줄인다
Unsloth의 NVIDIA 협업 글은 packed sequence metadata 캐싱, double-buffered checkpoint reload, MoE routing 최적화처럼 커널 주변의 동기화와 데이터 이동 병목을 줄여 LLM 파인튜닝을...