NVIDIA CuTe DSL 융합 커널은 MoE 학습의 CPU·메모리 병목을 지운다
NVIDIA의 CuTe DSL 기반 MoE 융합 MLP 커널은 GEMM, GLU activation, quantization, transpose를 한 커널 경로로 묶고 tokens-per-expert 정보를 GPU 안에 유지해, GB200/GB300...
Tag1 posts
Tag1 posts
NVIDIA의 CuTe DSL 기반 MoE 융합 MLP 커널은 GEMM, GLU activation, quantization, transpose를 한 커널 경로로 묶고 tokens-per-expert 정보를 GPU 안에 유지해, GB200/GB300...