GLM-5.2의 600 tok/s는 커널 하나가 아니라 MTP acceptance를 보존한 서빙 스택의 결과다
Sionic은 B300에서 753B MoE GLM-5.2의 batch-1 생성을 600~1000 tok/s로 끌어올렸다고 보고한다. 핵심은 SASS·TMEM 기반 커널, live FP8 quantization, SGLang 런타임 패치, 그리고 MTP...
Tag1 posts
Tag1 posts
Sionic은 B300에서 753B MoE GLM-5.2의 batch-1 생성을 600~1000 tok/s로 끌어올렸다고 보고한다. 핵심은 SASS·TMEM 기반 커널, live FP8 quantization, SGLang 런타임 패치, 그리고 MTP...