GLM-5.2의 600 tok/s는 커널 하나가 아니라 MTP acceptance를 보존한 서빙 스택의 결과다
Sionic은 B300에서 753B MoE GLM-5.2의 batch-1 생성을 600~1000 tok/s로 끌어올렸다고 보고한다. 핵심은 SASS·TMEM 기반 커널, live FP8 quantization, SGLang 런타임 패치, 그리고 MTP...
Tag2 posts
#GLM-5.2
글 목록
GLM-5.2는 1M 컨텍스트를 코딩 에이전트의 운영 문제로 끌고 온다
Z.AI의 GLM-5.2는 753B MoE, 1M-token context, IndexShare sparse attention, 개선된 MTP, slime RL 인프라, anti-hack guardrail을 묶어 장시간 코딩 에이전트 작업을 겨냥한 M...