VisionWeave: 시각 토큰을 버리지 않고 해상도를 배분한다
VisionWeave는 공간 블록마다 정밀 토큰과 압축 토큰을 선택해 시각 표현의 밀도를 학습한다. 토큰 절감·서빙 효과와 아직 공개되지 않은 학습 가중치를 함께 살핀다.
Tag4 posts
#SGLang
글 목록
GLM-5.2의 600 tok/s는 커널 하나가 아니라 MTP acceptance를 보존한 서빙 스택의 결과다
Sionic은 B300에서 753B MoE GLM-5.2의 batch-1 생성을 600~1000 tok/s로 끌어올렸다고 보고한다. 핵심은 SASS·TMEM 기반 커널, live FP8 quantization, SGLang 런타임 패치, 그리고 MTP...
SGLang Waterfill·LPLB는 MoE 서빙의 느린 rank를 dispatch-time에 줄인다
LMSYS의 Waterfill·LPLB 글은 SGLang/DeepEP MoE inference에서 shared expert와 redundant expert replica를 runtime에 재배치해 EP rank imbalance를 줄이는 두 가지 di...
dFactory는 Diffusion LLM 파인튜닝을 실험이 아니라 공정으로 만든다
dFactory는 확산 언어 모델의 미세 조정을 위해 block diffusion, MoE 가중치 병합, 분산 학습, 병렬 디코딩 경로를 하나의 실행 가능한 프레임워크로 묶는다.