Joey-1: 긴 답변 대신 20ms의 작은 결정을 노린다
Baseten의 Joey-1은 Qwen3.5-2B를 분류·라우팅·점수 판단에 맞게 후학습한 모델이다. 공통 입력을 재사용하는 구조와 입력 100만 토큰당 0.01달러의 의미, 성능·확률·배포 범위를 나눠 살펴본다.
Tag2 posts
#Model Serving
글 목록
Vela 2.0: 라우팅 질문을 한 모델 인터페이스로 묶다
vLLM-SR의 Vela 2.0은 여러 라우팅 신호를 공통 질문 모델로 통합하지만, CPU 지연·작업별 정확도·평가 선택 편향을 함께 따져야 한다.