vLLM 도구 호출 정확도: 제약 디코딩 지원과 실제 적용은 다르다
Ubicloud가 보고한 도구 호출 스키마 정확도 92%→100% 개선을 통해, 모델 가중치뿐 아니라 파서·문법·strict 기본값이 에이전트 품질을 결정하는 이유를 살펴본다.
Tag5 posts
#vLLM
글 목록
HPD-Parsing은 문서 파서를 ‘하나의 긴 생성’에서 꺼낸다
HPD-Parsing은 전체 페이지의 읽기 순서는 layout branch가 조정하고, 블록별 내용은 병렬 branch가 생성하게 해 unified 문서 파서의 긴 autoregressive decoding 병목을 줄이는 1B 모델이다.
ELDR는 MoE 디코딩 라우팅을 expert locality 문제로 바꾼다
ELDR는 PD-disaggregated MoE 서빙에서 prefill expert signature를 이용해 decode worker를 고르고, active expert union을 줄여 TPOT를 낮추는 vLLM 기반 라우팅 연구다.
DeepConf는 확신도로 LLM 병렬 추론의 낭비를 줄인다
DeepConf는 self-consistency식 병렬 추론에서 모든 reasoning trace를 같은 한 표로 취급하지 않고, 모델 내부 confidence 신호로 낮은 품질의 추론을 필터링하거나 조기 중단해 정확도와 토큰 효율을 함께 개선하려는...
OpenCompass는 LLM 평가를 실행 엔진·벤치마크 카탈로그·리더보드로 묶는다
open-compass/opencompass는 모델 하나의 점수를 계산하는 스크립트를 넘어서, 방대한 데이터셋 카탈로그·분산 실행·가속 추론·LLM-as-a-judge·공개 리더보드를 한 스택으로 엮어 LLM 평가를 반복 가능한 운영 파이프라인으로 바...