FVQ: 시각 토큰을 이산화해도 이해 성능을 지킬 수 있을까
FVQ는 시각 특징의 재구성 오차와 멀티모달 이해 성능을 분리하고, 병렬 코드북의 비트 예산을 확장해 이산 표현의 가능성을 검증한다. 통제 실험과 대규모 학습 결과, 실제 모델 공개 상태를 구분해 살펴본다.
Tag2 posts
#Visual Tokenization
글 목록
ViQ는 이미지도 텍스트처럼 ‘토큰화’하려는 시도다
ViQ는 SigLIP2 기반 시각 표현을 텍스트 정렬·근접 표현 학습·position-aware FSQ로 이산 코드화해, 임의 해상도 이미지 이해와 재구성, VLM 학습 효율을 함께 노리는 visual tokenizer 프레임워크다.