Qwen-Drive-1.0은 자율주행을 위한 VLM을 어떻게 하나의 시스템으로 묶었나
Qwen-Drive-1.0은 Qwen3.5-4B의 시각·언어 경로는 유지한 채 외부 BEV 인지 헤드와 궤적 생성 Planning Expert를 붙여, 3D 인지·주행 VQA·모션 플래닝을 하나의 공개 패키지로 제공하는 자율주행 VLM이다.
Tag10 posts
#Vision-Language Models
글 목록
멀티모달 사전학습의 물리학: 무엇을 공유하고, 언제 섞고, 생성에는 얼마나 써야 하는가
arXiv 2608.05000은 언어·시각 이해·시각 생성을 하나의 모델에 함께 사전학습할 때의 지식 흐름, 용량 경쟁, 조기 통합, 데이터 비율을 통제 실험으로 분해해 실무적인 설계 규칙으로 연결한다.
VCSD는 ‘검은 이미지와의 차이’로 VLM self-distillation을 시각 근거에 묶는다
Visual Contrastive Self-Distillation(VCSD)은 EMA teacher가 원본 이미지와 content-erased control에서 낸 token distribution의 차이를 이용해, 별도 teacher·정답 hint·...
ViQ는 이미지도 텍스트처럼 ‘토큰화’하려는 시도다
ViQ는 SigLIP2 기반 시각 표현을 텍스트 정렬·근접 표현 학습·position-aware FSQ로 이산 코드화해, 임의 해상도 이미지 이해와 재구성, VLM 학습 효율을 함께 노리는 visual tokenizer 프레임워크다.
PP-OCRv6은 OCR을 거대 VLM 호출이 아니라 전문 파이프라인 문제로 되돌린다
arXiv 2606.13108과 PaddleOCR v3.7.0 릴리스, Hugging Face 배포를 함께 읽어 1.5M~34.5M급 PP-OCRv6이 왜 OCR 전용 모델의 효율과 신뢰성을 다시 전면에 세우는지 정리한다.
LFM2.5-VL-450M-Extract는 작은 VLM을 이미지→JSON 추출기로 고정한다
Liquid AI의 LFM2.5-VL-450M-Extract는 450M급 비전-언어 모델을 범용 VQA가 아니라 YAML 스키마 입력과 strict JSON 출력에 맞춘 task-specific Nano로 패키징한다. Hugging Face 모델 카드...
PaddleOCR-VL-1.6은 문서 VLM을 더 키우지 않고 약한 구간만 다시 학습한다
PaddleOCR-VL-1.6 Hugging Face 모델 카드와 기술보고서를 함께 읽어, 0.9B 문서 파싱 VLM이 under-optimized region data engine과 CPT-SFT-RL 후학습으로 OmniDocBench v1.6 96...
ERNIE-4.5-VL-Thinking은 3B 활성 MoE로 멀티모달 추론을 가볍게 밀어붙인다
Baidu의 ERNIE-4.5-VL-28B-A3B-Thinking은 28B급 총 파라미터와 3B 활성 파라미터를 갖는 공개 VLM으로, 이미지·비디오 reasoning, grounding, tool call, 128K 컨텍스트를 Apache-2.0 배...
SWIM은 비디오 객체 이해를 시각 프롬프트에서 자연어 지시로 옮긴다
SWIM은 NL-Refer와 cross-attention mask supervision으로 Qwen2.5-VL 계열 모델이 추론 시 point·box·mask 없이 자연어로 지칭한 비디오 객체에 주의를 맞추도록 학습시키는 방법이다.
MiniCPM-V 4.6은 1.3B 멀티모달 모델을 휴대폰 배포 기준으로 다시 깎는다
MiniCPM-V 4.6은 SigLIP2-400M과 Qwen3.5-0.8B, LLaVA-UHD v4식 시각 토큰 압축을 결합해 이미지·비디오 이해를 1.3B 규모와 모바일 배포 surface로 끌어내린 공개 VLM이다.