멀티모달 사전학습의 물리학: 무엇을 공유하고, 언제 섞고, 생성에는 얼마나 써야...
arXiv 2608.05000은 언어·시각 이해·시각 생성을 하나의 모델에 함께 사전학습할 때의 지식 흐름, 용량 경쟁, 조기 통합, 데이터 비율을 통제 실험으로 분해해 실무적인 설계 규칙으로 연결한다.
Tag
#Vision-Language Models
VCSD는 ‘검은 이미지와의 차이’로 VLM self-distillation을...
Visual Contrastive Self-Distillation(VCSD)은 EMA teacher가 원본 이미지와 content-erased control에서 낸 token distribution의 차이를 이용...
ViQ는 이미지도 텍스트처럼 ‘토큰화’하려는 시도다
ViQ는 SigLIP2 기반 시각 표현을 텍스트 정렬·근접 표현 학습·position-aware FSQ로 이산 코드화해, 임의 해상도 이미지 이해와 재구성, VLM 학습 효율을 함께 노리는 visual token...
PP-OCRv6은 OCR을 거대 VLM 호출이 아니라 전문 파이프라인 문제로 되...
arXiv 2606.13108과 PaddleOCR v3.7.0 릴리스, Hugging Face 배포를 함께 읽어 1.5M~34.5M급 PP-OCRv6이 왜 OCR 전용 모델의 효율과 신뢰성을 다시 전면에 세우는지...
LFM2.5-VL-450M-Extract는 작은 VLM을 이미지→JSON 추출기...
Liquid AI의 LFM2.5-VL-450M-Extract는 450M급 비전-언어 모델을 범용 VQA가 아니라 YAML 스키마 입력과 strict JSON 출력에 맞춘 task-specific Nano로 패키징...
PaddleOCR-VL-1.6은 문서 VLM을 더 키우지 않고 약한 구간만 다시...
PaddleOCR-VL-1.6 Hugging Face 모델 카드와 기술보고서를 함께 읽어, 0.9B 문서 파싱 VLM이 under-optimized region data engine과 CPT-SFT-RL 후학습으...
ERNIE-4.5-VL-Thinking은 3B 활성 MoE로 멀티모달 추론을 가...
Baidu의 ERNIE-4.5-VL-28B-A3B-Thinking은 28B급 총 파라미터와 3B 활성 파라미터를 갖는 공개 VLM으로, 이미지·비디오 reasoning, grounding, tool call, 1...
SWIM은 비디오 객체 이해를 시각 프롬프트에서 자연어 지시로 옮긴다
SWIM은 NL-Refer와 cross-attention mask supervision으로 Qwen2.5-VL 계열 모델이 추론 시 point·box·mask 없이 자연어로 지칭한 비디오 객체에 주의를 맞추도록...
MiniCPM-V 4.6은 1.3B 멀티모달 모델을 휴대폰 배포 기준으로 다시...
MiniCPM-V 4.6은 SigLIP2-400M과 Qwen3.5-0.8B, LLaVA-UHD v4식 시각 토큰 압축을 결합해 이미지·비디오 이해를 1.3B 규모와 모바일 배포 surface로 끌어내린 공개 VL...