Orca는 다음 토큰이 아니라 다음 ‘세계 상태’를 예측하려 한다
BAAI의 Orca는 Next-State Prediction을 중심에 놓고 세계 잠재공간을 학습한 뒤, frozen backbone 위의 텍스트·이미지·행동 readout으로 그 표현이 실제로 쓸모 있는지 검증한 world foundation mode...
Tag13 posts
#Multimodal
글 목록
ViQ는 이미지도 텍스트처럼 ‘토큰화’하려는 시도다
ViQ는 SigLIP2 기반 시각 표현을 텍스트 정렬·근접 표현 학습·position-aware FSQ로 이산 코드화해, 임의 해상도 이미지 이해와 재구성, VLM 학습 효율을 함께 노리는 visual tokenizer 프레임워크다.
ShutterMuse는 사진 촬영 순간의 구도와 포즈를 같이 안내하는 MLLM이다
ShutterMuse는 사후 크롭이 아니라 촬영 중 구도 결정, 프레이밍 보정, 피사체 포즈 추천을 함께 다루기 위해 CaptureGuide-Bench와 130K 규모 CaptureGuide-Dataset을 제안한 Qwen3-VL 기반 멀티모달 모델이...
PerceptionDLM은 여러 이미지 영역을 한 번에 설명하는 디퓨전 VLM이다
PerceptionDLM은 오토리그레시브 방식으로 영역을 하나씩 캡션하는 병목을 피하기 위해, 여러 region mask의 설명을 한 번의 디퓨전 디노이징 과정에서 병렬 생성하도록 설계한 8B급 멀티모달 diffusion language model이다...
Gemma 4 12B는 인코더 없는 멀티모달을 로컬 에이전트 모델로 밀어 넣는다
Google의 Gemma 4 12B Unified는 11.95B dense 모델에서 별도 비전·오디오 인코더를 제거하고 raw patch와 waveform을 LLM backbone에 직접 투입해, 노트북급 로컬 에이전트와 멀티모달 앱을 겨냥한 공개 모...
ERNIE-4.5-VL-Thinking은 3B 활성 MoE로 멀티모달 추론을 가볍게 밀어붙인다
Baidu의 ERNIE-4.5-VL-28B-A3B-Thinking은 28B급 총 파라미터와 3B 활성 파라미터를 갖는 공개 VLM으로, 이미지·비디오 reasoning, grounding, tool call, 128K 컨텍스트를 Apache-2.0 배...
Lance는 멀티태스크 시너지로 이미지·비디오 이해와 생성을 한 모델에 묶는다
ByteDance의 Lance는 3B active parameter급 native unified multimodal model로, 이미지·비디오 이해, 생성, 편집을 shared interleaved context와 decoupled capabilit...
SenseNova-U1은 픽셀과 단어를 같은 기판에서 이해하고 생성한다
SenseNova-U1은 NEO-unify 기반으로 비전 인코더와 VAE를 제거하고, 픽셀 공간 생성과 MoT 구조를 결합해 이해·생성·편집·인터리브 생성을 한 모델 계열에 묶은 공개 멀티모달 릴리스다.
MiniCPM-V 4.6은 1.3B 멀티모달 모델을 휴대폰 배포 기준으로 다시 깎는다
MiniCPM-V 4.6은 SigLIP2-400M과 Qwen3.5-0.8B, LLaVA-UHD v4식 시각 토큰 압축을 결합해 이미지·비디오 이해를 1.3B 규모와 모바일 배포 surface로 끌어내린 공개 VLM이다.
Tuna-2는 비전 인코더를 버리고 픽셀 임베딩으로 통합 멀티모달을 다시 설계한다
Tuna-2는 사전학습 비전 인코더와 VAE를 제거하고 raw pixel patch embedding만으로 이해와 생성을 함께 처리해, native unified multimodal model의 복잡도를 낮추면서도 세밀한 시각 이해 성능을 끌어올리려는...
Dynin-Omni는 오토리그레시브 대신 마스크드 디퓨전으로 옴니모달을 한 백본에 밀어 넣는다
Dynin-Omni는 텍스트·이미지·음성 이해와 생성, 그리고 비디오 이해를 하나의 8B 마스크드 디퓨전 백본으로 통합해, 옴니모달 모델링을 외부 생성기 조립이 아니라 shared discrete token space 위의 iterative denoi...
Qwen3.6-35B-A3B는 3B 활성 파라미터로 에이전트 코딩 성능을 밀어 올린다
Qwen3.6-35B-A3B는 총 35B·활성 3B의 멀티모달 MoE 구조 위에 agentic coding, preserve_thinking, 초장문 컨텍스트 확장, 오픈 배포 경로를 결합해 작은 활성 비용으로 실전형 코딩 에이전트 성능을 노리는 Qw...
MiMo-V2.5는 1M 컨텍스트·오디오·에이전트를 한 모델로 묶는다
Xiaomi의 MiMo-V2.5는 310B Sparse MoE에 비전·오디오 인코더와 에이전트 후학습을 결합해, 1M 컨텍스트와 네이티브 옴니모달 이해를 하나의 공개 모델로 밀어 넣은 릴리스다.