MMProLong은 128K VLM 학습을 더 긴 샘플이 아니라 데이터 레시피 문제로 본다
MMProLong은 Qwen2.5-VL-7B를 32K에서 128K로 확장하며, long-document VQA 합성·pool-native 길이 분포·8:2 추출/추론 혼합이 긴 멀티모달 컨텍스트 일반화에 더 중요하다는 실험적 레시피를 제시한다.
Tag1 posts
Tag1 posts
MMProLong은 Qwen2.5-VL-7B를 32K에서 128K로 확장하며, long-document VQA 합성·pool-native 길이 분포·8:2 추출/추론 혼합이 긴 멀티모달 컨텍스트 일반화에 더 중요하다는 실험적 레시피를 제시한다.