Category68 posts

Foundation Models

기반모델, 멀티모달 모델, MoE, 비전 백본, 모델 아키텍처 포지셔닝을 정리합니다.

글 목록

Foundation Models

Joey-1: 긴 답변 대신 20ms의 작은 결정을 노린다

Baseten의 Joey-1은 Qwen3.5-2B를 분류·라우팅·점수 판단에 맞게 후학습한 모델이다. 공통 입력을 재사용하는 구조와 입력 100만 토큰당 0.01달러의 의미, 성능·확률·배포 범위를 나눠 살펴본다.

Foundation Models

FVQ: 시각 토큰을 이산화해도 이해 성능을 지킬 수 있을까

FVQ는 시각 특징의 재구성 오차와 멀티모달 이해 성능을 분리하고, 병렬 코드북의 비트 예산을 확장해 이산 표현의 가능성을 검증한다. 통제 실험과 대규모 학습 결과, 실제 모델 공개 상태를 구분해 살펴본다.

Foundation Models

TimesFM-3는 다변량 시계열을 한 번의 추론으로 예측하려 한다

TimesFM-3는 목표 시계열·과거 공변량·알려진 미래 공변량을 함께 읽고 시간축 인과 주의와 변수축 전체 주의를 교차시켜, fine-tuning 없이 다변량 예측과 분위수 예측을 한 번의 forward pass로 수행하려는 3억 3천만 파라미터 시...

Foundation Models

왜 비전도 결국 Transformer로 수렴했는가

Isaac Robinson의 짧은 발표는 CNN에서 ViT, Swin, ConvNeXt, Hiera, DINOv3, SAM3, RF-DETR로 이어지는 흐름을 따라가며, 비전에서 Transformer가 늦게 이겼지만 한 번 이기기 시작한 뒤 왜 빠르게...