Orca는 다음 토큰이 아니라 다음 ‘세계 상태’를 예측하려 한다
BAAI의 Orca는 Next-State Prediction을 중심에 놓고 세계 잠재공간을 학습한 뒤, frozen backbone 위의 텍스트·이미지·행동 readout으로 그 표현이 실제로 쓸모 있는지 검증한...
Tag
#Next-State Prediction
Next-State Prediction 태그가 붙은 글입니다.
Tag
Next-State Prediction 태그가 붙은 글입니다.
BAAI의 Orca는 Next-State Prediction을 중심에 놓고 세계 잠재공간을 학습한 뒤, frozen backbone 위의 텍스트·이미지·행동 readout으로 그 표현이 실제로 쓸모 있는지 검증한...