Transformer의 문제는 컨텍스트 길이가 아니라 상태 추적의 위상일 수 있다
Google DeepMind의 arXiv 2604.17121은 feedforward Transformer가 긴 문맥 검색에는 강하지만, 시간에 따라 변하는 belief state를 반복 갱신하는 상태 추적에는 구조적으로 불리하다고 주장한다.
Tag2 posts
#State Space Model
글 목록
Priming은 사전학습 Transformer를 Hybrid SSM으로 바꾸는 지름길을 제안한다
arXiv 2605.08301은 Qwen·Llama·Mistral 계열 사전학습 Transformer에서 일부 attention layer를 SSM layer로 바꾸고, 짧은 alignment와 post-training만으로 128K long-cont...