Transformer의 문제는 컨텍스트 길이가 아니라 상태 추적의 위상일 수 있다
Google DeepMind의 arXiv 2604.17121은 feedforward Transformer가 긴 문맥 검색에는 강하지만, 시간에 따라 변하는 belief state를 반복 갱신하는 상태 추적에는 구조적으로 불리하다고 주장한다.
Tag1 posts
Tag1 posts
Google DeepMind의 arXiv 2604.17121은 feedforward Transformer가 긴 문맥 검색에는 강하지만, 시간에 따라 변하는 belief state를 반복 갱신하는 상태 추적에는 구조적으로 불리하다고 주장한다.