Transformer의 문제는 컨텍스트 길이가 아니라 상태 추적의 위상일 수 있다
Google DeepMind의 arXiv 2604.17121은 feedforward Transformer가 긴 문맥 검색에는 강하지만, 시간에 따라 변하는 belief state를 반복 갱신하는 상태 추적에는 구조적으로 불리하다고 주장한다.
Tag4 posts
#Transformer
글 목록
LLM은 깊이를 효율적으로 쓰지 못하고 있을 수 있다
NeurIPS 2025에 채택된 arXiv 2505.13898은 Llama 3.1, Qwen 3, OLMo 2의 residual stream을 분석해, 깊은 Transformer의 후반부 layer가 새로운 다단계 계산보다 현재 토큰 분포를 미세 조정...
이 워크숍은 로컬 LLM 훈련을 신비화하지 않고 tokenizer·transformer·loop로 다시 분해한다
Angelos Perivolaropoulos의 'Training an LLM from Scratch, Locally'는 로컬에서 LLM을 훈련한다는 과장된 서사를 걷어내고, 작은 GPT를 tokenizer·architecture·training loo...
OmniShotCut은 샷 경계 검출을 컷 포인트 찾기에서 관계 예측과 벤치마크 설계 문제로 바꾼다
OmniShotCut은 shot boundary detection을 단순 프레임 경계 검출이 아니라 intra-shot·inter-shot 관계를 함께 예측하는 구조적 문제로 재정의하고, 합성 전환 데이터와 현대적 벤치마크를 함께 설계해 영상 분할 파...