S-Space: 모델은 위치를 알면서도 시점 전환을 틀린다
S-Space는 멀티모달 모델의 객체 토큰에서 공간 좌표를 읽고 개입해, 위치 지각과 시점 변환 추론의 실패를 분리하는 진단 방법이다.
Tag3 posts
#Mechanistic Interpretability
글 목록
LLM은 깊이를 효율적으로 쓰지 못하고 있을 수 있다
NeurIPS 2025에 채택된 arXiv 2505.13898은 Llama 3.1, Qwen 3, OLMo 2의 residual stream을 분석해, 깊은 Transformer의 후반부 layer가 새로운 다단계 계산보다 현재 토큰 분포를 미세 조정...
Qwen-Scope는 SAE를 해석 도구에서 개발 인터페이스로 밀어 올린다
Qwen-Scope는 Qwen3·Qwen3.5 계열 7개 모델에 대해 14개 그룹의 sparse autoencoder를 공개하고, 이를 추론 조종·벤치마크 분석·안전 데이터 합성·사후 훈련 최적화까지 연결해 SAE를 사후 해석 기법이 아니라 재사용 가...