#LLM Depth

LLM은 깊이를 효율적으로 쓰지 못하고 있을 수 있다

NeurIPS 2025에 채택된 arXiv 2505.13898은 Llama 3.1, Qwen 3, OLMo 2의 residual stream을 분석해, 깊은 Transformer의 후반부 layer가 새로운 다단계 계산보다 현재 토큰 분포를 미세 조정...