Skaling은 스케일링 법칙의 실험 예산을 ‘전면 격자’에서 경계 샘플링으로 옮긴다
Skaling은 모델 크기와 학습 토큰 수가 독립적으로 loss를 낮춘다는 Chinchilla의 가정을 하나의 결합 지수로 완화하고, 저비용 L-shape 격자만으로 대규모 학습 구간의 loss를 예측하려는 스케일링 법칙이다.
Tag5 posts
#LLM Training
글 목록
4비트가 16비트를 이긴 이유는 양자화가 아니라 두 번째 증류였다
Quantization-Aware Healing은 구조적으로 압축한 4비트 LLM을 원본 teacher에 다시 증류해, 양자화를 손실 단계가 아니라 배포 직전의 두 번째 복구 단계로 바꾼다.
DualOptim+는 LLM 언러닝의 optimizer state를 공유와 분리 사이에서 조절한다
DualOptim+는 forget·retain 목표의 공통 성분은 base state로 공유하고 충돌하는 잔차는 delta state로 분리해, LLM machine unlearning의 망각-유틸리티 균형을 개선하려는 optimizer 설계다.
이 워크숍은 로컬 LLM 훈련을 신비화하지 않고 tokenizer·transformer·loop로 다시 분해한다
Angelos Perivolaropoulos의 'Training an LLM from Scratch, Locally'는 로컬에서 LLM을 훈련한다는 과장된 서사를 걷어내고, 작은 GPT를 tokenizer·architecture·training loo...
긴 작업을 못 버티는 이유는 모델 크기가 아니라 horizon일 수 있다
이 논문은 장기 상호작용 에이전트 학습의 병목을 추상적인 탐색 난이도가 아니라 horizon length 자체에서 찾고, macro action과 subgoal decomposition 같은 horizon reduction이 RL 안정성과 일반화까지...