HAD는 에이전트 증류에서 하네스가 바꾼 행동을 따로 가르친다
Harness-Aware Distillation은 같은 교사를 하네스 유무로 비교해, 작은 에이전트가 외부 상태·피드백에 반응하는 행동을 직접 학습하도록 한다.
Category63 posts
Model Training
파인튜닝, 증류, RL, PEFT, 학습 루프처럼 모델을 만들고 적응시키는 방법을 다룹니다.
글 목록
DN-MOPD는 교사 선택을 넘어 피드백의 크기를 맞춘다
Qwen3.5 멀티 교사 증류에서 instruction-following 신호가 수학 신호보다 과도하게 큰 문제를 찾아, 도메인별 피드백 분산을 정규화해 전문가 능력 통합을 개선한다.
Skaling은 스케일링 법칙의 실험 예산을 ‘전면 격자’에서 경계 샘플링으로 옮긴다
Skaling은 모델 크기와 학습 토큰 수가 독립적으로 loss를 낮춘다는 Chinchilla의 가정을 하나의 결합 지수로 완화하고, 저비용 L-shape 격자만으로 대규모 학습 구간의 loss를 예측하려는 스케일링 법칙이다.
D³-MOPD는 멀티티처 증류의 도메인 비중을 학습 중에 다시 배분한다
D³-MOPD는 multi-teacher on-policy distillation에서 이미 계산되는 도메인별 reverse-KL을 이용해, 빠르게 수렴한 도메인에서 아직 개선 중인 도메인으로 rollout 예산을 동적으로 옮기는 zero-overhea...
Agent-G²는 에이전트 RL의 힌트 깊이를 하나의 값이 아니라 분포로 학습한다
Agent-G²는 장기 에이전트 과제에서 expert trajectory의 prefix를 얼마나 남길지 Gaussian 분포로 샘플링하고, 별도 probe rollout 없이 기존 GRPO rollout 통계만으로 guidance schedule을 갱...
4비트가 16비트를 이긴 이유는 양자화가 아니라 두 번째 증류였다
Quantization-Aware Healing은 구조적으로 압축한 4비트 LLM을 원본 teacher에 다시 증류해, 양자화를 손실 단계가 아니라 배포 직전의 두 번째 복구 단계로 바꾼다.
OPD는 답보다 교사의 정책을 옮기고, 그래서 다중 교사에서 줄다리기가 된다
Every Coin Has Two Sides는 on-policy distillation이 교사의 문제별 정답보다 reasoning behavior를 전이하며, 같은 계보 teacher에서는 범위를 넓히지만 multi-teacher 조합에서는 capab...
SkillGate는 에이전트의 ‘어떤 스킬을 읽을까’를 별도 학습 문제로 만든다
SkillGate는 장기 에이전트 RL에서 스킬 이름을 고르는 극소수 토큰이 보상 신호를 거의 받지 못하는 selector credit starvation을 진단하고, 선택과 실행의 credit을 분리한 두 채널 GRPO로 이를 교정한다.
U-OPSD는 모델 자신의 다수결을 teacher context로 바꿔 정답 없이 자기 증류한다
U-OPSD는 여러 on-policy rollout의 합의를 pseudo-solution으로 만들고, 그 합의와 갈린 trajectory에만 token-level distillation을 적용해 ground truth·verifier·더 큰 teach...
Skill Entropy는 LLM의 장기 추론을 ‘정답률’이 아니라 ‘기술 전환 난이도’로 본다
Skill²-Bench와 Skill-Entropy RL은 긴 reasoning chain에서 모델이 앞 단계의 기술을 관성적으로 재사용하지 않고 다음 단계에 맞는 skill로 전환하는 능력을 측정하고 훈련하는 프레임워크다.
멀티모달 사전학습의 물리학: 무엇을 공유하고, 언제 섞고, 생성에는 얼마나 써야 하는가
arXiv 2608.05000은 언어·시각 이해·시각 생성을 하나의 모델에 함께 사전학습할 때의 지식 흐름, 용량 경쟁, 조기 통합, 데이터 비율을 통제 실험으로 분해해 실무적인 설계 규칙으로 연결한다.
Experience Distillation은 agent의 시행착오를 context에서 가중치로 옮긴다
Experience Distillation(EPD)은 agent가 실제 환경에서 모은 긴 시행착오 기록을 경험 context로 읽는 교사의 다음 결정으로 바꾼 뒤, 새 환경 상호작용이나 world model rollout 없이 학생 모델 가중치에 di...
VCSD는 ‘검은 이미지와의 차이’로 VLM self-distillation을 시각 근거에 묶는다
Visual Contrastive Self-Distillation(VCSD)은 EMA teacher가 원본 이미지와 content-erased control에서 낸 token distribution의 차이를 이용해, 별도 teacher·정답 hint·...
SEED는 hindsight skill을 프롬프트가 아닌 정책 안으로 증류한다
arXiv 2607.14777의 SEED는 완료된 on-policy trajectory에서 hindsight skill을 만들고, 같은 행동을 skill 유무 두 문맥에서 재채점해 GRPO에 dense token-level distillation 신호...
Direct-OPD는 작은 모델의 RL 결과를 큰 모델용 보상으로 다시 쓴다
Direct-OPD는 작은 RL teacher의 최종 정책을 모방하지 않고, 사전·사후 체크포인트의 로그비에 남은 policy shift를 큰 student의 온폴리시 학습용 dense reward로 바꿔 weak-to-strong post-train...
CausalMix는 SFT 데이터 믹스를 인과추론 문제로 다시 읽는다
CausalMix는 512개 Qwen2.5-0.5B proxy run에서 데이터 상태, 도메인 비율, downstream 점수를 분리해 SFT 데이터 믹스를 상태별 causal marginal return으로 추정하는 프레임워크다.
Dockerless는 테스트 실행 없이 코딩 에이전트 패치를 검증하려 한다
arXiv 2606.28436의 Dockerless는 Docker 이미지와 테스트 실행 없이 issue·reference patch·candidate patch를 바탕으로 저장소를 읽기 전용 탐색해 패치 정합성을 점수화하고, 이를 SFT 필터와 RL...
Agents-A1은 파라미터보다 에이전트의 horizon을 스케일링한다
Agents-A1은 Qwen3.5-35B-A3B 기반 35B MoE를 45K 토큰 장기 trajectory, knowledge-action graph, domain-routed on-policy distillation로 학습해 1T급 agent ben...
OpenThoughts-Agent는 에이전트 학습을 데이터 레시피 문제로 공개한다
OpenThoughts-Agent는 100개 이상의 controlled ablation으로 agentic SFT 데이터 파이프라인을 분해하고, 100K trajectory로 Qwen3-32B를 학습해 공개 에이전트 모델의 데이터 레시피를 실험 가능한...
NVIDIA CuTe DSL 융합 커널은 MoE 학습의 CPU·메모리 병목을 지운다
NVIDIA의 CuTe DSL 기반 MoE 융합 MLP 커널은 GEMM, GLU activation, quantization, transpose를 한 커널 경로로 묶고 tokens-per-expert 정보를 GPU 안에 유지해, GB200/GB300...
VibeThinker-3B는 3B 모델에 검증 가능한 추론을 압축한다
WeiboAI의 VibeThinker-3B는 Qwen2.5-Coder-3B 위에 Spectrum-to-Signal post-training, 다중 도메인 RL, offline self-distillation, CLR test-time scaling을...
KoHRM-Text는 HRM-Text를 한국어·터미널 사전학습 실험으로 다시 읽는다
KoHRM-Text는 HRM-Text의 recurrent PrefixLM 학습 스택을 한국어, 터미널, 툴콜, 코드 데이터와 131K 토크나이저로 재구성한 1.4B급 scratch pretraining 작업 저장소다.
MPI는 MoE 라우터를 전문가 행렬의 주성분 방향으로 당긴다
arXiv 2606.12397은 MoE router row를 각 expert weight matrix의 principal singular direction에 맞추는 Manifold Power Iteration을 제안하고, 1B–11B pretraini...
NVIDIA의 JAX MaxText NVFP4는 4비트 학습을 실행 레시피로 내린다
NVIDIA의 JAX/MaxText NVFP4 글은 Blackwell GB200·GB300에서 MLP GEMM을 4비트 NVFP4로 낮추되 RHT, 2D weight scaling, stochastic rounding, 선택적 고정밀 경로를 묶어 FP...
mmGRPO는 DSPy식 LM 프로그램에 GRPO와 프롬프트 최적화를 함께 얹는다
mmGRPO는 여러 LM 모듈과 도구로 구성된 언어 모델 프로그램을 그대로 두고, 모듈 호출 단위의 GRPO와 MIPROv2 프롬프트 최적화를 조합해 더 좋은 rollout 분포를 만드는 온라인 RL 레시피다.
NoisyAgent는 에이전트를 노이즈 속에서 학습시킨다
NoisyAgent는 user/tool noise를 agentic RL rollout에 통제적으로 주입해, 깨끗한 벤치마크 성능과 실제 환경 robustness 사이의 간극을 줄이려는 에이전트 학습 프레임워크다.
DualOptim+는 LLM 언러닝의 optimizer state를 공유와 분리 사이에서 조절한다
DualOptim+는 forget·retain 목표의 공통 성분은 base state로 공유하고 충돌하는 잔차는 delta state로 분리해, LLM machine unlearning의 망각-유틸리티 균형을 개선하려는 optimizer 설계다.
효율적 코딩은 왜 신경계를 임계성과 sloppiness로 밀어 넣는가
arXiv 2605.22598은 Fisher information을 자원 제약 아래 극대화하는 단순한 Gaussian population coding 모델만으로 soft mode, 긴 상관 길이, critical slowing down, sloppin...
ProAct는 에이전트의 lookahead를 환경에 접지해 학습시킨다
ProAct는 LLM 에이전트의 내부 미래 시뮬레이션이 실제 환경과 어긋나는 simulation drift를 GLAD distillation과 MC-Critic 기반 RL로 줄이려는 agent lookahead 학습 프레임워크다.
BES는 자기개선 LLM 검색을 전방 진화와 후방 목표분해로 다시 설계한다
arXiv 2605.28814의 Bidirectional Evolutionary Search는 best-of-N과 tree search가 가진 희소 검증·자가회귀 확장 편향을 전방 evolutionary operator와 후방 sub-goal deco...
VLA 초기화는 VLM 표현을 얼마나 보존할지의 문제다
Rethinking VLM Representation for VLA Initialization은 로봇 VLA 성능을 단순한 백본 크기 문제가 아니라 embodied VQA 신호, LoRA 보존, 로봇 데이터 사전학습의 조합 문제로 다시 정리한다.
MobileLLM-R1은 서브-B reasoning model의 학습 레시피를 공개한다
arXiv 2509.24945의 MobileLLM-R1은 140M·360M·950M reasoning model을 공개하면서, 초대형 말뭉치보다 능력별 데이터 선별·재혼합·지식 압축이 작은 모델의 reasoning emergence에 더 직접적인 변수...
Forward-Forward는 역전파를 두 번의 순전파로 바꿀 수 있을까
Geoffrey Hinton의 Forward-Forward 알고리즘은 각 layer가 positive data와 negative data를 구분하는 local goodness objective로 학습하면, 역전파 없이도 작은 문제에서 의미 있는 표현을...
νGPT는 Normalized Transformer의 학습률을 작은 모델에서 큰 모델로 옮긴다
arXiv 2604.27077은 nGPT가 weight decay와 warmup 없이 빠르게 학습된다는 장점에도 불구하고 폭·깊이·토큰 horizon을 키울 때 학습률 transfer가 깨지는 문제를 보이고, alignment exponent 기반의...
Prompt tuning은 작은 벡터로 생성·임베딩·리랭킹을 잇는다
Prefix-tuning, soft prompt tuning, suffix prompt tuning, passage-specific prompt tuning을 하나의 계보로 보면, LLM을 다시 학습시키는 대신 어디에 학습 가능한 벡터를 꽂을 것인가가...
Priming은 사전학습 Transformer를 Hybrid SSM으로 바꾸는 지름길을 제안한다
arXiv 2605.08301은 Qwen·Llama·Mistral 계열 사전학습 Transformer에서 일부 attention layer를 SSM layer로 바꾸고, 짧은 alignment와 post-training만으로 128K long-cont...
SWIM은 비디오 객체 이해를 시각 프롬프트에서 자연어 지시로 옮긴다
SWIM은 NL-Refer와 cross-attention mask supervision으로 Qwen2.5-VL 계열 모델이 추론 시 point·box·mask 없이 자연어로 지칭한 비디오 객체에 주의를 맞추도록 학습시키는 방법이다.
δ-mem은 긴 컨텍스트보다 작은 온라인 상태로 LLM 기억을 붙인다
δ-mem은 frozen Transformer에 8×8 온라인 연상기억 상태를 붙이고, 그 readout으로 attention을 저랭크 보정해 장기 상호작용 메모리를 컨텍스트 확장 없이 다루려는 경량 메모리 메커니즘이다.
Karpathy의 nn-zero-to-hero는 신경망을 라이브러리가 아니라 계산 과정으로 다시 배우게 한다
karpathy/nn-zero-to-hero는 micrograd에서 makemore, GPT tokenizer까지 이어지는 코드 중심 강의 아카이브로, LLM 시대에 역전파·언어모델링·토크나이저를 손으로 복원하는 교육용 경로를 제공한다.
Attractor Models는 반복 추론을 고정점 학습 문제로 바꾼다
arXiv 2605.12466은 backbone이 출력 임베딩 초안을 만들고 attractor head가 고정점을 풀어 정제하는 구조로, looped LM의 메모리·깊이 병목을 줄이면서 770M 언어 모델과 27M reasoning 모델에서 Paret...
RL은 배운 풀이법을 조합할 때 더 강해진다
이 논문은 Pólya식 문제 해결 휴리스틱으로 같은 문제의 여러 정답 풀이를 self-generated mid-training 데이터로 만들고, 그 다양성이 이후 GRPO 기반 RL에서 더 넓은 추론 경로와 조합 행동을 끌어낸다는 점을 실험적으로 보인...
MinT는 LoRA를 학습 기법이 아니라 정책 운영 단위로 만든다
Mind Lab의 MinT 기술 보고서는 LoRA adapter를 단순 메모리 절약용 파라미터가 아니라 rollout, update, export, evaluation, serving, rollback을 통과하는 policy revision으로 정의한...
Nested Learning은 아키텍처와 옵티마이저를 같은 기억 문제로 묶는다
Nested Learning은 모델 구조와 학습 규칙을 별개의 설계물이 아니라 서로 다른 시간척도의 중첩 최적화·연상기억 문제로 해석하고, Hope와 CMS를 통해 continual learning과 long-context reasoning의 새 설계...
SU-01은 올림피아드 추론을 SFT·RL·TTS 하나의 레시피로 밀어올린다
SU-01은 30B-A3B reasoning backbone에 reverse-perplexity SFT, two-stage RL, test-time verification/refinement를 얹어 IMO·USAMO 금메달권 성능을 보고하고 Apach...
SlimQwen은 거대 MoE를 그냥 자르지 않고, 사전학습 궤적까지 함께 압축한다
SlimQwen은 Qwen3-Next-80A3B를 23A2B로 줄이는 과정에서 구조적 pruning, partial-preservation expert merging, KD+LM objective, MTP distillation, progressive...
SOD는 도구 사용 에이전트 증류를 step 단위로 조절한다
SOD는 tool-integrated reasoning에서 학생 모델의 잘못된 tool call이 만든 상태 드리프트를 step-level divergence로 감지하고, 온폴리시 증류 신호를 단계별로 재가중해 작은 Qwen3 에이전트의 수학·과학·코...
PriorVLA는 로봇 VLA 파인튜닝을 사전지식 보존 문제로 다시 정의한다
PriorVLA는 pretrained VLA를 단순 초기값으로 쓰지 않고, frozen Prior Expert와 Expert Queries로 장면·모터 priors를 보존해 OOD와 few-shot 로봇 조작 적응을 강화한다.
ELF는 확산 언어 모델을 토큰이 아니라 임베딩 공간의 flow로 다시 만든다
MIT의 ELF는 언어 생성을 연속 임베딩 공간의 Flow Matching 문제로 두고 마지막 단계에서만 토큰으로 이산화해, diffusion/flow 계열의 CFG와 self-conditioning을 언어 모델링에 더 자연스럽게 끌어온다.
MMProLong은 128K VLM 학습을 더 긴 샘플이 아니라 데이터 레시피 문제로 본다
MMProLong은 Qwen2.5-VL-7B를 32K에서 128K로 확장하며, long-document VQA 합성·pool-native 길이 분포·8:2 추출/추론 혼합이 긴 멀티모달 컨텍스트 일반화에 더 중요하다는 실험적 레시피를 제시한다.
EMO는 MoE를 거대한 단일 모델이 아니라 조립 가능한 expert 모듈로 학습한다
Ai2와 UC Berkeley의 EMO는 문서 경계를 약한 supervision으로 삼아 같은 문서의 토큰이 공유 expert pool 안에서 routing되도록 MoE를 사전학습한다. 1B active / 14B total 모델에서 full-mode...
Latent Agents는 멀티에이전트 토론을 한 모델의 잠재공간으로 압축한다
Latent Agents의 IMAD는 3개 에이전트의 토론 trace를 SFT로 학습한 뒤 GRPO의 동적 보상과 길이 클리핑으로 내재화해, 명시적 debate와 비슷하거나 더 나은 성능을 훨씬 적은 토큰으로 재현하고 agent subspace를 st...
SVP는 VLM 정렬을 더 많은 라벨이 아니라 grounding feedback 루프로 바꾼다
Sampling-based Visual Projection(SVP)은 소량의 이미지, self-captioning, GroundingDINO류 grounding feedback만으로 VLM의 시각-언어 정렬을 보강하는 post-training 레시피를...
Unsloth와 NVIDIA의 협업은 LLM 학습 병목을 커널 밖에서 줄인다
Unsloth의 NVIDIA 협업 글은 packed sequence metadata 캐싱, double-buffered checkpoint reload, MoE routing 최적화처럼 커널 주변의 동기화와 데이터 이동 병목을 줄여 LLM 파인튜닝을...
이 워크숍은 로컬 LLM 훈련을 신비화하지 않고 tokenizer·transformer·loop로 다시 분해한다
Angelos Perivolaropoulos의 'Training an LLM from Scratch, Locally'는 로컬에서 LLM을 훈련한다는 과장된 서사를 걷어내고, 작은 GPT를 tokenizer·architecture·training loo...
UniPool은 MoE expert를 레이어별 자산이 아니라 전역 풀로 바꾼다
UniPool은 MoE에서 레이어마다 따로 들고 있던 expert 집합을 전역 공유 풀로 바꾸고, pool-level balancing과 NormRouter를 더해 깊이에 비례하던 expert 파라미터 증가를 느슨하게 만든다.
LoPE는 왜 의미 없는 문장으로 GRPO의 막힌 탐색을 푸는가
LoPE는 hard question에서 실패한 롤아웃에 Lorem Ipsum 기반 프롬프트 교란을 추가해 GRPO의 zero-advantage 병목을 깨고, prompt-space exploration이 단순 추가 샘플링보다 더 넓은 reasoning...
긴 작업을 못 버티는 이유는 모델 크기가 아니라 horizon일 수 있다
이 논문은 장기 상호작용 에이전트 학습의 병목을 추상적인 탐색 난이도가 아니라 horizon length 자체에서 찾고, macro action과 subgoal decomposition 같은 horizon reduction이 RL 안정성과 일반화까지...
PRISM은 멀티모달 RL의 병목을 RL 자체보다 SFT 이후의 분포 붕괴에서 찾는다
PRISM은 멀티모달 모델의 표준 SFT→RLVR 파이프라인 사이에 black-box on-policy distillation 기반의 pre-alignment 단계를 삽입해, 시각 인식과 추론이 서로 다른 방식으로 무너지는 distributional...
Qwen3-VL은 319장·1달러 파인튜닝으로 Gemini 3 Flash를 앞질렀다
Oxen.ai의 실험은 Qwen3-VL-8B를 자동차 손상 분류에 맞춰 319장 이미지로 LoRA 파인튜닝하면, 약 1달러 학습비로 Gemini 3 Flash보다 더 높은 정확도와 더 짧은 추론 시간을 동시에 얻을 수 있음을 보여준다.
Doc-to-LoRA는 문서를 LoRA 어댑터로 즉시 내재화한다
Doc-to-LoRA는 긴 문맥을 매번 다시 읽지 않고도 답할 수 있도록, 문서에서 LoRA 어댑터를 한 번의 forward pass로 생성하는 hypernetwork를 메타학습해 context distillation의 지연과 메모리 비용을 크게 줄이...
TinyLoRA는 추론 파인튜닝을 13개 파라미터까지 압축한다
Learning to Reason in 13 Parameters는 RL 기반 post-training이 SFT보다 훨씬 정보 밀도가 높은 업데이트를 만든다는 가설 아래, TinyLoRA로 Qwen2.5-7B의 추론 성능을 단 13개 파라미터와 26바이...
Prompt-Level Distillation은 추론을 가중치가 아니라 프롬프트로 증류한다
Prompt-Level Distillation은 교사 모델의 추론 규칙을 학생 모델의 시스템 프롬프트로 옮겨, 파인튜닝 없이도 작은 모델이 복잡한 분류 추론을 더 빠르고 투명하게 수행하도록 만든다.
dFactory는 Diffusion LLM 파인튜닝을 실험이 아니라 공정으로 만든다
dFactory는 확산 언어 모델의 미세 조정을 위해 block diffusion, MoE 가중치 병합, 분산 학습, 병렬 디코딩 경로를 하나의 실행 가능한 프레임워크로 묶는다.