DN-MOPD는 교사 선택을 넘어 피드백의 크기를 맞춘다
Qwen3.5 멀티 교사 증류에서 instruction-following 신호가 수학 신호보다 과도하게 큰 문제를 찾아, 도메인별 피드백 분산을 정규화해 전문가 능력 통합을 개선한다.
Tag6 posts
#Knowledge Distillation
글 목록
Repo-To-Skill은 GitHub 저장소를 실행 가능한 연구 에이전트 지식으로 바꾼다
Repo-To-Skill은 DisCo가 repository·paper·task 자료에서 절차·검증·복구 경로를 skill graph로 증류하고, AREX-Skill Library가 필요한 분기만 research agent에 로드하는 운영 지식 계층을...
4비트가 16비트를 이긴 이유는 양자화가 아니라 두 번째 증류였다
Quantization-Aware Healing은 구조적으로 압축한 4비트 LLM을 원본 teacher에 다시 증류해, 양자화를 손실 단계가 아니라 배포 직전의 두 번째 복구 단계로 바꾼다.
Moebius: 0.22B 인페인팅으로 10B급 모델의 속도 장벽을 흔들다
Moebius는 LλMI 블록과 latent-space distillation으로 226M 파라미터 이미지 인페인팅 모델을 만들고, 10B급 범용 생성 모델 대비 훨씬 낮은 비용의 품질-속도 절충점을 제시한다.
LEAF는 작은 embedding 모델을 teacher와 같은 벡터 공간에 맞춘다
LEAF는 teacher embedding을 직접 근사하는 단순한 증류 목표로 23M text embedding 모델을 만들고, 문서는 큰 teacher로 질의는 작은 leaf로 처리하는 비대칭 검색 구조까지 열어 주는 MongoDB Research의...
SlimQwen은 거대 MoE를 그냥 자르지 않고, 사전학습 궤적까지 함께 압축한다
SlimQwen은 Qwen3-Next-80A3B를 23A2B로 줄이는 과정에서 구조적 pruning, partial-preservation expert merging, KD+LM objective, MTP distillation, progressive...