Repo-To-Skill은 GitHub 저장소를 실행 가능한 연구 에이전트 지식...
Repo-To-Skill은 DisCo가 repository·paper·task 자료에서 절차·검증·복구 경로를 skill graph로 증류하고, AREX-Skill Library가 필요한 분기만 research...
Tag
#Knowledge Distillation
4비트가 16비트를 이긴 이유는 양자화가 아니라 두 번째 증류였다
Quantization-Aware Healing은 구조적으로 압축한 4비트 LLM을 원본 teacher에 다시 증류해, 양자화를 손실 단계가 아니라 배포 직전의 두 번째 복구 단계로 바꾼다.
Moebius: 0.22B 인페인팅으로 10B급 모델의 속도 장벽을 흔들다
Moebius는 LλMI 블록과 latent-space distillation으로 226M 파라미터 이미지 인페인팅 모델을 만들고, 10B급 범용 생성 모델 대비 훨씬 낮은 비용의 품질-속도 절충점을 제시한다.
LEAF는 작은 embedding 모델을 teacher와 같은 벡터 공간에 맞춘...
LEAF는 teacher embedding을 직접 근사하는 단순한 증류 목표로 23M text embedding 모델을 만들고, 문서는 큰 teacher로 질의는 작은 leaf로 처리하는 비대칭 검색 구조까지 열...
SlimQwen은 거대 MoE를 그냥 자르지 않고, 사전학습 궤적까지 함께 압축...
SlimQwen은 Qwen3-Next-80A3B를 23A2B로 줄이는 과정에서 구조적 pruning, partial-preservation expert merging, KD+LM objective, MTP dis...