Ctx2Skill은 긴 문맥을 읽는 능력을 파라미터가 아니라 스킬 문서로 끌어올린다
Ctx2Skill은 복잡한 문맥에서 규칙과 절차를 자연어 스킬로 추출해 언어모델의 context learning을 강화하는 self-play 프레임워크로, 인간 주석과 외부 실행 피드백 없이도 closed-source 모델에 꽂아 넣을 수 있는 해석 가능한 skill layer를 제안한다.
Tag
#Prompt Engineering
Prompt Engineering 태그가 붙은 글입니다.
Prompt-Level Distillation은 추론을 가중치가 아니라 프롬프트로 증류한다
Prompt-Level Distillation은 교사 모델의 추론 규칙을 학생 모델의 시스템 프롬프트로 옮겨, 파인튜닝 없이도 작은 모델이 복잡한 분류 추론을 더 빠르고 투명하게 수행하도록 만든다.