CausalMix는 SFT 데이터 믹스를 인과추론 문제로 다시 읽는다
CausalMix는 512개 Qwen2.5-0.5B proxy run에서 데이터 상태, 도메인 비율, downstream 점수를 분리해 SFT 데이터 믹스를 상태별 causal marginal return으로 추정하는 프레임워크다.
Tag2 posts
#Supervised Fine-Tuning
글 목록
OpenThoughts-Agent는 에이전트 학습을 데이터 레시피 문제로 공개한다
OpenThoughts-Agent는 100개 이상의 controlled ablation으로 agentic SFT 데이터 파이프라인을 분해하고, 100K trajectory로 Qwen3-32B를 학습해 공개 에이전트 모델의 데이터 레시피를 실험 가능한...