CausalMix는 SFT 데이터 믹스를 인과추론 문제로 다시 읽는다
CausalMix는 512개 Qwen2.5-0.5B proxy run에서 데이터 상태, 도메인 비율, downstream 점수를 분리해 SFT 데이터 믹스를 상태별 causal marginal return으로 추...
Tag
#Data Mixture
Data Mixture 태그가 붙은 글입니다.
Tag
Data Mixture 태그가 붙은 글입니다.
CausalMix는 512개 Qwen2.5-0.5B proxy run에서 데이터 상태, 도메인 비율, downstream 점수를 분리해 SFT 데이터 믹스를 상태별 causal marginal return으로 추...