DualOptim+는 LLM 언러닝의 optimizer state를 공유와 분리 사이에서 조절한다
DualOptim+는 forget·retain 목표의 공통 성분은 base state로 공유하고 충돌하는 잔차는 delta state로 분리해, LLM machine unlearning의 망각-유틸리티 균형을 개선하려는 optimizer 설계다.
Tag1 posts
Tag1 posts
DualOptim+는 forget·retain 목표의 공통 성분은 base state로 공유하고 충돌하는 잔차는 delta state로 분리해, LLM machine unlearning의 망각-유틸리티 균형을 개선하려는 optimizer 설계다.