ELF는 확산 언어 모델을 토큰이 아니라 임베딩 공간의 flow로 다시 만든다
MIT의 ELF는 언어 생성을 연속 임베딩 공간의 Flow Matching 문제로 두고 마지막 단계에서만 토큰으로 이산화해, diffusion/flow 계열의 CFG와 self-conditioning을 언어 모델링에 더 자연스럽게 끌어온다.
Tag1 posts
Tag1 posts
MIT의 ELF는 언어 생성을 연속 임베딩 공간의 Flow Matching 문제로 두고 마지막 단계에서만 토큰으로 이산화해, diffusion/flow 계열의 CFG와 self-conditioning을 언어 모델링에 더 자연스럽게 끌어온다.