Karpathy의 nn-zero-to-hero는 신경망을 라이브러리가 아니라 계산 과정으로 다시 배우게 한다
karpathy/nn-zero-to-hero는 micrograd에서 makemore, GPT tokenizer까지 이어지는 코드 중심 강의 아카이브로, LLM 시대에 역전파·언어모델링·토크나이저를 손으로 복원하는 교육용 경로를 제공한다.
Tag2 posts
#Language Modeling
글 목록
ELF는 확산 언어 모델을 토큰이 아니라 임베딩 공간의 flow로 다시 만든다
MIT의 ELF는 언어 생성을 연속 임베딩 공간의 Flow Matching 문제로 두고 마지막 단계에서만 토큰으로 이산화해, diffusion/flow 계열의 CFG와 self-conditioning을 언어 모델링에 더 자연스럽게 끌어온다.