Forward-Forward는 역전파를 두 번의 순전파로 바꿀 수 있을까
Geoffrey Hinton의 Forward-Forward 알고리즘은 각 layer가 positive data와 negative data를 구분하는 local goodness objective로 학습하면, 역전파 없이도 작은 문제에서 의미 있는 표현을...
Tag2 posts
#Backpropagation
글 목록
Karpathy의 nn-zero-to-hero는 신경망을 라이브러리가 아니라 계산 과정으로 다시 배우게 한다
karpathy/nn-zero-to-hero는 micrograd에서 makemore, GPT tokenizer까지 이어지는 코드 중심 강의 아카이브로, LLM 시대에 역전파·언어모델링·토크나이저를 손으로 복원하는 교육용 경로를 제공한다.