Transformer는 두 입력의 다음 토큰 분포를 겹쳐 표현할 수 있을까
서로 다른 텍스트의 토큰 임베딩을 섞었을 때 Transformer 출력에 각 문맥의 예측 신호가 남는다는 가설과, 이를 복원하는 학습·디코딩 실험을 검토한다.
Tag2 posts
#Transformers
글 목록
ctxl-rerank-v2 seq-cls는 CausalLM reranker를 표준 CrossEncoder로 감싼다
sigridjineth/ctxl-rerank-v2-1b-seq-cls는 Contextual AI Reranker v2 1B의 마지막 토큰 vocab_id=0 logit을 단일 SequenceClassification score head로 옮겨, 원래...