ThriftAttention은 긴 컨텍스트 FP4 어텐션을 선택적 혼합정밀로 보...
ThriftAttention은 Blackwell FP4 어텐션의 장기 컨텍스트 품질 저하를 전체 고정밀 계산이 아니라 중요한 query-key block만 FP16으로 승격하는 선택적 혼합정밀 방식으로 줄이려는...
Tag
#FP4 Attention
FP4 Attention 태그가 붙은 글입니다.
Tag
FP4 Attention 태그가 붙은 글입니다.
ThriftAttention은 Blackwell FP4 어텐션의 장기 컨텍스트 품질 저하를 전체 고정밀 계산이 아니라 중요한 query-key block만 FP16으로 승격하는 선택적 혼합정밀 방식으로 줄이려는...