DeepSpec은 speculative decoding을 초안 모델 학습 파이프라인으로 공개했다
DeepSeek의 DeepSpec은 DSpark·DFlash·Eagle3 초안 모델을 데이터 준비, 학습, 평가까지 묶어 공개하며, 추측 디코딩을 단순 런타임 옵션이 아니라 재학습 가능한 서빙 스택으로 보여준다.
Tag3 posts
#DeepSeek
글 목록
LLMs-from-scratch의 DSA 예제는 DeepSeek식 sparse attention을 읽을 수 있는 코드로 낮춘다
rasbt/LLMs-from-scratch의 ch04/09_dsa는 DeepSeek-V3.2의 DeepSeek Sparse Attention을 작은 GPT 코드로 재구성해, long-context attention 비용 절감 아이디어와 구현상의 한계를...
DeepSeek-V4-Pro는 1M 컨텍스트를 49B 활성 경로로 밀어붙인다
DeepSeek-V4-Pro는 1.6T total / 49B activated MoE와 CSA·HCA 하이브리드 attention, mHC, Muon optimizer를 결합해 1M 토큰 문맥에서 추론 비용과 KV-cache를 크게 줄이면서도 코딩·추...