#VRAM

APXML VRAM Calculator는 로컬 LLM이 내 GPU에 들어갈지 빠르게 가늠하게 해준다

ApX Machine Learning의 APXML VRAM Calculator는 LLM 추론·파인튜닝에서 모델 크기, 양자화, KV 캐시, 컨텍스트 길이, 배치, 동시 사용자, GPU VRAM을 조합해 메모리와 대략적인 처리 속도를 추정하는 무료 웹 도구다.

• 설치형 앱이나 오픈소스 저장소가 아니라 브라우저에서 쓰는 ApX Machine Learning의 무료 웹 계산기이며, 조사 시점에 공개된 calculator sour...
• Inference와 Fine-tuning 탭을 나누고, FP16/Q8/Q4 같은 모델 weight quantization과 KV cache quantization을...
• 모델 구조, layer/hidden dimension, active experts, attention 구조, batch size, sequence length, co...