LLM 推理显存计算器
简体中文
模型参数量(B)
选择示例模型
计算精度
GPU型号
NVIDIA A100 (80GB)
模型权重内存:
14
GB
推理额外内存(约20%):
2.8
GB
总计显存需求:
16.8
GB
所需 GPU 数量:
1
个 NVIDIA A100 (80GB)