大模型推理显存与GPU数量计算器

模型参数量（B）

计算精度

GPU型号

模型权重内存：

671 GB

推理额外内存（约10%）：

67.1 GB

总计显存需求：

738.1 GB

所需 GPU 数量：

10 个 NVIDIA H100