大模型推理顯存與GPU數量計算器

模型參數量（B）

計算精度

GPU型號

模型權重內存：

671 GB

推理額外內存（約10%）：

67.1 GB

總計顯存需求：

738.1 GB

所需 GPU 數量：

10 個 NVIDIA H100