LLM Inference Memory & GPU Count Calculator

Model Parameters (B)

Computation Precision

GPU Model

Model Weight Memory：

671 GB

Inference Extra Memory (≈10%)：

67.1 GB

Total Memory Required：

738.1 GB

Required GPU Count：

10 units NVIDIA H100