LLM 推理顯存計算器
繁體中文
模型參數量(B)
選擇示例模型
計算精度
GPU型號
NVIDIA A100 (80GB)
模型權重內存:
14
GB
推理額外內存(約20%):
2.8
GB
總計顯存需求:
16.8
GB
所需 GPU 數量:
1
個 NVIDIA A100 (80GB)