Калькулятор памяти и количества GPU для вывода LLM

Параметры модели (B)

Точность вычислений

Модель GPU

Память весов модели：

671 GB

Дополнительная память (≈10%)：

67.1 GB

Общая требуемая память：

738.1 GB

Необходимое количество GPU：

10 шт. NVIDIA H100