NVIDIA H200 NVL 141GB HBM3e

Технические характеристики:

• Ускоритель: NVIDIA H200 NVL
• Архитектура: NVIDIA Hopper
• Объём памяти: 141 ГБ
• Тип памяти: HBM3e
• Пропускная способность памяти: 4,8 ТБ/с
• FP64: 30 ТФЛОПС
• FP64 Tensor Core: 60 ТФЛОПС
• FP32: 60 ТФЛОПС
• TF32 Tensor Core: до 835 ТФЛОПС с разреженностью
• BF16 Tensor Core: до 1671 ТФЛОПС с разреженностью
• FP16 Tensor Core: до 1671 ТФЛОПС с разреженностью
• FP8 Tensor Core: до 3341 ТФЛОПС с разреженностью
• INT8 Tensor Core: до 3341 TOPS с разреженностью
• Интерфейс подключения: PCI Express 5.0
• Пропускная способность PCI Express: 128 ГБ/с
• Межсоединение: NVIDIA NVLink
• Пропускная способность NVLink: до 900 ГБ/с на один GPU
• Конфигурации NVLink: мосты для двух или четырёх ускорителей
• Multi-Instance GPU: до семи MIG-разделов
• Видеодекодеры: 7 × NVDEC
• JPEG-декодеры: 7
• Confidential Computing: поддерживается
• Максимальный TDP: до 600 Вт, настраиваемый
• Форм-фактор: полноразмерная PCIe-карта
• Количество занимаемых слотов: два
• Охлаждение: активное воздушное охлаждение серверного класса
• Программная лицензия: NVIDIA AI Enterprise включена

Поддерживаемые технологии:

• NVIDIA CUDA
• Tensor Cores четвёртого поколения
• Transformer Engine
• NVIDIA Multi-Instance GPU
• NVIDIA NVLink
• NVIDIA AI Enterprise
• NVIDIA NIM
• NVIDIA CUDA-X
• NVIDIA NCCL
• NVIDIA RAPIDS
• NVIDIA Triton Inference Server
• NVIDIA TensorRT-LLM
• NVIDIA NeMo
• NVIDIA Magnum IO
• Confidential Computing
• Вычисления FP64, FP32 и TF32
• Вычисления FP16, BF16, FP8 и INT8
• PCI Express 5.0

Требования к системе:

• Серверная платформа: NVIDIA-Certified System или совместимая платформа NVIDIA MGX H200 NVL.
• Слот расширения: полноразмерный PCI Express 5.0 x16.
• Монтажное пространство: два слота расширения на каждый ускоритель.
• Электропитание: серверная подсистема питания, рассчитанная на настраиваемый TDP до 600 Вт на один ускоритель.
• Охлаждение: направленный серверный воздушный поток, соответствующий требованиям производителя системы.
• Масштабирование: совместимая компоновка PCIe и NVLink для конфигураций с двумя, четырьмя или восемью ускорителями.
• Процессорная платформа: серверные процессоры и PCIe-топология, сертифицированные для выбранной конфигурации H200 NVL.
• Программная среда: поддерживаемая версия Linux, NVIDIA Driver, CUDA Toolkit и совместимый программный стек NVIDIA AI Enterprise.
• Сетевое подключение: высокоскоростная сеть для распределённых AI- и HPC-нагрузок.

Оптимально подходит для:

• Инференса больших языковых моделей с крупными контекстными окнами.
• Обучения и дообучения генеративных AI-моделей.
• Развёртывания корпоративных AI-ассистентов и систем RAG.
• Обслуживания многопользовательских AI-сервисов.
• Научных вычислений с использованием FP64 и Tensor Cores.
• Молекулярного моделирования и вычислительной химии.
• Моделирования физических и климатических процессов.
• Геномики, биоинформатики и медицинских исследований.
• Финансового моделирования и анализа больших массивов данных.
• Создания масштабируемых вычислительных узлов с NVLink.

Итоговый вывод: NVIDIA H200 NVL 141GB HBM3e ориентирован на серверы, в которых производительность ограничивается не только вычислительными ресурсами, но и объёмом доступной памяти. Подсистема HBM3e объёмом 141 ГБ и скоростью 4,8 ТБ/с позволяет эффективнее обслуживать крупные языковые модели, научные приложения и корпоративные AI-сервисы. Поддержка NVLink, MIG и NVIDIA AI Enterprise делает ускоритель основой масштабируемой инфраструктуры, однако его эксплуатация требует сертифицированной серверной платформы, профессионального электропитания и рассчитанного на TDP до 600 Вт охлаждения.