Платформы и графические ускорители
Выделенный сервер собирается под задачу: платформа определяет, сколько ускорителей в неё поместится и какие именно.
Обзор платформ
| Платформа | Процессоры | Карт, максимум | Какие карты |
|---|---|---|---|
| ITPOD ASR201 | 1× AMD EPYC 7313, 16 ядер, 3,0 ГГц | 1 | RTX PRO 6000 Blackwell |
| ITPOD-SYR4108G | 2× AMD EPYC 9335 (32 ядра) или 9555 (64 ядра) | 8 | H200 NVL, RTX PRO 6000 Blackwell |
| ITPOD SY4108G | 2× Intel Xeon Gold 6526Y, 16 ядер, 2,8 ГГц | 8 | H200 NVL, RTX PRO 6000 Blackwell, A16 |
Доступность платформ различается по площадкам. Итоговую конфигурацию под задачу подбирают инженеры ITGLOBAL.COM.
ITPOD ASR201
Одна карта на сервер — самый доступный вход в выделенное оборудование.
| Параметр | Значение |
|---|---|
| Процессор | 1× AMD EPYC 7313, 16 ядер, 3,0 ГГц |
| Память | 128 ГБ, с возможностью расширения |
| Ускорители | 1× NVIDIA RTX PRO 6000 Blackwell Server Edition 96 ГБ |
| Накопители | 2× 480 ГБ SSD SATA, с возможностью добавления дисков SSD SATA |
| Сеть | Двухпортовый адаптер 25 Гбит/с SFP28 |
Подходит, когда нужна вся производительность одной карты и полный контроль над сервером, но масштабирование на несколько карт не требуется.
ITPOD-SYR4108G
Основная платформа для Dedicated GPU. Два варианта процессоров и конфигурации от двух до восьми карт; объём памяти растёт вместе с их количеством.
| Параметр | Значение |
|---|---|
| Процессоры | 2× AMD EPYC 9335 (32 ядра, 3,0 ГГц) либо 2× AMD EPYC 9555 (64 ядра, 3,2–4,4 ГГц) |
| Память | 256–1536 ГБ DDR5 5600 МГц, в зависимости от числа карт |
| Ускорители | До 8× NVIDIA H200 NVL 141 ГБ либо до 8× RTX PRO 6000 Blackwell 96 ГБ |
| Накопители | 2× 960 ГБ M.2 SSD NVMe |
| Сеть | 2 двухпортовых адаптера 25 Гбит/с SFP28 |
Конфигурации с RTX PRO 6000 Blackwell
| Карт | Видеопамять суммарно | Оперативная память |
|---|---|---|
| 2 | 192 ГБ | 256 ГБ |
| 4 | 384 ГБ | 512 ГБ |
| 6 | 576 ГБ | 1024 ГБ |
| 8 | 768 ГБ | 1024 ГБ |
Карты RTX PRO 6000 работают независимо: NVLink на них не поддерживается. Конфигурация рассчитана на задачи, где карты не обмениваются данными напрямую — параллельный инференс, множество одновременных заданий, рендеринг.
Конфигурации с H200 NVL
| Карт | Видеопамять суммарно | Оперативная память | NVLink |
|---|---|---|---|
| 1 | 141 ГБ | 256 ГБ | — |
| 2 | 282 ГБ | 512 ГБ | Мост на 2 карты |
| 3 | 423 ГБ | 512 ГБ | Мост на 2 карты, третья отдельно |
| 4 | 564 ГБ | 1024 ГБ | Мосты на все карты |
| 8 | 1128 ГБ | 1536 ГБ | Два моста на 4 карты |
Единственная конфигурация, где карты объединяются в связку — см. объединение карт через NVLink. Выбор по умолчанию для обучения крупных моделей.
ITPOD SY4108G
Платформа для конфигураций под заказ: до восьми карт и до десяти дополнительных накопителей SATA, SAS или NVMe.
| Параметр | Значение |
|---|---|
| Процессоры | 2× Intel Xeon Gold 6526Y, 16 ядер, 2,8 ГГц |
| Память | 256 ГБ, с возможностью расширения |
| Ускорители | До 8 карт: H200 NVL, RTX PRO 6000 Blackwell или A16 |
| Накопители | 2× 480 ГБ SSD SATA, до 10 дополнительных SATA, SAS или NVMe |
| Сеть | 2 двухпортовых адаптера 25 Гбит/с SFP28 |
Берут, когда нужен нетиповой набор: много локальных дисков рядом с картами, карты A16 под графические задачи или сочетание, которого нет в готовых конфигурациях.
Графические ускорители
NVIDIA H200 NVL
Архитектура Hopper, 141 ГБ памяти HBM3e. 16 896 ядер CUDA и 528 тензорных ядер. Вычислительная мощность в операциях с плавающей точкой та же, что у H100, но существенно расширены возможности работы с памятью — в практических тестах это даёт до 1,9 раза более высокую производительность.
Преимущество заметнее всего там, где узким местом становится память: генеративный ИИ и высокопроизводительные вычисления с крупными моделями.
Объединяется мостом NVLink в связки по две или четыре карты — см. объединение карт через NVLink.
NVIDIA RTX PRO 6000 Blackwell Server Edition
Архитектура Blackwell. 96 ГБ памяти GDDR7 с коррекцией ошибок, 512-битная шина, пропускная способность до 1,6 ТБ/с. Универсальная карта: подходит и для вычислений, и для графики.
NVLink не поддерживает — карты работают независимо и обмениваются данными через PCIe 5.0.
NVIDIA A16
Архитектура Ampere, 64 ГБ на четырёх независимых графических чипах. Ориентирована на графику и большое количество одновременных пользователей, а не на обучение моделей. Доступна в конфигурациях под заказ на платформе SY4108G.
NVLink не поддерживает.
Как выбрать
| Задача | Платформа и карты |
|---|---|
| Обучение больших языковых моделей | SYR4108G с H200 NVL, 4 или 8 карт |
| Модель не помещается в одну карту | SYR4108G с H200 NVL в связке NVLink |
| Дообучение, эксперименты, HPC | SYR4108G с H200 NVL, 1–2 карты |
| Массовый параллельный инференс | SYR4108G с RTX PRO 6000, 4–8 карт |
| Одна задача на всю карту | ASR201 с RTX PRO 6000 |
| Рендеринг, визуализация, САПР | SYR4108G с RTX PRO 6000 |
| Много пользователей с графикой | SY4108G с A16, конфигурация под заказ |
| Датасеты и хранилище рядом с картами | SY4108G с дополнительными накопителями |
Дополнительные опции — оперативная память, накопители, каналы связи и сети — перечислены в описании услуги.