Описание услуги GPU Cloud
Полное описание услуги GPU Cloud: поддерживаемые vGPU-профили NVIDIA, базовые и дополнительные сетевые сервисы (Firewall, VPN, BGP), резервное копирование Veeam, интеграция с VMware vSphere
Как устроен GPU Cloud
Режимы работы GPU в облаке: vGPU с аппаратным разделением MIG, разделение по времени Time-Sliced и проброс карты целиком Passthrough — чем отличаются и что выбрать
Выбор карты и профиля
Какие графические ускорители доступны в GPU Cloud, как читаются имена vGPU-профилей, сколько видеопамяти выделяется и почему вычислительные карты не поддерживают OpenGL и Vulkan
Подготовка виртуальной машины
Подготовка виртуальной машины с vGPU: параметры загрузки и MMIO, отключение штатного драйвера nouveau, установка драйвера NVIDIA, проверка через nvidia-smi и обязательная блокировка обновления ядра Linux
Лицензирование NVIDIA
Как работает лицензирование vGPU NVIDIA: типы лицензий vApps, vWS и vCS, клиентский токен и сервер лицензирования, проверка статуса в Linux и Windows, что делать если лицензия не получена
Запуск LLM: выбор и установка фреймворка
Как запустить большую языковую модель на виртуальной машине с GPU: Ollama, llama.cpp, vLLM и NVIDIA Triton — что выбрать под задачу, установка и запуск на примере RTX PRO 6000 с 96 ГБ видеопамяти
Тестирование инфраструктуры
Пошаговая инструкция по тестированию GPU с помощью фреймворка PyTorch. Установка зависимостей, запуск бенчмарка pytorch-gpu-benchmark и анализ результатов для оценки производительности видеокарт в задачах машинного обучения
Решение проблем
Типичные неполадки с GPU в виртуальной машине: nvidia-smi не отвечает после обновления ядра Linux, GPU не виден в системе, ошибка создания MIG-инстанса при включении машины