Перейти к основному содержимому

Решение проблем

nvidia-smi не отвечает после обновления системы​

Симптом. Команда nvidia-smi не возвращает ничего либо выдаёт:

NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver.
Make sure that the latest NVIDIA driver is installed and running.

Причина. Самая частая — обновление ядра Linux, которое не было заблокировано. Драйвер NVIDIA собран под конкретную версию ядра и с новой не работает.

warning

Перед началом работ сделайте снимок виртуальной машины. Повторная установка драйвера поверх сломанного окружения иногда нарушает порядок запуска служб, и машина уходит в бесконечную загрузку — откат со снимка в этом случае экономит часы.

Восстановление. Загрузитесь на прежнем ядре, при котором драйвер работал.

Откройте конфигурацию загрузчика:

nano /etc/default/grub

Разрешите показ меню при загрузке, примените и перезагрузитесь:

update-grub
reboot

В меню GRUB выберите Advanced options for… и запустите предыдущую версию ядра. После загрузки проверьте:

nvidia-smi

Если вывод корректный — зафиксируйте это ядро, чтобы система к нему возвращалась автоматически. В /etc/default/grub:

GRUB_DEFAULT='Advanced options for Ubuntu>Ubuntu, with Linux <версия ядра>'

Затем заблокируйте обновление ядра и обновите загрузчик:

apt-mark hold linux-image-$(uname -r) linux-headers-$(uname -r)
update-grub
update-initramfs -u
reboot

Новое ядро при необходимости можно удалить:

apt remove linux-image-<новая версия> linux-headers-<новая версия>

Если после возврата на прежнее ядро nvidia-smi по-прежнему молчит — драйвер придётся переустановить, см. подготовку виртуальной машины. Блокировку ядра после переустановки нужно выполнить заново.

GPU не виден в свежесозданной машине​

Симптом. Машина создана, драйвер установлен, nvidia-smi сообщает об отсутствии связи с драйвером.

Что проверить:

  1. Был ли включён vGPU при создании машины и выбран ли профиль. Если нет — выключите машину, подключите профиль и включите заново.
  2. Заданы ли параметры pciPassthru.use64bitMMIO и pciPassthru.64bitMMIOSizeGB и достаточно ли значение для объёма видеопамяти профиля.
  3. Не остался ли загруженным драйвер nouveau: lsmod | grep nouveau должен ничего не вывести.
  4. Соответствует ли версия драйвера в гостевой системе версии на стороне платформы — уточните в поддержке ITGLOBAL.COM.

Машина не включается: ошибка создания MIG-инстанса​

Симптом. При включении машины:

vGPU '<профиль>' failed to create MIG GPU instance.
Failed to start the virtual machine. Module DevicePowerOn

Причина. На стороне платформы не осталось свободных экземпляров нужного профиля на карте, либо экземпляры от ранее выключенных машин не были освобождены.

Что делать. Проблема решается на стороне платформы, из виртуальной машины её не устранить. Обратитесь в поддержку ITGLOBAL.COM и укажите:

  • имя виртуальной машины и её расположение;
  • выбранный vGPU-профиль;
  • точный текст ошибки;
  • время попытки включения.

Если профиль машине больше не нужен в прежнем размере, в обращении можно сразу предложить другой — это ускорит запуск.

Производительность ниже ожидаемой​

Прежде чем обращаться в поддержку, проверьте:

  • лицензию — без неё функции карты урезаются, см. лицензирование NVIDIA;
  • загрузку GPU — nvidia-smi в режиме наблюдения покажет, действительно ли задача считает на карте, а не на процессоре;
  • объём видеопамяти — если модель не помещается в профиль, часть данных вытесняется и скорость падает кратно;
  • режим карты — на Time-Sliced профилях вычислительные ресурсы делятся с соседями, на MIG — нет.

Сравнить профиль с ожидаемым уровнем можно бенчмарком PyTorch.