Настройка виртуальной машины Ubuntu под сервер AI

На PVE8.4-1 установить виртуальную машину Ubuntu 24.04 LTS Server

• Минимальная установка.
• Оборудование

После установки удалить установочный CD диск, пробросить видеокарту, отключить экран

Обновить систему

$ sudo apt update
$ sudo apt upgrade

Установить поддержку guest agent

$ sudo apt install qemu-guest-agent
$ sudo systemctl enable qemu-guest-agent --now

Проверь, пробросилась ли видеокарта

$ sudo lspci | grep NVIDIA
01:00.0 VGA compatible controller: NVIDIA Corporation GA102 [GeForce RTX 3090] (rev a1)
03:00.0 VGA compatible controller: NVIDIA Corporation GA102 [GeForce RTX 3090] (rev a1)
06:11.0 Audio device: NVIDIA Corporation GA102 High Definition Audio Controller (rev a1)
06:1c.0 Audio device: NVIDIA Corporation GA102 High Definition Audio Controller (rev a1)

Качаем и устанавливаем драйвера и CUDA

# wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb
# dpkg -i cuda-keyring_1.1-1_all.deb
$ sudo apt update
$ sudo apt -y install cuda-toolkit-13-0
$ sudo apt install -y cuda-drivers
$ sudo reboot

Проверяем установку драйверов на видеокарту:

$ nvidia-smi
Fri Mar 27 14:47:42 2026       
+-----------------------------------------------------------------------------------------+
| NVIDIA-SMI 580.126.20             Driver Version: 580.126.20     CUDA Version: 13.0     |
+-----------------------------------------+------------------------+----------------------+
| GPU  Name                 Persistence-M | Bus-Id          Disp.A | Volatile Uncorr. ECC |
| Fan  Temp   Perf          Pwr:Usage/Cap |           Memory-Usage | GPU-Util  Compute M. |
|                                         |                        |               MIG M. |
|=========================================+========================+======================|
|   0  NVIDIA GeForce RTX 3090        On  |   00000000:01:00.0 Off |                  N/A |
| 30%   37C    P8             24W /  350W |     848MiB /  24576MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+
|   1  NVIDIA GeForce RTX 3090        On  |   00000000:03:00.0 Off |                  N/A |
|  0%   44C    P8             24W /  350W |       4MiB /  24576MiB |      0%      Default |
|                                         |                        |                  N/A |
+-----------------------------------------+------------------------+----------------------+

+-----------------------------------------------------------------------------------------+
| Processes:                                                                              |
|  GPU   GI   CI              PID   Type   Process name                        GPU Memory |
|        ID   ID                                                               Usage      |
|=========================================================================================|
|    0   N/A  N/A         2362388      C   /opt/app-root/bin/python3               838MiB |
+-----------------------------------------------------------------------------------------+

Установить поддержку Docker

$ sudo apt install docker.io
$ sudo apt install docker-compose-v2
$ sudo usermod -aG docker arg

Перелогиниться в системе. Установить в Docker поддержку Nvidia

$ sudo apt-get install -y nvidia-container-toolkit 
$ sudo nvidia-ctk runtime configure --runtime=docker 
$ sudo systemctl restart docker

Система готова к установке контейнеров