Проект Свой сервер AI

То чем я занимаюсь последние пол года.

Имеется компьютер:

• процессор AMD Ryzen 7 5700G (со встроенным видео).

• 128GB ОЗУ.
• NVME 512GB - система (Proxmox 8.4)
• NVME 2TB - данные
• SDD 1 TB - архивы
• RTX3090 24GB - 2 штуки
• AMD EPYC 7532 32-Core Processor
• Supermicro H12SSL-i
• 128 DDR4
• Samsung SSD 870 500GB
• NVIDIA Corporation GA102 [GeForce RTX 3090] - 5 штук
• блок питания Montech Century 2 gold 1200 - 2 шт
• райзеры 5 штук разной длины
• майнинговый риг
• Ubuntu 24.04.4 LTS

Альт Линукс сервер 11 с PVE 8.4. PCI(e) Passthrough

Настройка виртуальной машины Ubuntu под сервер AI

OpenWebUI c Ollama

Vllm

LightRAG роман Анна Каренина

Vllm Qwen3.6-35b-a3b