Software HomelabPCProxmoxServer

Proxmox VE installieren: Grundlage für den Local-AI-Server

Proxmox VE sauber installieren, mit den richtigen BIOS-Einstellungen für spätere GPU-Passthrough,der erste Schritt zum eigenen Local-AI-Server.

Dauer: 1.0 Std. 3 Schritte 119 Views

Voraussetzungen

Benötigte Hardware

Bauteil	Menge	Hinweis
USB-Stick	1	Installationsmedium (min. 8GB Größe)
Prozessor (CPU)	1	x86_64 CPU mit VT-x/AMD-V (Hardware-Virtualisierung) und IOMMU-Unterstützung (Intel VT-d oder AMD-Vi) für GPU-Passthrough.
Arbeitsspeicher (RAM)	1	Mindestens 8–16 GB RAM. Für große Sprachmodelle (LLMs), die komplett oder teilweise auf der CPU/RAM ausgeführt werden, benötigst du ausreichend System-RAM.
Grafikkarte (GPU)		NVIDIA RTX 3060 (12GB VRAM), RTX 5060 Ti (16GB VRAM), RTX 3090 / 4090 (24GB VRAM) oder dedicated AI-Karten (NVIDIA Tesla T4/P40).
Speicher (SSDs/HDDs)		250 GB–500 GB NVMe SSD (für den Proxmox Hypervisor selbst)
Netzwerk		Standard Gigabit-Ethernet (1Gbit/s), vorzugsweise feste IP-Adresse.

Warum Proxmox und nicht Ubuntu Server, TrueNAS oder ESXi

Bevor es losgeht, kurz zur Entscheidung, die gehört für mich genauso zur Doku wie die Installation selbst.

Ich hatte mehrere Optionen auf dem Zettel:

Ubuntu Server + KVM/libvirt manuell funktioniert, aber jede VM, jedes Netzwerk-Bridge, jeder Storage-Pool wird über die Kommandozeile konfiguriert. Kein Fehler in der Logik, nur mehr Fläche für Tippfehler und keine zentrale Oberfläche, wenn mehrere Dienste laufen.

TrueNAS Scale stark, wenn Storage im Mittelpunkt steht. Aber der Fokus liegt klar auf NAS-Funktionen, Virtualisierung ist eher Zusatzfunktion als Kernstück. Für einen Server, der primär VMs und Container für KI-Workloads tragen soll, nicht die beste Passform.

ESXi/VMware technisch solide, aber seit der Broadcom-Übernahme ist die kostenlose Nutzung für Homelabs praktisch weggefallen. Für ein Projekt, das explizit "kein Cloud-Abo, volle Kontrolle" predigt, will ich mich nicht von einer Lizenzentscheidung eines Konzerns abhängig machen.

Proxmox VE ist am Ende die Kombination, die für meinen Anwendungsfall am meisten Sinn ergibt:

Typ-1-Hypervisor läuft direkt auf der Hardware statt auf einem vollen Betriebssystem obendrauf, weniger Overhead, mehr Ressourcen für die eigentlichen VMs.
ZFS ist im Installer eingebaut keine manuelle Einrichtung nötig, wichtig, sobald mehrere VMs/Container auf denselben Storage zugreifen.
VMs und LXC-Container gemischt für leichte Dienste (wie später ComfyUI) reicht oft ein LXC-Container, ohne den Overhead einer vollständigen VM. Das spart spürbar Ressourcen, gerade auf einem Server, der auf Effizienz getrimmt ist.
Komplett Open Source und kostenlos für den Privatgebrauch, keine Lizenz-Falle, die sich später ändern kann.
GPU-Passthrough ist gut dokumentiert und in der Homelab-Community weit verbreitet, wichtig, weil genau das der nächste Schritt in dieser Serie ist.
Web-Oberfläche, erreichbar von jedem Gerät im Netzwerk, kein Desktop-Environment auf dem Server nötig, das nur Ressourcen frisst.

Keine dieser Optionen ist "falsch" je nach Anwendungsfall kann jede davon die richtige Wahl sein. Für einen Server, der VMs, Container und später GPU-Passthrough für lokale KI-Modelle tragen soll, war Proxmox für mich die stimmigste Kombination.

Wie wir vorgehen

Diese Anleitung ist der erste Teil einer Serie rund um meinen Local-AI-Server. Bevor Proxmox überhaupt installiert wird, müssen ein paar Einstellungen im BIOS des Mainboards gesetzt sein, vor allem Virtualisierung und IOMMU, ohne die späteres GPU-Passthrough gar nicht möglich ist. Diese Einstellungen zeige ich dir zuerst, direkt am echten Server.

Die eigentliche Installation von Proxmox VE führe ich danach in einer sauberen virtuellen Maschine durch, weil sich das nicht vom echten Server unterscheidet, sondern damit ich saubere, reproduzierbare Screenshots für jeden einzelnen Schritt machen kann. Der Ablauf ist identisch zu einer Installation auf echter Hardware; nur die BIOS-Schritte davor kannst du logischerweise nicht in einer VM sehen, deshalb die Trennung.

Am Ende dieser Anleitung hast du ein frisch installiertes, aktualisiertes Proxmox VE, bereit für den nächsten Schritt: GPU-Passthrough der RTX 5060 Ti, damit eine VM oder ein Container direkten Zugriff auf die Grafikkarte bekommt, die Grundlage für LLama.cpp, ComfyUI und alles, was danach kommt.

ISO herunterladen & Boot-Stick erstellen

Proxmox VE ISO herunterladen:

Besuche die offizielle Proxmox-Downloads-Seite Proxmox Download. Wähle dort den Bereich Proxmox Virtual
Environment aus und lade das aktuellste Proxmox VE ISO Image direkt auf deinen Computer herunter.

Flash-Tool bereitstellen:

Um die heruntergeladene ISO-Datei startfähig auf den USB-Stick zu schreiben, benötigst du ein passendes Werkzeug. Empfehlenswert und kostenlos sind hierfür BalenaEtcher (für Windows, macOS und Linux) oder Rufus (für Windows). Lade eines dieser Programme herunter und installiere bzw. starte es.

USB-Stick bespielen (Flashen):

Schließe deinen USB-Stick an den Computer an. Achtung: Alle darauf befindlichen Daten werden bei diesem Vorgang vollständig gelöscht!

Öffne das Flash-Tool und wähle die zuvor heruntergeladene Proxmox-ISO-Datei aus.

Wähle deinen USB-Stick als Ziel-Laufwerk aus.

Starte den Schreibvorgang.

⚠️ Wichtiger Hinweis für Rufus-Nutzer: Rufus wird dich beim Starten des Schreibvorgangs nach dem gewünschten Schreibmodus fragen. Wähle hier unbedingt den DD-Abbild-Modus (DD Image Mode) aus. Wird der Standard-ISO-Modus verwendet, kann der spätere Server den USB-Stick häufig nicht korrekt als Boot-Laufwerk erkennen.

Sobald der Schreibvorgang abgeschlossen ist, ist dein USB-Stick einsatzbereit und du kannst ihn am Ziel-Server einstecken.

BIOS/UEFI des Servers optimal konfigurieren

Damit Proxmox VE ordnungsgemäß läuft und du später eine Grafikkarte (GPU) direkt an eine virtuelle Maschine für deine KI-Modelle durchreichen kannst (GPU-Passthrough), müssen im BIOS bzw. UEFI des Server-PCs einige grundlegende Einstellungen vorgenommen werden.

In das BIOS booten:

Stecke den eben erstellten USB-Stick in einen USB-Port deines Server-PCs (am besten direkt hinten am Mainboard). Schließe Monitor und Tastatur an und schalte den Rechner ein. Drücke direkt nach dem Einschalten wiederholt die entsprechende BIOS-Taste – bei den meisten Mainboard-Herstellern ist das die Taste Entf (Delete) oder F2 (bei einigen Server- oder Laptop-Board-Herstellern auch F10 oder F12).

Hardware-Virtualisierung aktivieren:

Navigiere im BIOS durch die Menüs (meist zu finden unter Advanced, CPU Configuration, Processor oder System Agent).

Bei Intel-CPUs: Suche nach Intel Virtualization Technology (oder VT-x) und stelle den Status auf Enabled.

Bei AMD-CPUs: Suche nach SVM Mode (Secure Virtual Machine) oder AMD-V und aktiviere die Option ebenfalls (Enabled).

IOMMU für GPU-Passthrough aktivieren:

Diese Einstellung ist zwingend erforderlich, damit der Server Hardware-Komponenten wie deine NVIDIA-Grafikkarte isolieren und direkt an die spätere AI-VM übergeben kann.

Bei Intel-CPUs: Suche nach Intel VT-d und schalte es auf Enabled.

Bei AMD-CPUs: Suche nach AMD IOMMU und aktiviere die Funktion (Enabled).

Grafikkarten-Optionen anpassen (Wichtig für moderne GPUs):

Suche im Bereich PCIe Configuration oder Subsystem Settings nach den Einstellungen Above 4G Decoding sowie Re-Size BAR Support (manchmal auch Smart Access Memory genannt). Aktiviere beide Optionen (Enabled). Das stellt sicher, dass der vollständige Grafikspeicher (VRAM) von modernen Karten wie der RTX 30er/40er Serie problemlos vom System adressiert werden kann.

Boot-Reihenfolge anpassen & Speichern:

Wechsle in den Reiter Boot. Setze deinen erstellten USB-Stick an die erste Stelle der Startreihenfolge (Boot Option #1). Navigiere anschließend zum Punkt Save & Exit (oder drücke die Taste F10), um die geänderten Einstellungen zu speichern und den Server neu zu starten. Der Rechner startet nun direkt von deinem USB-Stick in den Proxmox-Installer.

test

blau
rot
orange
grün
accent

← Zurück zu den Local AI-Anleitungen