Software HomelabPCProxmoxServer

Proxmox VE installieren – Das Fundament für deinen Local-AI-Server

Proxmox VE sauber installieren, mit den richtigen BIOS-Einstellungen für spätere GPU-Passthrough,der erste Schritt zum eigenen Local-AI-Server.

lon3s Bild
Dauer: 1.0 Std. 6 Schritte 242 Views

Warum ich meinen eigenen Local-AI-Server aufbaue 🤔

Künstliche Intelligenz ist längst mehr als nur ein Chatbot, der Fragen beantwortet. Sie kann beim Programmieren unterstützen, wiederkehrende Aufgaben automatisieren und ganz neue Möglichkeiten für die eigene IT-Infrastruktur eröffnen. Genau das hat mich neugierig gemacht.

Ich wollte nicht einfach nur verschiedene KI-Modelle ausprobieren, sondern verstehen, wie ich sie selbst betreiben und in mein bestehendes Homelab integrieren kann. Dabei stellte ich mir die Frage, ob ich dafür wirklich dauerhaft auf externe Cloud-Dienste angewiesen sein möchte oder ob ich mir eine eigene Infrastruktur aufbauen kann.

Da ich bereits Erfahrung mit Proxmox VE gesammelt hatte, lag die Entscheidung für mich nahe, diesen Weg weiterzugehen. Statt für jede Anwendung einen eigenen Rechner einzusetzen, kann ich mit Proxmox verschiedene virtuelle Maschinen und Container auf einer zentralen Plattform betreiben.

Ein weiterer wichtiger Punkt war für mich die vorhandene Hardware. Ich wollte meine Grafikkarte für die Berechnung lokaler KI-Modelle nutzen und gleichzeitig meine anderen Dienste weiter betreiben können. Dafür musste ich mich mit Themen wie BIOS-Einstellungen, IOMMU und GPU-Passthrough beschäftigen.

Natürlich ist der Aufbau eines solchen Systems kein Projekt, das mit einer einzigen Installation abgeschlossen ist. Es besteht aus vielen einzelnen Schritten, die aufeinander aufbauen. Genau deshalb dokumentiere ich meinen Weg hier auf lon3s.com.

Ich möchte zeigen, wie ich vorgegangen bin, welche Entscheidungen ich getroffen habe und welche Erfahrungen ich dabei gesammelt habe. Die Anleitung soll dir helfen, die einzelnen Schritte nachzuvollziehen und dein eigenes System aufzubauen.

Diese Anleitung bildet den Anfang meines Projekts: der Aufbau eines eigenen Local-AI-Servers auf Basis von Proxmox VE.

Warum Proxmox VE? 🤔

Für mein Vorhaben benötige ich eine stabile Grundlage, auf der ich unterschiedliche Dienste betreiben und flexibel erweitern kann. Proxmox VE bietet mir dafür eine Virtualisierungsplattform, mit der ich virtuelle Maschinen und Linux-Container zentral verwalten kann.

Das hat für mich mehrere Vorteile:

  • Verschiedene Anwendungen lassen sich voneinander getrennt betreiben.
  • Ressourcen wie CPU, Arbeitsspeicher und Speicherplatz können gezielt zugewiesen werden.
  • Neue Dienste lassen sich testen, ohne das gesamte System neu aufsetzen zu müssen.
  • Die Infrastruktur kann bei Bedarf erweitert werden.
  • Durch GPU-Passthrough kann eine unterstützte Grafikkarte einer virtuellen Maschine direkt zugewiesen werden.

Proxmox ist dabei nicht die KI selbst, sondern die Grundlage, auf der ich meine KI-Dienste und weitere Anwendungen betreibe.

Was wir in dieser Anleitung machen:

In dieser Anleitung bereiten wir einen Rechner für die Installation von Proxmox VE vor und richten die grundlegenden Komponenten ein.

Wir gehen dabei Schritt für Schritt vor:

  • Hardware und Voraussetzungen prüfen
  • BIOS beziehungsweise UEFI konfigurieren
  • Proxmox VE herunterladen und einen bootfähigen USB-Stick erstellen
  • Proxmox VE installieren
  • Netzwerk und Weboberfläche einrichten beziehungsweise überprüfen
  • Freie Paketquellen (No-Subscription) einrichten und System-Update durchführen

⚠️ Wichtig: Die hier beschriebene Installation ist für einen Rechner vorgesehen, auf dem Proxmox VE direkt als Hostsystem laufen soll. Wenn du die Installation zunächst in einer virtuellen Maschine testen möchtest, ist das ebenfalls möglich. Die BIOS-Einstellungen und das spätere GPU-Passthrough beziehen sich jedoch auf die tatsächliche Hardware des Hosts.

1

Hardware und Voraussetzungen prüfen

Bevor wir mit der Installation beginnen, sollten wir sicherstellen, dass die Hardware für den geplanten Einsatz geeignet ist.

Für einen einfachen Proxmox-Server reichen bereits relativ geringe Ressourcen. Wenn du später mehrere Dienste und lokale KI-Modelle betreiben möchtest, solltest du allerdings mehr Leistung und Speicher einplanen.

Hardware Info
Rechner mit 64-Bit-CPU Ein unterstützter AMD- oder Intel-Prozessor mit Virtualisierungsfunktionen.
SSD oder NVMe Ein separates Systemlaufwerk ist sinnvoll. Für zusätzliche Modelle und Daten kann weiterer Speicher erforderlich sein.
Netzwerkverbindung Eine kabelgebundene Ethernet-Verbindung erleichtert die Einrichtung und den späteren Betrieb.
USB-Stick Für das Installationsmedium von Proxmox VE.

Für einen reinen Virtualisierungshost können 8 GB RAM für einfache Tests ausreichen. Für mehrere Dienste und insbesondere lokale KI-Anwendungen würde ich deutlich mehr Arbeitsspeicher einplanen. Die tatsächliche benötigte Größe hängt von deinen virtuellen Maschinen, Containern und Modellen ab.

Achtung ⚠️: Bei der späteren Installation wird das ausgewählte Ziellaufwerk in der Regel neu partitioniert und vorhandene Daten können gelöscht werden. Sichere wichtige Daten vorher und kontrolliere genau, welches Laufwerk du auswählst.

2

BIOS beziehungsweise UEFI konfigurieren

Bevor Proxmox installiert wird, sollten wir die notwendigen Virtualisierungsfunktionen im BIOS beziehungsweise UEFI aktivieren.

Das ist besonders wichtig, wenn du später virtuelle Maschinen betreiben und eine Grafikkarte per GPU-Passthrough an einen Container (CT) durchreichen möchtest.

Die Bezeichnungen unterscheiden sich je nach Mainboard und Prozessorhersteller. Die folgenden Optionen sind deshalb als Orientierung gedacht.

⚙️ Wichtige BIOS-Einstellungen

Einstellung AMD Intel
CPU-Virtualisierung SVM Mode Intel Virtualization Technology (VT-x)
IOMMU AMD-Vi / IOMMU VT-d
Above 4G Decoding Falls verfügbar, für GPU-Passthrough relevant Falls verfügbar, für GPU-Passthrough relevant

Aktiviere die CPU-Virtualisierung und IOMMU, sofern dein System diese Funktionen unterstützt.

Above 4G Decoding kann bei bestimmten GPU-Passthrough-Konfigurationen hilfreich oder erforderlich sein. Ob zusätzliche Einstellungen wie Resizable BAR oder eine bestimmte Einstellung für die primäre Grafikkarte nötig sind, hängt von der Hardware und der späteren Konfiguration ab.

BIOS-Einstellungen speichern

  1. Starte den Rechner neu.
  2. Öffne das BIOS/UEFI, beispielsweise mit Entf oder F2.
  3. Suche die oben genannten Einstellungen.
  4. Aktiviere die benötigten Funktionen.
  5. Speichere die Änderungen und starte den Rechner neu.
3

Proxmox VE herunterladen & einen bootfähigen USB-Stick erstellen

Um Proxmox auf dem Zielrechner zu installieren, musst du das ISO-Image auf einen USB-Stick schreiben. Da Proxmox ein spezielles Hybrid-ISO verwendet, muss der Stick bitweise geschrieben werden.

⚠️ Achtung: Beim Erstellen des Installationsmediums werden alle vorhandenen Daten auf dem ausgewählten USB-Stick unwiderruflich gelöscht!

Methode A: Unter Windows 🖥️ (mit Rufus)
Unter Windows ist das kostenlose Tool Rufus die verlässlichste Wahl.

  1. Stecke deinen USB-Stick in den Rechner und starte Rufus.
  2. Wähle oben unter Laufwerk deinen USB-Stick aus.
  3. Klicke bei Startart auf AUSWAHL und wähle die heruntergeladene Proxmox-ISO-Datei aus.
  4. Klicke unten auf START.

Wichtig: Es erscheint ein Abfrage-Fenster (ISOHybrid-Image erkannt). Wähle hier zwingend „Schreiben im DD-Image->Modus“ (Write in DD Image mode).
(Hinweis: Der Standard-ISO-Modus führt beim Booten von Proxmox häufig zu Fehlern).

Bestätige die Warnmeldung zum Löschen des Sticks und warte, bis der Balken auf 100 % steht.

Methode B: Unter Linux 🐧(mit dem dd-Befehl)
Unter Linux erstellst du den Stick am saubersten direkt im Terminal mit dem Befehl dd.
Stecke den USB-Stick ein und ermittle den Laufwerksnamen im Terminal:

lsblk

Identifiziere deinen Stick anhand der Größe (z. B. /dev/sdb). Achte darauf, das gesamte Laufwerk und keine einzelne Partition (wie /dev/sdb1) zu wählen.

Falls dein System den Stick automatisch eingehängt hat, hänge die Partitionen aus:

sudo umount /dev/sdb*

(Ersetze sdb durch die Bezeichnung deines Sticks).

Starte den Schreibvorgang mit folgendem Befehl (Pfade entsprechend anpassen):

sudo dd if=proxmox-ve_9.x-x.iso of=/dev/sdb bs=4M status=progress conv=fdatasync

if=...: Pfad zu deiner heruntergeladenen Proxmox-ISO.
of=...: Ziel-Laufwerk deines USB-Sticks.
bs=4M: Schreibt in 4MB-Blöcken für ein schnelles Ergebnis.
status=progress: Zeigt den aktuellen Fortschritt an.
conv=fdatasync: Stellt sicher, dass alle Daten vollständig geschrieben wurden, bevor der Vorgang endet.

Sobald der Befehl abgeschlossen ist, kannst du den USB-Stick sicher entfernen und mit der Installation beginnen.

4

Proxmox VE installieren

Jetzt kommen wir zur eigentlichen Installation.

Stecke den vorbereiteten USB-Stick in den Rechner, auf dem Proxmox später laufen soll. Starte den Rechner und öffne das Bootmenü. Wähle dort den USB-Stick als Startmedium aus.

4.1 Installationsmodus auswählen
Nach dem Start erscheint der Proxmox-Willkommensbildschirm. Wähle hier Install Proxmox VE (Graphical) für den normalen grafischen Installationsassistenten.

4.2 Lizenzbedingungen bestätigen
Lies die Lizenzvereinbarung (EULA) und klicke unten rechts auf I agree, um fortzufahren.

4.3 Ziellaufwerk (Target Harddisk) wählen
Hier wählst du aus, auf welcher Festplatte oder SSD Proxmox installiert werden soll.

⚠️ Achtung : Alle vorhandenen Daten auf dem gewählten Laufwerk werden gelöscht. Kontrolliere die Modellbezeichnung und die Laufwerksgröße genau.

Dateisystem-Optionen: Standardmäßig nutzt Proxmox das Dateisystem ext4. Wenn du mehrere identische SSDs verbaut hast und Ausfallsicherheit wünschst, kannst du unter Options z. B. zfs (RAID1) für eine Spiegelung wählen. Für den einfachen Einstieg reicht ext4 auf einem einzelnen Laufwerk völlig aus.

4.4 Standort, Zeitzone und Tastatur
Gib deine regionalen Einstellungen an:

  • Country: Germany
  • Timezone: Europe/Berlin
  • Keyboard Layout: German

4.5 Administrator-Passwort und E-Mail-Adresse
Lege das Kennwort für den Hauptbenutzer (root) fest:

  • Password: Wähle ein sicheres Passwort. Du benötigst es später für den Administrator-Login im Web-Interface und per SSH.
  • Email: Gib eine gültige E-Mail-Adresse an. Dorthin sendet Proxmox später wichtige System-Benachrichtigungen (z. B. bei Speicherplatzmangel oder Backup-Fehlern).

4.6 Netzwerkkonfiguration
Proxmox benötigt zwingend eine statische (feste) IP-Adresse.

  • Management Interface: Wähle die Netzwerkkarte aus, über die der Server mit deinem Heimnetz verbunden ist.
  • Hostname (FQDN): Gib einen vollständigen Domainnamen an (z. B. pve.fritz.box oder proxmox.local).
  • IP Address (CIDR): Gib die gewünschte feste IP-Adresse inklusive der Subnetzmaske in CIDR-Schreibweise an (z. B. 192.168.178.100/24). Das /24 steht dabei für die Standard-Subnetzmaske 255.255.255.0.
  • Gateway: Die IP-Adresse deines Routers (z. B. 192.168.178.1 bei einer Fritz!Box).
  • DNS Server: In der Regel ebenfalls die IP-Adresse deines Routers (192.168.178.1).

4.7 Installation durchführen
Auf der Übersichtsseite (Summary) werden dir noch einmal alle Angaben angezeigt. Prüfe deine Eingaben kurz.

  1. Klicke unten rechts auf Install.
  2. Warte, bis der Ladebalken abgeschlossen ist.
  3. Entferne den USB-Stick und starte den Rechner neu.
5

Anmeldung an der Proxmox-Weboberfläche

Nach dem Neustart wird Proxmox VE gestartet. Auf dem Bildschirm wird die Adresse angezeigt, unter der du die Weboberfläche erreichen kannst.

Sie sieht beispielsweise so aus:

https://192.168.178.60:8006

Die IP-Adresse ist nur ein Beispiel. Verwende die Adresse, die dein eigener Proxmox-Server anzeigt.

Anmeldung

  1. Öffne einen Browser auf einem Rechner im selben Netzwerk.
  2. Gib die angezeigte Adresse inklusive Port 8006 ein.
  3. Bestätige gegebenenfalls die Browserwarnung zum selbstsignierten Zertifikat, sofern du die Verbindung zu deinem eigenen Server erwartest.
  4. Melde dich mit dem Benutzer root und dem während der Installation festgelegten Kennwort an.
  5. Wähle bei der Anmeldung den passenden Authentifizierungsbereich, normalerweise Linux PAM standard authentication.
6

Freie Paketquellen (No-Subscription) einrichten und System-Update durchführen

Nach der Erstinstallation ist standardmäßig das kostenpflichtige Enterprise-Repository aktiv. Ohne gebuchte Lizenz kannst du darüber keine Updates beziehen. Um dein System kostenlos und sauber auf dem neuesten Stand zu halten, aktivieren wir das kostenlose No-Subscription-Repository direkt über die Weboberfläche.

6.1 Enterprise-Repository deaktivieren

Wähle in der linken Spalte unter Datacenter deinen Server-Knoten aus (z. B. pve).

Navigiere im Menü zu Updates → Repositories.

Klicke in der Liste auf den Eintrag pve-enterprise (Datei: /etc/apt/sources.list.d/pve-enterprise.list).

Klicke oben auf den Button Disable (Deaktivieren).

    Der Haken bei „Enabled“ verschwindet daraufhin.

6.2 No-Subscription-Repository hinzufügen

Klicke im selben Menü oben auf den Button Add (Hinzufügen).

Es öffnet sich ein Auswahlfenster. Wähle im Dropdown-Menü Repository den Eintrag No-Subscription.

Klicke auf Add (Hinzufügen).

    Nun wird die kostenlose Paketquelle pve-no-subscription in die Liste eingetragen.

6.3 System-Update durchführen

Nachdem die Quellen umgestellt wurden, kannst du deinen Proxmox-Server direkt über das Web-Interface aktualisieren:

Klicke in der linken Spalte unter Updates auf den Unterpunkt Updates.

Klicke oben links auf Refresh (Aktualisieren), um die Paketliste neu zu laden. (Den Hinweis zu fehlenden Subscriptions kannst du mit „OK“ schließen).

Klicke anschließend auf Upgrade.

Es öffnet sich ein Konsolenfenster. Bestätige die Aktualisierung gegebenenfalls mit der Taste Y (bzw. Z bei deutschem Tastaturlayout) und drücke Eingabe.

Sobald der Vorgang beendet ist, schließe das Fenster. Dein Proxmox VE ist nun vollständig eingerichtet und aktuell.

← Zurück zu den Local AI-Anleitungen