Fazit & Ausblick
Mit Hermes Agent ist unsere Local-AI-Serie an einem Punkt angekommen, an dem aus einem einfachen Sprachmodell ein echter KI-Agent geworden ist.
Wir haben mit der Installation von Proxmox VE begonnen, anschließend die NVIDIA-GPU für einen LXC-Container eingerichtet, llama.cpp und GGUF-Modelle verwendet, Bonsai 2 mit dem PrismML-Fork eingerichtet und schließlich mit Hermes Agent eine zusätzliche Agentenebene aufgebaut.
Damit haben wir Schritt für Schritt aus einem normalen PC einen lokalen KI-Server aufgebaut, der heute nicht nur Texte erzeugen kann, sondern auch Werkzeuge verwenden, Dateien bearbeiten, Terminal-Befehle ausführen und über Telegram vom Smartphone aus erreichbar sein kann.
Nicht alles funktioniert beim ersten Versuch
Bei einem solchen Projekt sollte man sich darauf einstellen, dass nicht jeder Schritt beim ersten Versuch funktioniert.
Das gehört für mich genauso zu einem Homelab-Projekt dazu wie die eigentliche Installation. Treiber, Abhängigkeiten, Netzwerk, Container, APIs oder einzelne Softwareversionen können Probleme verursachen. Genau deshalb dokumentiere ich auch die Fehler und Lösungen, die während des Aufbaus auftreten.
Die Anleitung soll deshalb nicht den Eindruck vermitteln, dass man nur ein paar Befehle kopieren muss und anschließend alles automatisch funktioniert. Gerade beim eigenen Aufbau lernt man, wie die einzelnen Komponenten zusammenspielen.
Was kann die Hardware?
Auch bei unserem Bonsai-2-Setup sollte man die verwendete Hardware nicht aus den Augen verlieren.
Wir verwenden hier eine RTX 3060 mit 12 GB VRAM und betreiben darauf ein vergleichsweise kleines Modell mit einer für diese Hardware akzeptablen Kontextgröße.
Eine RTX 3060 ist gebraucht beziehungsweise je nach Angebot bereits für ungefähr 300 € zu bekommen. Für einen Einstieg in lokale KI ist das eine interessante Möglichkeit, ohne direkt mehrere tausend Euro in einen KI-Server investieren zu müssen.
Natürlich hat diese Hardware ihre Grenzen. Wenn die Leistung oder der verfügbare VRAM nicht mehr ausreichen, kann man ein System auch mit mehreren GPUs aufbauen. Je nach Software und Modell können beispielsweise zwei, drei oder vier RTX 3060 eingesetzt werden. Dadurch stehen deutlich mehr GPU-Ressourcen zur Verfügung und auch größere beziehungsweise höher quantisierte Modelle werden interessant.
Technisch lässt sich das natürlich noch weiter treiben. Auch ein System mit mehreren RTX 3090 wäre möglich und bietet mit ihren jeweils 24 GB VRAM wesentlich mehr Speicher.
Aber irgendwann stellt sich die Frage, wie viel Hardware für den eigenen Anwendungsfall tatsächlich sinnvoll ist.
Vier RTX 3090 bieten zwar enorme GPU-Ressourcen, bringen aber gleichzeitig hohe Anschaffungskosten, einen deutlich höheren Stromverbrauch, mehr Abwärme und höhere Anforderungen an Netzteil und Gehäuse mit sich.
Am Ende ist es deshalb nicht nur eine technische Frage, sondern auch eine Frage des Budgets und des persönlichen Nutzens.
Für mich steht das Lernen im Vordergrund
Genau hier sehe ich den eigentlichen Sinn dieses Projekts.
Man muss nicht sofort einen High-End-KI-Server bauen. Mit vergleichsweise günstiger Hardware kann man bereits sehr viel ausprobieren und verstehen:
- Wie funktioniert ein lokaler LLM-Server?
- Was sind GGUF-Modelle und Quantisierung?
- Wie wird eine GPU unter Proxmox für einen Container bereitgestellt?
- Wie kommunizieren verschiedene Dienste über APIs miteinander?
- Was unterscheidet ein LLM von einem Agenten?
- Was ist Tool Calling?
- Wie kann ein Agent Dateien und das Terminal verwenden?
- Wie kann ein lokales KI-System über Telegram erreichbar werden?
Wer diese Grundlagen verstanden hat, kann später immer noch entscheiden, ob mehr Leistung benötigt wird.
Ausblick
Damit ist diese Serie zunächst abgeschlossen.
Aus einem Rechner mit Proxmox VE ist Schritt für Schritt eine vollständige Local-AI-Plattform entstanden – von der Virtualisierung über die GPU und die LLM-Infrastruktur bis hin zum KI-Agenten.
Das bedeutet aber nicht, dass das Projekt damit beendet ist. Im Gegenteil: Jetzt beginnt eigentlich der interessante Teil.
Auf Basis dieser Infrastruktur lassen sich noch viele weitere Projekte umsetzen. Denkbar sind beispielsweise Immich, Jellyfin, weitere lokale KI-Anwendungen, ComfyUI, zusätzliche Agenten oder die Verbindung verschiedener Dienste miteinander.
Die bestehende Infrastruktur bietet damit eine gute Grundlage, um weitere Anwendungen auszuprobieren und Schritt für Schritt herauszufinden, was mit Local AI auf eigener Hardware möglich ist.
Und genau darum geht es bei dieser Serie: selbst ausprobieren, Fehler machen, Lösungen finden und dabei verstehen, wie die einzelnen Komponenten zusammenspielen.
