Local AI
LLMs lokal ausführen. Ollama · llama.cpp · GPUs · Open WebUI
-
1
Software
ProxmoxPCServerHomelab
Proxmox VE installieren – Das Fundament für deinen Local-AI-Server
Proxmox VE sauber installieren, mit den richtigen BIOS-Einstellungen und aktuellen Updates, der erste Schritt zum eigenen Local-AI-Server.
Anleitung lesen → -
2
Software
ProxmoxNvidiaLocal AI
NVIDIA-GPU unter Proxmox VE für einen LXC-Container einrichten
Diese Anleitung ist die Fortsetzung meines Artikels zur Proxmox-Grundinstallation. Nachdem Proxmox VE erfolgreich eingerichtet wurde, geht es jetzt darum, die NVIDIA RTX 3060 für meinen Local-AI-Server vorzubereiten und anschließend für den LXC-Container 101 verfügbar zu machen.
Anleitung lesen → -
3
Software
dockerProxmoxServerLocal AI
Standard-llama.cpp für GGUF-Modelle
llama.cpp mit CUDA-Unterstützung einrichten und GGUF-Modelle lokal auf der NVIDIA-GPU ausführen. Von der Docker-Konfiguration bis zum ersten laufenden Local-LLM.
Anleitung lesen → -
4
Software
ProxmoxLocal AIBonsai 2Nvidia GPULLM
Bonsai 2 mit llama.cpp-Fork
In dieser Anleitung richten wir Bonsai 2 27B mit dem PrismML llama.cpp-Fork ein. Dabei konfigurieren wir die NVIDIA-GPU, installieren das Modell, testen die Performance und richten Bonsai 2 anschließend als dauerhaften llama-server mit systemd ein.
Anleitung lesen → -
5
Software
ProxmoxLocal AIVirtuelle MaschineHermes Agent
Hermes Agent vom LLM zum KI-Agenten
In dieser Anleitung installieren wir den Hermes Agent in einer eigenen Debian-13-VM und verbinden ihn mit einer LLM API. Anschließend testen wir die Agentenfunktionen und richten Telegram ein, um Hermes auch vom Smartphone aus nutzen zu können.
Anleitung lesen →