Was ist Jan.ai?
Eine lokale KI-Oberfläche, die GGUF-Modelle laden und über einen OpenAI-kompatiblen API-Server auf dem eigenen PC bereitstellen kann.
Was ist Hermes?
Ein Open-Source-KI-Agent, der Aufgaben ausführen, Werkzeuge nutzen, eigene Skills aufbauen und mit dauerhaftem Kontext arbeiten kann.
Warum zusammen?
Jan.ai hält Modelle lokal und privat. Hermes nutzt diese Modelle als Denkmaschine und ergänzt Memory, Tools, Terminal und Automatisierung.
Welche Variante ist richtig?
Die lokale Installation ist ideal für Entwicklung, Tests und private Nutzung. Hostinger ist sinnvoll, wenn Hermes dauerhaft online laufen oder von mehreren Geräten erreichbar sein soll.
Lokal einfach starten
- Gut für Windows-PC, Notebook, WSL, Linux oder macOS.
- Keine öffentlichen Ports nötig.
- Beste Wahl für erste Tests und vertrauliche lokale Projekte.
Hostinger VPS online
- Gut für dauerhaften Betrieb mit Browserzugriff.
- Empfohlen mit Ubuntu 24.04, Node.js 22+, Python 3.11+ und mindestens 2 GB RAM.
- Erfordert Absicherung mit starkem Passwort, HTTPS, Firewall und sauberer API-Key-Verwaltung.
Jan.ai und Hermes im Zusammenspiel
Die klare Rollenverteilung: Jan.ai ist der lokale Modell-Loader und API-Server. Hermes ist der Agent, der diesen lokalen Endpoint nutzt und daraus einen produktiven Assistenten mit Werkzeugen, Memory und Workflows macht.
Jan.ai Modellserver
- GGUF-Modelle von Hugging Face herunterladen oder importieren.
- Modelle lokal über llama.cpp ausführen.
- OpenAI-kompatiblen lokalen API-Server bereitstellen.
- Typischer Endpoint: http://127.0.0.1:1337/v1.
Hermes Agenten-Ebene
- Jan.ai als Custom/OpenAI-kompatiblen Provider eintragen.
- Den geladenen Jan.ai-Modellnamen als Default-Modell verwenden.
- Tools, Skills, Memory, Terminal und Automatisierung ergänzen.
- Geeignet für lokale Arbeitsabläufe ohne Cloud-Zwang.
Empfohlener lokaler Ablauf
- Jan.ai installieren und ein passendes GGUF-Modell laden, zum Beispiel ein kleineres 8B-Modell für normale PCs.
- In Jan.ai unter Settings > Local API Server den lokalen Server starten.
- Prüfen, ob Jan.ai unter http://127.0.0.1:1337/v1/models Modelle ausgibt.
- Hermes installieren und als Provider einen OpenAI-kompatiblen Custom-Endpoint setzen.
- Base URL auf http://127.0.0.1:1337/v1 setzen und als API-Key einen lokalen Platzhalter verwenden, falls Hermes einen Key verlangt.
- In Hermes den Modellnamen genau so eintragen, wie Jan.ai ihn im Models-Endpunkt meldet.
Beispiel-Konfiguration
Provider: OpenAI-compatible / Custom
Base URL: http://127.0.0.1:1337/v1
API Key: jan-local
Model: exakt der Modellname aus Jan.ai
Welche lokalen Modelle sind sinnvoll?
| Rechner | Modellklasse | Hinweis |
|---|---|---|
| Normaler Windows-PC | 7B bis 8B, Q4_K_M | Guter Einstieg für Chat, Erklärungen und einfache Agenten-Aufgaben. |
| Stärkerer PC mit mehr RAM/VRAM | 14B, Q4 oder Q5 | Bessere Antworten, aber langsamer und speicherhungriger. |
| Workstation/GPU-Server | 30B+ Modelle | Nur sinnvoll, wenn genügend Speicher und Geduld vorhanden sind. |
Wichtig: Hermes lädt lokale GGUF-Modelle in diesem Aufbau nicht selbst. Jan.ai, LM Studio oder llama.cpp laden das Modell. Hermes spricht anschließend über die lokale API mit diesem Modell.
Lokale Installation
Für den Einstieg reicht der Hermes-Agent. Die Desktop-App ist der komfortabelste Weg; alternativ kann Hermes per CLI installiert werden. Wer lokale Modelle nutzen will, startet zusätzlich Jan.ai, LM Studio oder llama.cpp als Modellserver.
1. Voraussetzungen
- Ein Rechner mit Windows, macOS, Linux oder WSL.
- Ein API-Key für den gewünschten KI-Provider oder ein lokaler OpenAI-kompatibler Endpoint wie Jan.ai.
- Terminal-Zugriff: PowerShell unter Windows, Bash unter Linux/macOS/WSL.
2. Windows per PowerShell installieren
PowerShell als normaler Benutzer starten und den offiziellen Installer ausführen:
iex (irm https://hermes-agent.nousresearch.com/install.ps1)
3. Linux, macOS oder WSL installieren
In Bash den offiziellen Installer starten:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
4. Desktop starten
Nach der CLI-Installation kann die Desktop-Oberfläche mit diesem Befehl gestartet werden:
hermes desktop
5. Installation prüfen
hermes --version
hermes
Hermes legt Konfigurationen und lokale Daten typischerweise unter ~/.hermes ab. Dieser Ordner sollte regelmäßig gesichert werden, wenn produktive Skills, Memory oder Provider-Konfigurationen darin liegen.
Sicherheitsregeln für lokal
- API-Keys nie in Screenshots, Git-Repositories oder öffentlichen Notizen speichern.
- Lokale Ports nicht ins Internet freigeben, solange keine Authentifizierung und HTTPS davorliegen.
- Für Kundendaten getrennte Projektordner, getrennte Keys und klare Backups verwenden.
Hermes Workspace lokal
Hermes Workspace ist die Weboberfläche für Hermes Agent. Sie bringt Chat, Dashboard, Skills, Terminal und Gateway zusammen. Diese Variante ist nützlich, wenn man Hermes nicht nur im Terminal, sondern als Web-App nutzen will.
1. Benötigte Komponenten
- Node.js 22 oder neuer.
- Python 3.11 oder neuer.
- pnpm als Paketmanager.
- Hermes Agent installiert und konfiguriert.
2. Workspace installieren
curl -fsSL https://raw.githubusercontent.com/outsourc-e/hermes-workspace/main/install.sh | bash
3. API-Server absichern
Ein geheimes Token erzeugen und sowohl im Hermes-Agent als auch im Workspace eintragen:
openssl rand -hex 32
nano ~/.hermes/.env
# API_SERVER_ENABLED=true
# API_SERVER_KEY=dein_langes_geheimnis
nano ~/hermes-workspace/.env
# HERMES_API_TOKEN=dein_langes_geheimnis
4. Gateway, Dashboard und Workspace starten
cd ~/hermes-workspace
npx concurrently --names "gateway,dashboard,workspace" --prefix-colors "blue,green,yellow" "hermes gateway run" "hermes dashboard" "pnpm dev"
5. Lokale Ports
| Dienst | Standard-Port | Zweck |
|---|---|---|
| Hermes Gateway | 8642 | API-Brücke zwischen Workspace und Agent. |
| Hermes Dashboard | 9119 | Status und Agent-Verwaltung. |
| Workspace Web-App | 3000 | Browseroberfläche für die Arbeit mit Hermes. |
6. Health Checks
curl http://127.0.0.1:8642/health
curl http://127.0.0.1:9119/api/status
Online bei Hostinger
Für den Online-Betrieb empfiehlt sich ein Hostinger-VPS. Der Vorteil: Hermes Workspace läuft dauerhaft und ist per Browser erreichbar. Wichtig ist dabei eine saubere Absicherung, weil ein KI-Agent mit Tools und API-Keys arbeitet.
Variante A: Hostinger Docker-Template
- Im Hostinger hPanel einen VPS anlegen oder einen vorhandenen VPS auswählen.
- Bei den Betriebssystem-Templates das Hermes-Workspace-Docker-Template wählen.
- Workspace-Passwort und API-Key eintragen.
- Deployment starten und danach den Container im Docker Manager öffnen.
- Direkt nach dem ersten Start Passwort, Provider-Key und öffentliche Erreichbarkeit prüfen.
Achtung: Wird auf einem bestehenden VPS das Betriebssystem neu installiert, werden vorhandene Daten gelöscht. Vorher immer Backup erstellen.
Variante B: Manuelle VPS-Installation
Empfehlung: Ubuntu 24.04, mindestens 2 GB RAM, SSH-Zugriff und ein nicht-öffentlich dokumentierter Admin-Zugang.
sudo apt update
sudo apt install -y curl git
curl -fsSL https://deb.nodesource.com/setup_22.x | sudo -E bash -
sudo apt install -y nodejs
sudo npm install -g pnpm
node -v
python3 --version
pnpm -v
Danach Hermes Workspace installieren und konfigurieren:
curl -fsSL https://raw.githubusercontent.com/outsourc-e/hermes-workspace/main/install.sh | bash
openssl rand -hex 32
nano ~/.hermes/.env
# API_SERVER_ENABLED=true
# API_SERVER_KEY=dein_langes_geheimnis
nano ~/hermes-workspace/.env
# HERMES_API_TOKEN=dein_langes_geheimnis
Dauerhaft laufen lassen
Für Tests reicht tmux. Für produktiven Betrieb ist ein systemd-Service oder ein sauber verwalteter Docker-Container besser.
sudo apt install -y tmux
tmux new -s hermes
cd ~/hermes-workspace
npx concurrently --names "gateway,dashboard,workspace" --prefix-colors "blue,green,yellow" "hermes gateway run" "hermes dashboard" "pnpm dev"
Domain, HTTPS und Zugriff
- Workspace nur per HTTPS veröffentlichen, zum Beispiel hinter Nginx/Reverse Proxy.
- Gateway-Port möglichst nicht öffentlich freigeben. Wenn Zugriff von außen nötig ist: nur mit Token, Firewall und HTTPS.
- Für private Nutzung ist Tailscale oder ein VPN oft sicherer als ein offener Admin-Zugang im Internet.
- API-Keys in `.env` halten, niemals in das Webverzeichnis oder in Git legen.
Betrieb und Wartung
Backups
- `~/.hermes` sichern.
- Workspace-Ordner und `.env` getrennt sichern.
- API-Keys dokumentieren, aber niemals unverschlüsselt teilen.
Updates
- Vor Updates Backup erstellen.
- Hermes Agent, Workspace und Node-Abhängigkeiten kontrolliert aktualisieren.
- Nach Updates Health Checks und Login testen.
Fehlerbilder
| Problem | Wahrscheinliche Ursache | Prüfung |
|---|---|---|
| Workspace erreicht Agent nicht | Gateway läuft nicht oder Token stimmt nicht. | `curl http://127.0.0.1:8642/health` und `.env` prüfen. |
| Dashboard bleibt leer | Dashboard-Dienst nicht gestartet. | `curl http://127.0.0.1:9119/api/status` testen. |
| Login oder Provider-Aufruf schlägt fehl | API-Key fehlt, ist falsch oder hat kein Guthaben. | Provider-Key neu setzen und klein testen. |
| Von außen nicht erreichbar | Firewall, Reverse Proxy oder DNS zeigt falsch. | DNS, Nginx, SSL und VPS-Firewall prüfen. |
Start-Checkliste
Hermes Agent installiert und mit Provider-Key oder lokalem Jan.ai-Endpoint getestet.
Workspace-Token erzeugt und in beiden `.env` Dateien identisch gesetzt.
Gateway, Dashboard und Workspace starten ohne Fehler.
Health Checks liefern erfolgreiche Antworten.
Bei Hostinger: HTTPS, Passwort, Firewall und Backup eingerichtet.
API-Keys liegen nicht im Webverzeichnis und nicht in Git.