meloki AdminPACK
Einleitung
meloki ist eine lokale KI-Instanz auf der scope7 Hardware, die speziell für Kunden entwickelt wurde und einfachen Zugriff auf leistungsstarke KI-Lösungen bietet. Diese Dokumentation beschreibt die Funktionalität des meloki AdminPACK.
Die meloki-Software und die KI-Lösungen sind auf dem primären NVMe-Laufwerk installiert. Ein zusätzliches 1TB SSD-Laufwerk ist verfügbar. Es wird für Backups verwendet, Sie können es aber auch zur Speicherung von Eingabe- oder Ausgabedaten (RAG-Dateien, Audiodateien oder Ihre eigenen Modelle) nutzen.
Dieses Dokument geht davon aus, dass Sie Ihr meloki-System bereits mit unserem Quick Start Guides initial eingerichtet haben.
Auf meloki zugreifen
Sie können auf das System entweder über SSH oder über die Weboberfläche zugreifen.
meloki benötigt einen Internetzugang, um Open-Source-Software oder LLM-Modelle herunterzuladen. Die eingehende Web-Benutzeroberfläche für meloki oder die WebUIs der KI-Lösungen sowie die SSH-Dienste sind nur für die Verwaltung im LAN vorgesehen und müssen durch eine Firewall vom WAN blockiert werden.
SSH-Zugriff
Verwenden Sie die folgenden SSH-Befehle, um eine Verbindung herzustellen:
- Für per DHCP zugewiesene IP:
ssh meloki@<dhcp-zugewiesene-ip>
- Für statische IP:
ssh meloki@172.20.10.1
Das Passwort lautet secudos.
Zugriff über Weboberfläche
Die WebUI von meloki ist nur über HTTPS erreichbar.
Bei der Ersteinrichtung:
https://DHCP-IP/
Nach der Einrichtung:
https://DHCP-IP/meloki
Oder verwenden Sie Ihren FQDN mit Ihrem eigenen SSL-Zertifikat.
meloki Login
Das Admin-Panel erfordert einen authentifizierten Benutzer.
Melden Sie sich mit meloki als Benutzername und meloki als Passwort an.
meloki Admin-Panel
Das meloki Admin-Panel ist Ihre Übersicht über die aktuell laufenden KI Lösungen und bietet System-Einstellungen, Updates und Backups an.
Sie haben Einsicht auf die Betriebsystem-Version sowie den aktuell laufenden NIVIDA-Treiber für Ihre Grafikkarte.
Über die System Auslastungs Informationen können Sie die aktuelle Auslastung (CPU, Memory und Disk) des Systems einsehen. Auch für die Grafikkarte bieten wir die Information über (GPU und VRAM) an.
Über die Sprach-Auswahl können Sie zwischen Deutsch und Englisch wählen.
Die OpenSource KI Lösungen sind in einzelne Sektionen aufgeteilt.
Klicken Sie auf eine Sektion um sie zu öffnen.
Panel Sektionen
Als Beispiel Chat & RAG
Hier kommt OpenWebUI mit Ollama als OpenSource KI Lösung zum Einsatz.
OpenWebUI ist bereits mit Ollama verbunden. Sie können sofort damit arbeiten, ohne zusätzliche Einrichtung.
Der aktuelle Status zeigt an, ob die Anwendung gerade Läuft oder Gestoppt ist.
Weitere mögliche Zustände sind Vorbereitung, Download von Standard-Modellen, Backup läuft oder Prüfe Status.
In der Sektion Steuerung können Sie die Anwendung aktivieren oder deaktivieren.
Wenn Updates verfügbar sind, wird dies in der entsprechenden Spalte mit Verfügbar angezeigt.
Über die Kategorie Wartung und den Schalter Aktualisieren können Sie die Open-Source-Lösung auf den neuesten Stand bringen.
Mit Logs anzeigen lassen sich die Protokolle der jeweiligen Lösung live einsehen:
Sie können hier zwischen den zum Einsatz kommenden Lösungen die Log Einsicht wählen:
meloki-openwebui-1, meloki-ollama-1 und meloki-nginx-1
Mit einem Klick auf Backup erstellen starten Sie ein Backup aller OpenSource Lösungen in dieser Sektion.
Der Status springt dann auf Backup läuft.
Der Backup Prozess sichert nur die Nutzerdaten, nicht die Software selbst.
Mit einem Klick auf Wiederherstellen öffnet sich ein Fenster, das alle bereits erstellten Backups anzeigt.
Öffnen Sie die Backup Liste mit einem Klick auf Snapshot auswählen
Nachdem Sie in der Liste ein Backup ausgewählt haben, bestätigen Sie die Aktion bitte mit Wiederherstellen.
Der Status springt anschließend auf Wiederherstellung.
Berücksichtigen Sie, dass solange ein Backup oder eine Wiederherstellung läuft, die Lösungen für die Anwender nicht zur Verfügung stehen.
Bei der Wiederherstellung haben Sie die Möglichkeit, die Wiederherstellung auf einzelne Lösungen zu reduzieren.
Heruntergeladene Modelle: Damit sind Ihre lokalen Ollama-Modelle gemeint.
Benutzerdaten, Chat und Wissensdatenbank: Damit sind alle Nutzerdaten aus OpenWebUI gemeint.
Sind Sie sich unsicher, was wiederhergestellt werden sollte, raten wir dazu immer beides zusammen wiederherzustellen.
Einstellungen
Sie können die Einstellungen über den Einstellungen Schalter öffnen, den Sie oben rechts finden.
Updates
Updates sind aufgeteilt in System-Updates und Anwendungs-Updates.
Über Nach Updates suchen können Sie manuell nach neuen Versionen suchen.
Falls Updates vorhanden sind, werden diese an dieser Stelle angezeigt.
System-Updates lassen sich über den Schalter Jetzt 67 Updates installieren herunterladen und installieren.
Anwendungs-Updates können nur im Admin-Panel in der jeweiligen Sektion über den Schalter Aktualisieren eingespielt werden.
Mit dem Schalter Automatische Updates können Sie festlegen, ob für System- oder Anwendungs-Updates automatisch täglich oder wöchentlich gesucht werden soll.
Hierbei wird nur automatisch nach Updates gesucht. Es erfolgen keine Downloads oder Installationen.
Netzwerk
Im Netzwerk Bereich werden Ihnen erneut die Einstellungen angeboten, die Sie bereits bei der Erst-Einrichtung vornehmen konnten.
Hier können Sie jederzeit Gerätename, FQDN/IP, Docker Standard-Netzwerk und das interne Docker-Subnetz umkonfigurieren. Klicken Sie zum Speichern auf Einstellungen speichern
Berücksichtigen Sie, dass eine Änderung der Netzwerk-Konfiguration zu einer kurzen Nicht-Erreichbarkeit der Anwendungen führt.
System
Hier können Sie die Zeitzone an Ihre Bedürfnisse anpassen.
Klicken Sie zum Speichern auf Einstellungen speichern.
SSL
Hier können Sie Ihre eigenen SSL-Zertifikate hochladen.
Die SSL-Zertifikatskette ist optional.
Nach der Auswahl klicken Sie bitte auf Zertifikate hochladen.
Sicherheit
Hier haben Sie die Möglichkeit Ihr Passwort zu ändern.
Geben Sie Ihr Aktuelles Passwort ein sowie zwei mal das neue Passwort.
Zum Speichern klicken Sie im Anschluss auf Passwort ändern
Es wird drigend empfohlen, das initiale Passwort aus der Einrichtung nach dem ersten Login zu ändern
Backup & Wiederherstellung
Über Automatische Backups können Sie festlegen, ob Backups täglich oder wöchentlich erstellt werden.
Als Speicherort steht aktuell nur /data/backup/ zur Verfügung.
Dabei handelt es sich um die separate 1TB SSD in Ihrer Meloki.
Weitere Backup Speicherorte sind geplant!
Tragen Sie unter Backup Passwort Ihr persönliches geheimes Passwort ein.
Bitte merken Sie sich Ihr Passwort gut. Es wird erneut benötigt, falls die System-Festplatte neu installiert werden muss.
Speichern Sie die Eingaben im Anschluss mit dem Schalter Einstellungen speichern.