Chat & RAG

Chat & RAG besteht aus den OpenSource Lösungen OpenWebUI und Ollama.

OpenWebUI ist eine benutzerfreundliche Weboberfläche für die Interaktion mit verschiedenen lokalen großen Sprachmodellen, die eine anpassbare und ansprechende Benutzererfahrung bietet.
Dies umfasst das Chatten mit Modellen, die Analyse von Dokumenten oder das Erzeugen von Bildern.

Ollama ist ein Tool, das die einfache und schnelle Ausführung von großen Sprachmodellen (LLM) wie Gemma3 auf der lokalen meloki Appliance möglicht.

Wenn sie Chat & RAG zum ersten mal starten, laden wir bereits für Sie einige OpenSource-Modelle runter, damit Sie direkt loslegen können.

Initiale Modelle

Diese Modelle sind nach dem ersten Start bereits in Ollama verfügbar und können direkt in OpenWebUI verwendet werden.

gemma3:27-it-qat
Dies ist das derzeit beste Modell von Google.
Gemma 3 bietet Multimodalität, unterstützt Bild-Text-Eingaben und Textausgaben. Es verarbeitet Kontextfenster bis zu 128k Token, versteht über 140 Sprachen und bietet verbesserte Mathematik-, Argumentations- und Chat-Funktionen.

phi4:14b
Dies ist das aktuelle Top-Modell von Microsoft.
Phi-4 ist besonders gut bei mathematischen Aufgaben.

llama3.2:1b
Dies ist ein leichtgewichtiges Textmodell, das auch auf Edge- und Mobilgeräten laufen kann.

Zusätzliche Modelle

Wenn Sie weitere Modelle verwenden möchten, können Sie die OpenWebUI Administration verwenden.
Dort ist es möglich neue Modelle für Ollama runterzuladen.

Melden Sie sich dafür in OpenWebUI als Administrator an und öffnen Sie das Admin Panel.
Navigieren Sie dann zu Einstellungen -> Modelle.

Auf der Rechten Seite befindet sich ein "Download Icon".

Hier können Sie komfortabel weitere Modelle runterladen.

Weitere Dokumentation

Weitere Informationen zu OpenWebUI oder Ollama finden Sie in den offiziellen Links.

OpenWebUI Dokumentation: https://docs.openwebui.com/
Ollama Dokumentation: https://ollama.com/