FAU AG AI-Services - LLM Test Service

Die Arbeitsgemeinschaft AI-Services an der FAU Erlangen-Nürnberg (AGAI) ist ein informeller Zusammenschluss von KI-interessierten Mitgliedern der FAU mit dem Ziel, KI-Dienste für alle Mitglieder der FAU anzubieten.

FAU LLM

Willkommen auf dem Large Language Model Test Service der AG AI-Services der FAU Erlangen-Nürnberg.

Warnung: Dieser Dienst ist experimentell. Im aktuellen Zustand ist weder Sicherheit noch Vertraulichkeit der eingegebenen Daten gewährleistet. Diese Instanz ist nur für den internen Gebrauch. Im Prototypenbetrieb gibt es noch Einschränkungen bei Reaktionszeiten und Stabilität.

Alle Sprachmodelle und die zugehörige Software laufen auf Servern der FAU Erlangen-Nürnberg. Die Verarbeitung der eingegebenen Daten erfolgt rein lokal im Serverraum der FAU.

Aktuell steht ein Dienst mit dem europäische Mixtral 8x22B zur Verfügung, das auch für das Deutsche brauchbare Ergebnisse liefern kann. Hier sind am Lehrstuhl für Mustererkennung (Prof. Maier) bereits Modelle für Industriekooperationen angepasst worden.

Bei Rückfragen zu diesem Dienst schreiben Sie bitte eine Nachricht an Peter Uhrig, Sebastian Wind und Thomas Zeiser.

Dieser Dienst steht nur vorübergehend online zur Verfügung, da er momentan Hardware verwendet, die für Forschung und Lehre angeschafft wurde.

Disclaimer

Dies ist eine experimentelle proof-of-concept Demo-Installation eines LLM-Webservices, die temporär lokal auf Systemen des NHR@FAU betrieben wird. Für die Demo-Installation leisten die AG AI-Services und das NHR@FAU keinerlei Support ("provided as-is") und es muss jederzeit mit Störungen oder Betriebsunterbrechungen gerechnet werden. Sollten Sicherheitsprobleme bekannt werden, wird die Demo-Installation sofort ersatzlos abgeschaltet. Ein dauerhafter Betrieb setzt dediziert dafür beschaffte Hardware voraus.

Datenschutz

Die proof-of-concept Demo-Installation basiert auf llama2-webui und Text generation web UI, wird aber vollständig lokal auf Systemen des NHR@FAU ausgeführt. Aufgrund von Bugs des Webframeworks werden für die GUI vom Client-Browser möglicherweise einzelne Dateien von externen Content-Delivery-Netzwerken (u.a. fonts.googleapis.com und cdnjs.cloudflare.com) abgerufen.

Weder die Prompts noch die Antworten werden dauerhaft gespeichert.
Gespeichert und ausgewertet wird jedoch das Nutzungsverhalten. Dazu werden protokolliert und für die Dauer der Demo-Installation sowie die sich daran anschließende Auswertung gespeichert:

  • IP-Adresse
  • Zeitpunkt der Nutzung
  • gewähltes Modell

Beide Dienste verwenden Cookies, auch von Drittanbietern, für die Auswertung der Nutzung.