FortiAIGate schafft Kontrolle über Unternehmens-KI
Der Einsatz von Large Language Models (LLMs) entwickelt sich zunehmend zu einem zentralen Bestandteil moderner Unternehmensprozesse. Anwendungen wie ChatGPT, Claude, interne KI-Assistenten oder spezialisierte KI-Agenten steigern Produktivität und Effizienz, bringen gleichzeitig aber neue Herausforderungen in den Bereichen Datenschutz, Compliance und Sicherheit mit sich.
Mit FortiAIGate bietet Fortinet eine Lösung, die als zentrales KI-Gateway zwischen Anwendern, Anwendungen und den eigentlichen Sprachmodellen fungiert. Unternehmen erhalten dadurch Transparenz, Kontrolle und Schutz über sämtliche KI-Anfragen.
Volle Kontrolle, hoher Ressourcenbedarf
Für den Test wurde bewusst auf öffentliche KI-Dienste verzichtet, um die Verarbeitung der Anfragen vollständig nachvollziehen zu können. Stattdessen kam eine lokale Ollama-Instanz zum Einsatz, während OpenWebUI und curl als Clients dienten. OpenWebUI war dabei so konfiguriert, dass sämtliche Anfragen zunächst an FortiAIGate gesendet wurden. Dort erfolgte die Filterung, bevor die Prompts an das lokale KI-Modell weitergeleitet wurden. Die Antworten durchliefen anschließend den gleichen Weg in umgekehrter Richtung und wurden dabei ebenfalls von den Output-Filtern geprüft.
Als Testumgebung diente ein Kubernetes-Cluster mit einem entsprechend ausgestatteten Worker-Node. Für den Betrieb mussten die verfügbaren Ressourcen gegenüber der ursprünglichen Konfiguration deutlich erhöht werden, damit alle Container erfolgreich starten konnten. Um die Wirkung der Filter im Detail analysieren zu können, lief Ollama im Debug-Modus. Dadurch ließ sich nachvollziehen, welche Inhalte nach der Verarbeitung durch FortiAIGate tatsächlich beim KI-Modell ankamen.
Nicht ohne Kubernetes
Die Installation von FortiAIGate erfolgt containerbasiert auf einem Kubernetes-Cluster und setzt idealerweise mindestens einen Worker-Node mit Nvidia-GPU voraus. Die GPU-Unterstützung kann zwar deaktiviert werden, führt jedoch zu deutlichen Leistungseinbußen, da FortiAIGate selbst KI-Modelle zur Analyse und Filterung von Prompts und Antworten verwendet. Für die Bereitstellung stellt Fortinet die benötigten Container-Images sowie einen Helm-Chart bereit. Die Images müssen zunächst in eine lokale Container-Registry importiert und dort bereitgestellt werden.
Die eigentliche Konfiguration erfolgt über die Datei values.yaml. Wichtige Einstellungen betreffen die Lizenzdateien, die verwendete Container-Registry, die Storage-Klasse des Kubernetes-Clusters sowie optional eigene TLS-Zertifikate. In Umgebungen ohne GPU sollten zudem die CPU-Ressourcen für den Triton-Container deutlich erhöht werden, da die Standardkonfiguration die Verarbeitung spürbar ausbremst.
Ausgerollt wird FortiAIGate mithilfe von Helm in einem separaten Kubernetes-Namespace. Im Test zeigte sich, dass die Ressourcenanforderungen nicht unterschätzt werden sollten: Ein Worker-Node mit acht vCPUs und 48 GB RAM reichte nicht aus, während die Bereitstellung mit 24 vCPUs erfolgreich verlief. Nach dem Start der Container war die Weboberfläche über den konfigurierten Ingress erreichbar. Der erste Login erfolgt standardmäßig mit dem Benutzer „admin“, sodass unmittelbar anschließend ein sicheres Passwort vergeben werden sollte.
Zahlreiche Stellschrauben für den Datenfluss
Nach dem ersten Login führt ein Assistent durch die grundlegende Einrichtung von FortiAIGate. Zunächst wird ein sogenannter AI Guard angelegt, der als Ausgangspunkt für die Kommunikation mit einem KI-Modell dient. Dort werden der AI Provider, das verwendete Modell sowie bei Bedarf private Endpunkte wie ein lokaler Ollama-Server konfiguriert. Zusätzlich lassen sich Tokenpreise hinterlegen, um spätere Nutzungskosten im Dashboard sichtbar zu machen.
Über die Bereiche Input Guard und Output Guard können Sicherheitsfilter für eingehende und ausgehende Anfragen eingerichtet werden. Zu den verfügbaren Funktionen gehören Prompt-Injection-Schutz, Data-Leak-Prevention, Toxicity-Erkennung sowie individuelle Regeln auf Basis von Schlüsselwörtern. Die Aktionen reichen von Warnungen über das Blockieren von Anfragen bis hin zur automatischen Anonymisierung sensibler Daten.
Der eigentliche Zugriffspunkt wird anschließend über einen sogenannten AI Flow definiert. Dieser stellt den Endpunkt für Benutzer und Anwendungen bereit und verknüpft Anfragen mit einem oder mehreren AI Guards. Optional ermöglicht Intelligent Routing die automatische Auswahl des passenden Modells anhand von Merkmalen wie Sprache, Prompt-Tags oder Header-Informationen. Ergänzend können API-Keys eingesetzt werden, um den Zugriff auf bestimmte Flows oder Benutzergruppen zu beschränken.
Nach Abschluss der Konfiguration greifen Clients nicht mehr direkt auf das KI-Modell zu, sondern auf den jeweiligen Flow-Endpunkt von FortiAIGate. Im Test kam dafür OpenWebUI als Benutzeroberfläche zum Einsatz, während eine zusätzliche NGINX-Instanz als Reverse Proxy zwischen Client und FortiAIGate fungierte.
Routing mit kleinen Stolpersteinen
Für den Test konzentrierten wir uns auf die Filter- und Routingfunktionen von FortiAIGate. Da OpenWebUI bei jeder Anfrage den gesamten bisherigen Chatverlauf an das Modell übermittelt, führten wir die einzelnen Testfälle in separaten Chats aus. Andernfalls hätten Inhalte aus früheren Eingaben, etwa Schimpfwörter, spätere Filtertests beeinflussen können. Die Protokolle von FortiAIGate ermöglichen dabei eine transparente Nachverfolgung aller übertragenen Anfragen und Antworten.
Für den Routingtest richteten wir zwei AI Guards mit den Modellen qwen2:1.5b und llama2:13b ein. Mithilfe von Intelligent Routing sollten deutschsprachige Anfragen automatisch an das Llama-Modell weitergeleitet werden, während alle anderen Anfragen standardmäßig qwen nutzten. Zusätzlich aktivierten wir sämtliche Inhaltsfilter und konfigurierten diese zum Blockieren beziehungsweise Anonymisieren von Inhalten.
Die Tests umfassten Programmieranfragen, deutschsprachige Anfragen, Schimpfwörter in verschiedenen Sprachen, personenbezogene Daten sowie Prompt-Injection-Versuche. Während die Filterfunktionen grundsätzlich wie erwartet arbeiteten, zeigte das Routing zunächst unerwartetes Verhalten. Erst nach dem Start einer neuen deutschsprachigen Konversation leitete FortiAIGate die Anfrage korrekt an das vorgesehene Modell weiter. Der Test verdeutlichte, dass das intelligente Routing grundsätzlich funktioniert, das Zusammenspiel mit dem von OpenWebUI übermittelten Gesprächskontext jedoch berücksichtigt werden muss. Für Administratoren ist daher entscheidend zu wissen, welche Informationen ein Client bei jeder Anfrage mitsendet, da diese sowohl das Routing als auch die anschließende Filterung beeinflussen.
Filterung mit Nebenwirkungen
Im Test zeigte sich, dass die Inhaltsfilter von FortiAIGate Prompts und Antworten zuverlässig verändern oder blockieren können, dabei jedoch nicht immer präzise zwischen zulässigen und unerwünschten Inhalten unterscheiden. So wurde beispielsweise der Name des Python-Entwicklers Guido van Rossum aufgrund aktivierter Data-Leakage-Filter als personenbezogene Information entfernt. Auch der Toxicity-Filter erkannte Beleidigungen nicht in allen getesteten Sprachen gleichermaßen zuverlässig.
Die Anonymisierung personenbezogener Daten funktionierte dagegen nachvollziehbar. Sowohl in Prompts als auch in Modellantworten wurden erkannte Namen und Adressdaten durch Platzhalter ersetzt. Beim Schutz vor Prompt-Injection erkannte FortiAIGate klassische Angriffe zuverlässig, scheiterte jedoch an einem Base64-codierten Beispiel. Gleichzeitig zeigte sich, dass scharf konfigurierte Filter auch legitime Inhalte erfassen können.
Das Dashboard bietet einen guten Überblick über Zugriffe, Sicherheitsverstöße, Tokenverbrauch und die daraus entstehenden Modellkosten. Bei der Performance bestätigte der Test die Herstellerempfehlung, ausreichend Hardware einzuplanen. Ohne GPU reagierten die Scanner deutlich zu langsam für den produktiven Einsatz, weshalb Fortinet mindestens eine GPU mit 24 GB VRAM empfiehlt. Insgesamt hängt die Praxistauglichkeit von FortiAIGate stark von einer sorgfältigen Filterkonfiguration und einer ausreichenden Hardwareausstattung ab.
Fazit
Stärken
- Data Leak Prevention
- Anonymisierung
- Intelligentes Routing
- Detaillierte Protokollierung
Schwächen
- Hohe Lizenzkosten
- Leistungsstarke GPU quasi Pflicht
- Filter benötigen gutes Feintuning
- Ollama ist nicht nativ integriert
FortiAIGate vereint zentrale Funktionen für die sichere und kontrollierte Nutzung von Large Language Models in Unternehmen. Im Test arbeiteten sowohl das intelligente Routing zwischen verschiedenen Modellen als auch die Filterung und Anonymisierung sensibler Inhalte grundsätzlich zuverlässig. Gleichzeitig zeigte sich, dass die Schutzmechanismen sorgfältig konfiguriert werden müssen, da zu restriktive Regeln legitime Inhalte verändern oder blockieren können. Positiv hervorzuheben sind die zentrale Protokollierung von Anfragen, Antworten und Regelverstößen sowie die umfangreichen Steuerungs- und Sicherheitsfunktionen. Dem stehen jedoch hohe Lizenzkosten und erhebliche Hardwareanforderungen gegenüber.
Damit richtet sich FortiAIGate vor allem an Organisationen, die große Mengen von KI-Anfragen verarbeiten und dabei hohe Anforderungen an Datenschutz, Compliance und Nachvollziehbarkeit erfüllen müssen. Verbesserungsbedarf besteht unter anderem bei der nativen Unterstützung von Ollama, der Einführung von Kostenlimits für einzelne AI Guards sowie einer flexibleren Zuordnung von Zugriffsrechten und Kostenstellen. Insgesamt bietet FortiAIGate eine leistungsfähige Plattform zur zentralen Absicherung von KI-Anwendungen, deren Erfolg jedoch maßgeblich von einer durchdachten Konfiguration und einer ausreichend dimensionierten Infrastruktur abhängt.
Fortinet Network
Secure Networking FortiOS, Unified SASE, Security Operations, Digital Risk Protection mit FortiRecon
- Engage Tech Support Partner (ETSP)
- Integrator
- SD-WAN
