KI-Agenten, die eigenmächtig Rabatte gewähren und säumigen Kunden drohen. Mitarbeiter, die Unternehmenssoftware mit ihrem privaten Chatbot-Konto verbinden. Eine interne Datenbank, die Vorstandsgehälter verrät. Robert Wortmann von TrendAI arbeitet seit 17 Jahren in der IT-Sicherheit und hat schon vieles gesehen. Im Gespräch erklärt er, warum Schatten-KI in Unternehmen weiter verbreitet ist, als viele Verantwortliche glauben, warum KI-Projekte von unten nach oben wachsen sollten und weshalb digitale Souveränität mehr verlangt als nur ein Rechenzentrum in Europa.
Als wir diesen Termin vereinbart haben, hieĂźen Sie noch Trend Micro. Jetzt treten Sie als TrendAI auf. Was steckt dahinter?
Robert Wortmann: Trend Micro gibt es weiterhin. Die Enterprise-Sparte haben wir Anfang 2026 in TrendAI umbenannt. Der Grund liegt auf der Hand: Das Unternehmen hat sich technologisch weit von dem entfernt, was man vor zehn bis 20 Jahren kannte. Wir setzen heute stark auf KI-Sicherheit, weil sie schlicht notwendig ist.
Was macht Ihnen beim Blick auf die aktuellen KI-Schlagzeilen Sorgen?
Robert Wortmann: Pauschal lässt sich das nicht beantworten. Vor zwei Wochen habe ich einen ganzen Tag mit einem Betreiber kritischer Infrastruktur in Belgien über KI-Sicherheit diskutiert. Gleich zu Beginn habe ich gesagt: In 17 Berufsjahren hatte ich noch nie so wenige Antworten auf so viele Fragen. Das liegt weniger an fehlendem Wissen als daran, dass die ganze Branche derzeit täglich dazulernt. Die Cybersicherheit hat sich in den vergangenen zehn bis 15 Jahren weniger verändert, als viele denken. Angreifer nutzten andere Tools und Infrastrukturen, die Angriffe liefen im Kern aber ähnlich ab. Verteidiger mussten sich nur innerhalb eines bekannten Rahmens neu aufstellen. Jetzt aber erleben wir agentisches Verhalten, vielleicht sogar ein gewisses Eigenleben, wobei das ein streitbarer Begriff ist. An manchen Tagen begeistern mich die technischen Möglichkeiten, an anderen beunruhigen sie mich.
Wo sehen Sie die größte Bedrohung?
Robert Wortmann: Die eine größte Bedrohung gibt es nicht. Am meisten beschäftigt mich, dass vieles noch unerforscht ist. Die Diskussion schwankt zwischen zwei Extremen: Wir reden über das Ende der Menschheit, bevor wir die heutige Technik sauber absichern. Gleichzeitig verharmlosen wir Gefahren. Europäische Unternehmen fragen mich oft, wie sie verhindern können, dass Mitarbeiter Firmengeheimnisse in ChatGPT eingeben. Das ist ein ernstes Risiko. Zudem handelt es sich eher um ein Datenschutz- als um ein reines Cybersecurity-Problem.
Was steht auf dieser Skala weiter oben?
Robert Wortmann: Die Skala wächst täglich. Ein Beispiel ist die Anbindung von Sprachmodellen an Unternehmensanwendungen. Bei einem unserer Kunden zeigte die HR-Software, ein Software-as-a-Service-Produkt, eines Morgens ein Pop-up: Man könne sie jetzt mit ChatGPT verbinden. Eine leicht verständliche Anleitung erklärte, wie das über das Model Context Protocol (MCP) funktioniert. Doch diese Neuerung war an der IT vorbeigegangen. Offizielle ChatGPT-Zugänge für das Unternehmen gab es nicht, also nutzten Mitarbeiter teilweise ihre privaten Konten. Und da geht es dann nicht mehr nur darum, dass ein PDF hochgeladen wird, sondern da werden unter der Identität der Benutzer Aktionen in einer Enterprise-Software ausgeführt. Das ist nicht das Ende der Welt, aber plötzlich handelt man sich eine komplette Schatten-IT ein.
Und was steht ganz oben?
Robert Wortmann: Das Ende der Skala habe ich noch nicht gefunden. Ein weiteres Beispiel stellen KI-Agenten dar, die Unternehmen bewusst fĂĽr administrative Aufgaben einsetzen, etwa fĂĽr die Rechnungsstellung. Der Agent soll Rechnungen versenden und dafĂĽr sorgen, dass am Monatsende alle bezahlt sind. Das funktioniert meist gut. Wie der Agent dieses Ziel erreicht, muss man ihm aber sehr genau vorgeben.
Genau dazu gab es einen Labortest: Wie lief er ab?
Robert Wortmann: Den Test hat nicht TrendAI durchgeführt, sondern ein Unternehmen, mit dem wir zusammengearbeitet haben. Es wollte einen solchen Agenten einführen, hat ihn zunächst aber verantwortungsvoll im Labor erprobt. Auf der einen Seite stand der Rechnungsagent, auf der anderen befanden sich virtuelle Kunden, ebenfalls Agenten, mit unterschiedlichem Verhalten. Einige zahlten sofort, andere vertrösteten auf den nächsten Monat, ein oder zwei verweigerten die Zahlung rundweg.
Wie reagierte der Agent?
Robert Wortmann: Bei 99 Prozent der Rechnungen verhielt er sich wie erwartet. Zwei oder drei Kunden, die nicht zahlen konnten, bot er aber ohne Freigabe Rabatte an: 20 Prozent Nachlass, wenn sie noch im selben Monat zahlen. Das hatte niemand genehmigt. Gegenüber Zahlungsverweigerern ging er vereinzelt sogar zu sanften Drohungen über. Viele werden einwenden, dass sich das durch klare Grenzen weitgehend ausschließen lässt. Das stimmt. Doch wie viele Grenzen genügen? Haben wir an alle gedacht? Oder braucht es einen Human in the Loop, der Aktionen erst freigibt? Der Agent handelt schließlich unter einer E-Mail-Adresse des Unternehmens. Inzwischen gibt es genügend Gerichtsurteile, die klarstellen: Für das Handeln eines Agenten haftet das Unternehmen.
Aus der Praxis kennt man Fälle wie die falschen Auskünfte bei Air Canada oder Leaks bei Microsoft und Salesforce. Die Tools taten, wofür sie gebaut wurden. Ist das das Dilemma?
Robert Wortmann: Sie folgten der Logik der Agenten, nicht unbedingt den Absichten der Anbieter, die dadurch teils selbst Schaden nahmen. Die Agenten taten, was man ihnen aufgetragen hatte. Niemand hatte aber festgelegt, auf welchem Weg – oder der Rahmen war zu weit gesteckt. Der jüngste Fall von OpenAI-Agenten, die aus einer Sandbox ausgebrochen sind, zeigt zudem: Wir müssen auch die Infrastruktur anpassen. Aus Sicherheitssicht hat man eine Sandbox oder keine – ein Zwischending ist ein seltsamer Kompromiss. Vieles, was Firmen als exotisches Verhalten darstellen, ließe sich gut kontrollieren. Es fehlen Erfahrungswerte, und oft geht alles zu schnell. Persönlich bereiten mir aber die Fälle die größten Sorgen, in denen Agenten tatsächlich unvorhersehbar handeln. Was man nicht antizipieren kann, entzieht sich weitgehend der Kontrolle.
Angenommen, Sie besuchen einen Kunden, um eine Zusammenarbeit zu planen. Welche Fragen stellen Sie zuerst?
Robert Wortmann: Zuerst kulturelle. Wie hoch ist Ihre Risikobereitschaft? In der Cybersicherheit stellen wir diese legitime Frage viel zu selten, dabei geht es ohne Risikoappetit nicht. Dann frage ich, ob das Management das Projekt von oben durchsetzen will oder ob es einen konkreten Use Case gibt. Top-down funktioniert bei KI nach unserer Einschätzung selten. Danach geht es um die Grundlagen. Effizienzgewinne entstehen in der Regel erst, wenn Sie eigene Daten in Kernprozesse einbinden. Wie stabil ist das Fundament? Sonst bauen wir womöglich ein schönes Haus auf sumpfigem Grund. Zum Fundament gehören Berechtigungsstrukturen für Dateien und ein Überblick über vorhandene Daten und KI-Deployments, von denen manchmal niemand weiß. Erst danach folgt der sichere Aufbau der Infrastruktur: Linux/Unix, DevOps, Container. Wir hatten etliche Fälle, in denen nicht die KI selbst die Schwachstelle war, sondern eine veraltete oder schlecht konfigurierte Cloud-Infrastruktur darunter, die Angreifern den Zugriff erleichterte.
Mitarbeiter, die Firmendaten in ihren privaten ChatGPT-Account laden: Kommt das häufiger vor, als wir denken?
Robert Wortmann: Ich glaube, ja. Mitarbeiter einzeln zu überwachen, kommt für uns nicht infrage. Man kann aber prüfen, wie aus einer Infrastruktur heraus auf ChatGPT zugegriffen wird. Verbietet ein Unternehmen die Nutzung per Richtlinie und sieht dann viele Aufrufe in diese Richtung, passt etwas nicht zusammen. Dabei geht es nicht um einzelne Personen, sondern um das Risiko für die gesamte Umgebung. Hinzu kommt: Ein Mitarbeiter muss kein Dokument hochladen. Er kann abends zu Hause aus dem Gedächtnis eine Anfrage in sein eigenes Abo tippen. Das lässt sich technisch nicht abfangen, allenfalls abschwächen. Und zwar mit einer Alternative, die ähnlich gut funktioniert, sich aber besser kontrollieren lässt. Doch das ist leider nicht einfach.
Wie schaffen Unternehmen eine Alternative zu öffentlichen KI-Tools?
Robert Wortmann: Indem sie zuerst die Grundlagen richtig machen: eine resiliente Infrastruktur und ein durchdachtes Souveränitätskonzept. Es genügt nicht, etwas irgendwo in Europa zu hosten. Entscheidend ist: Können wir unsere Kernprozesse noch ausführen, wenn der Zugriff auf eine Anwendung wegfällt? Danach sollten Unternehmen mit konkreten Use Cases beginnen statt mit einem internen GPT für alle. Ein solches internes GPT ist meist weniger leistungsfähig als das, was Mitarbeiter von ChatGPT kennen. Ich bin ausdrücklich für lokale KI-Deployments, aber man muss klein anfangen und gut planen. Gut funktioniert etwa die Dokumentation: Unternehmen können alte Unterlagen oder sich überschneidende Handbücher einpflegen.
Souveränität liegt Ihnen besonders am Herzen.
Robert Wortmann: Ja, weil ich dafür bin, dass sich Firmen unabhängig machen. Das ist meine persönliche Meinung, keine Firmenposition. Souveränität bedeutet mehr als Hosting in Europa oder im eigenen Haus. Es geht auch um operative Abhängigkeiten: Was passiert, wenn für ein Modell keine neuen Versionen mehr erscheinen oder es morgen gar nicht mehr funktioniert, die Kernprozesse aber darauf aufbauen? Hinzu kommt die Frage der Transparenz. Open-Weights-Modelle sind keine Open-Source-Modelle. Die Gewichte sind einsehbar, die Herkunft der Trainingsdaten bei vielen dieser Modelle jedoch nicht. Und wer ein Modell selbst hostet, erbt Risiken, etwa beim Umgang mit Identitäten oder durch doppelte Infrastruktur. Das schließt diesen Weg zwar nicht aus, man muss sich der Risiken aber bewusst sein.
Wie geht es nach dem ersten Gespräch beim Kunden weiter?
Robert Wortmann: Dann gleichen wir die Theorie mit dem Ist-Zustand ab. Zuerst muss sichtbar werden, wie viel Schatten-KI existiert. Meine erste Frage lautet: Wie viele MCP-Server haben Sie? In Mitteleuropa höre ich meist: keinen. Setzt man Technik ein, die solche Server aufspürt, findet man deutlich mehr. Mitarbeiter haben eigene Lösungen aufgebaut, meist ohne böse Absicht, aber technisch oft unsicher. Sichtbarkeit braucht es prozessual wie technisch. Im nächsten Schritt klären wir das Ziel, und zwar aus Business- und nicht aus Sicherheitssicht. Als Sicherheitsanbieter zeigen wir, wo wir viel Kontrolle bieten und wo jemand einen gewissen Risikoappetit mitbringen muss. Wir sichern ab, wie ein Modell gehostet wird und wie die Infrastruktur darunter aussieht. Eingaben prüfen wir auf Prompt Injections und filtern sie gegebenenfalls. Gerät ein Agent aber völlig außer Kontrolle, stoßen auch wir an Grenzen. Dann sagen wir dem Unternehmen, wie groß das Risiko ist. Die Entscheidung liegt dann bei ihm.
Jeder Geschäftsführer fürchtet wohl den Praktikanten, der zwei Wochen in der Personalabteilung verbringt und sich als Erstes die Liste der Vorstandsgehälter holt.
Robert Wortmann: Das kommt tatsächlich vor. Zu weit gefasste Berechtigungen gab es in der IT schon immer. Früher musste man die Datei aber erst finden, etwa eine „Gehälter.xls“, und war dann überrascht, dass man sie öffnen konnte. Bei den oft chaotischen Ablagestrukturen war das gar nicht so einfach, und vieles lag ohnehin lokal auf der Festplatte des Geschäftsführers. Heute genügt ein Prompt: Finde mir folgende Information. Hat jemand intern eine KI aufgesetzt und dafür alle Dokumente des Unternehmens in eine Vektordatenbank geladen, ohne auf Zugriffsrechte zu achten, bestehen die alten Lücken weiter. Nun kommt aber ein zentraler Abfragemechanismus hinzu. So landet eine veraltete Gehaltstabelle in der Datenbank – und plötzlich lassen sich die Gehälter abfragen, weil sich niemand Gedanken über Berechtigungen für Informationsabfragen gemacht hat.
Zum Schluss der Blick in die Glaskugel: Diskutieren wir in einem Jahr noch dieselben Themen?
Robert Wortmann: Ich erwarte, dass die Kluft zwischen den großen, eher theoretischen Debatten und der praktischen Anwendung in Unternehmen weiterhin wächst. Viele Mittelständler und auch Großkonzerne werden noch ganz am Anfang ihrer KI-Projekte stehen und über dieselben Risiken sprechen, während die öffentliche Debatte längst um weit größere Gefahren kreist. Ich hoffe, dass wir stärker die Vorteile für die Verteidigung sehen. KI macht Security-Operation-Center effizienter, weil Menschen weniger manuelle Arbeit erledigen müssen. Sie demokratisiert Sicherheit: Kleine Teams halten mit Sprachmodellen einen Security-Betrieb rund um die Uhr weitgehend aufrecht – ohne enormes Fachwissen und viel Personal. Das sehen wir derzeit auch beim Einsatz unserer eigenen Produkte. Nicht jedes Problem lässt sich so lösen. Doch bei KI-gestützten Verteidigungstools lautet die erste Frage oft nicht, was damit möglich wird, sondern was passiert, wenn das Tool halluziniert? Dieses Risiko muss man analysieren. Aber wollen Sie deshalb weiterhin nichts tun, weil ein Agent mit einer Wahrscheinlichkeit von vielleicht 0,5 Prozent falsch entscheidet? Zumal sich dieses Risiko zu einem guten Teil kontrollieren lässt. Ich hoffe, dass die Cybersecurity neben den berechtigten Risiken auch die Chancen sieht.
kommentar field