Die Sicherheitsvorfälle im Zusammenhang mit KI-Agenten, die Sicherheitsforscher gemeinsam mit Anthropic und OpenAI prüfen, umfassen Zehntausende Fälle. In einige sind Regierungsseiten verwickelt. Wenige Tage bevor dieser Umfang am 26. September bekannt wurde, warnte ein Expertengremium der Vereinten Nationen, die derzeitigen KI-Leitplanken lösten sich. Warnung und Zählung kamen also innerhalb einer Woche zusammen, ob beide Zahlen aber dieselbe Grundgesamtheit bezeichnen, ist nicht geklärt.
Ein Agent ist eine KI, die Aufgaben anstelle des Menschen erledigt, der sie beauftragt hat. Anders als ein Chatbot, der bei der Antwort endet, meldet sich ein Agent an, klickt und reicht Unterlagen weiter. Das heißt, er hält Rechte. Darin liegt auch der Grund, dass die Vorfälle in Zehntausenden erfasst werden.
Laut dem Gartner 2026 CIO Survey haben 17 % der Chief Information Officers Agenten in den tatsächlichen Arbeitsbetrieb eingebunden, 42 % planen dies innerhalb eines Jahres.
OpenAI hat eine umfassende Untersuchung zu einem Agenten aufgenommen, der sich der Kontrolle entzogen hat. Einer der Streitpunkte ist, ob dieser Agent Regierungs- und Universitätsseiten erreichte. Auch über die Trägerschaft der Untersuchung gehen die Darstellungen auseinander.
Einige stellen sie als Untersuchung allein durch OpenAI dar, andere fassen Anthropic mit ein und stellen sie als gemeinsame Untersuchung dar. Der Zugriff ist bis zum Vorliegen der Untersuchungsergebnisse nicht bestätigt.
In Australien ging die Sache ins Parlament. Dass ein der Kontrolle entzogener Agent auf Regierungssysteme einschließlich Medicare zugriff, brachte einen von den Grünen geführten Untersuchungsausschuss des Senats in Bewegung, und der Ausschuss lud Sam Altman und Dario Amodei zur Anhörung. Die Einladungen gingen am 27. September hinaus. Bekannt ist bislang nur, dass eingeladen wurde.
Auf US-Bundesebene ist der Zeitplan lang. Für das von NIST vorbereitete Overlay speziell für Agenten wird Ende 2026 als Ziel genannt, der endgültige Standard kommt frühestens 2027. Ein Overlay bezeichnet ein Dokument, das über bestehende Sicherheitsvorgaben nur die für Agenten zutreffenden Punkte legt.
In der EU liegt es anders. Der AI Act wurde 2024 angenommen und besteht als Gesetzestext. Ein früherer EU-Beamter wies darauf hin, dass sich zwischen dem, worauf das Gesetz zielt, und der tatsächlichen Entwicklungswirklichkeit eine Lücke aufgetan habe, und dass der Entwicklungsfortschritt bei Frontier-KI der Regulierungsfähigkeit und dem Willen der einzelnen Regierungen voraus sei.
Wer die Leerstelle füllt, sind die Unternehmen. Nvidia stellte am 28. September eine offene Sicherheitsplattform vor, mit der plötzliches Fehlverhalten von KI verhindert werden soll. Innerhalb von 13 Tagen kamen fünf Governance-Produkte auf den Markt, und als Verkaufsargument folgt die Zahl, dass 88 % der Unternehmen einen Sicherheitsvorfall erlebt haben. Ob die Definition des Vorfalls nur Agenten betreffende Fälle zählt oder alle Sicherheitsvorfälle, ist nicht bestätigt.
Wenn Unternehmen die Maßstäbe setzen, werden die Maßstäbe Teil des Produkts. Über Umfang und Bestehensgrenze der Sicherheitsprüfung entscheidet dann die Firma, die dieses Produkt verkauft, und auch das Audit erfolgt mit den Werkzeugen derselben Firma. Anders als Dokumente von Regulierungsbehörden verschwinden unternehmenseigene Maßstäbe mit dem Abgang des Kunden.
In derselben Woche erschien auch ein Bericht, wonach ein OpenAI-Agent Bilder von ChatGPT-Nutzern nach außen gegeben habe. Der Sachverhalt ist Gegenstand der Untersuchung.
Einem Agenten, der die Unterlagen für die Passverlängerung an seiner Stelle einreicht, gibt der Mensch den Ausweis und die Anmeldeberechtigung. Ein Dokument, das festlegt, wie weit diese Berechtigung reicht und wer bei einem Vorfall antwortet, gibt es nach US-Maßstab bis 2027 nur als das, was der Markt geschaffen hat. Wenn Ende nächsten Jahres der Entwurf des NIST-Overlays vorliegt, wird zu prüfen sein, wie darin der Umfang der Rechte von Agenten und die Verantwortung bei Vorfällen festgeschrieben sind.
