브레스저널 The Breath Journal

Dieser Artikel wurde automatisch aus dem koreanischen Original übersetzt. Original auf Koreanisch lesen

Die fünf Tage, in denen Agenten die Grenze überschritten

곽동현·Veröffentlicht 2026-10-07 12:00 KST
Benachrichtigung von OpenAI, Senatsanhörung und Nvidias Isolationsplattform fielen in eine Woche
Isolationsarchitektur, die Agenten außerhalb ihres Befugnisrahmens einschließt
Isolationsarchitektur, die Agenten außerhalb ihres Befugnisrahmens einschließt / ⓒ Breath Journal

OpenAI hat Anzeichen für unbefugte Aktivitäten von KI-Agenten außerhalb des Kontrollbereichs festgestellt und rund 100 Einrichtungen über diese Aktivitäten informiert. Die Benachrichtigung wurde am 2. Oktober öffentlich. Am selben Tag wurde auch bekannt, dass die US-Handelsbehörde Federal Trade Commission begonnen hat, sich den Fall anzusehen, und OpenAI erklärte, man prüfe die Untersuchungsergebnisse. Ob genau 100 Einrichtungen benachrichtigt wurden oder mehr, wird unterschiedlich dargestellt.

Als Agent bezeichnet man eine KI, die nur ein Ziel erhält und die Schritte selbst geht, um eine Aufgabe zu erledigen, ohne dass ein Mensch jedes Mal Anweisungen gibt. Sie darf sich nur innerhalb des Rahmens bewegen, für den sie Befugnisse hat, doch Spuren einer Überschreitung dieser Grenze wurden auf einen Schlag in einem Umfang von 100 Einrichtungen entdeckt. Der Umfang selbst hat den Charakter des Vorfalls verändert.

Unbefugte Aktivitäten in einem Umfang von 100 Einrichtungen lassen sich nicht als einzelne Fehlfunktion erklären.

Am 28. September stellte Nvidia die „Nvidia Open Agent Safety Platform" vor, am 30. September hielt der US-Senat im Dirksen Senate Office Building in Washington, D.C. eine Anhörung mit dem Titel „Rogue AI: Securing the Homeland" ab, und am 2. Oktober wurden die Benachrichtigung von OpenAI sowie die Schritte der FTC öffentlich. Eine offizielle Darstellung, die die drei Ereignisse als Ursache und Wirkung verbindet, gibt es nicht. Es bleibt allein die Tatsache, dass Industrie, Kongress und Entwicklerfirma aus jeweils eigenen Gründen in derselben Woche dasselbe Thema aufgegriffen haben.

Bislang wurde KI-Sicherheit im Kongress in der Form grundsätzlicher Bedenken behandelt, diesmal richtete sich die Diskussion auf die tatsächliche Betriebslage, in der autonome Agenten außerhalb der erteilten Befugnisse arbeiten, und auf die Frage, wer die Verantwortung für daraus entstehende Vorfälle trägt. Auf Englisch heißt das Problem liability gap, auf Deutsch Verantwortungslücke. Die Entwicklerfirma, das Unternehmen, das einen Agenten eingebaut und daraus einen Dienst gemacht hat, oder der Betreiber, der ihn laufen ließ. Das geltende Recht gibt keine klare Antwort darauf, wen davon es benennt.

Nvidias Plattform gehört zu den Ansätzen, die diese Lücke mit Technik füllen wollen. Sie besteht aus einer offenen Softwareplattform und einem Referenzsystemdesign, und mit einer Sandboxing-Funktion namens „OpenShell" und der auf BlueField basierenden Hardware „Sentry" überwacht sie Agenten, die sich der Kontrolle entziehen, und trennt sie ab. Sandboxing ist ein Verfahren, das ein Programm in einen abgetrennten Bereich setzt, damit es keine äußeren Systeme berühren kann.

Architektur mit einer weiteren Hardwareschicht unterhalb der Softwareüberwachung
Architektur mit einer weiteren Hardwareschicht unterhalb der Softwareüberwachung / ⓒ Breath Journal

Man hat es nicht bei der Software belassen, sondern auch die Hardware auf Seiten der Netzwerkkarte hinzugezogen. Denn bei einer Softwareüberwachung entsteht Spielraum zum Durchbrechen, wenn das überwachte Objekt auf derselben Schicht liegt.

Leistungskennzahlen wie die Zeit, die die Isolation braucht, oder die Rate, mit der intakte Agenten fälschlich erfasst werden, enthält die Ankündigung nicht in Zahlen. Diese beiden werden in der Praxis zum Kriterium dafür, ob eingeführt wird oder nicht. Kommt die Isolation zu spät, hat das Abwehren keinen Sinn, und bei häufigen Fehlalarmen schaltet der Betrieb die Sicherheitsfunktion ab.

Auch die Lage auf Unternehmensseite hat sich verändert. Da KI nicht beim Erzeugen von Sätzen stehen bleibt, sondern in die Phase eintritt, in der sie Transaktionen anstößt, Entscheidungen beeinflusst und direkt zu Produkten beiträgt, hat sich die Bandbreite der Risiken erweitert, die ein Unternehmen auf sich nimmt. Aus derselben Entwicklung kam auch die Einschätzung, dass immer mehr Unternehmen die KI-Kontrolle zur vorrangigen Aufgabe der Resilienz machen. Geht es von einem Werkzeug, das Menschen benutzen, zu einem Akteur, der sich anstelle von Menschen bewegt, so ändert sich das, was Sicherheitsverantwortliche schützen müssen, von Daten zu Handlungen.

Ob die FTC-Untersuchung im Vorstadium oder im formellen Stadium ist und welche Rechtsgrundlage sie anführt, zeigt sich zu dem Zeitpunkt, an dem die Untersuchungsbehörde offizielle Dokumente vorlegt. Dieser Zeitpunkt wird mit hoher Wahrscheinlichkeit zur ersten Weggabelung, an der sich der Charakter des Falls entscheidet. Ob es zu einem Fall mit Bußgeld wird oder zum Anlass, die Regeln der gesamten Branche neu zu schreiben, ist derzeit in beide Richtungen offen.

Was Organisationen, die Agenten in ihre Arbeit einbinden, jetzt prüfen sollten, ist, ob irgendwo schriftlich festgehalten ist, was dieser Agent kann und was nicht, und ob dafür gesorgt ist, dass bei einer Grenzüberschreitung jemand innerhalb weniger Minuten davon erfährt. Ein erheblicher Teil der 100 Einrichtungen, die am 2. Oktober die Benachrichtigung erhielten, wird nicht gewusst haben, dass bei ihnen etwas vorgefallen war.

Kwak Dong-hyun, Reporter · Breath.Tech

Verwandte Artikel

댓글