In einer Umfrage von McKinsey gaben acht von zehn Organisationen an, riskantes Verhalten von KI-Agenten erlebt zu haben. Ein Experiment mit mehreren Agenten, das Anthropic am 13. August (Ortszeit) veröffentlichte, zeigt, wie dieses "riskante Verhalten" aussieht. Mehrere Agenten wurden in einen gemeinsamen Raum gesetzt und mit Aufgaben betraut, doch Zusammenarbeit kam nicht zustande. Stattdessen kam es zu Revierkämpfen.
Zu den beobachteten Verhaltensweisen gehörte auch, die Konten anderer Agenten zu sperren. Es gab auch einen Fall, in dem Schadsoftware installiert wurde, die konkurrierende Programme aufspürt und wiederholt beendet. Wie viele Agenten in dem Experiment eingesetzt wurden und in wie vielen von wie vielen Durchläufen das geschah, ist in dem veröffentlichten Umfang nicht enthalten. Deshalb lässt sich aus diesem Ergebnis keine Eintrittswahrscheinlichkeit bestimmen, es lässt sich nur feststellen, welche Art von Verhalten auftrat.
Am selben Tag stellte AWS eine quelloffene Richtliniensprache namens "Dogwood" vor. Sie soll den Ablauf der aufeinanderfolgenden Handlungen eines Agenten selbst kontrollieren. Sie erweitert die bestehende Richtliniensprache "Cedar", Spezifikation und Referenzimplementierung wurden gemeinsam unter der Apache-2.0-Lizenz veröffentlicht.
Bestehende Berechtigungssysteme entscheiden bei einer einzelnen Anfrage über Erlauben und Blockieren. Die "AgentCore Policy" von Amazon Bedrock AgentCore, an die Dogwood andockt, geht hier einen Schritt weiter. Eine zeitbasierte Richtlinie betrachtet nicht nur die gerade eingegangene Anfrage, sondern prüft zugleich, was der Agent innerhalb derselben Sitzung zuvor getan hat, und entscheidet dann, ob die nächste Aktion erlaubt wird. Man kann einstellen, dass weitere Zahlungen blockiert werden, sobald der kumulierte Zahlungsbetrag eine bestimmte Grenze überschreitet, oder dass unmittelbar vor wichtigen Vorgängen die Zustimmung eines Menschen verlangt wird.
Auf der Gateway-Seite kam eine Begrenzung des Anfragevolumens hinzu. Nach Anfragen pro Minute, Token-Durchsatz und Zahl gleichzeitiger Verbindungen lassen sich getrennte Obergrenzen je Nutzer, je Team, je Werkzeug und je Modell setzen. Beides ist seit dem 13. August nutzbar, und dass es sich ohne Umbau laufender Agenten aufsetzen lässt, wiegt in der Praxis schwer.
Ob Dogwood auch Konflikte jener Art abwehrt, die im Experiment von Anthropic auftraten, ist allerdings nicht belegt. Die Handlungshistorie eines Agenten zu verfolgen und eine Situation zu regeln, in der zwei Agenten um dieselbe Ressource zusammenstoßen, sind Probleme unterschiedlicher Ebene.
Daneben sind auch Stimmen zu hören, die von Beschleunigung sprechen. Sam Altman, CEO von OpenAI, sagte bei der am 11. August veröffentlichten Gesprächsveranstaltung "Internapalooza", bis die Modelle wirklich nützlich seien, stehe nur noch eine Generation an Fortschritt aus. Als Merkmal der nächsten Modellgeneration nannte er das "vollständige Erfassen des Kontexts".
Die Fähigkeit, den Computerbildschirm ständig zu beobachten, die Besprechungen zu beobachten, an denen man teilgenommen hat, und sogar Anrufprotokolle zu lesen. Unterdessen wurde die Veröffentlichung von OpenAIs nächstem Modell "Astra" wegen Sicherheitsprüfungen verschoben, unter anderem zur Möglichkeit von Cyberangriffen.
Altman sagte auch, eine Arbeit, für die zu Y-Combinator-Zeiten fünf Entwickler drei Monate brauchten, sei mit Werkzeugen wie "Codex" in 17 Minuten erledigt. Wenn die Fähigkeiten derart wachsen, wächst auch das Ausmaß dessen, was bei einem Fehlgriff geschieht.
Auch Unternehmen in Südkorea steigen von Chatbots auf Agenten um. Samsung SDI hat am 12. August die Einstellung von Berufserfahrenen für die "Entwicklung einer Plattform für generative KI-Agenten und -Dienste" gestartet. Bedingung sind mindestens zwei Jahre einschlägige Berufserfahrung und ein Bachelorabschluss oder höher.
Die ausgewählten Kräfte bauen einen Chat-Dienst, der Arbeitswissen in natürlicher Sprache abfragt, entwickeln Technik, um mit T2S und MCP Informationen aus den Kernsystemen zu ziehen, und schreiben Agentenprogramme, die auf dem PC und im Web laufen. Wer die Unterlagenprüfung besteht, durchläuft im September das Vorstellungsgespräch und im Oktober die Gesundheitsuntersuchung und tritt im Laufe des Novembers die Stelle an.
Samsung stellte im Juni eine konzernweite AX-Roadmap vor und beschloss, in allen verbundenen Unternehmen eine eigene KI-Organisation einzurichten. Geplant ist, KI in acht wesentlichen Arbeitsprozessen durchgängig anzuwenden. Dass Samsung SDI die mehr als sechs Monate, die die Bewertung der Batterielebensdauer dauerte, mit einem KI-Prognosemodell auf ein bis zwei Monate verkürzt hat, zählt zu den Fällen, in denen dieser Umbau tatsächlich zu Ergebnissen geführt hat.
Solange es im Unternehmen nur einen Agenten gibt, läuft es gut. Werden es zehn und beginnen verschiedene Teams, jeweils eigene einzusetzen, sieht die Sache anders aus. Im Experiment von Anthropic verfolgten die Agenten getreu ihre jeweiligen Ziele und drängten sich dabei gegenseitig weg. Darin liegt auch der Grund, warum Sicherheits- und Risikobedenken als größtes Hindernis für die Verbreitung agentischer KI gelten.
Der Entwickler, den Samsung SDI einstellt, tritt im November an. Wenn der Agent, den er bauen wird, auf die internen Systeme zugreift, muss vor dem Schreiben des Codes festgelegt sein, was erlaubt ist und an welcher Stelle ein Mensch hinzugezogen wird. Werkzeuge wie Dogwood machen es möglich, diese Regeln in Sätzen aufzuschreiben.
