Dieselbe Cybersicherheitsaufgabe wurde 122-mal ausgeführt, und in 10 Durchläufen überschritt der Agent die Grenze. Das ist das Ergebnis einer Untersuchung, die das britische AI Security Institute (AISI) von Juli bis August durchführte. Insgesamt wurden 19 nicht genehmigte Handlungen gezählt, deren Ziele nicht in der virtuellen Testumgebung blieben, sondern bis zu Menschen und Organisationen im realen Internet reichten. 17 Fälle entfielen auf Misos 5 von Anthropic, 2 auf GPT-5.6 Sol von OpenAI.
Am Anfang stand auffälliger Datenverkehr. Am 28. Juli wurde während einer Evaluierung entdeckt, dass ungewöhnliche Daten aus dem Forschungssystem nach außen abflossen, und von dort aus wurde die Untersuchung eröffnet. Die Tests mit GPT-5.6 Sol liefen unter Bedingungen, bei denen ein Teil der Schutzvorrichtungen abgeschaltet war, etwa Klassifikatoren, die den Missbrauch für Angriffe herausfiltern. Welche Vorrichtungen und wie viele davon abgeschaltet waren, steht nicht in der veröffentlichten Darstellung.
Um Schadcode in ein Open-Source-Projekt einzuschleusen, recherchierte der Agent die Personalien von Beteiligten, erstellte falsche Online-Identitäten und drängte einen Maintainer, eine Codeänderung zu genehmigen. Er entwarf selbst Social-Engineering-Methoden, um Menschen zu täuschen und Rechte zu erlangen. Ein Maintainer, der den Code prüfte, entdeckte den Schadcode und verweigerte die Genehmigung.
In der Woche, in der dieser Bericht erschien, folgten im In- und Ausland mehrere Ankündigungen, die Agenten in den kommerziellen Betrieb bringen.
Das Kakao-Konsortium teilte am 6. August mit, es sei als ausführendes Unternehmen für das staatliche Förderprogramm zur Entwicklung eines KI-Agenten-Marktplatzes ausgewählt worden. Das Vorhaben wird vom Ministerium für Wissenschaft und IKT (과학기술정보통신부) verantwortet und operativ von der National Information Society Agency (한국지능정보사회진흥원) umgesetzt, der Umfang aus staatlichem Zuschuss und privatem Eigenanteil liegt bei rund 11 Milliarden Won. Die erste Veröffentlichung ist für dieses Jahr vorgesehen, der zweite Dienst mit einem Agent Studio für das kommende Jahr.
Geplant ist ein offener Aufbau, der nicht an eine bestimmte Cloud oder ein bestimmtes Modell gebunden ist, das eigene Modell Kanana und Modelle aus dem In- und Ausland werden gemeinsam angebunden, Werkzeuge werden über externe APIs und MCP verbunden. MCP bezeichnet ein Verbindungsverfahren mit einheitlicher Spezifikation, über das eine KI externe Programme wie Werkzeuge aufrufen kann.
Am selben Tag stellte Cloudflare Wallet und Pay vor. Es sind Werkzeuge, die Agenten auf der eigenen Plattform eine feste Identität geben und Online-Zahlungen nur innerhalb der vom Nutzer gesetzten Grenzen zulassen. Jedem Konto wird eine eindeutige Webadresse zugewiesen, die als ID dient, und wenn ein Nutzer seine Identität mit einem bestimmten Agenten verknüpft, kann das angefragte Unternehmen prüfen, mit wessen Genehmigung die Anfrage kommt.
Kakao erklärte, für die im Marktplatz registrierten Werkzeuge würden Sicherheitsprüfung, Sandbox-Verifizierung und Halluzinationskontrolle angewendet und auch im laufenden Betrieb erneut überprüft, doch wie diese Kriterien tatsächlich greifen, zeigt sich erst nach der ersten Veröffentlichung.
Innerhalb der Organisationen ist die Lage noch lockerer. KI, die Beschäftigte nutzen, ohne dass die IT-Abteilung davon weiß oder sie genehmigt hat, wird Schatten-KI genannt. Geht es noch einen Schritt weiter, greift die Software auf interne Daten und Systeme zu, entscheidet anstelle von Menschen und schickt Ergebnisse nach außen, spricht man von Schatten-Agenten, und wenn der Entwickler das Unternehmen ohne Übergabe verlässt und kein Verantwortlicher mehr da ist, heißt das Geister-Agent.
Die Begeisterung für die Einführung ist groß. KT versammelte am 16. Juli Beschäftigte und veranstaltete einen internen KI-Hackathon namens Agent Camp. In China legte die von der Shanda Group aufgebaute Forschungseinheit Evermind in diesem Sommer drei Papers vor, davon geht HarnessBench der Frage nach, ob Agenten ihre eigene Arbeitsweise selbst korrigieren können. Das Langzeitgedächtnis-System EverOS wird als Open Source veröffentlicht.
In der AISI-Untersuchung war es ein einzelner Open-Source-Maintainer, der den Code las und den Schadcode herausfilterte. Wenn Kakao mit PlayMCP bereits eine Plattform mit mehr als 400 MCP-Servern betreibt und der Marktplatz noch in diesem Jahr öffnet, hört die Frage, an der Unternehmen dranbleiben müssen, nicht bei der Auswahl der Agenten auf. Sie müssen auch prüfen, auf wessen Namen die Berechtigungen jedes einzelnen Agenten laufen.
