KT hat am 30. August die Endergebnisse der gemeinsamen KI-Forschung mit der Seoul National University und dem KAIST veröffentlicht. Der Schwerpunkt der Forschung lag nicht darauf, größere Modelle zu bauen. Er lag darauf, wie genau autonome Agenten die Absicht und die Situation der Nutzer erfassen und wie weit sich der dabei anfallende Verarbeitungsaufwand senken lässt. Der Fall zeigt, dass sich das Interesse der koreanischen KI-Entwicklung vom Leistungswettbewerb hin zu den Betriebskosten verlagert.
Die Forschung mit der Seoul National University befasste sich mit dem Situations- und Kontextverständnis von Agenten und mit Inferenztechniken. Hinzu kam die Arbeit, Bewertungsmaßstäbe für RAI, also verantwortungsvolle KI, aufzustellen und die Verlässlichkeit der Antworten zu verbessern. Auch das Sammeln von Datensätzen für die koreanischsprachige Nutzungsumgebung, ein Modell zur Vorhersage des Nutzerverhaltens und ein Rahmen für bestärkendes Lernen, der Nutzerrückmeldungen in das Training zurückführt, gehörten zum Umfang der Forschung.
Die Forschung mit dem KAIST grub an einer anderen Stelle. Prompt-Kompression ist ein Verfahren, das aus den Sätzen, die in das Modell eingegeben werden, jene Teile entfernt, die dasselbe zweimal sagen oder wenig Einfluss auf das Ergebnis haben, und so die Eingabelänge verkürzt. Wird die Eingabe kürzer, sinkt die Zahl der Token, die das Modell lesen muss, und sinken die Token, gehen Kosten und Zeit für eine Antwort zusammen zurück. In Situationen, in denen ein Agent für eine Aufgabe das Modell dutzendfach aufruft, summiert sich dieser Unterschied.
Auch eine andere Meldung derselben Woche berührt diesen Punkt. SK behandelte in internen Unterlagen Inhalte zur Token-Ökonomie mit der Stoßrichtung, dass es im Zeitalter der KI-Agenten eine Token-Governance braucht. Im Ausland treten mit der Zunahme der KI-Verträge von Salesforce und Workday Abrechnungsformen auf, die auf eine feste Abonnementgebühr ein nutzungsabhängiges Entgelt aufsetzen. In einem System, in dem nach Verbrauch abgerechnet wird, wird der Tokenverbrauch unmittelbar zu einem Posten des Betriebsergebnisses.
Für die Unternehmen heißt das, dass sich der Gegenstand der Steuerung ändert. Wichtiger als die Entscheidung, ein Modell einzuführen, wird die Aufgabe, nach der Einführung zu prüfen, wie viele Token pro Tag wo und wie verbraucht werden. Wenn bei einem abteilungsweisen Einsatz von Agenten nicht erfasst wird, wer wie viel verbraucht, erfährt man die Nutzungsmuster erst, wenn die Rechnung eingeht.
Deshalb hängt auch die Forschung zur Verlässlichkeit mit der Kostenfrage zusammen. Gibt ein Agent eine unpassende Antwort, muss der Mensch erneut fragen, und mit jeder erneuten Frage gehen wieder Token weg. Die Quote der auf Anhieb richtigen Antworten zu erhöhen, ist Qualitätsverbesserung und Kostensenkung zugleich. Aus diesem Grund wird die Arbeit an Bewertungsmaßstäben für RAI über den Ethikpunkt hinaus als Betriebskennzahl gelesen.
Die nächste Hürde ist, wie weit diese Ergebnisse in Produkte einfließen. KT erklärte, die Forschungsergebnisse als Kerntechnologie im eigenen Haus verankern und in der Praxis anwenden zu wollen, nannte aber nicht, in welchen Dienst sie wann einfließen. Auch Messwerte wie der Umfang der Tokeneinsparung oder die Verbesserung der Antwortverzögerung wurden nicht mitgeliefert. Der tatsächliche Nutzen der Technik wird sich zu dem Zeitpunkt entscheiden, an dem diese Zahlen veröffentlicht werden.
Ein Angestellter, der im Büro die KI einen Berichtsentwurf schreiben lässt, weiß nicht, wie viele Token er verbraucht hat. Er muss es auch nicht wissen. Stattdessen rechnet das Unternehmen jeden Monat die Summe ab.
Laufen die Forschung zur Kompression und zur Verlässlichkeit gut, lässt sich für dasselbe Entgelt mehr erledigen, und entsprechend mehr Menschen rufen die KI ohne Bedenken auf. Die Veränderung des Alltags beginnt an diesem Punkt.
