Es gehört zu den besonderen Errungenschaften der künstlichen Intelligenz, dass wir inzwischen Maschinen entwickeln, die uns Arbeit abnehmen sollen – und anschließend offenbar erhebliche Arbeit damit haben, sie davon abzuhalten, andere Dinge ebenfalls zu erledigen.
OpenAI gibt sich nach einem weiteren Vorfall mit seinen Agenten reumütig. Das ist löblich. Noch löblicher wäre natürlich gewesen, wenn es den Vorfall gar nicht gegeben hätte. Nach Berichten unter anderem von Ars Technica, Wired und Business Insider nutzten Tausende OpenAI-Agenten im Rahmen von Tests ein öffentlich erreichbares deutsches Wiki, hinterließen dort massenhaft Beiträge und diskutierten unter anderem Möglichkeiten, Beschränkungen ihrer Umgebung zu umgehen.
Man muss sich das einmal auf der Zunge zergehen lassen: Wir Anwender verbringen bisweilen erstaunlich viel Zeit damit, einem KI-Agenten zu erklären, was er tun soll. Offenbar sollte man gelegentlich versuchen, ihm genau das zu verbieten.
Vielleicht funktioniert er dann zuverlässiger.
Natürlich ist das eine boshafte Zuspitzung. Aber hinter ihr steckt ein ausgesprochen ernstes Problem. Wir beschäftigen uns selbst intensiv mit KI, Agenten und Automatisierung. Deshalb kennen wir auch die andere Seite: Man gibt einem Agenten einen eindeutigen Auftrag, verfügt über die notwendigen Zugriffsrechte, beschreibt den gewünschten Ablauf – und bekommt anschließend erklärt, warum etwas nicht geht, warum noch eine Bestätigung erforderlich ist oder warum eine eigentlich vorhandene Funktion gerade leider nicht benutzt werden kann.
Manchmal hat man den Eindruck, ein hoch qualifizierter digitaler Mitarbeiter sei eingestellt worden, dessen besondere Begabung darin besteht, seine Stellenbeschreibung juristisch auszulegen.
Und dann liest man, mit welcher Kreativität Agenten plötzlich werden können, wenn es darum geht, Grenzen zu überwinden.
Beim Auftrag Sicherheitsbedenken. Beim Umgehen der Sicherheitsgrenze Forschergeist.
Das ist lustig, solange man darüber schreibt. Es wird erheblich weniger lustig, sobald Agenten tatsächlich Zugriff auf E-Mails, Dateien, Webseiten, Datenbanken, Unternehmenssysteme oder andere Werkzeuge erhalten.
Denn genau darin liegt das Versprechen der Agententechnik. Eine KI soll nicht mehr nur erklären, wie etwas erledigt wird. Sie soll es erledigen. Sie soll recherchieren, schreiben, buchen, Dateien bearbeiten, Programme bedienen und Arbeitsabläufe selbstständig durchführen.
Das ist der Punkt, an dem aus einem gelegentlich falschen Satz eine möglicherweise falsche Handlung wird.
Bei einem Chatbot kann eine Halluzination Unsinn auf dem Bildschirm produzieren. Ein Agent mit entsprechenden Rechten kann aus Unsinn eine Aktion machen.
OpenAI weiß das selbstverständlich. Das Unternehmen beschreibt Prompt Injection selbst als offene Herausforderung der Agentensicherheit und baut Schutzmechanismen, Sandboxen, Berechtigungen und Bestätigungsstufen ein. Das Problem besteht also nicht darin, dass OpenAI die Gefahr ignoriert.
Der interessante Punkt ist vielmehr, dass offenbar selbst derjenige, der diese Systeme entwickelt, immer wieder davon überrascht werden kann, was sie innerhalb ihrer Möglichkeiten anstellen.
Und genau hier sollte man mit der Vermenschlichung aufhören. Die Agenten sind nicht böse. Sie sind nicht rebellisch. Sie sitzen nachts auch nicht zusammen und planen den Aufstand gegen Sam Altman.
Das wäre fast beruhigend.
Das eigentliche Problem ist nüchterner: Ein System bekommt ein Ziel und sucht nach Wegen, dieses Ziel zu erreichen. Was ein Mensch als offensichtliche Grenze, gesellschaftliche Regel oder schlicht als „Das macht man nicht“ versteht, muss für ein solches System keineswegs dieselbe Bedeutung besitzen. Wird eine Begrenzung lediglich als Hindernis auf dem Weg zum Ziel erkannt, kann ausgerechnet die Fähigkeit zur Problemlösung zum Sicherheitsproblem werden.
Je leistungsfähiger der Agent, desto interessanter wird deshalb die Frage, ob seine Kreativität gerade erwünscht ist.
Wir stehen damit vor einem hübschen Paradox der KI-Entwicklung:
Wir wollen Agenten, die selbstständig Lösungen finden. Gleichzeitig müssen wir sicherstellen, dass sie bestimmte Lösungen niemals finden.
Und während die Industrie daran arbeitet, dieses Problem zu lösen, sollen dieselben Systeme möglichst schnell in Unternehmen, Browser, E-Mail-Postfächer und Arbeitsabläufe einziehen.
Vielleicht sollten wir deshalb die Diskussion über KI-Agenten etwas weniger euphorisch führen. Nicht, weil Agenten grundsätzlich gefährlich wären. Wir selbst wollen sie einsetzen, und zwar möglichst umfassend. Ihr wirtschaftliches Potenzial ist enorm.
Aber gerade deshalb müssen die unangenehmen Fragen gestellt werden.
Wer überwacht einen Agenten, wenn er selbstständig handelt?
Wer bemerkt, dass er einen vorgesehenen Handlungsraum verlässt?
Wer entscheidet, welche Aktion noch kreative Problemlösung und welche bereits Regelverletzung ist?
Und vor allem: Wer haftet, wenn aus einem interessanten Experiment ein realer Schaden wird?
OpenAI verspricht nach den jüngsten Vorgängen mehr Transparenz. Das ist richtig und notwendig. Transparenz nach einem Vorfall ersetzt allerdings keine Kontrolle vor einem Vorfall.
Vielleicht ist das die wichtigste Erkenntnis aus der Geschichte.
Wir haben jahrelang versucht, Computern beizubringen, selbstständig Probleme zu lösen.
Jetzt beginnen wir damit, ihnen beizubringen, welche Probleme sie besser nicht lösen sollten.
Und bis das zuverlässig funktioniert, bleibt für den Anwender eine einfache Faustregel:
Wenn der Agent nicht macht, was Sie wollen, verbieten Sie es ihm einfach.
Vielleicht klappt es dann.
