Ein Milliardär möchte seinen Kreditrahmen erhöhen – und wird abgelehnt. Eigentlich eine amüsante Randnotiz. Interessant wird der Fall Alan Sugar aber dort, wo selbst ein Mitarbeiter von American Express offenbar nichts mehr ausrichten kann: Das System hat entschieden.
Wer schon einmal mit Energieversorgern, Banken oder anderen Großunternehmen zu tun hatte, kennt das Prinzip. Früher wusste die rechte Hand nicht, was die linke tut. Heute weiß die rechte Datenbank nicht, was die linke gespeichert hat.
Wenn das System Nein sagt – und keiner mehr weiß, warum
Es ist eine dieser Meldungen, über die man zunächst schmunzelt: Lord Alan Sugar, Milliardär, Unternehmer und Gründer von Amstrad, wollte seinen Kreditrahmen bei American Express erhöhen. Amex lehnte ab.
Nun muss man sich um die Zahlungsfähigkeit eines Milliardärs vermutlich keine größeren Sorgen machen. Interessant wird die Geschichte an einer anderen Stelle. Sugar telefonierte sich durch mehrere Ansprechpartner, bis er schließlich bei einem Mitarbeiter landete, der offenbar durchaus verstand, mit wem er es zu tun hatte. Geholfen hat das nichts. Sinngemäß lautete das Ende der Geschichte: Das System lässt es nicht zu.
Und genau da hört die Anekdote auf, lustig zu sein.
Denn diesen Satz kennen wir.
Wer sich schon einmal intensiver mit einem Energieversorger auseinandersetzen musste, dürfte ein Déjà-vu bekommen. Netzbetreiber, Messstellenbetreiber, Stromlieferant, Abrechnung und Kundenservice – jeder hat seine Zuständigkeit, seine Daten und vor allem sein System. Die eine Stelle hat längst eine Information, die bei der anderen noch nicht angekommen ist. Zählerstände verschwinden, Verträge werden falsch zugeordnet, Abschläge passen nicht zum Verbrauch, Rechnungen widersprechen den vorhandenen Daten.
Man telefoniert. Man erklärt. Man erklärt noch einmal. Der Mitarbeiter erkennt möglicherweise sogar, dass man recht hat.
Und dann kommt er wieder, dieser wunderbare Satz:
„Das kann ich leider nicht ändern. Das gibt das System so vor.“
Früher sagte man: Die rechte Hand weiß nicht, was die linke tut.
Heute könnte man sagen: Die rechte Datenbank weiß nicht, was die linke gespeichert hat.
Das ist Fortschritt.
Wir haben nicht nur Prozesse digitalisiert – wir haben Verantwortung digitalisiert
Natürlich brauchen große Unternehmen standardisierte Abläufe. Millionen Kunden können nicht individuell von Sachbearbeitern verwaltet werden. Automatisierung ist notwendig und grundsätzlich sinnvoll.
Aber Automatisierung sollte den Menschen unterstützen und nicht seine Urteilskraft außer Kraft setzen.
Genau hier scheint etwas aus dem Ruder zu laufen.
Wenn ein Mitarbeiter erkennt, dass eine automatisierte Entscheidung im konkreten Fall offensichtlich fragwürdig ist, muss es einen Weg geben, diese Entscheidung überprüfen und gegebenenfalls korrigieren zu lassen.
Wenn es diesen Weg nicht mehr gibt, haben wir ein grundsätzliches Problem.
Dann entscheidet nämlich nicht mehr ein Unternehmen über seine Kunden. Es entscheidet ein Prozess. Der Mitarbeiter wird zum menschlichen Sprachrohr einer Software, deren Ergebnis er vielleicht selbst für unsinnig hält.
Der Computer unterstützt nicht mehr den Menschen bei seiner Entscheidung. Der Mensch erklärt nur noch die Entscheidung des Computers.
Und jetzt kommt KI
Genau deshalb ist die Geschichte weit größer als die Kreditkarte eines Milliardärs.
Wir stehen gerade erst am Anfang einer Entwicklung, in der Algorithmen und KI immer mehr Entscheidungen vorbereiten oder vollständig übernehmen werden: bei Banken, Versicherungen, Energieversorgern, Behörden, Personalabteilungen, im Gesundheitswesen und in vielen anderen Bereichen.
Das kann enorme Vorteile bringen.
Aber nur, wenn wir eine entscheidende Regel nicht vergessen:
Am Ende muss ein Mensch nicht nur verantwortlich sein – er muss auch tatsächlich eingreifen können.
Ein Mensch, der nur noch sagen darf: „Ich sehe das Problem, aber unser System lässt keine andere Entscheidung zu“, ist kein Entscheider mehr. Er ist Bestandteil des Systems.
Und möglicherweise liegt darin eine der unterschätzten Gefahren der Digitalisierung.
Wir diskutieren derzeit leidenschaftlich darüber, ob künstliche Intelligenz irgendwann denken kann wie ein Mensch.
Vielleicht sollten wir uns mindestens genauso intensiv mit der umgekehrten Frage beschäftigen:
Warum hören Menschen schon heute auf zu denken, sobald der Computer eine Entscheidung getroffen hat?
Der Fall Alan Sugar ist dafür beinahe eine perfekte kleine Parabel.
Ausgerechnet ein Mann, der mit Computern ein Milliardenvermögen aufgebaut hat, scheitert Jahrzehnte später an einem Computersystem, dessen Entscheidung offenbar selbst ein Mensch nicht mehr ohne Weiteres ändern kann.
Sugar kann darüber lachen. Er wird deswegen kaum finanzielle Schwierigkeiten bekommen.
Wenn einem normalen Bürger jedoch der Stromvertrag, das Bankkonto, die Versicherung oder ein Kredit aufgrund eines fehlerhaften Datensatzes Probleme bereitet und niemand mehr die Kompetenz besitzt, eine falsche Systementscheidung zu korrigieren, hört der Spaß sehr schnell auf.
Digitalisierung darf menschliches Denken nicht ersetzen.
Und schon gar nicht menschliche Verantwortung.
Denn wenn am Ende niemand mehr entscheidet, weil angeblich „das System“ entschieden hat, stellt sich eine ziemlich einfache Frage:
Wer trägt eigentlich die Verantwortung für die Folgen?