Wie KI-Lösungen und eine starke Führung den schlimmsten Justizirrtum in Großbritannien hätten vermeiden können

Tee 14-jährige Verfolgung von Hunderten von Mitarbeitern im Vereinigten Königreich, genannt Post Office Horizon-Skandal, erschütterte eine globale IT- und KI-Community, der ich angehöre. Denn dieser Justizirrtum beruhte auf Informationen aus einem IT-Computersystem namens Horizon. Ich habe Jahre damit verbracht, das zu entwickeln, was ich als „intelligente Anomalieerkennungssysteme“ bezeichne, sowohl in den Vereinigten Staaten als auch in Frankreich, wo mein Team und ich KI-Tools entwickeln, um Lösungen und Schutzmaßnahmen für reale Herausforderungen in der Wirtschaft vorzuschlagen. Ich gebe zu, dass ich verblüfft bin über die Angriffslust der Post, die 736 Mitarbeiter fälschlicherweise der Falschmeldung und des Diebstahls beschuldigte, anstatt die Möglichkeit in Frage zu stellen, dass Horizon, das von Fujitsu entwickelt wurde, möglicherweise nicht richtig funktioniert. Dieser Skandal hat mich dazu gebracht, nicht nur mehr über das Design und den Einsatz von IT-Systemen und KI-Lösungen nachzudenken, sondern auch über Möglichkeiten, das Risiko der Verwendung dieser technologischen Lösungen zu managen und Rechenschaftspflicht in diese Lösungen einzubauen.

Im Nachhinein hätten viele Management- und Führungsmaßnahmen umgesetzt werden können, um einen Skandal zu verhindern, der Hunderte von Menschenleben zerstört hat. Zunächst sollten wir es aus der Perspektive des Risikomanagements betrachten. Die Post hätte an der Spitze deutliche Akzente in Bezug auf die Transparenz und Integrität der eingerichteten IT-Systeme setzen müssen. Es hätte eine gründliche Untersuchung möglicher Mängel im Horizon-System durchführen können, bevor der Vertrag mit Fujitsu unterzeichnet wurde. Darüber hinaus wäre es gut gewesen, nach seiner Implementierung einen soliden Risikomanagement- und Überwachungsplan für das System zu erstellen.

Darüber hinaus hätte die Post die Anfragen des Whistleblowing-Unterpostmeisters Alan Bates ernster nehmen sollen, als er um Zugang zu den Daten gebeten zu versuchen, die Diskrepanzen in seiner Branche zu verstehen. Im Jahr 2000 meldete Bates die mit Horizon verbundenen Probleme dem Managementteam der Post. Leider wurden seine Berichte abgewiesen und sein Vertrag mit der Post wurde drei Jahre später gekündigt. In seinem Bates & Others vs. Post Office Limited Konzept, erklärte der High Court of Justice, dass der Ansatz der Post „eine einfache institutionelle Hartnäckigkeit oder Weigerung war, mögliche Alternativen zu ihrer Sichtweise von Horizon in Betracht zu ziehen“. Weiter hieß es: „Es beläuft sich auf den 21st Jahrhundert entspricht der Behauptung, die Erde sei eine Scheibe.“

Erkennen und Markieren von Anomalien mit KI

Wir glauben, dass die von uns entwickelten KI-Lösungen diese veralteten Einstellungen vermeiden könnten. Seit Jahren sind wir Arbeiten an einem Anomalie-Erkennungssystem entwickelt für interne Revisions-, Risikomanagement- und Compliance-Zwecke. Wenn Sie Buchhaltungsdaten in das Erkennungssystem eingeben, kann es jeder Finanztransaktion Anomaliebewertungen zuweisen. Es sagt Ihnen, warum bestimmte Transaktionen oder Transaktionsmuster anomal sind – basierend auf den Metadaten und der Buchhaltungsstruktur von Transaktionen. In diesem Fall sollte unser Erkennungssystem in der Lage sein, die Änderungen in den Transaktionsmustern nach der Implementierung des Horizon-Systems zu erkennen und viele der von Horizon generierten falschen Datensätze als höchst anomal zu kennzeichnen. Darüber hinaus kann unser Algorithmus auch Erklärungen dazu generieren, wie die Anomalie-Scores basierend auf der Logik des Algorithmus zugewiesen wurden. Übrigens, unsere graphbasierten Algorithmen für maschinelles Lernen kann auch zur Bekämpfung von Geldwäsche sowie zur Überwachung der E-Mail-Kommunikation und zur Betrugserkennung verwendet werden.

Aber dennoch müssten wir die Postverwaltung dazu bringen, die roten Fahnen des Horizon-Systems ernst zu nehmen und entsprechend zu untersuchen. Schließlich geht es bei diesem Justizirrtum nicht nur um ein fehlerhaftes IT-System, sondern auch darum, wie die Post damit umgegangen ist.

Grundlegende Änderungen für robustere Cloud-basierte POS-Systeme

Wir sind auch davon überzeugt, dass Fujitsu eine wertvolle Lektion in Sachen Führung ist. Wir glauben, dass das multinationale Unternehmen nicht nur effektiver bei der Reduzierung von Produktfehlern sein sollte, sondern auch darauf achten sollte, wie seine Kunden die Ergebnisse seiner Systeme nutzen. Horizon ist ein lokales Point-of-Sale (POS)-System, das Transaktionen aufzeichnet, aber die Post nutzte die Datenausgabe auch, um ihre Mitarbeiter strafrechtlich zu verfolgen. An dieser Stelle hätte der Datenausgabe mehr Aufmerksamkeit geschenkt werden sollen. Vielleicht hätte Fujitsu Datenpakete nicht als Kurzbeweis an die britische Post übergeben sollen.

Stattdessen scheint Fujitsus Beteiligung am Horizon-Skandal eine Farce der Gerechtigkeit zu sein. Nach einem Jahrzehnt der Ermittlungen hat der preisgekrönte Reporter Nick Wallis Ansprüche in seinem Buch „The Great Post Office Scandal“, dass der japanische Technologiekonzern aufgrund der von ihm erstellten und installierten fehlerhaften Handels- und Buchhaltungssoftware kein Nebendarsteller, sondern „im Herzen des Skandals“ sei. Fujitsu hat sich jedoch nicht nur geweigert, Entschädigungsgelder an die Opfer zu zahlen, sondern gerade unterschrieben zwei große IT-Verträge der britischen Regierung im Wert von über 520 Millionen US-Dollar. Dies hat generiert starke Kritik der britischen Regierung – sogar aus den eigenen Reihen, wo ein konservativer Peer genannt: „Die Regierung will mit Fujitsu so tun, als ob es ‚business as usual’ wäre. Was ist der Anreiz für Fujitsu, zu den massiven Entschädigungskosten beizutragen, die bald auf den Steuerzahler zukommen werden?“

Augen auf der Wolke

Ganz allgemein stehen uns grundlegende digitale Veränderungen bevor, um intelligente Lösungen in Unternehmen zu integrieren. Immer mehr große Unternehmen im Einzelhandel setzen Cloud-basierte POS-Systeme ein, die in robuste Cloud-basierte ERP-Systeme (Enterprise Resource Planning) integriert sind. Sie sind benutzerfreundlicher und Unternehmen können leistungsstarke KI in ihre ERP-Systeme einbetten. Diese können beispielsweise Algorithmen in ERP-Strukturen einbetten, um Probleme in den Finanzflüssen zu erkennen. Damit soll es traditionelle Kassensysteme wie Horizon ersetzen. Viele Unternehmen erwägen auch die Integration von Blockchains in ihre ERP-Systeme, um die Integrität von Transaktionsaufzeichnungen zu verbessern. Das Hinzufügen der Blockchain-Technologie erfordert jedoch mehr Arbeit beim Aufbau der Infrastruktur und der Zusammenarbeit mit Geschäftspartnern.

All diese technologischen Erkundungen stehen im Mittelpunkt unserer Forschungsmission am HALLO! Pariser Zentrum für Datenanalyse und künstliche Intelligenz. Dazu gehört die Entwicklung von auf maschinellem Lernen basierenden Tools, um unser Verständnis von Buchhaltungsdaten zu verbessern. Es ist eine Forschung, die nach intelligenten Lösungen für reale Herausforderungen sucht, wie wir sie in der Affäre der britischen Post gesehen haben. Auf diese Weise hoffen wir, dass ein Mangel an rigoroser Überwachung des IT-Systems nie wieder zu solchen Rechtsbeugungen führt, bei denen Hunderte von unschuldigen Arbeitnehmern zu Unrecht strafrechtlich verfolgt werden.

Aluna Wang ist HEC-Assistenzprofessor für Rechnungswesen und Unternehmenskontrolle. Sie ist auch Lehrstuhlinhaberin an HALLO! Paris Zentrum zu Datenanalyse und künstlicher Intelligenz.

Daniel Brown ist Chefredakteur der HEC Paris.

.

Leave a Comment

Your email address will not be published.