Technology Review 7/2019
S. 94
Fokus
Künstliche Intelligenz
Aufmacherbild
Foto: Shutterstock

Was denkt sie sich bloß?

Ob Banken oder Personalabteilungen – immer häufiger nutzen Unternehmen KI als Entscheidungshilfe. Damit Menschen ihr nicht ausgeliefert sind, wollen Forscher den Maschinen beibringen, sich zu erklären.

Es muss ein Problem geben, wenn Menschen eine Technologie erfinden – und Wissenschaftler dann fordern, erst einmal zu erforschen, wie sie eigentlich funktioniert. Genau dazu hat ein Autorenkollektiv mit namhaften Forschern wie Alex Pentland oder Cynthia Breazeal im April im Fachmagazin „Nature“ aufgerufen. Es brauche eine neue Disziplin namens Maschinen-Verhaltensforschung. Künstliche Intelligenz agiere oft so rätselhaft, dass sie künftig hinsichtlich Funktion, Mechanismen, Entwicklung und Evolutionsgeschichte erforscht werden sollte – in Anlehnung an die Arbeiten des berühmten Verhaltensforschers Niko Tinbergen. Filterblasen in sozialen Medien ebenso wie Flash Crashes an Börsen sind für die Autoren ein Zeichen, dass das Zusammenspiel von Algorithmen unvorhersehbare maschinelle Handlungen hervorbringt. „Das Verhalten und die Eigenschaften von KI-Agenten – und ihre Auswirkungen auf menschliche Systeme – zu verstehen, ist von entscheidender Bedeutung“, schreiben sie.

Je weiter KI-Systeme in sensible Bereiche des menschlichen Lebens vordringen, desto wichtiger wird die Forderung. Algorithmen stellen medizinische Diagnosen, lenken autonome Fahrzeuge, treffen Entscheidungen über die Kreditwürdigkeit von Verbrauchern oder die Rückfallwahrscheinlichkeit von Straftätern. Meist treffen die Analysen zu.

Manchmal aber eben nicht. So hatten KI-Systeme die Rückfallgefahr von Angeklagten im US-Justizsystem fälschlich als zu hoch bewertet. Die Programme werden gewöhnlich mit historischen Kriminalitätsdaten trainiert, beruhen also auf Statistiken über Bevölkerungsgruppen, die in der Vergangenheit überproportional oft ins Visier von Strafverfolgern gerieten. Menschen, die einer Minderheit angehören und ein niedriges Einkommen haben, bekommen von den Algorithmen infolgedessen häufig automatisch hohe Rückfälligkeitswerte zugewiesen, ohne spezielle Prüfung des Einzelfalls. Als Reaktion darauf fordern Politiker oder Verbraucherschützer zumindest Transparenz, idealerweise aber eine komplette Offenlegung der Programme getreu dem Open-Source-Prinzip. Aus rätselhaften Black Boxes würden vertrauenswürdige White Boxes.

Das klingt einfach und logisch. Aber so einfach ist es leider nicht. Denn abgesehen davon, dass Unternehmen um ihre Geschäftsgeheimnisse fürchten und kein Normalsterblicher aus einem KI-Algorithmus schlau wird: Auch transparente KI-Systeme können gefährlich werden. Die Non-Profit-Organisation OpenAI etwa hat sich eigentlich im Sinne des Open-Source-Gedankens offenen KI-Standards verschrieben. Doch ihren bisher spektakulärsten Erfolg hielt sie lieber unter Verschluss. Sie hatte einen neuen Textgenerator entwickelt, mit dem sich Texte so überzeugend formulieren lassen sollen, dass man ihnen ihre maschinelle Urheberschaft nicht mehr anmerkt. Das könnte weiteren Fake News Vorschub leisten, wenn es in falsche Hände geriete, begründete OpenAI den Schritt und löste damit eine heftige Debatte aus (siehe TR 5/2019, S. 10).

Der Ruf nach offenen KI-Systemen vergisst zudem, dass die Algorithmen allein zunächst unnütz sind. Zum Leben erwachen sie erst mit Unmengen an Trainingsdaten. Wer hier Fehler hineingibt, bekommt auch Fehler heraus. Das kann unabsichtlich passieren – aber eben auch ganz bewusst. Eine Möglichkeit zur Manipulation sind sogenannte Data Poisoning Attacks. Dabei werden manipulierte Trainingsdaten eingeschmuggelt, sodass das System falsche Sachverhalte lernt. Eine andere Variante sind Adversarial Attacks: Man verändert Input-Daten, um eine falsche Klassifizierung herbeizuführen. Das können einzelne Pixel sein. Es können aber auch Veränderungen in der Umwelt sein, die von einem KI-System analysiert werden soll.

Die Informatikerin Dawn Song von der University of Berkeley hat das Problem an Stoppschildern demonstriert: Ihre Gruppe beklebte die Schilder dezent mit ein paar Klebestreifen – worauf das System plötzlich eine Geschwindigkeitsbegrenzung, „Speed Limit 45“, erkannte. Für ein autonomes Fahrzeug wäre ein solcher Fehler verheerend: Anstatt an einer Kreuzung vor einem Stoppschild zu bremsen, verlangsamt es die Fahrt nur und kracht womöglich in ein anderes Auto. Gleiches ist in der Medizin möglich: Forscher der Harvard Medical School und des Massachusetts Institute of Technology (MIT) haben kürzlich gezeigt, dass schon einige manipulierte Pixel in einem Lungenscan die Diagnose eines darauf trainierten KI-Systems fatal verändern können. Es diagnostiziert eine Krankheit, die gar nicht existiert, oder übersieht umgekehrt eine vorhandene Anomalie.

Die US-Informatikerin Dawn Song hat in Tests gezeigt, wie leicht sich KI-Systeme in die Irre führen lassen. Foto: D.& Catherine T. MacArthur Foundation

Wenn also die Offenlegung keine gute Idee ist, was dann? Die Antwort vieler Forscher ist so simpel wie menschlich: Dann muss die KI eben erklären, warum sie etwas tut. Unternehmen müssen ihre KI-Modelle nicht in allen Details offenlegen, trotzdem können Menschen nachvollziehen, wie sie arbeiten.

Genau das ist das Ziel des Fachgebiets der xAI, kurz für „Explainable Artificial Intelligence“. Daran arbeitet etwa die Gruppe von Wojciech Samek am Fraunhofer Heinrich-HertzInstitut in Berlin. „xAI ist noch im Forschungsstadium“, sagt Samek. „Aber wir können inzwischen mit Heatmaps zeigen, welche Pixel in einem Bild oder welche Wörter in einem Text für eine Klassifizierung relevant sind.“ In Heatmaps werden die entsprechenden Pixel oder Wörter farbig hervorgehoben. Je relevanter, desto stärker ist der Farbton ins Rot verschoben.

Die Heatmap von Wojciech Samek legt offen, welche Pixel für das KI-Bilderkennungssystem am wichtigsten waren, um den Bildgegenstand – in diesem Fall eine getigerte Katze – zu klassifizieren. Je weiter die Farbe im Rotbereich liegt, desto relevanter das Pixel. So wird klar, wie die KI zu ihrer Einschätzung gelangt ist.
Quelle: https://lrpserver.hhi.fraunhofer.de/image-classification

Um die Heatmaps zu erstellen, gehen die Forscher vereinfacht gesagt vom Ergebnis rückwärts durch das neuronale Netz. Sie untersuchen für das Beispiel eines Pferdes in einem Bild, welche künstlichen Neuronen besonders stark aktiviert sind und wie ausgeprägt Verbindungen zwischen verschiedenen Neuronen sind.

Die Gruppe von Andreas Dengel am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) in Kaiserslautern hat gerade ein weiteres Verfahren vorgestellt. „TSXplain“ liefert als Erklärungen nicht Heatmaps, sondern einen Text in natürlicher Sprache. Nutzer können ihn in zwei Versionen aufrufen, je nachdem, wie viel Erklärung sie benötigen. Der Text besteht dann entweder aus einem Einzeiler, in dem beispielsweise ein entscheidender Datenpunkt benannt wird – oder aus einer ausführlichen Erklärung. Anschließend erfolgt eine „Sinnhaftigkeitsprüfung“: Sind die Datenpunkte, für die das System eine Erklärung formuliert hat, wirklich wichtig für die Entscheidung? Hierzu werden die in der Erklärung hervorgehobenen Datenpunkte im Input unterdrückt, anschließend startet die ganze Prozedur noch einmal neu. „Unterscheidet sich das Ergebnis, wurde eine Erklärung für diejenigen Datenpunkte abgegeben, die am stärksten zur Netzwerkentscheidung beigetragen haben“, erläutert Dengel. Er erwartet, dass sich solche xAI-Verfahren in den kommenden „drei bis fünf Jahren“ als Standard etablieren werden.

Sandra Wachter vom Alan Turing Institute der University of Oxford ist allerdings skeptisch, ob die bisherigen Ansätze ausreichen. Sie bemängelt, dass die Verfahren bislang aus der KI-Community selbst kommen und zu sehr auf den an Informatik geschulten Verstand ausgerichtet sind. Seit der neuen EU-Datenschutz-Grundverordnung (DSGVO) haben Bürger ein Recht auf Erklärung, wie ihre Daten verarbeitet und in algorithmischen Entscheidungsprozessen genutzt werden. „Es ist unklar, ob die jetzigen xAI-Modelle für Nichtexperten verständlich sind“, sagt Wachter.

Mit ihren Kollegen Brent Mittelstadt und Chris Russell hat sie ein Verfahren entwickelt, das näher am Alltagsdenken der Menschen sein soll. Ein Beispiel: Jemand beantragt ein Darlehen, doch die Bank lehnt ab. Die schlichte Erklärung lautet: „Ihr Darlehensantrag wurde abgelehnt, weil Ihr Einkommen zu niedrig ist.“ Eine für Menschen besser nachvollziehbare Erklärung liest sich so: „Ihr Darlehensantrag wurde abgelehnt, weil Ihr Einkommen bei 30000 Euro liegt. Wenn es bei 45000 Euro liegen würde, dann hätten wir Ihnen ein Darlehen angeboten.“

Wachter und ihre Kollegen haben einen Algorithmus entwickelt, der ein bestimmtes Kriterium mathematisch variiert und als Ergebnis Wenn-dann-Sätze wie im obigen Beispiel ausspuckt. Sie zu ermitteln, erfordere kaum zusätzliche Rechenleistung, sagt die IT-Expertin. Das könnte parallel zur eigentlichen Arbeit eines neuronalen Netzes geschehen. Google bietet das Verfahren als Teil seines „What-if“-Tools bereits Nutzern von TensorFlow und anderen Maschinenlern-Plattformen an. Ein erster Schritt hin zur Verhaltensforschung für Maschinen ist getan. In den Augen von US-Forscher Pentland müssen allerdings noch viele weitere folgen – um etwa die Frage zu studieren: Wie handeln eigentlich ganze Gruppen von KIs, wenn sie zusammenarbeiten?