Menü

Studie: 50 Prozent der Systeme für "Künstliche Intelligenz" schummeln

Viele vermeintliche KI-Modelle bedienen sich wenig intelligenter Lösungsstrategien, erklärte der Berliner Forscher Klaus-Robert Müller im Bundestag.

Von
vorlesen Drucken Kommentare lesen 242 Beiträge
Studie: 50 Prozent der Systeme für "Künstliche Intelligenz" schummeln

(Bild: whiteMocca/Shutterstock.com)

Klaus-Robert Müller, Professor für Maschinelles Lernen an der TU Berlin, hat am Montag in der Enquete-Kommission Künstliche Intelligenz (KI) des Bundestags eine stärkere Analyse gängiger Systeme für sogenannte KI gefordert. "50 Prozent der Modelle sind von der 'Clever Hans'-Strategie betroffen", beklagte der Experte die Häufigkeit von Schummelalgorithmen. Das Feld der "erklärbaren Künstlichen Intelligenz" ("explainable AI") müsse daher ausgebaut und häufiger eingesetzt werden.

Müller hat zusammen mit Kollegen vom Heinrich-Hertz-Institut (HHI) und der Singapore University of Technology and Design nach eigenen Angaben das ganze "Intelligenz"-Spektrum bestehender KI-Systeme mit einem speziellen, automatisierten Verfahren analysiert und quantifiziert. Laut den gerade in "Nature Communications" veröffentlichten Ergebnissen haben selbst moderne KI-Modelle nicht immer einen aus menschlicher Perspektive sinnvollen Lösungsweg gefunden, sondern "schummelten" ähnlich wie der "Kluge Hans".

Dabei handelte es sich um ein Pferd, das angeblich rechnen und zählen konnte und um 1900 herum als wissenschaftliche Sensation galt. Wie sich später herausstellte, beherrschte Hans nicht die Mathematik, sondern konnte in etwa 90 Prozent der Fälle die richtige Antwort aus der Reaktion des Fragestellers beziehungsweise dem Gesichtsausdruck des Besitzers ableiten.

Ein von den Wissenschaftlern untersuchtes System, das vor einigen Jahren mehrere internationale Wettbewerbe zur Klassifikation von Bildern gewonnen hat, "beurteilte" Fotos oder vergleichbare Darstellungen vorwiegend anhand des Kontextes. Es ordnete etwa Bilder der Kategorie "Schiff" zu, wenn viel Wasser zu sehen war. Auf einen "Zug" schloss es, wenn Schienen vorhanden waren. Andere Aufnahmen steckte es mithilfe von zusätzlichen Erklärungen innerhalb des Copyright-Schriftzuges in die richtige Kategorie. Die eigentliche Aufgabe, Gegenstände oder Tiere zu erkennen, hat dieser Algorithmus nach Ansicht der Forscher aber nicht gelöst.

"Ich möchte so nicht im Gebiet der medizinischen Diagnostik behandelt werden", betonte Müller. In sicherheitskritischen Bereichen bärgen solche Systeme enorme Gefahren. Selbst bei einigen der neuesten KI-Algorithmen in Form tiefer neuronaler Netzwerke fanden die Analysten fehlerhafte Lösungsstrategien: Diese stützten ihre Klassifikationsentscheidung teils auf Artefakte, die während der Präparation der Bilder entstanden und mit dem eigentlichen Inhalt gar nichts zu tun hatten.

"Man hat Millionen Daten, aber kein Mensch guckt die mehr an", beklagte der Vertreter der Max-Planck-Gesellschaft aktuelle Auswüchse im KI-Hype. Dies sei unhaltbar: "Man muss wissen, was die Modelle machen." Dies sei kein Zauberwerk, da etwa die Computerbilderkennung gut transparent gemacht werden könne. In der Regel würden dafür "Heatmaps" gebastelt, die jedem Pixel eine Wahrscheinlichkeit geben. Generell sei die Darstellung von Algorithmen als Blackbox "Unfug". Um etwa bei der erklärbaren KI weiter zu kommen, "braucht es aber halt Geld".

Das ganze KI-Feld "bewegt sich sehr schnell, wir müssen einen Zacken zulegen", unterstrich der Big-Data-Forscher. "Wir brauchen mehr Professoren, die das wirklich machen und können." Sonst drohe Deutschland, den Anschluss an die internationale Entwicklung zu verpassen. Allein US-Konzerne investierten Milliarden in die Grundlagen der Technik, wobei der Weg von einer neuen Algorithmik in Produkte und Anwendungen hinein "enorm kurz" geworden sei und so schon eine kleine Idee eines Mitarbeiters Millionen zurück in die Kassen spülen könne.

Weil sie die nötige Infrastruktur mit ständig verfügbaren Hochleistungsrechnern und Cloud-Speichern hätten, seien Amazon, Google, Microsoft und Facebook "so weit vorn", konstatierte Morris Riedel von der Helmholtz-Gemeinschaft. Mittlerweile könnten sich selbst Startups und Firmen aus dem Mittelstand den Rückgriff auf die erforderlichen technischen Architekturen für Künstliche Intelligenz leisten, da etwa kostengünstige Grafikprozessoren (GPUs) "perfekt" seien für Algorithmen rund ums Maschinenlernen. Da es ferner dazu passende Open-Source-Rahmenwerke gebe, könne quasi jeder Interessierte "direkt anfangen, KI zu machen".

Bei einschlägigen Anwendungen etwa im Medizin- oder Einzelhandelsbereich komme es oft auch auf die Personalisierung an, gab Riedel zu bedenken. Hier werfe die Datenschutz-Grundverordnung (DSGVO) die europäischen Entwickler "etwas zurück gegenüber den USA und China". In Übersee habe sich etwa bereits mit "Patients like me" eine Art "Facebook für Kranke" entwickelt, wofür der Professor am Forschungszentrum Jülich Verständnis hat: "Wenn ich einmal krank bin, ist der Datenschutz vielleicht teilweise nicht mehr so wichtig." Ähnlich sei es bei Strategien, um Fußgängerzonen wiederzubeleben: In China werde hier nur noch anhand von Nutzerbewertungen eingekauft.

Emmanuel Müller, Datenwissenschaftler an der Uni Bonn, machte den Schutz von personenbezogenen Daten dagegen als eine der "großen Herausforderungen für Informatiker" aus, um etwa Vertrauen in Assistenzsysteme zur Krebsbekämpfung bei Patienten und Ärzte aufzubauen. Genauso müsse etwa noch geklärt werden, wer im Fehlerfall haftet. Der Vertreter der Fraunhofer-Gesellschaft warb dafür, die vielfach frei als Open Source verfügbaren Big-Data-Systeme zu zertifizieren und so besser abzusichern.

Für einen dezentralen Ansatz, um die für die oft schon jahrzehntealten Algorithmen für lernende Systeme in Europa mit ausreichend Trainingsdaten zu versorgen, sprach sich der Direktor der Technischen Informationsbibliothek (TIB) Hannover, Sören Auer, aus. Damit könne Europa auch der Heterogenität Rechnung tragen und sich gegen zentrale Datensilos aussprechen, wie sie die US-Tech-Riesen hegten. Weiter sprach sich der Forscher der Leibniz-Gemeinschaft dafür aus, wissenschaftliche Literatur stärker semantisch zu strukturieren, "damit KI uns unterstützen kann, um einen Überblick über den Stand der Forschung in einem Gebiet zu bekommen".

Zuvor hatte Alexander Filipović von der Hochschule für Philosophie München angesichts des zunehmenden Einsatzes von KI-Systemen nach "Freiräumen für das spezifisch Menschliche" gerufen, "was nicht automatisiert werden kann" sowie "so schräg und anders ist, dass selbst selbstlernende Maschinen kapitulieren". Zudem müsse es Abwehrrechte etwa gegen die Gesichtserkennung geben.

Der Medienethiker bewertete KI als zweischneidiges Schwert. Einerseits könne die Technologie "unsere Freiheit erweitern" und den Menschen von äußeren Zwängen befreien oder etwa das Kernelement der Autonomie im Alter durch intelligente Pflegeroboter bewahren helfen. Andererseits gingen solche Anwendungen oft "mit Unterdrückungseffekten" oder der Übernahme maschineller Verhaltensweisen einher. Letztlich glaubt der Geisteswissenschaftler, dass sich mit KI "unser Selbstverständnis sehr stark ändern wird: Wir werden zu neuen Menschen." (olb)