"Wer denkt, dass wir im Notfall einfach den Stecker ziehen können, der irrt sich"

Adriano Mannino von der Stiftung für effektiven Altruismus über Künstliche Intelligenz und Anreizstrukturen

Die Entwicklung von Künstlicher Intelligenz und Superintelligenz schreitet in rasendem Tempo voran. Da die technologische Entwicklung aus sich heraus keine ethischen Maßstäbe liefert, um diese zu beurteilen und gegebenenfalls konterkarieren zu können, wurde die "Stiftung für effektiven Altruismus" gegründet. Telepolis hat dazu Adrino Mannino befragt.

Herr Mannino, was ist die Stiftung für effektiven Altruismus?
Adriano Mannino: Die Stiftung für effektiven Altruismus ist eine Denkfabrik und Projektschmiede im Schnittbereich von Ethik und Wissenschaft. Der Effektive Altruismusist unser Leitkonzept: Es handelt sich dabei um eine Philosophie und wachsende internationale Bewegung mit dem Ziel, diejenigen Maßnahmen zu finden - und durch hohe Zeit- und Geldspenden zu unterstützen - die nachweislich den meisten Menschen (beziehungsweise leidensfähigen Wesen insgesamt) nachhaltig helfen. Unsere Ressourcen sind immer limitiert, weshalb es gerade im Bereich der angewandten Ethik zentral ist, zu fragen: Wie können wir mit diesen Ressourcen am meisten bewirken?

"Leid wird nicht dadurch weniger schlimm, dass es sich in der Ferne ereignet"

Können Sie philosophische Argumente für dieses altruistische Engagement anführen?
Adriano Mannino: Nach wie vor sterben beispielsweise jeden Tag 20.000 Kinder an den Folgen der extremen Armut. Man stelle sich vor, diese ethische Katastrophe würde sich in unserer eigenen Stadt ereignen - auf dem Weg zur Arbeit sind wir täglich mit dem Massensterben konfrontiert. Würden wir dann nicht unter anderem die folgenden beiden Dinge tun:
Erstens versuchen, möglichst viel Geld zu spenden, und zweitens uns überlegen, wie wir unsere Berufskarriere insgesamt auf eine effektive Leidminderung ausrichten können.
Das wirft sofort die Frage auf: Sollten wir das - logisch konsequent - nicht auch dann tun, wenn sich das Leid in der Nachbarstadt zuträgt? Im Nachbarland? Auf dem Nachbarkontinent? Weshalb sollte die räumliche Distanz einen Unterschied machen?
Leid wird nicht dadurch weniger schlimm, dass es sich in der Ferne ereignet. Und es wurde in Studien nachgewiesen, dass wir das Leiden und Sterben in der Ferne kausal nachhaltig beeinflussen können, das heißt, dass wir nolens volens über Leben und Tod entscheiden, wenn wir Geld beziehungsweise Zeit ausgeben. Durch die Verteilung von Malaria-Bettnetzen etwa kann ein Menschenleben für schätzungsweise 3000 Dollar gerettet werden.
Angesichts der Globalisierung und Technologisierung werden die ethischen Stakes unserer Handlungen zudem immer höher. Die EA-Stiftung interessiert sich deshalb auch besonders für die Herausforderungen, vor die uns zukunftsträchtige Technologien stellen.

"Unsinnige Anreizstrukturen nehmen uns die Entscheidung häufig ab"

Welche Vorteile wird der Menschheit diese technologische Entwicklung bringen und welche Gefahren drohen damit?
Adriano Mannino: Das Wirtschaftswachstum und der technische Fortschritt können durchaus positiv verlaufen, wenn wir in der Lage sind, ethisch reflektiert zu bestimmen und zu lenken, wohin die Reise gehen soll. Unsinnige Anreizstrukturen nehmen uns die Entscheidung leider häufig ab. Die politische Aufmerksamkeit richtet sich zumeist kurzsichtig auf Themen, die für den Wahlkampf wichtig sind, statt auf Themen, die aus einer langfristig-globalen Perspektive den höchsten Stellenwert einnehmen sollten.
Von entscheidender Bedeutung ist es, diejenigen Technologien frühzeitig zu erkennen, die etwa der Nukleartechnologie analog sind: globale Chancen, aber auch massive globale Sicherheits- und Kriegsrisiken, die anfänglich oft unterschätzt werden.
Selbst die führenden Physiker glaubten in den frühen 1930er Jahren in der Mehrzahl nicht daran, dass die Nukleartechnologie in den folgenden Jahrzehnten zur Anwendung kommen würde - nach weniger als 15 Jahren war die erste Atombombe bereits entwickelt. Wären die Physiker der 1930er nicht zur physikalische, sondern auch risikoethische Experten gewesen, hätten sie eingesehen: Selbst wenn die Wahrscheinlichkeit nur zehn Prozent oder gar nur ein Prozent beträgt, dass die nuklearphysikalischen Erkenntnisse bald waffenfähig werden, besteht dringender Handlungsbedarf.

"Die Schadenausmaße könnten enorm sein "

Inwiefern spielt hier die Entwicklung Künstlicher Intelligenz eine besondere Rolle?
Adriano Mannino: Die Künstliche Intelligenz (KI) ist als Technologie insofern einzigartig, als sie tatsächlich in jedem Handlungsbereich zum Einsatz kommen kann, einschließlich der wissenschaftlichen Technologieentwicklung selbst. Sie ist sozusagen eine Meta-Technologie, die das Tempo des technischen Fortschritts noch einmal massiv erhöhen könnte. Bereichsspezifische KI-Algorithmen können bereits heute kognitiv anspruchsvolle Aufgaben übernehmen, die zuvor von Menschen ausgeführt wurden.
Selbstgesteuerte Fahrzeuge beispielsweise, die in manchen US-Staaten schon für Testfahrten erhältlich sind, sind sicherer als menschliche Autofahrer und haben das Potenzial, jährlich hunderttausende Todesfälle zu verhindern. Leider erzeugen sie aber auch neue Risiken: Was, wenn die Algorithmen der selbstfahrenden Autos systemisch versagen oder gar bewusst manipuliert werden?
Auch tiefe Wahrscheinlichkeiten sind hier sehr ernst zu nehmen, weil die Schadenausmaße enorm sein könnten. Einen Vorgeschmack lieferte uns beispielsweise der Flash-Crash, der sich im Mai 2010 an der US-Börse ereignete: Innerhalb von Minuten verloren bedeutsame Aktienindizes gewaltig an Wert, um sich ebenso schnell wieder zu erholen.
Die meisten Experten gehen davon aus, dass im Millisekundenbereich agierende Algorithmen maßgeblich daran beteiligt waren - sie interagierten auf unvorhergesehene Art und Weise und tätigten absurde Transaktionen.
Nach welchen Kriterien müssen ethische Bestimmungen beschaffen sein, die diesen Problemkomplex reflektieren?
Adriano Mannino: Die Funktionsweise von KIs sollte prinzipiell nachvollziehbar und vorhersehbar sein. Und im Falle eines Unfalls sollte die Verantwortlichkeit klar bestimmt sein. Die Wahrscheinlichkeit muss minimiert werden, dass unerwartet etwas "Flash-Crash"-Analoges geschieht - möglicherweise mit weit umfangreicheren Konsequenzen. Es werden wohl zwangsläufig immer mächtigere KIs zur Anwendung kommen, diese Entwicklung lässt sich kaum stoppen. Wichtig ist, dass jetzt viel mehr Forschungsressourcen in KI-Risikoanalysen, Sicherheits- und Präventivmaßnahmen fließen, so dass wir uns auf die kommenden Veränderungen möglichst gut vorbereiten können.

"Proaktive Maßnahmen"

Welche konkreten Maßnahmen schlagen Sie vor, um diese Entwicklung einzuhegen?
Adriano Mannino: Es ist begrüßenswert, dass die KI-Thematik in den vergangenen Monaten auch im deutschen Sprachraum vermehrt seriöse Aufmerksamkeit erhalten hat. Neben unserem Diskussionspapier kam auch das Digital-Manifest heraus, in dem renommierte Wissenschaftler spezifische Warnungen und mögliche Lösungsansätze präsentierten. Diese Diskussion gilt es als erste Maßnahme unbedingt zu fördern.
Konkret ist die Ausarbeitung gesetzlicher Rahmenwerke erforderlich, die den neuen Anforderungen der KI-Technologien gewachsen sind (zum Beispiel Vorhersehbarkeit; Nicht-Manipulierbarkeit, Klärung der Verantwortlichkeit). Weiter braucht es Forschung dazu, wie sich kommende KI-Entwicklungen gesellschaftlich auswirken werden, so dass wir proaktiv Maßnahmen vorbereiten können, um negative soziale Entwicklungen abzudämpfen. Wenn es uns gelingt, den durch die zunehmende Automatisierung entstehenden Reichtum gerecht zu verteilen, dann sollte es möglich sein, alle Menschen vom technischen Fortschritt profitieren zu lassen.
Der wohl wichtigste Punkt ist die Vermeidung von Wettrüsten im KI-Bereich, in denen Großkonzerne, Forschungsteams oder ganze Länder sich durch KI-Technologien entscheidende Vorteile verschaffen möchten. Derartige Wettrüsten führen dazu, dass die Sicherheit der Technologie dem Innovationstempo geopfert wird.
Die Förderung bzw. politisch-rechtliche Forderung internationaler Kooperation bei der KI-Entwicklung könnte dieser Problematik entgegenwirken. Wenn die KI letztlich das mächtigste Werkzeug - und damit auch die mächtigste Waffe - sein wird, welche die Menschheit jemals entwickelt hat, dann ist die Verhinderung eines KI-Wettrüstens die ethisch vielleicht wichtigste Aufgabe, die sich uns jemals gestellt hat.

"Eine künstliche Intelligenz wird sich nur dann um die Interessen von uns Menschen sorgen, wenn dies auch ihren Zielen entspricht"

Sie gehen generell davon aus, dass die menschliche Intelligenz der technologischen Entwicklung hinterher hinkt. Welche Risiken birgt dann die Entwicklung einer superintelligenten Computertechnologie? Waren die "Terminator"-Filme am Ende doch eine Dokumentarfilmreihe?
Adriano Mannino: Vor allem ist es unsere ethische Besonnenheit, die der Technologieentwicklung hinterher hinkt. Dadurch bleibt uns leider wenig Zeit für Risikoanalysen und die Ausarbeitung präventiver Maßnahmen, mit denen wir sicherstellen können, dass der technische Fortschritt der Welt auch wirklich zugute kommt.
Die Wahrscheinlichkeit, dass wir noch dieses Jahrhundert eine künstliche Superintelligenz konstruieren werden, wird von einer Mehrheit der KI-Experten auf über fünfzig Prozent eingeschätzt. Wir haben wir es hierbei also keineswegs mit spekulativen Science-Fiction-Szenarien zu tun.
Der Film "Terminator" ist ein schlechtes Beispiel dafür, wie sich superintelligente Systeme verhalten würden. In Hollywoodfilmen geht es meist um "Böse gegen Gut". Das Risiko bei der Entwicklung künstlicher Superintelligenz besteht aber primär darin, dass diese vielleicht weder das eine noch das andere sein wird: Intelligenz misst formal die Fähigkeit, die eigenen Ziele in verschiedenen Umgebungen zu erreichen.
Eine künstliche Intelligenz wird sich nur dann um die Interessen von uns Menschen sorgen, wenn dies auch ihren Zielen entspricht. Es sind viele künstliche Superintelligenzen möglich, die etwa auf eine perfekte Schachspielstrategie hin optimiert sind, auf einen immer effizienter werdenden Spamfilter für E-Mails, auf die optimale Bewachung des Weißen Hauses oder auf einen möglichst hohen Zahlenwert der internen "Belohnungsfunktion".
Ein superintelligentes System mit einem - aus anthropozentrischer Sicht - "kosmischen" Ziel würde die Menschheit als Gefahr für die eigene Zielerreichung oder als Rohstoff zur Umsetzung der eigenen Ziele wahrnehmen. Wer denkt, dass wir im Notfall einfach den Stecker ziehen können, der irrt sich: Per definitionem wäre eine Superintelligenz nicht dumm. Vorausschauend würde sie sich zuerst kooperativ verhalten, während sie sich im Geheimen mehr und mehr Ressourcen aneignet und vielleicht auch Sicherheitskopien erstellt und im Internet verteilt, bis sie mächtig genug ist, um die Tarnung fallen zu lassen.
Wie müsste man darauf vorsorgend reagieren?
Adriano Mannino: Die Entwicklung von künstlicher Superintelligenz stellt uns konkret vor zwei Herausforderungen: Wir müssen erstens höchstpräzise ethische Ziele definieren, die wir der KI mitgeben können und zweitens müssen wir müssen herausfinden, wie sich die erwähnten Ziele - sofern wir uns überhaupt auf einen guten Vorschlag einigen können - stabil in Programmiersprache übersetzen lassen.
Es ist ungemein wichtig, dass die Forschung an künstlicher Superintelligenz nur dann komplettiert wird, wenn wir eine sichere Lösung für diese beiden Probleme gefunden haben. Zu all diesen Punkten gäbe es noch viel mehr zu sagen; viel ausführlicher wird das Thema unter anderem im Buch Superintelligenz des Oxforder Professors Nick Bostrom behandelt.

"Künstliche Wesen könnten Fehlfunktionen der eigenen Sinne erleiden"

Halten Sie es wirklich für möglich, dass KI Bewusstsein entwickeln kann und welche ethischen Schwierigkeiten erwachsen daraus?
Adriano Mannino: Die philosophischen, neuro- und computerwissenschaftlichen Experten sind sich darüber uneins. Einige wenige denken, dass Computer niemals Bewusstsein erlangen werden. Andere sind sich sicher, dass Bewusstsein zumindest bei gewissen Computern der Zukunft (ab einem bestimmten Komplexitätsgrad) vorhanden sein wird. Wo die Grenze genau verläuft, wird rege diskutiert. Wenn sich die Experten in einer Frage nicht einig sind, dann ist es für Außenstehende rational, eine vorsichtige Meinung zu vertreten. Entsprechend denke ich, dass wir die Hypothese, dass KIs Bewusstsein entwickeln können, ernst nehmen sollten.
Denn auch wenn wir uns diesbezüglich unsicher sind, steht risikoethisch viel auf dem Spiel: Gerade in der Entwicklungs- und Probephase, wo die Forscher noch nicht genau wissen, was sie tun, besteht das Risiko, dass künstliche Wesen Fehlfunktionen der eigenen Sinne erleiden, was für sie unter Umständen leidvoll sein könnte.
Es besteht außerdem das Risiko, dass Wesen mit künstlichem Bewusstsein dereinst in enormer Anzahl erschaffen werden und als "Bürger zweiter Klasse" keine Rechte haben könnten. Deswegen sprechen wir uns dafür aus, Experimente mit bestimmten KI-Architekturen nur unter der strengen Aufsicht von Ethikkommissionen durchzuführen - in Analogie zu den Tierversuchskommissionen.

"Die kommende Automatisierung wird die Produktivität der Weltwirtschaft massiv erhöhen"

Eine weitere Problemlage ist fortschreitende Automatisierung der Arbeitswelt: Reichen um diesem sozialen Desaster zu entrinnen ethische Korrekturen aus, oder muss an der Wirtschaft selber etwas grundlegend verändert werden?
Adriano Mannino: Die Wirtschaftswissenschaft befasst sich mit knappen Gütern und unserem Umgang damit. Die kommende Automatisierung, welche die menschliche Arbeit vermutlich in vielen Wirtschaftsbereichen nach und nach durch Computer ersetzen wird, wird die Produktivität der Weltwirtschaft massiv erhöhen, so dass noch viel mehr Güter im Überfluss vorhanden sein werden - es sei denn, man beschränkt sie künstlich. Leider lässt derzeit einiges vermuten, dass der neu gewonnene Reichtum sehr ungleichmäßig verteilt werden wird, was in der Tat zu einem sozialen Desaster führen könnte.
Vor dem Hintergrund dieser Entwicklung sollten wir genauer und ergebnisoffener erforschen, was - unter Bedingungen massiver Automatisierung - die Vor- und Nachteile von Maßnahmen wie dem Bedingungslosen Grundeinkommen, der Subventionierung menschlicher Arbeit oder gar einer strukturellen Neuorientierung der Produktionsverhältnisse sind. Es steht außer Frage, dass wir am derzeitigen Wirtschafts- und Sozialsystem einiges werden ändern müssen. Welche und wie umfangreiche Anpassungen sich zur Problemlösung am besten eignen, ist eine komplexe empirische Frage.