Der Computer will diskutieren

IBM hat das sogenannte Argument Mining weiterentwickelt. Damit sollen sich KIs besser in Debatten schlagen – und Sprachassistenten verständnisvoller werden.

Lesezeit: 4 Min.
In Pocket speichern
vorlesen Druckansicht Kommentare lesen 5 Beiträge

Das IBM-System nahm bereits an einer Debatte an der Uni Cambridge teil.

(Bild: IBM Research)

Von

Rechner haben uns auf den Mond und wieder zurück gebracht, doch sie können uns nach wie vor nicht bei den ganz großen Fragen helfen, die die Welt zurzeit beschäftigt. Sollte Donald J. Trump des Amtes enthoben werden? Sollte Großbritannien die EU wirklich verlassen? Sollte Australien damit aufhören, Kohle zu exportieren? All diese Themen verlangen etwas anderes als einfache "Ja"- oder "Nein"-Antworten, so verlockend das auch sein mag.

Wir treffen Entscheidungen, in dem wir Vor- und Nachteile abwägen. Künstliche Intelligenz hat das Potenzial, uns dabei zu helfen, indem sie die ständig wachsenden Datenmengen durchforstet, die uns als Entscheidungsgrundlage dienen. Doch damit das wirklich nützlich ist, muss die KI in der Lage sein, ähnlich zu denken wie der Mensch. "Wir nutzen Sprache, die für andere Menschen überzeugend klingt und verwenden jede Menge Hintergrundwissen – all das lässt sich schwer in Computermodelle fassen", sagt Jacky Visser vom Center for Argument Technology an der Universität von Dundee in Großbritannien. "Das ist einer der Heiligen Gräle, die die KI seit ihren Anfängen begleitet."

Eine Kerntechnik, Rechnern zu erlauben, Rückschlüsse aus Informationen zu ziehen, ist das sogenannte Argument Mining. Dabei wird Software entwickelt, die geschriebene Texte analysieren kann, um dann die zentralen Sätze zu extrahieren, die Argumente für oder gegen eine Behauptung liefern. Daraus kann dann eine echte thematische Erörterung entstehen. Solche Werkzeuge könnten uns dabei helfen, bessere Entscheidungen zu treffen, gleichzeitig aber auch sinnvoll sein, falsche Nachrichten zu erkennen – indem falsche Behauptungen mit echten Daten widerlegt werden. Auch das Filtern von Suchergebnissen würde so wohl besser, weil dann relevante Passagen angezeigt werden – und nicht nur ganze Dokumente.

Andere Forschergruppen nutzen Argument Mining an bestimmten Texttypen wie rechtlichen Dokumenten oder Hausarbeiten von Studenten und Schülern, in denen sowieso schon viele strukturierte Erörterungen enthalten sind. Das kann nützlich sein, wenn alle Beweise über verschiedene Dokumente zusammengetragen werden sollen, um Anwälten bei Rechtsstreitigkeiten zu helfen. Das ultimative Ziel bleibt allerdings, Systeme zu entwickeln, die durch zahlreiche Informationsquellen gehen können, um dann aus allen darin enthaltenen Fakten eine valide Rückschlusskette zu bilden.

IBM hat hier bereits wichtige Schritte in diese Richtung unternommen. Das "Project Debater"-Team des IT-Riesen arbeitet seit mehreren Jahren an einer AI, die mit Menschen diskutieren kann. Im letzten Jahr demonstrierte IBM die noch in Arbeit befindliche Technik bei einer Live-Debatte gegen einen der bekanntesten menschlichen Diskutanten, der viele Preise in Debattenklubs gewonnen hat. Ein solcher Showdown ist zunächst nur ein Proof of Concept der Technik. Nun will IBM aus dem "Spielzeug" ein sinnvoll nutzbares Werkzeug machen.

Die Version von Project Debater, die in Live-Debatten verwendet wird, bildet den Ausgangspunkt – etwa mit der Fähigkeit, Hunderte Millionen neuer Artikel zu durchforsten. In den letzten Monaten wurden aber auch die neuronalen Netzwerke, die das System nutzt, deutlich verbessert. Die Argumente, die aus Texten gezogen werden können, sind nun qualitativ hochwertiger. Ein wichtiges Zusatzfeature nennt sich BERT, ein neuronales Netzwerk, das Google für die Verarbeitung natürlicher Sprache entwickelt hat und das Fragen beantworten kann.

Um ihre KI zu trainieren, nutzten Noam Slonim und Kollegen von IBM Research in Haifa rund 400 Millionen Dokumente, die aus der LexisNexis-Datenbank stammten, die Zeitungsartikel und Material aus wissenschaftlichen Zeitschriften enthält. Das ergab zehn Milliarden Sätze, ein Korpus aus natürlicher Sprache, der rund 50 Mal größer ist als der Bestand des Online-Lexikons Wikipedia. Dies wurde mit einem großen Pool aus Behauptungen und Meinungen verbunden, die mehrere Hundert Themen abdeckte – etwa, dass Blutspenden verpflichtend sein sollten oder man den Valentinstag besser abschaffen würde.

Das Team nutzte dann Crowdworker auf der Machine-Learning-Plattform Figure Eight, Sätze mit einem Label zu versehen – je nachdem, ob sie Argumente für oder gegen eine Behauptung enthielten. Das Ganze wurde dann in einen Lernalgorithmus gefüttert, den die Forscher überwachten.

Das Ergebnis ist ein neuronales Netz, das Anfragen aus zahlreichen Themengebieten bearbeiten kann. Es sortiert die Sätze, die aufgefunden werden, danach, ob sie sich als Beweis oder Argument eignen. Auf die Eingabe "Blutspenden sollten verpflichtend sein" fischt der Algorithmus etwa den Satz hervor: "Eine Studie im American Journal of Epidemiology hat herausgefunden, dass Menschen, die Blutspenden ein 88 Prozent geringeres Risiko haben, an einem Herzinfarkt oder einem Schlaganfall zu leiden." Das stimmt tatsächlich.

Eine große Herausforderung bleibt, Sätze voneinander zu unterscheiden. Welche enthalten sinnvolle Beweise und welche nicht, selbst wenn die gleichen Begriffe vorkommen? Project Debater fand nämlich auch einen weiteren Satz für die Blutspenden-Behauptung: "Statistiken der Nakasero-Blutbank zeigen, dass Studierende die häufigsten Blutspender sind und rund 80 Prozent des weltweit gesammelten Blutes liefern." Dass das nichts mit der Fragestellung zu tun hatte, stellte die Software allerdings von selbst fest.

Was genau das neuronale Netzwerk aus diesen Sätzen herausholt, um zu einer Entschlüssfindung zu kommen, ist nicht klar, sagt Slonim – wie so oft ist der selbstlernende Algorithmus von den Forschern nicht mehr zu durchschauen. Dennoch gelang es Project Debater in Tests, eine Genauigkeit von 95 Prozent zu erzielen – zumindest für die 50 wichtigsten Sätze über 100 verschiedene Themen. "Solche Zahlen kennt man praktisch nicht", sagt der Forscher. Andere Systeme könnten nur mit einigen Dutzend Themen umgehen. Das Live-Debattensystem soll davon auch profitieren.

Andere Forscher wie Visser and Oana Cocarascu vom Imperial College London, die im Bereich Erkennung natürlicher Sprache arbeiten, sind von dem IBM-System auch begeistert. Das Potenzial für Echtweltanwendungen sei da. Ein System, das auf Rechtsdokumente trainiert wurde, kann nicht mit Online-Materialien umgehen. Das Team um Slonin hat gezeigt, dass Project Debater so etwas wohl kann. "Das macht es großartig", so Cocarascu.

Das Forscherteam will nun ihre Trainingsdaten an andere Wissenschaftler weitergeben, damit diese damit arbeiten. Visser will ein Argument-Mining-Werkzeug bauen, dass die Qualität von Aussagen einschätzen kann, etwa zur Erfassung von kognitivem Bias. Er und seine Kollegen haben bereits KI verwendet, um die Qualität der Debattenargumente in der US-Präsidentschaftswahl 2016 zu analysieren.

Mehr Infos

IBM arbeitet an ähnlichen Vorhaben. Mit einem "Add-on", "Speech by Crowd" genannt, kann Projekt Debater, Argumente für oder gegen einen Vorschlag crowdsourcen und dann deren Qualität automatisch über ein neuronales Netzwerk überprüfen lassen. Dabei wird ein Datensatz verwendet, der 30.000 Argumente enthält, die zuvor von Menschen gelabelt wurden.

IBM plant außerdem, Project Debater als Plattform für Firmen und Regierungen anzubieten. "Wir sehen eine Zukunft der Technik als Cloud-Dienst", meint Firmensprecher Christopher Sciacca.

In einer Beispielanwendung sammelte IBM 3.500 Meinungen von Bürgern aus Lugano in der Schweiz, ob die Stadt in autonome Fahrzeuge investieren sollte – und nutzte KI dann, um Argumente für und gegen die Idee zu extrahieren und zu bewerten. Aus den Ergebnissen könnten dann politische Entscheidungen werden.

Slonim geht es allerdings noch um etwas ganz anderes: Er will die Interaktion zwischen KI und Mensch verbessern. Das Argumentieren untereinander ist ein wichtiger Teil der Kommunikation: Wir nennen Gründe für unsere Entscheidungen, fragen nach Rat, versuchen zu überzeugen und zu schmeicheln.

Wäre es möglich, so mit virtuellen Assistenten zu sprechen, würde sich das viel natürlicher anfühlen. "Was wir machen, hat auf fundamentaler Ebene mit unserem Leben zu tun", sagt er. "Wir versuchen, Techniken, die Sprache verstehen können, zusammenzuführen, um Menschen dabei zu helfen, bessere Entscheidungen zu treffen."

(bsc)