Computer erkennt Sarkasmus

Zu verstehen, ob eine Äußerung sarkastisch gemeint war, ist gar nicht so einfach. Ein mit Emojis in Twitter-Nachrichten trainierter Algorithmus von MIT-Forschern ist darin besser als Menschen.

Lesezeit: 4 Min.
In Pocket speichern
vorlesen Druckansicht Kommentare lesen
Von
  • Will Knight
Inhaltsverzeichnis

Wenn man sich auf Twitter umguckt, findet man dort reichlich sarkastische Kommentare – und natürlich viele Fälle, in denen Nutzer den Sarkasmus von anderen absolut nicht verstehen. Zum Glück haben Forscher am MIT jetzt einen Algorithmus entwickelt, der Sarkasmus sowie emotionale Untertöne in Tweets besser als die meisten Menschen erkennen kann.

Die Stimmung in Beiträgen in sozialen Medien zu analysieren, wird bereits genutzt, um die Haltung gegenüber Marken und Produkten zu beobachten oder um Signale zu identifizieren, die möglicherweise Trends an den Finanzmärkten erkennen lassen. Doch wenn Computer die Bedeutung von Tweets und anderen Kommentaren besser verstehen, könnten sie Beleidigungen und Hasskommentare automatisch erkennen und dagegen vorgehen. Außerdem dürfte ein besseres Twitter-Verständnis Forschern dabei helfen, zu analysieren, wie sich Informationen und Einfluss in dem Netzwerk verbreiten. Und allgemein könnte die Fähigkeit, Emotionen zu erkennen, ein wichtiges Merkmal von Mensch-Maschine-Kommunikation mit immer intelligenteren Maschinen werden.

Mehr Infos

Die MIT-Forscher hatten zunächst vorgehabt, ein System zu entwickeln, dass rassistische Beiträge auf Twitter erkennt. Bald allerdings wurde ihnen klar, dass sich die Aussagen vieler Botschaften ohne ein gewisses Sarkasmus-Verständnis nicht richtig einordnen lassen.

Der Algorithmus basiert auf Deep Learning, einer verbreiteten Technik für Maschinenlernen, bei der die Simulation eines großen neuronalen Netzes mit Hilfe großer Datenmengen darauf trainiert wird, subtile Muster zu erkennen. Hilfreich bei dem MIT-System war die Tatsache, dass viele Tweets bereits eine Art Kennzeichnungssystem für Emotionen nutzen: Emojis. Die Forscher setzten sie ein, um die Emotionen in Tweets allgemein zu erkennen, was im nächsten Schritt auch dabei half, Sarkasmus zu verstehen.

"Online können wir nicht über die Stimme oder über Körpersprache zusätzliche Informationen übermitteln, also nutzen wir hier Emojis", sagt Iyad Rahwan, Associate Professor am MIT Media Lab, der den Algorithmus zusammen mit seinem Studenten Bjarke Felbo entwickelt hat. "Das neuronale Netz hat den Zusammenhang zwischen einer bestimmten Art von Sprache und einem Emoji gelernt."

Für das Training des Algorithmus namens DeepMoji sammelten die Forscher 55 Milliarden Twitter-Nachrichten und wählten davon 1,2 Milliarden aus, in denen eine Kombination aus 64 beliebten Emojis zu finden war. Zunächst ließen sie DeepMoji dann lernen, welches Emoji auf eine bestimmte Nachricht folgen würde, abhängig davon, ob sie fröhlich, traurig, humorvoll usw. war. Sarkasmus erlernte das System dann mit Hilfe einer bestehenden Datensammlung mit gekennzeichneten Beispielen. Der Algorithmus soll zur freien Verwendung veröffentlicht werden.

Empfohlener redaktioneller Inhalt

Mit Ihrer Zustimmmung wird hier ein externes Video (Kaltura Inc.) geladen.

Ich bin damit einverstanden, dass mir externe Inhalte angezeigt werden. Damit können personenbezogene Daten an Drittplattformen (Kaltura Inc.) übermittelt werden. Mehr dazu in unserer Datenschutzerklärung.

Um die Leistungsfähigkeit von DeepMoji zu überprüfen, testeten ihn die Forscher mit mehreren Referenzen für die Erkennung von Stimmung und Emotionen in Texten. Der Algorithmus erwies sich in jedem Fall als besser.

Außerdem gab es Tests gegen Menschen, die dafür auf der Crowdsourcing-Plattform Mechanical Turk angeworben wurden. Wie sich zeigte, erreichte der Algorithmus auch hier die besseren Ergebnisse beim Erkennen von Sarkasmus und anderen Emotionen auf Twitter: In 82 Prozent der Fälle lag er bei Sarkasmus richtig, während die menschlichen Probanden nur 76 Prozent erreichten.

"Es kann sein, dass er all die unterschiedlichen Jargons lernt", sagt Felbo. "Ich will es so formulieren: Die Leute auf Twitter haben einen sehr interessanten Umgang mit Sprache."

Zur Demonstration des Emoji-Teils ihres Systems haben die Forscher eine DeepMoji-Website ins Internet gestellt, die automatisch passende Emojis an Textbeiträge hängt. Das scheint recht gut funktionieren. Als ich es allerdings mit Donald Trumps inzwischen berüchtigtem Covfefe-Tweet versuchte, war der Algorithmus nicht weniger verwirrt als zuvor Menschen.

Auf der Seite können Nutzer außerdem zur Forschung beitragen, indem sie eigene Tweets mit Emojis auszeichnen. Dies ist ein wichtiger Teil des Projekts, sagt Rahwan. Normalerweise lassen Forscher Freiwillige die Tweets anderer Menschen annotieren, was eine weniger direkte Methode ist. „Auf diese Weise wird nicht erfasst, was Psychologen als die wahre Stimmung ansehen würden“, sagt Rahwan.

(sma)