Künstliche Intelligenz: Sprachmodelle mit GPT-2 trainieren

Wie lassen sich neue Sprachmodelle wie GPT-2 und GPT-3 trainieren, was lässt sich damit anstellen und was nicht? Wir haben das Modelltrainig genauer betrachtet.

Lesezeit: 6 Min.
In Pocket speichern
vorlesen Druckansicht Kommentare lesen
Von
  • Ramon Wartala
Inhaltsverzeichnis

Für Menschen ist Sprache das einfachste und effektivste Kommunikationsmittel. Seit Jahrzehnten versuchen Forscher und Firmen, den Maschinen die Unwägbarkeiten und Feinheiten der menschlichen Sprache beizubringen. Mithilfe ausgefeilter Algorithmen der Computerlinguistik (Natural Language Processing, NLP) versucht man, die maschinelle Verarbeitung von Text- und Sprachdaten durch Computer zu ermöglichen.

Anwendungsfälle für ein derartig codiertes Verständnis von Sprache gibt es viele. Dazu gehört etwa die automatische Übersetzung von einer Sprache in die andere. Daneben können Sprachmodelle den Inhalt eines Textes verstehen und erkennen, um welche Themen, Dinge, Menschen oder Orte es geht. Im nächsten Schritt lassen sich automatisch Zusammenfassungen von Texten erstellen. Maschinelle Sprachmodelle sind ebenfalls in der Lage, Texte selbst zu erzeugen oder im Rahmen eines Frage-Antwort-Dialogs zu interagieren.

In allen Szenarien erledigen Computer mit geeigneten Sprachmodellen viele Kommunikationsarbeiten für Menschen. Darin liegt Fluch und Segen zugleich. Einerseits staunt man über generierte poetische Lyrik, in der ein Sprachmodell im Stile William Shakespeares über den Himmel schreibt: "Sky and light, and a silent spring Come from the sky with a loud breeze. And in the silence the song That ever grew from the mountains Was sung. On the way, to ...", und wundert sich andererseits über Bots in sozialen Medien mit täuschend echter Wortwahl.

Immer mehr Wissen. Das digitale Abo für IT und Technik.

  • Zugriff auf alle Inhalte von heise+
  • exklusive Tests, Ratgeber & Hintergründe: unabhängig, kritisch fundiert
  • c't, iX, Technology Review, Mac & i, Make, c't Fotografie direkt im Browser lesen
  • einmal anmelden – auf allen Geräten lesen - monatlich kündbar
  • erster Monat gratis, danach monatlich 12,95 €
  • Wöchentlicher Newsletter mit persönlichen Leseempfehlungen des Chefredakteurs
GRATIS-Monat beginnen Jetzt GRATIS-Monat beginnen Mehr Informationen zu heise+