KI-Sprachmodelle: Alternativen zum umstrittenen Textgenerator GPT-3 gesucht

Das KI-Sprachmodell GPT-3 entstand als Werkzeug zur Texterzeugung. Der Aufbau einer ähnlichen KI in Deutschland soll der digitalen Souveränität dienen.

Lesezeit: 3 Min.
In Pocket speichern
vorlesen Druckansicht Kommentare lesen 16 Beiträge

Große KI-Sprachmodelle wie GPT-3 trainieren eigenständig mit Unmengen an Textdaten, die nicht gelabelt sein müssen, also ohne zusätzliche Metadaten.

(Bild: OpenAI)

Von
  • Arne Grävemeyer

Lohnt es sich für Deutschland und Europa, ein mächtiges KI-Sprachmodell wie GPT-3 nachzubauen beziehungsweise einen Gegenentwurf selbst zu entwickeln? "Auf jeden Fall", sagt Jörg Bienert als Vorsitzender des KI-Bundesverbands e. V. gegenüber c’t. Dieser Schritt sei sehr wichtig, um nicht den Anschluss zu verlieren.

Mit dem Generative Pre-trained Transformer 3 (GPT-3) hat das amerikanische Unternehmen OpenAI vor einem Jahr ein sehr großes KI-Sprachmodell vorgestellt. Es basiert auf einem gigantischen neuronalen Netz mit 96 Schichten und 175 Milliarden Parametern. Für das Training der KI setzten die Entwickler 570 Gigabyte Texte aus der englischsprachigen Wikipedia ein, aus Bücherdatensätzen und Webtexten. Lizenziert und vermarktet von Microsoft macht GPT-3 Furore, weil es eigenständig glaubhaft klingende Texte formuliert.

Lesen Sie auch

Aber große KI-Sprachmodelle wie GPT-3 sind weit mehr als nur Generatoren von Texten mit zweifelhafter Glaubwürdigkeit. "Sie sind ein Gamechanger", sagt Bienert. "Rund um GPT-3 sind bereits etwa 300 Produkte entstanden und Start-ups gegründet worden." Unter den vielfältigen neuen Anwendungen befinden sich beispielsweise Chat-Programme für Kundendialog im Plauderton, Suchmaschinen, Übersetzungsdienste, Code-Generatoren für Softwareentwickler und sogar eine GPT-3-Variante von OpenAI namens Dall-e, die eigenständig Bilder zu textlichen Beschreibungen erzeugt.

In diesem Jahr wurde bekannt, dass Forscher in China an der Beijing Academy of Artificial Intelligence (BAAI, Peking) ein vergleichbares KI-Modell entwickelt haben. Wudao 2.0 soll ebenfalls menschlich klingende Texte formulieren, auf Chinesisch. Zudem kann es Bilder beschreiben und selbst Bilder zu Beschreibungen in natürlicher Sprache erzeugen. Laut chinesischen Quellen umfasst das zugrundeliegende neuronale Netz sogar 1,75 Billionen Parameter.

KI-Modelle dieser Größenordnung sind nicht nur eine Herausforderung für die KI-Forschung, sie erfordern zudem eine beachtliche Rechenleistung. Beispielsweise hat Microsoft gemeinsam mit OpenAI eigens einen Top-5-Supercomputer mit der Leistung von 10.000 GPUs aufgebaut. Auch Mitarbeiter des Fraunhofer-Instituts für Intelligente Analyse- und Informationssysteme (IAIS) forschen an Transformer-Modellen, relativ jungen Deep-Learning-Architekturen, auf denen zum Beispiel GPT-3 basiert.

Mehr von c't Magazin Mehr von c't Magazin

"KI-Sprachmodelle, die sich anhand ungelabelter Textdaten trainieren lassen und dann derart leistungsfähige Anwendungen möglich machen, die müssen wir einfach haben", schwärmt Dr. Joachim Köhler, Leiter des IAIS-Kompetenzzentrums NetMedia, gegenüber c’t. Aber dafür benötigen die Forscher große Rechenkapazitäten. Köhler veranschlagt etwa 3000 bis 5000 GPUs, um ein Transformer-Modell wie GPT-3 zu trainieren.

Am 30. Juni hat das Bundeswirtschaftsministerium die Projektskizze "OpenGPT-X" in sein Gaia-X-Projekt einer europäischen Dateninfrastruktur aufgenommen. Das Ziel: Über einen Gaia-X-Knoten sollen schließlich moderne Sprachmodelle für europäische Unternehmen zur Verfügung stehen. Die Konsortialführung übernimmt das Fraunhofer IAIS zusammen mit dem Fraunhofer IIS (Institut für Integrierte Schaltungen).

Ohne dieses Projekt könnten europäische KI-Unternehmen in Zukunft nur noch die Frontends für APIs aus den USA aufsetzen, sagt Bienert. Damit gerieten sie "in eine Abhängigkeit wie bei der Google-Suchmaschine." Darüber hinaus erinnert Köhler an europäische Werte und ganz konkret an die Einhaltung etwa der Datenschutz-Grundverordnung (DSGVO). Nur im Rahmen einer europäischen KI-Technik ließen sich Datenschutz und andere europäische Vorstellungen umsetzen.

c’t Ausgabe 16/2021

In c’t 16/2021 haben wir das neue kachelfreie Windows 11 getestet, erläutern dessen Systemanforderungen, den neuen Store und wie Sie die neue Vorabversion kostenlos selbst ausprobieren. Warum Quantencomputer die klassische Verschlüsselung bedrohen, zeigen wir in einem weiteren Schwerpunkt auf. Außerdem widmen wir uns dem Alleskönner USB-C, testen lange Kabel, Kopfhörer mit Geräuschunterdrückung und Apps fürs Rückentraining. Ausgabe 16/2021 finden Sie ab dem 6. Juli im Heise-Shop und am gut sortierten Zeitschriftenkiosk.

(agr)