KI: Sachlich korrekte Texte mit neuronalen Sprachmodellen generieren
Neuronale Sprachmodelle wie GPT-3 schreiben ansprechende Texte, aber oft mit erfundenen Fakten. Jüngste Modelle überprüfen ihre Inhalte selbst. Ein Einblick.
(Bild: Albert Hulm)
- Dirk Hecker
- Gerhard Paaß
KI-Forscher und Investoren sind wie elektrisiert von automatischen Textgeneratoren, die von ihrer breiten Trainingsdatengrundlage abstrahieren und aufgabenorientiert sinnvolle Inhalte verfassen. Nach OpenAI, das als Non-Profit-Forschungsunternehmen mit Milliardeninvestitionen unter anderem von Microsoft und Elon Musk startete, haben inzwischen auch andere Entwickler große Sprachmodelle vorgestellt.
Angefangen hat der Hype, als Open AI hat im Mai 2020 das Sprachmodell GPT-3 vorgestellt hat. Mit 175 Milliarden Parametern war es das größte neuronale Netz zu dem Zeitpunkt, trainiert mit immensen Mengen an Wikipedia-Einträgen, Webveröffentlichungen und Buchtexten.
Die Anwendungsmöglichkeiten des Generative Pretrained Transformer (GPT) sind wahrscheinlich noch gar nicht vollständig erfasst: Er generiert überzeugende Texte in unterschiedlichen Schreibstilen und Themengebieten, beantwortet Fragen, erzeugt Programmcode, übersetzt zwischen Sprachen und vieles mehr. Die Technik dahinter markiert einen Wendepunkt in der automatischen Verarbeitung von natürlicher Sprache.