Techtiefen: NLP-Update – Attention & Big Science

Diese Folge des Techtiefen-Podcasts wendet sich dem Natural Language Processing zu: Nils Reimers und Nico Kreiling diskutieren Transfer-Learning und BERT.

Techtiefen Nico Kreiling, Nils Reimers  –  0 Kommentare

Folge 36 des Techtiefen-Podcasts greift das Thema Natürliche Sprachverarbeitung (NLP) erneut auf, das vor zwei Jahren bereits Thema einer Podcast-Trilogie war. Seither hat sich viel getan, insbesondere Transfer Learning und die Transformer-Technologie haben mächtige Modelle wie BERT (Bidirectional Encoder Representations from Transformers) oder GPT (Generative Pre-trained Transformer) ermöglicht – höchste Zeit für ein Update.

Wer noch einmal die Grundlagen auffrischen möchte, kann sich zunächst Folge 19 zur Modernen Sprachverarbeitung anhören.

Experte dieser Folge ist Nils Reimers, NLP-Forscher bei Huggingface und Autor der Sentence-Transformers Library (zu finden auf GitHub). Er erklärt zunächst die wichtigen Neuheiten der vergangen Jahre wie etwa Transfer Learning, Attention, Transfomer und Neuheiten bei Tokenization-Strategien. Anschließend sprechen Nils Reimers und Nico Kreiling darüber, wie man am besten aus einem Text variabler Länge Vektoren mit fixer Dimensionalität bestimmt. Die so bestimmten Vektoren sind die Grundlage für anspruchsvolle Aufgaben wie Text-Clustering, Semantische Suche oder Question-Answering-Aufgaben. Auch besprechen sie, wie sich einsprachige Modelle mit Hilfe eines Teacher-Student-Verfahrens in fremde Sprachen übertragen lassen.

Abschließend berichtet Nils Kreiling vom Big-Science-Projekt, einem einjährigen Workshop, in dessen Rahmen 500 Personen aus über 50 Ländern mitarbeiten, um gemeinsam auf einem französischen Supercomputer das größte bisher berechnete Sprachmodell zu berechnen. Anders als bei GPT sollen sowohl das Modell als auch der Prozess, mit dem es erstellt wird, offen und transparent sein. Besonders ist dabei auch der Ansatz, die Forschungsfragen bereits vor dem Modelltraining zu formulieren.

Shownotes:

Paper von Nils und Projekte, von denen im Podcast die Rede ist: