Menü

Facebook veröffentlicht Deep-Learning-Framework PyTorch 1.1

Dank besserem JIT-Compiler wartet die Bibliothek mit besserer Performance auf. Neue Tools helfen bei der Visualisierung der Machine-Learning-Modelle.

Lesezeit: 1 Min.
In Pocket speichern
vorlesen Druckansicht Kommentare lesen 6 Beiträge

(Bild: Gerd Altmann, gemeinfrei)

Von

Facebook hat im Zuge seiner Entwicklerkonferenz F8 die Verfügbarkeit von PyTorch 1.1 bekannt gegeben. Das neue Release der seit 2017 quelloffenen Deep-Learning-Bibliothek soll mit besserer Performance aufwarten und verfügt über neue Tools für ein besseres Verständnis und zur Visualisierung der Machine-Learning-Modelle. Außerdem haben die Entwickler bei Facebook neue APIs bereitgestellt. Das Vorgänger-Release PyTorch 1.0 war im Dezember 2018 erschienen und wird nun, wie das soziale Netz in der Ankündigung zur Version 1.1 darlegt, von Unternehmen wie Microsoft, Toyota und Airbnb eingesetzt.

Als Highlight des neuen Release ist wohl der nochmals überarbeitete JIT-Compiler anzusehen. In Version 1.0 war eine Alpha-Version des Compilers gelandet, die aber wohl nicht viel schneller als der Basismodus von PyTorch gearbeitet hat. Das wurde mit der neuen Ausgabe des JIT-Compilers nun verbessert, zumal sich mit ihr wohl auch viel mehr Programmiersprachenkonzepte von Python in PyTorch umsetzen lassen sollen. Der JIT-Compiler ist in der Lage, zur Laufzeit zu bestimmen, wie sich der effizienteste Code generieren lässt.

PyTorch 1.1 bietet des Weiteren die Möglichkeit, die neuronalen Netze auf GPUs aufzuteilen. Bisher erlaubte PyTorch Entwicklern, im Sinne der Datenparallelität die Trainingsdaten auf Prozessoren aufzuteilen. Das Sharding der Modelle ermöglicht nun auch eine Instruktionsparallelität, mit der die Netze jetzt auch "Multiple Instruction, Multiple Data"-Techniken (MIMD) erreichen können.

Über den Befehl "from torch.utils.tensorboard import SummaryWriter" unterstützt die Bibliothek TensorBoard nun nativ, eine Webanwendung zur Überprüfung und zum Verständnis von Trainingsabläufen und Grafiken. Unter den neuen APIs sind die Unterstützung für boolesche Tensoren zu nennen, die für benutzerdefinierte rekurrente neurale Netze wurde hingegen überarbeitet.

Schließlich hat man wohl mit der Community zusammengearbeitet, um Projekte und Tools zu fördern, die ML-Experten bei ihren Anforderungen unterstützen, die vom verbesserten Modellverständnis bis hin zum Auto-Tuning mit AutoML-Methoden reichen. Mit der Veröffentlichung von Ax und BoTorch hat Facebook deswegen Kernalgorithmen geöffnet. BoTorch ist ein Framework, das auf PyTorch basiert, um Bayes'sche Optimierung zur sequenziellen Optimierung von Blackbox-Funktionen zu ermöglichen. Ax ist wiederum eine Machine-Learning-Plattform zur Verwaltung adaptiver Experimente, mit der sich große Konfigurationsräume systematisch erkunden lassen, um Modelle, Infrastruktur und Machine-Learning-Produkte anzupassen.

Weitere Informationen zum neuen PyTorch-Release und zu weiteren Entwicklungen aus dem PyTorch-Ökosystem finden sich in der Blogankündigung. Wer tiefer in PyTorch einsteigen will, bekommt auf der Projektwebsite tiefergehendes Auskunftsmaterial.

Zu Facebooks Neuerungen, die auf der F8 verkündet wurden, siehe auch:

(ane)