Wer heute mit großen Forschungsdatenmengen arbeitet, kennt das Problem: Die Daten wachsen schneller als die Infrastruktur, die sie verarbeiten soll. Klassische Speicherarchitekturen stoßen an ihre Grenzen – erst recht, wenn KI-Modelle und Hochleistungsrechner gleichzeitig auf dieselben Datenbestände zugreifen müssen.
Genau dieses Spannungsfeld stand im Mittelpunkt der ISC High Performance 2026 in Hamburg. Zheng Yong, Senior Architect für Scale-Out-Speicher bei Huawei, beschrieb in seiner Keynote, wie rasant Künstliche Intelligenz und High-Performance-Computing (HPC) derzeit zusammenwachsen. Forschungsdaten werden umfangreicher, vielfältiger und müssen zwischen verschiedenen Systemen und Standorten fließen können. Dateninfrastrukturen werden damit zum entscheidenden Hebel, um aus Rohdaten tatsächlich wissenschaftliche Erkenntnisse zu gewinnen.
Künstliche Intelligenz verändert das Paradigma der wissenschaftlichen Forschung grundlegend. Große KI-Modelle und autonome Agenten übernehmen zunehmend Aufgaben in der Forschung und brauchen dafür Zugriff auf Daten aus unterschiedlichen Quellen, Formaten und Fachdomänen. Gleichzeitig stehen Forschungseinrichtungen vor immer größeren Herausforderungen: Sie müssen Datenmengen im Petabyte- und Exabyte-Bereich (PB/EB) effizient verwalten und gleichzeitig den gestiegenen Anforderungen an Speicherung, Datenverwaltung und Datenzirkulation gerecht werden, die durch das sich beschleunigende Tempo KI-getriebener wissenschaftlicher Entdeckungen entstehen.
Als Reaktion darauf hat Huawei eine umfassende, durchgängige Infrastrukturlösung für Forschungsdaten entwickelt, die speziell auf Szenarien der Konvergenz von HPC und KI zugeschnitten ist. Diese Lösung soll Forschungseinrichtungen in die Lage versetzen, den Wert ihrer Datenbestände voll auszuschöpfen und den Fortschritt wissenschaftlicher Innovationen zu beschleunigen.
Vom Datenarchiv zum KI-fähigen Data Lake
Im Bereich des Forschungsdatenmanagements entwickeln sich traditionelle RDM-Plattformen (Research Data Management) rasch zu KI-Data-Lakes weiter. Die KI-Data-Lake-Lösung von Huawei unterstützt Forschungseinrichtungen dabei, ihre Ziele hinsichtlich der effektiven Speicherung, Verwaltung und Nutzung von Daten zu erreichen. Zum Kern der Lösung zählt unter anderem der Scale-out-Speicher OceanStor Pacific. Mit einer Speicherdichte von 11 PB pro zwei Rack-Einheiten (2U) hält das Storage große Mengen wissenschaftlicher Forschungsdaten platzsparend vor und trägt damit dazu bei, die Gesamtbetriebskosten von Forschungseinrichtungen und Universitäten zu senken. Durch die Nutzung des einheitlichen Datenraums „DME Omni-Dataverse“ unterstützt die Lösung die Echtzeit-Erfassung multimodaler und standortübergreifender Daten in den Data Lakes sowie deren globale Transparenz und Verwaltung. Darüber hinaus ermöglicht die Speicherlösung Abfragen über Hunderte Milliarden Vektordaten im Sekundenbereich, was die Aggregation, Bereitstellung und Auswertung hochwertiger wissenschaftlicher Forschungsdaten weiter beschleunigt.
Eine 3+1-Plattform fĂĽr Datenspeicher, Cache und Verwaltung
Im Bereich des Hochleistungsrechnens erweitern sich die Forschungsaufgaben kontinuierlich vom traditionellen HPC hin zu Training und Anwendung im Bereich der kĂĽnstlichen Intelligenz.
- FĂĽr KI-Trainingsszenarien bildet das Huawei OceanDisk 1610 Smart Disk Enclosure die Speicherbasis fĂĽr parallele Dateisysteme und bietet eine Bandbreite von 220 GB/s sowie eine hohe Speicherdichte von 4 PB pro 2U. Es verbessert nicht nur die Effizienz der Bereitstellung von Trainingsdaten, sondern reduziert auch den Platzbedarf im Rechenzentrum sowie die Energiekosten erheblich.
- FĂĽr KI-Inferenzszenarien – also die Anwendung trainierter Modelle – hat Huawei eine „3+1″-Datenplattform entwickelt. Sie vereint Wissensdatenbank, Key-Value-Cache (KV-Cache), Arbeitsspeicher und Datenverwaltung in einer Architektur. Der KV-Cache dient dabei als Zwischenspeicher, der die Textgenerierung von KI-Sprachmodellen massiv beschleunigt. Die Ergebnisse der Datenplattform erreichen laut Huawei eine Genauigkeit von ĂĽber 95 Prozent.
Huawei CMS reduziert Latenz und Kosten
Mit dem Context Memory Storage (CMS) adressiert Huawei eine weitere Herausforderung: Wie lässt sich der Speicher so gestalten, dass KI-Modelle bei der Inferenz schneller auf ihren Kontext zugreifen? Die Antwort ist eine neue Architektur, die multimodale Medienspeicherung und semantischen KV-Bypass in einem System vereint. Sie wurde speziell für die Beschleunigung des KV-Caches und der Verwaltung von Kontextspeicher entwickelt. Im Hinblick auf die Integration in das Computing-Ökosystem unterstützt sie verschiedene Computing-Cluster mit GPUs und NPUs. Ihre Netzwerkprotokolle sind mit RoCE (RDMA over Converged Ethernet) und Unified Bus (UB) kompatibel. Im Vergleich zu herkömmlichen Lösungen steigert CMS die Durchsatzleistung bei der Inferenz von KI-Grundmodellen um das 3- bis 5-Fache, reduziert die Latenz des ersten Tokens um bis zu 90 % und senkt gleichzeitig die Kosten um 30 %.
High-Performance-Computing und KI wachsen zusammen und verändern die Anforderungen an die darunterliegende Dateninfrastruktur. Forschungseinrichtungen und Universitäten, die jetzt in moderne Speicher- und Verwaltungskonzepte investieren, verkürzen den Weg von Rohdaten zu wissenschaftlichen Erkenntnissen.
kommentar field