Um Sicherheit, Governance und operatives Datenmanagement übergreifend für lokale Cluster wie auch Data Lakes in der Cloud anbieten zu können, erweitert Hortonworks die Dataplane-Plattform um neue Service-Module.

Zahlreiche Fehlerbereinigungen und neue Funktionen sollen Hadoop 3.1 für Microservices und die Anbindung containerisierter Anwendungen optimieren. Für den produktiven Einsatz ist das Release jedoch noch nicht freigegeben.

Die Schnittstelle für Hadoop-Cluster gilt nun als reif für den produktiven Einsatz. Sie verbindet einen Proxy mit Diensten zur Authentifizierung und Clientschnittstellen. Einige Plattformen haben Knox bereits vor dem 1.0-Release an Bord genommen.

Eine Einführung in die Installation und Konfiguration von Hadoop bringt ein Seminar am 15./16. März in Hannover.

Eine neues Encoding für HDFS reduziert den Speicherbedarf, und YARN Timeline Service v.2 erweitert die im YARN Timeline Server eingeführten Dienste zum Speichern anwendungsspezifischer Informationen.

Wer den Umgang mit dem Big-Data-Framework Hadoop lernen möchte, kann bei einer Buchung des Workshops bis zum 19. Juli 10 Prozent der Teilnehmergebühren sparen.

Die Verarbeitung großer Datenmengen mit dem Open-Source-Framework Hadoop ist Thema eines zweitägigen Workshops Ende August in Hannover.

Data Science – die Auswertung immer größerer Datenmengen – erfordert spezielle Software. Unter dem Apache-Dach finden sich zahlreiche Big-Data-Projekte.

So ganz neu ist Hadoop 2.8 nicht mehr – die Apache Software Foundation ist jedoch erst jetzt dazu gekommen, das neue Release des Big-Data-Frameworks anzukündigen.

Das DataWorks Summit beziehungsweise Hadoop Summit in München haben einige Firmen für Ankündigungen im Big-Data-Umfeld genutzt. Gleichzeitig bestimmte mit der Namensänderung eine breitere Ausrichtung das Geschehen.

Hive LLAP verbindet persistente, verteilte Query-Server mit Caching. Außerdem hat HDP 2.6 Apache Spark 2.1 mit neuen ML-Algorithmen an Bord. Hortonworks geht zudem "Cloud First" und veröffentlicht das System zuerst auf Azure und AWS.

Admins sollten zügig prüfen, ob ihre CouchDB- und Hadoop-Installationen ausreichend abgesichert sind: Derzeit räumen Erpresser unter anderem diese Datenbanken leer und fordern Lösegeld gegen Daten.

Die aktuelle Version der Analyseplattform soll vor allem die Bereiche Streaming und maschinelles Lernen verbessern. Neben Spark 2.0 enthält Clouderas Hadoop-Distribution das 1.0-Release von Apache Kudu.

Die Verarbeitung großer Datenmengen mit dem Open-Source-Framework Hadoop ist Thema eines zweitägigen Workshops Ende August in Hannover.

Die Entwickler der Hadoop-Distribution des Unternehmens können in der aktuellen Version neben Komponentenupdates vor allem eine Reihe von Neuerungen zur besseren Zugriffskontrolle präsentieren.

Auf dem Spark Summit hat das für seine Hadoop-Distribution bekannte Unternehmen eine komplett auf Apache Spark aufsetzende Variante der MapR-Plattform angekündigt.

Mit Massiv Parallel Processing und dem Hadoop-Framework stehen zwei Ansätze bereit, die den Anforderungen von Big-Data-Anwendungen gewachsen sind. Beide unterscheiden sich in der Natur ihrer Hardware und Software, lassen sich aber zu leistungsfähigen hybriden Big-Data-Architekturen kombinieren.

Mit dem bislang bei LinkedIn intern genutzten Dr. Elephant erhält man ein Verständnis darüber, wie sich die Performance von Hadoop- und Spark-Workflows verbessern lässt.

Das Werkzeug zum Verwalten von Hadoop-Clustern bietet eine schnellere Upgrade-Funktion, zusätzliche Security-Funktionen und eine bessere Übersicht über Störungen.

Die Erweiterungen betreffen die Zugriffskontrolle und Mandantenfähigkeit. Die Integration von Apache Myriad bringt YARN und Mesos zusammen. Der neue POSIX-Client soll die Einbindung von Containern vereinfachen.

Der Hadoop-Distributor fährt ab sofort bei den unterschiedlichen Komponenten der Hortonworks Data Platform eine zweigleisige Update-Strategie. Kernkomponenten werden jährlich aktualisiert, die anderen Bestandteile öfter.

Der Big-Data-Anbieter erhält das Patent für das MapReduce-kompatible Dateisystem insbesondere aufgrund der Techniken für Datenreplikation.

Nicht zum ersten Mal greift der Hadoop-Distributor auf eine Eigenentwicklung, anstatt auf den ansonsten Open-Source-Konkurrenten zu setzen. Die proprietären Komponenten werden nun MapR-DB, MapR-FS und Streams laufen nun als Converged Data Platform.

Das aus den AMPLabs der UC Berkeley hervorgegangene Framework für verteilte Kalkulationen auf Rechnerclustern hat in vielen Punkten Hadoop offenbar abgelöst.

Im Rahmen einer Kundenveranstaltung in München sprach heise Developer mit Mike Olson, dem Mitbegründer von Cloudera über neue Big-Data-Projekte wie Kudu, Recordservice und Sentry sowie die Zukunft von Spark und Hadoop.

Die NoSQL-Datenbank MapR-DB unterstützt nun auch JSON-Dokumente. Somit kombiniert der Hadoop-Distributor die Big-Data-Frameworks Hadoop und Spark mit den Eigenschaften einer Dokumentendatenbank.

Das Team konnte sich mit seinem provokanten Slogan, die Analyse großer Datenmengen revolutionieren zu wollen, genug Startkapital für sein neues Unternehmen sichern.

Der Internet-Konzern erweitert sein Big-Data-Portfolio um einen Managed Service zum Aufsetzen, Verwalten und Entfernen von Spark- und Hadoop-Clustern.