Yahoo stellt eigene Hadoop-Distribution ein

Yahoo stellt die Entwicklung an der eigenen Hadoop-Distribution ein und wird sich fortan wieder verstärkt der Hadoop-Entwicklung unter dem Dach der Apache Software Foundation widmen. Das Internet-Unternehmen hatte die "Yahoo Distribution of Hadoop" im Juni 2009 vorgestellt mit dem Ziel, eine getestete und um Security- sowie Workflow-Management-Funktionen erweiterte Plattform für Firmen zu offerieren.

Hadoop ist ein Java-Framework zum Erstellen verteilt arbeitender Anwendungen, die umfangreiche Berechnungen auf großen Datenmengen in Clustern durchführen. Es implementiert Googles MapRduce-Algorithmus. Hadoop-Anwendungen sollen gut mit der Zahl der Knoten skalieren; Yahoo hat eigenen Angaben zufolge die größte Hadoop-Installation mit einem Cluster aus derzeit 40.000 Knoten im Einsatz.

In Zusammenarbeit mit dem Apache-Projekt möchten die Hadoop-Experten bei Yahoo nun die Voraussetzung dafür schaffen, dass die Binär-Releases des Frameworks so stabil ausgeliefert werden, dass sie andere Unternehmen produktiv nutzen können. In letzter Zeit sei die Apache-Domain nicht mehr die erste Adresse zum Download der Technik gewesen, schreibt Yahoo in der Ankündigung zur Neuausrichtung. Das ist eine Sache, die Yahoo mit der Unterstützung der Apache-Community verstärkt angehen will.

Siehe dazu auch:

• Oliver Fischer; Datenverarbeiter; Verarbeiten großer verteilter Datenmengen mit Hadoop, Artikel auf heise Developer
• Oliver Fischer; Datenverarbeiter #2; Verarbeiten großer verteilter Datenmengen mit Hadoop, ein Beispiel, Artikel auf heise Developer

(ane)