zurück zum Artikel

Hadoop-Queries mit Pinterests internem Werkzeug Terrapin verwalten

hadoop

Datenbankabfragen für Big-Data-Anwendungen auf Hadoop sollen mit Terrapin effizienter werden. Pinterest hat das Werkzeug seit einem Jahr im Produktivbetrieb und gibt es nun als Open Source frei.

Auf Facebooks @Scale-Konferenz [1] kündigte das soziale Netz Pinterest an, sein Tool Terrapin als Open-Source-Software freizugeben. Ursprünglich nutzten die Pinterest-Entwickler das zu Hadoop gehörige HBase für Datenbankanfragen. Laut einem Blogbeitrag [2] war es aber bei größeren Datenmengen zu langsam und stieß bei Datensätzen im dreistelligen Gigabytebereich an seine Grenzen. Die Bulk-Upload-Funktion von Hadoop löste zwar die anfänglichen Probleme, führte aber durch die Verteilung der Daten auf ein Cluster zu erhöhten Latenzen beim Zugriff.

Architektur von Terrapin

Architektur von Terrapin

(Bild: Pinterest)

Pinterest erfindet das Rad nicht neu, sondern nutzt das HFile-Format von HBase und das Hadoop-eigene Dateisystem HDFS. Terrapin behält dabei aber stets den Speicherort der Daten im Blick, um Datenlokalität zu gewährleisten. Auf diese Weise werden die Daten dort verarbeitet, wo sie gespeichert sind. Ein Hadoop-Job kann die Daten direkt auf die Terrapin-Server schreiben oder sie zunächst auf HDFS oder S3 ablegen und in einem separaten Schritt auf Terrapin kopieren.

Das Werkzeug ist bei Pinterest bereits seit einem Jahr im Produktiveinsatz und verwaltet dort eine Datenmenge von etwa 180 Terabyte, die auf rund 100 Filesets mit gut 50.000 Dateien verteilt sind. (rme [3])


URL dieses Artikels:
http://www.heise.de/-2818595

Links in diesem Artikel:
[1] http://www.atscaleconference.com/
[2] https://engineering.pinterest.com/blog/open-sourcing-terrapin-serving-system-batch-generated-data-0
[3] mailto:rme@ct.de