Verlegerverbände schlagen neue Version des Robot Exclusion Standards vor

Mehrere internationale Verlegerverbände haben einen neuen Standard vorgeschlagen, mit dem Inhalteanbieter im Internet den automatischen Zugriff auf ihren Content besser reglementieren können, also etwa den Zugriff durch Suchmaschinen. Hintergrund des ACAP (Automated Content Access Protocol) genannten Standards sind etliche Streitereien zwischen Verlegern und Google.

ACAP ist rückwärtskompatibel zum Robots Exclusion Standard, das bislang den automatisierten Zugriff regelt. Wie beim Robots Exclusion Standard regeln Anweisungen in einer Datei namens robots.txt, was mit den Inhalten der Site geschehen darf - allerdings genauer. Verfügte das Robots Exclusion Standard nur über eine Direktive namens Disallow, kann der Website-Betreiber jetzt genauer festlegen, was erlaubt und was nicht ist:

ACAP-disallow-crawl: /privat

ACAP-allow-index: /public

ACAP-allow-present-snippet: /news max-length=250-chars

Während mit diesen Anweisungen das Verzeichnis privat nicht einmal ausgelesen werden darf, kann etwa eine Suchmaschine das Verzeichnis public indexieren und aus dem Verzeichnis news sogar kurze Inhaltsschnipsel anbieten. Welche Anweisungen ACAP vorsieht, erläutert eine PDF-Datei auf der ACAP-Homepage. Webmaster können "klassische" robots.txt-Anweisungen gemeinsam mit ACAP-Direktiven in einer Datei unterbringen. Ein Konverter für die Umwandlung herkömmlicher robots.txt-Dateien soll den Umstieg erleichtern. Wie beim Robots Exclusion Standard lässt sich der Crawler auch per Robots-Meta-Tags in den HTML-Headern steuern.

Die Suchmaschinenbetreiber reagieren zurückhaltend auf den Vorstoß. Die Betreiber des Projekts haben nach eigenen Angaben mit Suchmaschinenanbietern gesprochen, Mitglied des Zusammenschlusses ist aber nur die französische Suchmaschine Exalead geworden. Google begrüßte in einer ersten Stellungnahme "alle Initiativen, die dazu führen, dass Suchmaschinen und Inhalteanbieter besser zusammen arbeiten". Man werde die ACAP-Vorschläge prüfen. Die großen Suchmaschinenanbieter hatten im April eine neue Version ihres Sitemaps-Standards vorgestellt, der Suchmaschinen das Auffinden von Inhalten erleichtern soll. (jo)