Suchmaschinen sind einseitig

Eine Untersuchung hebt die Folgen der Indexierung und des Ranking hervor

Die Suchmaschinen, noch immer die wichtigsten Instrumente - und daher auch die lukrativsten virtuellen Orte -, lassen zu wünschen übrig. Vor allem nimmt ihre Leistung offenbar ab, die wachsende Menge an Informationen im Web zu indexieren.

Nach einer in Nature veröffentlichten Untersuchung von Steve Lawrence und Lee Giles vom NEC Research Institute erfassen die 11 populärsten Suchmaschinen zusammen 335 Millionen Seiten. Das sind etwa 42 Prozent der geschätzten Gesamtzahl von 800 Millionen Seiten mit 15 Terabytes, davon 6 Terabytes an Texten. Die beste der Suchmaschinen kann gerade einmal 16 Prozent des WWW indexieren. Das sei um einiges schlechter als das Ergebnis einer Untersuchung derselben Autoren aus dem Jahr 1997, bei der die beste Suchmaschine noch etwa ein Drittel erfaßt hatte. Viele der geschätzten 2,8 Millionen Server mit einem Durchschnitt von 289 öffentlich zugänglichen Seiten befinden sich daher sozusagen im Schwarzen Loch der Suchmaschinen - und haben damit auch weniger Möglichkeiten, auf sich aufmerksam zu machen. Zudem brauchen Suchmaschinen oft Monate, um neue Seiten zu indexieren. Durchschnittlich betrage die Zeit, die zwischen der Veröffentlichung einer Seite im Web und der Indexierung bei einer Suchmaschine vergeht, sechs Monate. Das spricht auch nicht gerade für die Aktualität der Suchmaschinenergebnisse, die so stark hinter der Aktualität des Web hinterherhinken.

Die untersuchten Suchmaschinen würden amerikanische Websites bevorzugen und überdies solche, die stärker von anderen verlinkt sind. Dadurch wird die Popularität, also das, was bereits Aufmerksamkeit gefunden hat, noch weiter verstärkt ( Gut und wichtig ist, was alle machen). Was manche Suchmaschinen gerade als ihren Vorteil ansehen, da doch Popularität von Qualität zeuge, beurteilen die Autoren jedoch skeptisch und warnen vor den daraus entstehenden Folgen: "Die Indexierung und das Ranking der Suchmaschinen können ökonomische, soziale, politische und wissenschaftliche Auswirkungen haben. Beispielsweise können die Indexierung und das Ranking von Online-Geschäften sich substantiell auf die wirtschaftliche Rentabilität auswirken; ein verzögertes Indexieren wissenschaftlicher Forschungsergebnisse kann zu einer Verdopplung der Arbeit oder zu einem langsameren Fortschritt führen; und verzögertes oder einseitiges Indexieren kann gesellschaftliche oder politische Entscheidungen beeinflussen."

Wer gerne von der Vormachtstellung der Pornographie im Web spricht, könnte möglicherweise enttäuscht werden. Nur 1,5 Prozent der Websites weisen pornographische Inhalte auf - was natürlich nichts über die Häufigkeit der Aufrufe aussagt -, während 6 Prozent Inhalte aus dem Bereich Wissenschaft und Ausbildung anbieten. 83 Prozent enthalten hingegen kommerzielle Inhalte. Da kann man eine Kommerzialisierung des Web durchaus konstatieren. Die "geringe" Menge etwa der wissenschaftlichen Seiten - etwa 4,8 Millionen - bietet aber auch die Chance, daß eine spezialisierte Suchmaschine diesen Bereich schneller und umfassend indexieren kann.

Man müsse, so die Autoren, der Zugänglichkeit von Informationen im Web größere Aufmerksamkeit schenken, um die Ungleichheit zu reduzieren und die Vorzüge des virtuellen Wissensspeichers für die Gesellschaft zu stärken. Aber warum sollte es bei den Suchmaschinen auch anders zugehen als in der wirklichen Welt?

Verbessern ließen sich die Suchergebnisse jedenfalls durch Metasuchmaschinen wie MetaCrawler, da die Ergebnisse der einzelnen Suchmaschinen sich nur geringfügig überschneiden. Northern Light schnitt übrigens bei der Untersuchung am besten ab. Letztes Mal war es noch Hot Bot.

Metatags könnten die Indexierung von Seiten erleichtern, bislang aber setzen nur 34 Prozent der Websites die bislang existierenden einfachen Metatags ein. Die beiden Autoren sind skeptisch, ob die viele sich in Zukunft die Mühe machen werden, kompliziertere Metatags einzubauen.

http://www.heise.de/tp/artikel/5/5059/1.html