"Auch Pierre Bourdieu ist ein Indexierungsopfer"

Wissenschaftsforscherin Terje Tüür-Fröhlich über Wissenschaftsevaluierung und fehlerhafte Zitationsdatenbanken

Terje, wir kennen uns von zahlreichen Tagungen. Du beschäftigst Dich schon seit längerer Zeit mit Fehlern in Zitationsdatenbanken. Ein Thema, das oft unter den Teppich gekehrt wird, denn diese Datenbanken gelten als objektiv, dienen sie doch der Bewertung von wissenschaftlichen Leistungen. Warum dieses Forschungsthema, und warum "banale" Fehler, was ist an Fehlern "banal"?
Terje Tüür-Fröhlich: Ich komme aus Estland, dort ist mein Vorname "Terje" weiblich. In Skandinavien ist Terje jedoch ein männlicher Vorname. Ich musste in Norwegen einmal um mein Hotelzimmer kämpfen. Die Rezeptionistin beharrte stock und steif auf ihrem Standpunkt: "Dieses Zimmer ist für einen Mann reserviert, aber SIE sind eindeutig eine Frau!" Namensbedeutungen variieren kulturell, das habe ich in diesem Moment erkannt, und diese kulturelle Tatsache ist auch eine Quelle "banaler" Fehler in Forschung und Dokumentation.
Dann kam ich nach Österreich und eine komplette Katastrophe mit meinem Nachnamen nahm ihren Lauf. Damals hatte ich noch meinen Mädchennamen "Tüür" mit doppeltem "ü". Bei den verschiedenen Amtsgängen und bei der Immatrikulation an der Universität musste ich unzählige Formulare ausfüllen. Was sagten die Beamtinnen, wenn sie meinen Nachnamen auf dem Formular sahen? "Sie haben sich verschrieben! Da ist ein "ü" zu viel"! Mir wurde also in Österreich als Akademikerin ständig unterstellt, meinen eigenen Namen nicht richtig schreiben zu können!
Dann ist mir noch etwas Unerwartetes zugestoßen, das mein Forschungsinteresse endgültig entflammt hat. Als ich mich an der Universität Linz für das Doktoratsstudium der Kultur- und Geisteswissenschaften eingeschrieben hatte, bekam ich einen großen Briefumschlag zugeschickt, adressiert an "Frau DI Tüür-Fröhlich". Ich war also zum "Diplomingenieur" geadelt worden und - als Sonderpädagogin! - war ich anstandslos, ohne irgendein technisches Vorstudium, zugelassen für das Doktoratsstudium Technische Chemie.
Empört ging ich zur Studienabteilung der Universität und sagte, da müsse wohl ein Fehler vorliegen, ich hätte mich doch für das Dokstudium Kultur- und Geisteswissenschaften beworben. Die schnoddrige Antwort der Mitarbeiterin: "WIR machen keine Fehler, SIE haben einfach das Formular falsch ausgefüllt".
Meine Vorlieben für Chemie sind begrenzt, daher blieb ich hartnäckig und bestand darauf, im Dissertationsfach Philosophie aufgenommen zu werden. Nach langem hin und her stellte sich heraus: Die Studienabteilung der Universität hatte ZWEI Studiengänge, einen philosophischen und einen technischen, mit demselben Fachcode besetzt - so wurde ich vom digitalen Verwaltungssystem der Uni der technischen Chemie zugeteilt.
Das war mein Point of no Return, an dem ich wusste: DAS ist mein Dissertationsthema. Später zuhause verkündete ich: "Ich habe mein Dissertationsthema! Banale Fehler in der EDV und in der Wissenschaftskommunikation!" Darauf sagte mein Mann nur: "So etwas Fades, mach doch was Aufregendes, wie z.B. Betrug in der Wissenschaft oder Korruption".
Es stellte sich jedoch heraus, dass das Aufspüren banaler Fehler sehr spannend ist. Ihre Entdeckung erfordert äußerst mühsame und aufwändige Detektivarbeit. Ab und zu gesteht mein Mann fröhlich-zerknirscht seine Fehldiagnose ein und beglückwünscht mich zu meiner Themenwahl.
In Deiner nun als Buch veröffentlichten Dissertation "The Non-trivial Effects of Trivial Errors in Scientific Communication and Evaluation" bemängelst Du die Datenqualität der Zitationsdatenbank Social Sciences Citation Index, SSCI. Warum ist diese Datenbank so wichtig?

Wir leben im Zeitalter der Evaluationswut

Terje Tüür-Fröhlich: Wir leben im Zeitalter der Evaluationswut. Tag und Nacht werden wir WissenschaftlerInnen evaluiert. Am Beispiel Österreichs: Unser Universitätsorganisationsgesetz schreibt den Universitäten die Erstellung von "Wissensbilanzen" vor. In der Kennzahl 3.B.1 geht es um die Anzahl der Artikel, die in Journalen veröffentlicht werden, die von den drei Datenbanken Science Citation Index (SCI), Social Science Citation Index (SSCI) und Arts & Humanities Citation Index (AHCI) erfasst werden.
In jeder Leistungsvereinbarung mit dem Ministerium verspricht unsere Universität hoch und heilig eine Steigerung dieses Publikationsoutputs um 10%. Die Rechts-, Wirtschafts-, SozialwissenschaftlerInnen werden über den SSCI evaluiert, daher nahm ich mir diese Datenbank vor.
Philosophischer Ausgangspunkt für meine Dissertation war Sir Karl Popper. Er betont laufend die Fehlbarkeit der Menschen. Auch Wissenschaften seien "error-making activities". Popper meint: Fehler könnten jedem von uns passieren, das wäre noch nicht tragisch. Aber Fehler zu verbergen oder zu vertuschen, das sei eine echte wissenschaftliche Todsünde.
Inspiriert von Popper habe ich mir gedacht: Wenn etwas eine fehlerproduzierende Aktivität ist, dann die Zitationsindexierung! Ich hatte schon viele Zitationsrecherchen gemacht und war dabei oft über seltsamste Fehler gestolpert. Aber in diesem Stadium wusste ich noch gar nicht, wie schlimm und wie zahlreich diese Fehler in sogenannten autoritativen Datenbanken wie dem SSCI sind.

Durch Fehlindexierung nicht nachgewiesene Zitationen können über Sein und Nichtsein von jungen Wissenschaftlern mitentscheiden

Wie gravierend sind diese Fehler und wie hast Du die Fehler entdeckt? Wie bist Du methodisch vorgegangen?
Terje Tüür-Fröhlich: Mein Dissertationskonzept sah die übliche Palette an Vorgangsweisen vor: als erstes, systematische Projekt- und Literaturrecherchen, auch in den Nachbarfeldern.
Da machte ich eine erstaunliche Entdeckung: Als Amateurin, als Außenseiterin - ich hatte ja nie Informationswissenschaften oder gar Szientometrie studiert - hatte ich eine banale methodische Idee: Wenn ich Fehler in Zitationsdatenbanken finden will, muss ich mir das Original des Artikels beschaffen, inklusive aller Quellenangaben, sowie den SSCI-Record, sprich den Datenbankeintrag im SSCI. Die Dokumentation einer Publikation in einer Zitationsdatenbank muss prinzipiell alle im Original aufgelisteten Quellen nachweisen, das ist ja der Clou an Zitationsdatenbanken.
Als zweiten Schritt musste ich die Quellen im Original mit den Einträgen in der Datenbank vergleichen. Erstaunlicherweise fand ich solche Studien nur auf der Ebene von Fehlern in Journalen. Fehler in Datenbanken waren damals in der Fachliteratur fast ein Tabuthema und die wenigen aktuellen Studien basieren auf automatischen Analysen.
Aber ich fand bald heraus, dass die Fehler in Datenbankeinträgen so gravierend sind, dass die Rekonstruktion ihrer Genese oft tagelange Detektivarbeit erforderte. Mir haben Fachleute versichert, es gäbe zurzeit keinerlei Software, die so etwas schaffen könne. Ich bin also einfach mit Hausverstand vorgegangen: Ich habe die Originale gesucht und sie mit den Einträgen im SSCI verglichen. Ich habe dazu eine Technik von der Soziologie übernommen, die Schneeballmethode, und in der Laufrichtung "umgedreht". Die "Ping-Pong-Methode" entwickelte ich selbst.
Der Ausgangpunkt waren mir bereits bekannte Mutationen des Autorennamens Pierre Bourdieu, z.B. "Bordieu" ohne "u". Ping-Pong-Methode heißt zwischen den Datenfeldern hin und her zu hüpften. Wenn in einem Datenfeld der Eintrag fehlt - und der fehlt oft! -, z.B. im Datenfeld Cited Author, habe ich im Datenfeld Cited Work gesucht, z.B. nach Zitationen von Bourdieus "La Distinction". Dann bin ich wieder zum Datenfeld Cited Author zurückgesprungen und habe dort neue Mutationen von Bourdieu entdeckt, aber oft gar keinen Eintrag gefunden, nur ein leeres Feld, manchmal aber auch die Angabe "anonymous". Nach leeren Feldern oder nach allen "anonymous"-Einträgen konnte ich ja nicht gut suchen. Daher dieses Hin-Und-Her, dieses "Ping-Pong". Vom SSCI-Record bin ich zurück zum Original gesprungen und dort war das Werk korrekt zitiert, d.h. mit dem Namen und Vornamen von Bourdieu. Durch jeden solchen Fehler wird die gemessene Zitationsleistung von Bourdieu verringert.
Das klingt alles kinderleicht. Doch ich bin regelmäßig daran verzweifelt, Warum? Der SSCI übersetzt inkonsistent alle LOTE- (Languages Other Than English-) Publikationstitel ins Englische und verkürzt sie extrem. Auch da war mir das Linzer HyperBourdieu eine Hilfe, denn dort werden alle Übersetzungen und Versionen von Bourdieus Publikationen nachgewiesen.
Bei der Schneeball-Methode verfolgte ich SSCI-Records, in deren Referenzen ich Mutationen von Bourdieus Namen fand, zum Original zurück. Wurde in diesen Originalen nur Bourdieus Name verstümmelt oder auch die Namen anderer zitierter AutorInnen?
In meiner Dissertation habe ich mich auf die im SSCI häufig feststellbare Verwechslung von Vor- und Nachnamen konzentriert und bin in Fallstudien dem SSCI-Phantomautor "Pierre, B" bzw. "Pierri B" nachgegangen. Es zeigte sich im Vergleich zu den korrekten Originalen, dass die so gefundenen SSCI-Records nicht nur Pierre Bourdieus Namen, sondern auch die Namen vieler anderer zitierter AutorInnen verhunzt, mutiert, malträtiert haben. Pierre Bourdieu ist also keineswegs das einzige Indexierungsopfer. Allerdings konnte Bourdieu bei seiner weltweiten Anerkennung solche Verluste leicht verkraften; bei JungwissenschaftlerInnen können einige durch Fehlindexierung nicht nachgewiesene und daher bei einer Evaluation nicht zählbare Zitationen schon über Sein und Nichtsein mitentscheiden.

Das berufliche Überleben eines Wissenschaftlers hängt fast nur noch von numerischen Symbolen ab

Wie bewertest Du aufgrund Deiner Untersuchungen die Qualität dieser Datenbank?
Terje Tüür-Fröhlich: Die Datenqualität im SSCI scheint vorrangig vom Fach abzuhängen, in dem der Artikel publiziert wurde. Die einzelnen Fächer, ihre Verlage, ihre Journale haben unterschiedliche Zitierregeln. Das ist unter anderem fatal für die Rechtswissenschaften. Denn JuristInnen geben ihre Quellen nur in Fußnoten an. Das überfordert die Indexierungsprozeduren des SSCI.
Wie hoch schätzt du die Fehlerquote ein?
Terje Tüür-Fröhlich: Meine aufwändig erstellte quantitative Fallstudie zu einem Harvard Law Review-Artikel brachte ein schockierendes Ergebnis. Die Harvard Law Review (HLR) ist das Journal mit dem höchsten Journal Impact Factor (JIF) im juristischen Feld. Der JIF versucht, die durchschnittliche Zitationshäufigkeit eines Journals in den letzten Jahren zu messen.
Die HLR erscheint in englischer Sprache in den USA. An und für sich wären die Voraussetzungen zur korrekten Indexierung also optimal, es sind keine sprachlichen Probleme mit Umlauten oder AutorInnennamen zu erwarten. Doch ich hatte mich getäuscht: Nur ein Prozent der n=493 korrekten Originalreferenzen wurde im SSCI-Record richtig indexiert, d.h. fehlerfrei wiedergegeben.
Kannst Du ein weiteres Beispiel geben?
Terje Tüür-Fröhlich: Der SSCI kann auch nicht mit Sammelrezensionen umgehen, die mehr als ein Werk rezensieren und die weitere Quellenangaben machen. In einem kanadischen Soziologiejournal wies der SSCI bei einer per Schneeballverfahren ausgewählten Rezension nur eine von 14 Quellenangaben nach. Praktisch alle dann gesichteten Sammelrezensionen zeigten ähnliche Muster.
Warum sind diese Datenbankfehler so bedeutsam? Warum sind ihre Effekte "non-trivial"?
Terje Tüür-Fröhlich: Banale Fehler haben nicht-banale Auswirkungen, weil sie heute, in den sogenannten "audit cultures", in denen alles, was gemessen werden kann, auch gemessen wird, an Hochschulen bei der Bewilligung von Geldern und bei der Besetzung von Posten eine wichtige Rolle spielen. Ich werde als junge WissenschaftlerIn Tag und Nacht evaluiert. Mein berufliches Überleben hängt fast nur noch von numerischen Symbolen ab. Die Höhe des JIFs des Journals, in dem ich einen Beitrag unterbringen konnte, ist wichtiger als der Inhalt meines Artikels.
Meine persönliche Publikationsleistung wird auch auf den h-Index reduziert. Ein Beispiel: Habe ich bislang fünf Publikationen geschafft, z.B. mit 7, 4, 3, 2, 0 Zitationen, habe ich drei Publikationen mit mindestens je drei Zitationen, das ergibt einen h-Index von drei. Drei Zitationen mehr, also 7, 4, 4, 4, 0, und ich hätte einen h-index von vier. Schon einige wenige durch Fehler verlorene Einträge lassen meine Kennzahlen sinken.
Angeblich sind Zahlen objektiv. Im Wettbewerb um Gelder und Posten wird der/diejenige/r mit den höheren Punktezahlen auf Basis dieser Datenbanken gemessen die Stelle oder das Forschungsstipendium bekommen. Aber nicht nur JungwissenschaftlerInnen sind betroffen, sondern auch Institute, Fächer, ganze Universitäten - "No Impact, No Money."
In der Literatur zum Thema wird fast immer behauptet, die AutorInnen seien an den Fehlern Schuld. Es wird ihnen unterstellt, sie hätten falsch zitiert, daher würden sich in den Datenbanken diese Fehler wiederfinden. Das konnte ich eindeutig widerlegen: Fast alle von mir gefundenen Fehler waren endogene Datenbankfehler: Die Originalartikel hatten korrekte Quellenangaben, aber bei der Dateneingabe, aufgrund von Scan-, OCR- und/oder Parsingfehlern, kam es zu gravierenden Fehlern - "Lost in Indexing" würde Sofia Coppola sagen.
Ob wir das sympathisch finden oder nicht, faktisch wird heute überall eine Art von Impact-Monitoring durchgeführt. Siehst du überlegene Alternativen zu den von Dir kritisierten Datenbanken?
Terje Tüür-Fröhlich: Impact, also Resonanz, können wir höchst unterschiedlich definieren. Ein in 20 Sprachen übersetztes Buch hat sicherlich einen hohen interkulturellen Impact - ganz egal, wie oft es im SSCI zitiert wird. Eine Studie, die ärztliche Kunstfehler reduzieren hilft, hat einen wichtigen Impact auf die PatientInnensicherheit. Viele wichtige Impacts werden also vom SSCI oder anderen Zitationsdatenbanken gar nicht gemessen.
Wir WissenschaftlerInnen sollten uns nicht als Objekte behandeln lassen, sondern uns wissenschaftspolitisch zur Wehr setzen. Ein Schritt in die richtige Richtung ist die Kritik und der Forderungskatalog von DORA, der San Francisco Declaration on Research Assessment (Der akademische Frühling dauert an). DORA spricht sich gegen den Einsatz des JIF für persönliche Leistungsmessung aus und fordert mehr Transparenz bei den Indexierungsprozeduren, den Datengrundlagen und den Prozeduren bei der Berechnung der Impact Faktoren.
Die DORA-Aktivistinnen fordern auch, gleichsam als minimale Open-Access-Forderung, dass Literaturlisten aller Publikationen kosten- und barrierefrei im Web einsehbar sein sollten, damit wir WissenschaftlerInnen selbst eigene Untersuchungen anstellen können.
Von alternativen Angeboten wie der Zitationssuchmaschine CITESEER bin ich auch nicht überzeugt, sie enthält jede Menge horrender Fehler, die ein intelligenter Mensch auf den ersten Blick erkennen würde, z.B. AutorInnen oder Publikationstitel namens "12345". Automatisierung erfordert strenge Kontrollmechanismen. Zumindest derzeit geht dies offenbar nicht ohne intelligente Menschen mit Fach- und Sprachkenntnissen.

Kinder der Lochkartenära

Wenn die Fehler so frappierend sind wie geschildert: Warum werden sie nicht breiter diskutiert? Und warum arbeitet man nicht an technisch oder methodisch besseren Verfahren?
Terje Tüür-Fröhlich: Im Laufe meiner Recherchen bin ich auf das Briefarchiv von Joshua Lederberg gestoßen. Der Erfinder der Zitationsindexierung, Eugene Garfield, mit dem Lederberg sich austauschte, hatte es in den 1950er/1960erJahren schwer: Hard- und Software waren in ihrer Leistung noch sehr schwach. Niemand interessierte sich für Zitationsindexierung und Garfield erhielt bei Finanzierungsanträgen laufend Absagen. Und so schrieb er Lederberg, einem Nobelpreisträger der Genetik, frustriert: "Needless to say, my proposal was turned down."
Doch als ihn Lederberg "adoptiert" hatte, als Nobelpreisträger standen ihm ja alle Türen offen, und Garfield zur Entwicklung eines Genetik-Indexes überredet hatte, begann die Erfolgsstory. Ich bewundere wirklich den Mut von Garfield, seine Beharrlichkeit. Aber Garfield und Lederberg waren über-optimistisch, was die Möglichkeiten der Automatisierbarkeit der Indexierungsprozesse betrifft, zumindest zum damaligen technischen Entwicklungsstand. Beide waren keine Kulturwissenschaftler: Das Sprachenproblem taten sie als ganz und gar irrelevant ab. Sie waren sich einig, dass jede US-amerikanische Hausfrau in einer Stunde ausgebildet werde könnte, um Artikel in russischer Sprache zu indexieren. Das können wir im Briefverkehr zwischen Garfield und Lederberg nachlesen.
Die Zitationsdatenbanken vom Typ des SSCI sind Kinder der Lochkartenära: Der Platz war knapp und kostbar, daher sparte man mittels Abkürzungen, indexierte nur Initialen, statt Vornamen auszuschreiben, verwendete kurze Codes zur Kennzeichnung eines Artikels. Es wäre sehr, sehr teuer, solche Datenbanken mit Milliarden Dokumenten bzw. Zitationen komplett neu aufzusetzen, was aber nötig wäre zur konsequenten Fehlereliminierung.
Die Genesis der ersten Zitationsdatenbank in der Lochkartenära hat also bis heute fatale Folgen. Mein Buch hat nur die Spitze des Eisbergs sichtbar gemacht. Das Thema Fehler in Wissenschaftskommunikation, Evaluation und Datenbanken bietet also noch ein fast unendliches Reservoir an Master- und Doktorarbeitsthemen.