Unzutreffend, aber schmerzhaft: Der Open-Access-Sting der Zeitschrift Science

Fehlende Qualitätssicherung bei Open-Access-Zeitschriften? Eine Replik auf John Bohannons "Who is afraid of Peer Review?"

Ein am vergangenen Freitag im Wissenschaftsmagazin Science publizierter Artikel John Bohannons spukt derzeit durch Websites, Mailinglisten und Foren, deren Thema das wissenschaftliche Publizieren ist sowie durch Publikumsmedien, wie den Spiegel oder den Economist. Bohannons Text Who is afraid of Peer Review? wurde auch in Telepolis besprochen (Offen für Alles) und schlägt hohe Wellen: Unterminiert er doch die Glaubwürdigkeit von Open Access, der entgeltfreien Zugänglichkeit wissenschaftlicher Information. Der Artikel entfaltet seine Wirkung vor allem, weil er in einer Zeitschrift publiziert wurde, die als eines der Flaggschiffe der Wissenschaft gilt, und seine Wirkung folglich vom Abglanz der Wissenschaftlichkeit herrührt - anders lässt sich die gutgläubige und unhinterfragte Übernahme von Bohannons Elaborat kaum erklären.

Methodik & Wissenschaftlichkeit

Gerade die Wissenschaftlichkeit muss man Bohannons Artikel jedoch absprechen. Nicht zufällig erschien sein Beitrag nicht als wissenschaftlicher Artikel in Science, sondern als News, als journalistischer Beitrag. Ein Detail, das in der wissenschaftlichen und journalistischen Diskussion, die er auslöste, untergeht.

Im Laufe von zehn Monaten schickte Bohannon, getarnt als wissenschaftlicher Autor, eine jeweils leicht modifizierte, fingierte und schein-wissenschaftliche Einreichung an insgesamt 304 Open-Access-Journale, von denen sie 157 zur Publikation akzeptierten, 98 sie ablehnten und von 49 die Rückmeldung aussteht. Bohannon interpretiert diese Ergebnisse als Signal der schwachen wissenschaftlichen Integrität des Open Access Publizierens: "And the acceptances and rejections of the paper provide the first global snapshot of peer review across the open-access scientific enterprise."

Bohannon diagnostiziert kurzum, dass im Open Access die wissenschaftliche Qualitätssicherung (die meist via Peer Review gewährleistet werden soll) per se schlechter gelinge, als bei konventionellem Publizieren im Closed Access, bei dem Leser oder Bibliotheken für die Nutzung wissenschaftlicher Literatur zahlen.

Die Analyse von Bohannons Methodik muss eine kurze Darstellung der beiden gebräuchlichen Open-Access-Strategien zulassen: Zum einen werden im sogenannten Green Open Access wissenschaftliche Publikationen, die bereits in einem Verlag erschienen sind oder deren zukünftiges Erscheinen dort feststeht, über Open-Access-Server (die sogenannten Repositories) Lesern entgeltfrei zugänglich gemacht.

Beim Gold Open Access werden Dokumente primär in echten Open-Access-Verlagen oder Open-Access-Journals publiziert und, anders als im Green Open Access, nicht erst in einer Art Zweitverwertung den Lesern entgeltfrei verfügbar gemacht.

Von diesen Open-Access-Zeitschriften finanzieren sich einige über Publikationsgebühren. Die Kosten zum Betrieb der Publikationsinfrastruktur werden in solchen Fällen aus Zahlungen die gedeckt, die durch Fördereinrichtungen, Hochschuleinrichtungen oder einzelne Forschern erbracht werden. Allerdings verlangen nur 26% der im zentralen Register, dem Directory of Open Access Journals (DOAJ), gelisteten Journals solche, auch als Article Processing Charges (APC) bekannten, Gebühren. Zudem weist die Höhe der APC in diesen Journals eine gehörige Spannbreite von zwischen 8 und 3.900 US-$ (im Durchschnitt ca. 900 US-$) auf.

Folglich stellen ACPs für bei weitem nicht alle Zeitschriften einen substantiellen Finanzierungsbeitrag dar. Bohannons Statement: "open-access scientific journals have mushroomed into a global industry, driven by author publication fees", ist demnach unzutreffend, zumal er Zeitschriften ausklammert, die Gebühren für die Artikeleinreichung (Submission Fees) veranschlagen, aber nicht für das Publizieren der Texte. Dennoch unterstellt er, die Finanzierung von Open-Access-Zeitschriften via APCs diskreditiere die Qualität von Open Access per se, allerdings ist einiges kritisch anzumerken:

  • Der Autor ignoriert einen ganzen Open-Access-Zweig: Im Green Open Access existieren keine APCs. Dabei ist der Green Open Access quantitativ sogar dominanter als Gold Open Access - 2009 wurden laut einer Untersuchung von Björk, Welling, Laakso, Majlender, Hedlund & Guðnason ca. 20% aller wissenschaftlichen Artikel Open Access bereitgestellt, darunter 12% im Green Open Access und 8,5% im Gold Open Access. Die von Science initiierte Diskussion klammert einen beträchtlichen Anteil an Open Access völlig aus. [Ergänzung: Dabei sehen manche Wissenschaftler, wie Stevan Harnad, Green Open Access als einzig wahres Modell freier Zugänglichkeit wissenschaftlicher Informationen an, wohingegen dieser bei Closed Access Verlagen meist nicht sonderlich gut gelitten ist: Schließlich ermöglicht das Open Access Stellen bereits von ihnen publizierter Artikel keine Einnahmen. Daher gehen immer mehr dieser Verlage zum Anbieten eigener Open Access Zeitschriften über und versehen diese regelmäßig mit hochpreisigen APCs].
  • Das Ergebnis seines Vorgehens war präjudiziert: In der Open-Access-Community wird sehr transparent mit Verlagen umgegangen, die Qualität gegenüber Einkünften aus APCs hintanstellen. So führt der Bibliothekar Jeffrey Beall seit Jahren eine Liste der Predatory Open Access Publishers, die Auskunft über solche Open-Access-Zeitschriften gibt, die APCs einstreichen und geringe Qualitätskriterien anlegen. Wenn Bohannon nun für seine Wallraffiade einen Fake-Artikel aber bei 121 Zeitschriften aus Bealls Liste als unseriös eingestufter Verlage einreicht, dürfte das Ergebnis wenig überraschend sein. Dies umso mehr, als solche kritisierten Verlage sich bevorzugt außerhalb der USA oder Europas finden und Bohannon seine Auswahl auf APC-finanzierte Journals aus dem DOAJ, zuzüglich der Zeitschriften aus Bealls Liste beschränkte.
  • Die Erhebung ist schlecht gemacht. Um die Beschaffenheit und Qualität der Peer Review zu erfassen, wäre es nötig gewesen, diese auch bei einer Kontrollgruppe aus Nicht-Open-Access-Zeitschriften, also aus Closed-Access-Journals, zu messen. Weiterhin hätte er in jedem Fall die Auswahl der Zeitschriften für Experimental- und Kontrollgruppe nach nachvollziehbaren methodischen Verfahren und Begründungen durchführen müssen, am einfachsten per Randomisierung. Oder er hätte versuchen können, den Anteil der unseriösen Open-Access-Zeitschriften an allen Open-Access-Zeitschriften zu ermitteln, allerdings hätte dies eine Totalerhebung und ein wiederum nachvollziehbares methodisches Verfahren verlangt. Im Falle einer Fokussierung auf Open-Access-Zeitschriften und des Verzichts auf eine Kontrollgruppe an Closed-Access-Zeitschriften hätte Bohannon weiterhin Zeitschriften aus Bealls Liste und dem DOAJ getrennt untersuchen müssen. Auf keinen Fall jedoch lässt sich eine sinnvolle Aussage über die Verbreitung unseriöser Publikationspraktiken treffen, wenn das Untersuchungssample bereits zu 40% aus Zeitschriften besteht, deren Unseriosität öffentlich bekannt ist.

Der Autor reduziert Open Access also auf eine seiner Spielarten, den Gold Open Access. Von diesen Open-Access-Zeitschriften wiederum betrachtet er nur solche Publikationsangebote, die APCs kennen, und unterstellt allgemein, eine Finanzierung durch APCs berge die Gefahr einer minderen Qualitätssicherung.

Anschließend wählt er für seine Untersuchung zu einem Gutteil solche Zeitschriften aus, deren Seriosität öffentlich als strittig oder gar nicht gegeben betrachtet wird und kommt zum wenig überraschenden Ergebnis, Open-Access-Zeitschriften litten unter schlechter Qualitätssicherung. Das Vorgehen als Forschungsdesign zu bezeichnen wäre stark übertrieben, es ist zirkulär, nicht wissenschaftlich und trägt alle Züge einer Self-Fulfilling Prophecy.

Anders kann man es kaum beschreiben, wenn Bohannon feststellt, dass 82% der von Beall als unseriös eingestuften Journals das Fake-Paper akzeptierten - es überrascht fast eher, dass 18% es nicht annahmen.

Schlimmer noch: Gunther Eysenbach, Herausgeber des Journal of Medical Internet Research, einer Open-Access-Zeitschrift mit mehr als respektablen Zitationsraten, berichtet auch diesem sei Bohannons Einreichung zugegangen - dennoch erscheine das Journal nicht in den Daten-Supplements zum Science-Artikel, dafür fänden sich dort aber mehrere Zeitschriften, die gar keine APCs erheben. Bohannon behauptet jedoch, solche Zeitschriften nicht berücksichtigt zu haben.

Grotesker Weise wird ein derart unwissenschaftlicher Artikel nun in der Wissenschaftswelt zum Anlass genommen, Open Access zu diskreditieren, begünstigt durch eine weithin oberflächliche Rezeption und Kommentierung.

Während Bohannon die Frage nach der Qualität von Open Access (speziell Open-Access-Zeitschriften) stellt und diese massiv anzweifelt, wäre es sinnvoller, die Frage nach den Effekten von Peer Review und der Verteilung der Autorengebühren generell, sowohl für Open Access als auch Closed Access Journals, zu stellen. Schließlich wittert Bohannon unausgesprochen im Modell der APCs die Ursache schlechter Qualitätssicherung, verengt seine Aussagen aber überraschenderweise auf eine schlechte Qualität von Open-Access-Zeitschriften.

Peer Review

Das Lancieren gefälschter, offensichtlich unsinniger und schein-wissenschaftlicher Artikel in wissenschaftlichen Zeitschriften und Konferenzbänden hat Geschichte und betrifft nicht nur Open Access.

Gerade in der Informatik macht man sich daraus geradezu einen, die Qualität von Peer Review hinterfragenden Sport - man kann sich sogar online sein individuelles Fake-Paper erstellen lassen. Aber auch in anderen Fächern wurde Peer Review düpiert. Diese Tradition geht weit zurück in die Zeit vor Open Access. Generell scheint die Sicherung der Qualität durch Peer Review schwierig und unterwanderbar.

Der Wissenschaftsforscher Gerhard Fröhlich berichtet seit Jahren, unter anderem in Peer Review auf dem Prüfstand der Wissenschaftsforschung, von den Mängeln des Verfahrens. Als ein Beispiel unter vielen nennt er dort eine Studie von Peters & Ceci. Die Autoren hatten in zwölf Psychologiezeitschriften Artikel nochmals (leicht verändert und unter neuem Verfassernamen) eingereicht, die diese bereits publiziert hatten. Fröhlich fasst die Ergebnisse ernüchternd zusammen:

Nur 3 von 12 Herausgebern bzw. Redaktionskollegien - genauer: nur 3 von 38 Herausgebern bzw. Referees - erkannten die in ihren Journals vor 1 1/2 bis 3 Jahren bereits publizierten Aufsätze wieder. Die übrigen erneut eingereichten Aufsätze wurden erneut der üblichen Bewertungsprozedur ausgesetzt. Das Ergebnis: Nur ein einziger Beitrag wurde angenommen. 8 von 9 bereits publizierten Beiträgen wurden aufgrund negativer Gutachten abgelehnt, v. a. mit dem Hinweis auf "schwerwiegende methodologische Mängel".

Und Josh Fischmann beschrieb bereits vor über einem Jahr unter dem Titel "Fake Peer Review, the Latest Form of Scientific Fraud, Fool Journals" im Chronicle of Higher Education (CHE) gar dies: Wissenschaftsverlage gehen dazu über, die Autoren selbst Gutachter zur Prüfung des von ihnen eingereichten Artikels vorschlagen zu lassen.

Da diese Vorschläge bei manchen Verlagen anscheinend kaum überprüft werden, gelang es Wissenschaftlern unter Pseudonymen oder durch Idenditätsdiebstahl ihre Einreichungen selbst zu reviewen und zur Publikation freizugeben. Betroffen waren unter anderem Closed-Access-Zeitschriften wie Pharmaceutical Biology, Experimental Parasitology sowie andere teils (ebenfalls wie Experimental Parasitology) vom Verlagsriesen Elsevier herausgegebene Journals.

Die Verlage unterließen nicht nur das Überprüfen der vorgeschlagenen Reviewer, schlimmer noch: Manipulierende Autoren konnten Identitäten realer Experten kapern, in dem sie fiktive Mailadressen mit deren Personennamen als Präfix bei öffentlichen Mailaccountanbietern wie Google Mail oder Yahoo Mail erstellten und diese Mailadressen nutzten, um sich selbst als Accountinhaber unter dem Namen eines echten Experten als Reviewer vorzuschlagen.

Eine Überprüfung der Authentizität der Mailaccounts blieb aus. Der einschlägig bekannte Verlag Elsevier publizierte einst sogar sechs komplette Fake Journals, die im Wesentlichen reine Werbeflächen für Pharma-Konzerne waren und, obwohl offiziell peer-reviewed, keine Qualitätssicherung kannten.

Auch Science selbst oder Nature, Trutzburgen des Closed Access Publishing, wurden wiederholt unkorrekte und gefälschte Artikeleinreichungen untergejubelt und von den Reviewern zu Publikation angenommen. Science publizierte unter anderen Artikel Hwang Woo Suks, des Stars und Meisterfälschers der Klonforschung.

Während Bohannon den Open-Access-Zeitschriften unterstellt, sie machten Profit, indem sie Einreichungen nur lax prüfen, um für die Publikation vieler Artikel APCs kassieren zu können, krankt, das belegen die exorbitant hohen Zahlen an aufgrund wissenschaftlicher Fehler zurückgezogener Artikel, der Closed Access mitunter am Sensationsprinzip.

Wissenschaftliche Zeitschriften sind umso wertvoller (und für Hochschulen und Bibliotheken teurer), je höher deren Journal Impact Factor (JIF) ist. Der JIF misst die Zitationsrate der Journals und ist, auch wenn er methodisch höchst umstritten, so etwas wie der Börsenkurs der Zeitschriften.

Je höher der JIF eines Journals, desto mehr Einreichungen erhält es, deren Annahme zur Publikation so jedoch zunehmend unwahrscheinlicher wird. Folglich produzieren Wissenschaftler immer aufsehenerregende Ergebnisse, um die Chance auf Annahme der Einreichung zu steigern - nicht selten, das belegen die besagten Retrations, passieren diese später zurückgezogenen und manipulierten Artikel die Peer Review ohne Beanstandung.

Diese trotz fragwürdiger Qualität hochangesehenen und auf Wissenschaftler eine fetischhafte Anziehungskraft ausübenden Zeitschriften bezeichnet der Neurobiologie Björn Brembs spöttisch als Glamor Magazines.

Die Mängel des Peer-Review-Verfahrens sind demnach nicht abhängig vom Publikationsmodus Open Access oder Closed Access, sondern systemimmanent - zumindest solange die Review im Verborgenen stattfindet und Vetternwirtschaft, Bevorzugung spektakulärer und Niederschmettern unerwünschter Befunde oder andere Formen der Korruption zulässt.

Dementgegen existieren vielversprechende qualitätssteigernde, offene und transparente Verfahren der Begutachtung, z.B. durch die Open Review, die die Wirkung außerwissenschaftlicher Faktoren bei der Bewertung einer Einreichung minimiert. Noch radikaler denken Vertreter des Publish-First-Filter-Later, bei dem Artikel ohne größere Pre-Publication- Review in Form einer Peer Review online gestellt werden und anschließend von Wissenschaftlern im Netz einer Qualitätsprüfung und -bewertung unterzogen werden. Eine Anwendung dieses Prinzips könnte die langwierigen und undurchsichtigen Prozesse der Peer Review umgehen.

Der erwähnte Björn Brembs selbst machte unschöne Erfahrungen mit einer Einreichung bei Science. Seinen zusammen mit Katherine Button und Marcus Munafò später beim Open-Access-Verlag Frontiers publizierten Text Deep impact: unintended consequences of journal rank wollte man lieber nicht publizieren, obwohl der Artikel wissenschaftlich fundiert und exakt ist. Die Begründung zur Ablehnung des Artikels, der unter anderem die Qualität und Reliabilität von Artikeln in Science grundlegend in Frage stellte, lautete: "We feel that the scope and focus of your paper make it more appropriate for a more specialized journal."

Vor dem Hintergrund der Unwissenschaftlichkeit Bohannons Texts bilanziert Brembs trocken: "Obviously, Science Magazine values anecdotes more than actual data."

Artikelgebühren & Predatory Publishing

Bohannons Artikel legt weiterhin nahe, die Nutzung von ACPs zur Finanzierung von Open Access Journals mindere deren Qualität. Er stellt damit die Vermutung in den Raum, ein Verlag, der Einkünfte aus der Veröffentlichung von Artikeln erziele, sei bereit, Artikel zu publizieren, ohne deren Qualität zu prüfen.

Angesichts der Tatsache, dass über 70% der Open-Access-Zeitschriften, wie erwähnt, keine APCs einstreichen und dass diejenigen, die es tun, oft sehr geringe Gebühren verlangen, die eine Entscheidung pro/contra Publikation einzelner Artikel wirtschaftlich kaum beeinflussen dürften, ist diese Vermutung keinesfalls auf alle Open-Access-Zeitschriften verallgemeinerbar.

Sie ist zudem aber auch nicht auf diese zu beschränken: Bereits 2005 ergab eine Untersuchung der Deutschen Forschungsgemeinschaft, dass 38,5% der befragten Wissenschaftler in Closed-Access-Zeitschriften Publikationsgebühren zahlten, in den Lebenswissenschaften (aus den auch Bohannons Sample stammt) sogar etwas über 75%.

Auch für das Jahr 2012 berichtet Bernhard Mittermaier, Leiter der Zentralbibliothek des Forschungszentrums Jülich, von Gesamtausgaben für Publikationsgebühren in Höhe von 364.162 €. Allerdings entfallen davon alleine 216.107 € für Artikelgebühren in Closed-Access-Zeitschriften, die diese z.B. für farbige Abbildungen und längere Artikel erheben.

Dazu kommen Zahlungen für Artikel im Hybrid Open Access, einer Sonderform, bei der Autoren einzelne Artikel aus einem Closed-Access-Journal für Open Access freikaufen können. Hybrid Open Access wird in der Open-Science-Community sehr kritisch betrachtet, da solche Inhalte nicht über spezielle Open-Access-Suchmaschinen gefunden werden können und zudem Closed-Access-Zeitschriften subventionieren.

Weiterhin, und das ist für Bohannons Qualitätsdebatte sehr wichtig, werden hybride Open-Access-Artikel exakt der gleichen Begutachtung unterzogen wie die Closed-Access-Artikel, die mit ihnen im selben Journal erscheinen. Für echtes Gold Open Access, für das Bohannon eine durch die Zahlung von APCs verminderte Qualität unterstellt, zahlt das Forschungszentrum Jülich nur 37.454 € an Artikelgebühren, das entspricht 10,3% des Gesamtvolumens.

Unter der von Bohannon formulierten Annahme, die Zahlung von APCs korrumpiere die Qualität einer Publikation, müsste auch das Publikationsverhalten von Closed-Access-Zeitschriften untersucht werden, denn wie das Beispiel des Forschungszentrums Jülich belegt, werden teils knapp 90% der Artikelgebühren in diesen entrichtet.

An dieser Stelle sollte auch erwähnt werden, dass Closed-Access-Verlage in Verhandlungen mit Bibliotheken ihre Preise durchaus mit dem Verweis auf die von ihnen produzierten Seitenvolumina begründen und so, ungeachtet der APC-Diskussion und im klassischen Subskriptionsgeschäft, durchaus vom Verlegen einer Vielzahl an Artikeln profitieren.

Blick nach vorn: Bealls Liste, DOAJ, Submission Fees, Publikationskompetenzen von Wissenschaftlern

Dennoch, das muss klar sein, sollen Verlage, deren Publikationsverhalten unseriös ist, als fragwürdig kritisiert werden, dies muss vor allem auch im Interesse der Open-Access-Akteure liegen. Ein entsprechendes Werkzeug hierzu existiert für Open-Access-Zeitschriften mit der Liste Jeffrey Bealls, die überdies die Kriterien zur Bewertung der Zeitschriften offenlegt. Bealls Liste hat anscheinend erzieherischen Effekt, so lehnte der auf ihr geführte Hindawi-Verlag die Publikation des Bohannon-Papers ab.

Weil Neues (wie Open Access) aber besser als Altbekanntes (Closed Access) sein sollte, kann es nicht genügen, die Mängel von Altem und Neuen gegeneinander aufzuwiegen: Es muss offen über Maßnahmen diskutiert werden, die den Missbrauch elektronischer Publikationsumgebungen und der APCs erschweren. So wird teils bereits eine Zertifizierung von Open-Access-Zeitschriften vorgeschlagen.

Ob das Directory of Open Access Journals als Clearingstelle für Fragen zu Seriosität von Zeitschriften in Frage kommt, scheint etwas fraglich. Zwar bemühte man sich dort um im Sommer des Jahres um verschärfte Aufnahmekriterien für das DOAJ, beschränkte sich aber sehr auf oberflächliche und formale Kriterien, wie etwa die Existenz eines Editorial Boards, das einzurichten eine Leichtigkeit ist und Seriosität niemals garantieren kann.

Eine weitere Möglichkeit, Missbrauch der APCs vorzubeugen, wäre es anstelle der Publikationsgebühren Submission Fees anzuwenden, die bereits bei der Einreichung eines Artikels fällig werden. So würden Verlage kein Geld am Publizieren verdienen, sondern an Einreichungen - deren Zahl wiederum mit der wahrgenommenen Seriosität des Journals steigen sollte. Wer in einer ihm unbekannten Open-Access-Zeitschrift publizieren will, sollte allerdings im Zweifelsfall Quellen wie Bealls Liste nutzen. Man könnte dies als zeitgemäße Erweiterung der Publikationskompetenzen der Wissenschaftler betrachten, die auch bislang nicht blind im erstbesten Journal, egal ob Open oder Closed Access, veröffentlichten.

Jedoch muss auch Jeffrey Beall an seiner Liste arbeiten, denn nicht nur die leicht zu erkennenden, typischerweise aus Indien oder Nigeria stammenden und über schlecht gemachte Homepages verfügenden, unseriösen Zeitschriften publizierten Bohannons Fake-Paper, sondern auch konventionelle Verlage wie Wolters Kluwer, Sage oder Elsevier, für die angeblich die Qualität ihrer Journals über allem anderen steht. Leidtragende des selbst unseriösen, seichten und sensationslüsternen Science-Artikels ist letztlich die Vielzahl der integren Open-Access-Verlage, die Bohannon genauso aus seiner Betrachtung ausschloss wie die Closed-Access-Zeitschriften.

Disclosure: Der Autor ist bekennender Open-Science- und Open-Access-Sympathisant, sowie unter anderem Mitglied der Open Science Working Group der Open Knowledge Foundation (OKFN).