Die übermäßige Beachtung des „Impact Factors“ steht schon länger in der Kritik. Kürzlich äußerte der Medizinnobelpreisträger Randy Schekman einen radikalen Vorschlag, um der numerischen Bewertung von Journals ein Ende zu machen – nämlich die Top-gewerteten schlicht zu ignorieren. Der Impact Factor gibt an, wie oft Artikel, die in einem bestimmten Titel erscheinen, im Schnitt zitiert werden. Die Probleme mit diesem Ansatz sind vielfältig, letztlich geht es aber darum, dass es nicht immer weise ist, ein Buch nach seinem Einband zu beurteilen. Klar, hinter der Reputation eines Journals steckt etwas mehr als hinter einem schicken Staubdeckel. Die Grundidee ist ja auch nicht falsch: Die namhaftesten Fachzeitschriften ziehen die besten Artikel der bedeutendsten Autoren an und können dann aus der Masse die Rosinen herauspicken. Tatsächlich lehnen Spitzenmagazine den größeren Teil der eingesendeten Artikel noch vor dem Peer Review ab. Dadurch stellen sie sicher, nur das wirklich beste und sensationellste Material zu veröffentlichen und machen sich so für die Leserschaft besonders attraktiv. Die Beachtung und die Anzahl an Zitaten, die ihre Artikel erhalten, nimmt im Gleichschritt mit der Leserschaft zu. Dies macht das Journal wiederum für Autoren interessanter und die Anzahl der Einsendungen erhöht sich – der perfekte Kreislauf.
Schwerwiegende Kritikpunkte
Dieses Prinzip erhält aber spätestens mit der Definition eines „guten Artikels“ die ersten Kratzer. Da eine möglichst große Leserschaft angesprochen werden muss, haben jene Themen klare Vorteile, die über einen eng definierten Fachbereich hinaus relevant sind oder sich mit einem modischen Bereich beschäftigen. Ein solider Artikel mit einem „sexy Thema“ sticht in diesem Umfeld fast immer einen konkurrierenden Text aus, der von spektakulären Neuentdeckungen berichtet, dessen Feld aber nur für einen beschränkten Leserkreis interessant ist. Zweifelhaft ist auch die Logik der Zitate als Indikator für Qualität. Es stimmt zwar, dass gute, originelle Artikel oft zitiert werden. Dies gilt aber auch für umstrittene Artikel, die auf wackeligem Boden reißerische Thesen aufstellen, denn dazu werden viele andere Forscher Stellung beziehen wollen. Hinzu kommen noch eher praktische Probleme, etwa die Schwächen des Durchschnitts: Ein Journal kann seinen Impact Factor erhöhen, wenn es pro Ausgabe nur ein oder zwei Artikel anlocken kann, die überdurchschnittlich häufig zitiert werden – über die Qualität aller verbleibenden Artikel sagt dies aber nichts aus. Der Impact Factor, der von Reuters berechnet wird und ursprünglich nicht als Qualitätsmerkmal für Forscher vorgesehen war, ist zudem ein sehr grobes Werkzeug. Es unterscheidet noch nicht einmal zwischen einem Artikel mit neuen Forschungsresultaten und einem bloßen Übersichtsartikel. Letzterer richtet sich natürlich an ein breiteres Publikum und kann allein deshalb mit mehr Zitaten rechnen, trägt aber keine eigenen Erkenntnisse bei. Mittlerweile gibt es raffiniertere Indices, die Abhilfe für die gröbsten praktischen Problemen schaffen. SCImago oder der Eigenfactor etwa kommen dem Ziel, die Bedeutung einzelner Fachzeitschriften in Zahlen auszudrücken, eindeutig näher. Den Grundsatzproblemen allerdings haben auch sie nichts entgegenzusetzen.
Radikal oder schrittweise?
Prof. Schekman sieht in den verdrehten Anreizen Parallelen zwischen der Bonuskultur der Bankenwelt und den „Luxusjournals“, wie er sie nennt (gemeint sind unter anderem die Titel Nature und Science). Dass Spitzentitel verstärkt von Widerrufen betroffen sind, führt er genau darauf zurück. Als starker Befürworter von Open Access Publikationen hat er für sich die Konsequenz gezogen, künftig nicht mehr in Luxusjournals zu publizieren (vor der Publikation der Artikel, die schließlich zur Verleihung des Nobelpreises führten, hatte er diese Überzeugung ironischerweise noch nicht gehabt– vielleicht eine gute Illustration des Problems). Einen etwas homöopathischen Ansatz verfolgt DORA (Declaration on Research Assessment). Die Deklaration wurde bisher von gut 10.000 Forschenden, Redaktoren, Verlegern, Vertretern von Fördergeldinstitutionen und Professoren unterzeichnet, was sicherlich zeigt, dass das Thema unter den Nägeln brennt. Die Unterzeichner unterstützen das Anliegen, die Qualität des Forschungsbeitrages selbst zu bewerten und nicht die Reputation des Journals als Annäherung daran zu betrachten. Insbesondere wollen sie nicht länger, dass Forschungsgelder und Beförderungen vom Impact Factor abhängen. Dies bedeutet aber im Umkehrschluss, dass Bewertungen künftig ausschließlich durch Fachvertreter vorgenommen werden können, so wie dies ursprünglich vorgesehen war. Und auch, dass diese die Artikel wieder einzeln lesen, beurteilen und einordnen müssen. Wie dem Zeitmangel begegnet werden soll, der zweifelsohne den Hauptgrund für das Ausweichen auf simple Zahlen und Indices bildet, steht nicht in der Deklaration.
