Schlagwörter Archiv: Impact Factor

Eine Hand zitiert die andere

Schreiben Sie einen Kommentar

Citation MafiaDass Redaktoren mehr als nur einen verstohlenen Blick für den Impact Factor ihres Journals übrig haben, ist bekannt. Kaum ein Titel, der ohne konkrete Strategie auskommt, um die eigene Publikation im Ranking nach oben zu rücken. Die gewählten Methoden reichen vom begrüßenswerten Streben nach echten Qualitätsverbesserungen, über reine Marketingmaßnahmen, hin zu Auswahlverfahren, die populäre Artikel gehaltvollen vorziehen. Am untersten Ende der Skala finden sich leider auch Mittel, die mehr als nur ein abschätziges Stirnrunzeln verdienen: Es kommt vor, dass Redaktoren Autoren dazu nötigen, frühere Ausgaben des Ziel-Journals zu zitieren.

Leider keine Seltenheit

„Schwarze Schafe”, denken Sie? „Gibt es doch in jeder Industrie! Sind bestimmt die Raubtierjournals, die nur aufs schnelle Geld aus sind.” Weit gefehlt, die Realität ist düsterer. Eine vielbeachtete Umfrage aus dem Jahr 2012 hat ans Licht gebracht, dass einer von fünf Autoren aus den Bereichen Wirtschaftswissenschaften und Psychologie schon mit der Praxis der erzwungenen Zitate konfrontiert worden ist. Für einige Journals kursieren gar konkrete Zahlen für die Mindestmenge solcher sogenannter Selbstzitate, welche die Redaktion sehen möchte. Schockierend auch, mit wie wenig Furcht vor Entdeckung die Redaktoren an ihrem Netzwerk von Selbstzitaten spinnen, respektive spinnen lassen: Die ungerechtfertigte Aufforderung, zusätzliche Zitate einzubauen oder andernfalls mit einem ablehnenden Publikationsentscheid rechnen zu müssen, wird nicht selten völlig offen mittels einer schnöden E-Mail an den potentiellen Autoren herangetragen.

Laut der genannten Umfrage wären die Hälfte der befragten Forschenden laut eigener Aussage widerwillig bereit, erzwungene Zitate in ihre Artikel aufzunehmen, wenn dadurch die Publikation möglich wird. Neun von zehn Wissenschaftlern zweifeln an der Integrität Ihrer Kollegen und gehen davon aus, dass diese solchen Forderungen nachkommen würden.

Gegenmaßnahmen

Die Folgen sind klar: Die Zeit der Leser wird verschwendet, die Qualität der Artikel nimmt ab und der Impact Factor lädt sich ein weiteres Imageproblem auf den Buckel. Zeichen einer plötzlichen Wiederentdeckung der Ethik sind auf Redaktionsstuben und in Forschungslabors momentan leider nicht auszumachen. Dennoch gibt es eine bestechend simple Lösung, die der schmutzigen Praxis ohne großen Aufwand einen Riegel vorschieben könnte: Analysen und Studien, welche den Impact Factor verwenden, greifen oft zur Maßnahme, Selbstzitate „herauszurechnen“. Thomson Reuters, dem Herausgeber des Impact Factors, stehen die nötigen Daten für eine solche Übung zur Verfügung. Was spricht also dagegen, Selbstzitate generell zu ignorieren und damit die schlechten Anreize aus dem System zu entfernen? Die Herren über den Impact Factor haben sich für einen Mittelweg entschieden: Sie berechnen den Impact Factor für jedes Journal mit und ohne Selbstzitate und schließen die schlimmsten Missetäter komplett aus dem Ranking aus; so wird es beispielsweise vom Indian Journal of Physics gehandhabt. Dieses bringt es immerhin auf 83% Zitate aus dem eigenen Heft. Diese Lösung wirkt auf den ersten Blick sinnvoll, immerhin gibt es legitime Gründe für Selbstzitate, haben doch Artikel mit ähnlichem Fokus eine gewisse Wahrscheinlichkeit, im selben Journal unterzukommen. In der Praxis scheint das Vorgehen jedoch angesichts der Umfragewerte eher zahnlos zu bleiben. Strengere Richtlinien für Selbstzitate oder gleich auf die Linie von DORA einschwenken und den Impact Factor gar nicht mehr beachten: Die eine oder andere Form von Unterstützung könnte die bröckelnde Forschungsethik auf jeden Fall gebrauchen.

Cited Half-Life: Was lange währt wird endlich gut

Schreiben Sie einen Kommentar

Beim Cited Half-Life-Wert handelt es sich mehr oder weniger um das Haltbarkeitsdatum akademischer Arbeiten. Ein hoher Wert bedeutet, dass Artikel auch lange nach ihrer Veröffentlichung noch konsultiert und zitiert werden.

Die Details der Berechnung

Die bewertete Einheit bildet behalflifeim aggregierten Cited Half-Life-Wert gleich eine ganze Fachrichtung. Beim Cited Half-Life-Wert selbst stellt (wie beim Impact Factor) das Journal und nicht etwa ein einzelner Artikel die Grundmenge dar, die untersucht wird. Zur Berechnung der Halbwertszeit werden alle Papers herangezogen, die im letzten Jahr in Journals publiziert wurden und im Web of Science indexiert sind. Die Zitate, die in diesen Artikeln vorkommen, werden jenen Journals zugeordnet, auf welche sie verweisen. Es wird also eine Liste gebildet von allen Zitaten, die ein Journal im letzten Jahr auslösen konnte, egal ob es aktuelle oder längst archivierte Ausgaben des Titels waren, die Beachtung fanden. Die Liste enthält für jedes Zitat auch die Angabe darüber, auf welchen konkreten Artikel des Journals sie sich beziehen, und in welchem Jahr dieser erschienen ist. Anschließend wird unter Verwendung des Medians das „durchschnittliche“ Erscheinungsjahr berechnet..

Würden beispielsweise Autoren, die im Jahr 2014 Artikel in irgendeinem Journal veröffentlichen konnten, nur die 2013er Ausgaben von Journal A zitieren, während sie frühere Ausgaben von Journal A komplett verschmähen, so käme der Cited Half-Life-Wert von Journal A auf 1 zu liegen. Werden hingegen im Jahr 2014 oft Artikel zitiert, die in Journal B während den 90er Jahren erschienen sind, so hätte Journal B einen hohen Cited Half-Life-Wert.

Diese Kennzahl ist nicht zu verwechseln mit dem Citing Half-Life-Wert, welcher umgekehrt misst, ob sich Journal C eher auf alte oder auf sehr aktuelle Papers bezieht.

Die Interpretation

Eine lange Halbwertszeit geht meist mit knallenden Champagnerkorken einher. Die akademische Welt hält sich eher streng an das Mantra „Neuer ist besser“, beinhaltet es doch das Konzept vom schrittweisen Fortschritt, welches der Forschung zugrunde liegt. Wird ein Artikel auch nach Jahren noch oft zitiert, so handelt es sich offensichtlich um eine Grundsatzarbeit, deren revolutionärer Inhalt die mangelnde Aktualität wettmacht. Solchen Lesestoff will selbstverständlich jeder Verlag durch seine Pressen jagen. Der Cited Half-Life-Wert erlaubt jedoch auf keinen Fall Vergleiche zwischen Journals über verschiedene Fachgebiete hinweg. Während sich etwa im Pharmabereich die Ereignisse überschlagen und Studien schnell veralten, bleiben beispielsweise im Ingenieurwesen neue Erkenntnisse deutlich länger relevant.

Sinnvolle Ergänzung zum Impact Factor

Interessanterweise hat diese Untersuchung in verschiedenen Fachrichtungen einen negativen Zusammenhang zwischen Impact Factor und Cited Half-Life festgestellt. Dies deutet darauf hin, dass die Binsenweisheit, wonach Artikel, die oft zitiert werden, gute Artikel sind, nur die halbe Wahrheit ist. Wenn „Kassenschlager“ schneller in Vergessenheit geraten oder rasch von neueren Untersuchungen überlagert werden, so gibt die anfängliche Euphorie tatsächlich nicht die wahre Bedeutung des Artikels wieder. Entsprechend bildet der Cited Half-Life-Wert eine sinnvolle Ergänzung zum Impact Factor, welcher nur jenen Zitaten Beachtung schenkt, die innerhalb von zwei Jahren erscheinen. Frei von den bekannten Problemen ist diese ergänzende Kennzahl jedoch nicht: Am schwersten wiegt wohl, dass sich auch sie nur bedingt für die Evaluation eines bestimmten Artikels eignet. Ein Blick auf die Halbwertszeit lohnt sich dennoch etwa für jene, die die Stunden optimieren wollen, die sie investieren, um „auf dem Laufenden zu bleiben“. Speziell junge Forscher können Cited Half-Life-Werte als Richtlinie verwenden, während sie ihre Lesegewohnheiten noch formen.

Immediacy Index: Der coole Bruder des Impact Factors

Schreiben Sie einen Kommentar

immediacyDer Impact Factor hat einige handfeste Nachteile und stiehlt dennoch allen anderen Journalrankings die Show. Zahlreiche Ratings und Indexe versuchen sich als Alternative zu diesem vielbeachteten Überranking zu vermarkten, indem sie Lösungen zu konkreten Kritikpunkten anbieten. Ganz anders der Immediacy Index, der wie der Impact Factor aus dem Hause Reuters stammt und ebenfalls auf der Zitatedatenbank von Web of Science basiert. Seine Zielsetzung besteht nicht darin, Unzulänglichkeiten auszubessern (man ist versucht zu rufen: „im Gegenteil!“), sondern es wird hier angeblich etwas anderes gemessen: Nicht mehr, wie stark Artikel beachtet werden, sondern wie angesagt die Themen sind, denen sich ein Journal widmet. Wie schnell andere Autoren auf einen Artikel reagieren, gilt dabei als Indikator für die Brisanz.

Kaum alte Probleme behoben, aber neue geschaffen

Der Impact Factor gibt jeder Ausgabe eines Journals mindestens zwei Jahre Zeit, bevor nachgezählt wird, wie oft die Artikel im Schnitt zitiert wurden. Beim Immediacy Index hingegen werden nur die Zitate beachtet, die noch im selben Kalenderjahr veröffentlicht werden wie der Artikel, auf den sie sich beziehen. Somit hat jeder Aufsatz zwischen einem und 364 Tagen Zeit, zitiert zu werden – eine kurze Zeitspanne in der eher schwerfälligen Welt von Projektanträgen, Budgetentscheidungen, eigentlicher Forschung, Schreibphase, Peer Review und möglicherweise Ablehnung und nochmaligem Peer Review. Dies verursacht zusätzliche Probleme, die zu den Kritikpunkten am Impact Factor hinzukommen: Journals, die weniger oft oder später im Kalenderjahr erscheinen, haben wenig Gelegenheit, noch vor Silvester zitiert zu werden. Gewisse Artikeltypen lösen zudem schneller Zitate aus, etwa Reviewartikel, die systematisch erfassen, was bereits bekannt war und daher weniger intensiv „verdaut“ werden müssen.

Wie wichtig ist der Coolnessfaktor eigentlich?

Zu diesen schwerwiegenden methodischen Problemen gesellen sich noch unangenehme Grundsatzfragen, die bereits aus der Impact Factor Diskussion bekannt sind, die sich bei dem „schneller ist besser“ Ansatz des Immediacy Indexes aber noch stärker aufdrängen: Ist ein Artikel, der viele Leute anspricht, besser als einer, der einen Durchbruch in einem enger gesteckten Feld bedeutet? Sind hochaktuelle, aber möglicherweise kurzlebige Themen wichtiger als Fragestellungen, die sich langsam aber stetig entfalten? Vielsagend ist diesbezüglich, dass Journals eine lange cited half-life Wertung anstreben, mit anderen Worten: Artikel veröffentlichen möchten, die auch nach Jahren noch oft zitiert werden.

Wenig dazugelernt

Die Korrelation zwischen Immediacy Index und Impact Factor ist hoch, die beiden Indices sind sich ähnlicher als jede andere Paarung von geläufigen Journalrankings. Nur in sehr jungen Forschungsdisziplinen laufen die beiden Kennzahlen etwas auseinander. Der Immediacy Index bietet folglich wenig zusätzliche Information. Damit muss sich Thomson Reuters den Vorwurf gefallen lassen, eher daran interessiert zu sein, neuen Journals rasch Zugang zu einem Ranking gewähren zu können, als zu ernsthaften Evaluationen beitragen zu wollen.

Immerhin: Der Immediacy Index kam in verschiedenen Studien zum Einsatz, die belegen konnten, dass Journals, die online erscheinen, rascher zitiert werden als reine Printausgaben – ein nützliches Argument in der Debatte um neue Publikationsformen, wenn auch eben keine Sensationsentdeckung. Vielleicht hat sich darin die Nützlichkeit des Immediacy Indexes auch bereits erschöpft. Wie beim coolen Bruder gilt: Rockstartstatus erlangen nur wenige. Dem Rest stehen echte, fassbare Vorteile besser als coole Posen.

Was kann SCImago, was andere Journalkennzahlen nicht können?

Schreiben Sie einen Kommentar

scimagoWenn Sie diesen Blog regelmäßig verfolgen oder anderweitig im Bild sind, wie der Article Influence Score berechnet wird, dann ist der SCImago Journal Rank schnell erklärt, denn die Konzepte sind sich sehr ähnlich. SCImago verwendet jedoch Daten aus Scopus statt aus Web of Science und nutzt Zitate der letzten drei statt der letzten fünf Jahre als Berechnungsgrundlage. Bei beiden Kennzahlen wird gezählt, wie oft die Artikel eines Journals zitiert werden, die Zitate werden nach dem Prestige jener Journals, in welchen sie erscheinen, gewichtet und schließlich wird durch die Anzahl Artikel geteilt. Eine weitere Parallele zum Article Influence Score und dem verwandten Eigenfactor besteht darin, dass die Kennzahlen aus dem akademischen Umfeld der Informationsanalyse und -visualisierung geboren sind, sie stehen kostenlos zur Verfügung.

SCImago und Article Influence bieten Vorteile gegenüber dem Impact Factor

Sie heben sich vom weit verbreiteten Impact Factor in zwei Punkten ab: Einerseits werden bedeutendere Zitate stärker gewichtet. Außerdem sind die Punktzahlen von Journals aus unterschiedlichen Feldern vergleichbarer, da der verwendete Algorithmus ausgleicht, dass in einigen Fächern sehr viel mehr Artikel erscheinen und daher auch mehr zitiert wird. Wie für den Impact Factor  gilt jedoch auch für diese beiden Maße, dass sie den durchschnittlichen Artikel evaluieren und damit keine Aussage über die Qualität von spezifischen Papers machen können. Auch die Einteilung in Fächer und Themen bleibt ein Stück weit zufällig. So kann ein Journal in den Kulturwissenschaften relativ hoch gerankt sein, wird es aber ins Feld der Gender Studies eingeteilt, so sinkt sein Ranking (trotz gleicher Punktzahl) aufgrund der veränderten Vergleichsbasis.

Ist SCImago besser als der Article Influence?

Der Vorteil des SCImago Journal Rank gegenüber dem Article Influence besteht hauptsächlich darin, dass Scopus mehr Titel abdeckt, da es auch Publikationen von kleineren Verlagen und Gesellschaften erfasst. Namentlich in den Geistes- und Sozialwissenschaften ist die Datenbank umfangreicher als Web of Science. Dadurch werden mehr Zitate registriert und es entsteht ein präziseres Bild. Außerdem steht die berechnete Kennzahl schlicht für mehr Titel zur Verfügung, momentan für gegen 20.000 (gegenüber etwa 12.000 Journals, für die der Article Influence berechnet wird).

Der größte Nachteil, welcher SCImago ebenso wie dem Article Influence anhaftet, besteht aber darin, dass die beiden eben nicht Impact Factor heißen. Dessen Bekanntheitsgrad macht es Konkurrenzprodukten schwer, Fuß zu fassen, selbst jenen, die eine überlegene Art der Berechnung anbieten können. Selbst Journals aus dem Hause Elsevier und die Besitzerin und Betreiberin von Scopus, setzten zu Marketingzwecken öfter auf den Impact Factor als auf den SCImago Rank. Die Kritik am Impact Factor ist berechtigt und hält seit Jahren an. Sie wird irgendwann ein Umdenken auslösen. Der Wechsel zu einem besseren Maß ist zwar erst ein kleiner Schritt in Richtung fairere Evaluationen, aber immerhin eine Verbesserung, die mit wenig Aufwand erreicht werden kann.

Alles, was Sie über den Eigenfactor wissen müssen

Schreiben Sie einen Kommentar

eigenfactor_logoDer Eigenfactor drückt aus, wie oft ein publiziertes Paper zitiert wird und wie prominent die Zitate erscheinen. Wird eine Studie durch eine Koryphäe in einem viel beachteten Titel erwähnt, so treibt dies den Eigenfactor des Journals, in welchem die Studie erschienen ist, merklich hoch. Findet die Studie hingegen nur in Publikationen Beachtung, die selbst eher selten zitiert werden, so ist der Einfluss auf den Eigenfactor zwar positiv, aber gering. Die Berechnung basiert auf einer Netzwerkanalyse, bei welcher Journals die Knotenpunkte und Zitate die Verbindungen bilden. Der genaue Algorithmus ist in mehreren Publikationen präsentiert worden und wird auch auf der Eigenfactor Website erläutert. Die Berechnung ist also so transparent wir möglich. Dies ist im gegenwärtigen Umfeld besonders positiv zu werten, in welchem Journals immer wieder in Verdacht geraten, ihren Impact Factor durch Verhandlungen mit dem Herausgeber dieser Kennzahl zu beeinflussen. Die Datengrundlage für den Eigenfactor bilden die Zitate der letzten fünf Jahre in Journals, die in Web of Science indexiert sind. Die Rohdaten stammen aus Thomson Reuters Journal Citation Reports. Der Eigenfactor wird jährlich neu berechnet, die aktuellste Version ist von 2011.

Wozu eignen sich der Eigenfactor und der Article Influence Score?

Da die gewichteten Zitate pro Journal summiert werden, bedeuten mehr Artikel pro Ausgabe oder mehr Ausgaben pro Jahr einen höheren Eigenfactor. Dieser eignet sich also für eine Gegenüberstellung mit dem Journalpreis. Wer jedoch an Durchschnittswerten pro Artikel interessiert ist, dem sei der Article Influence Score empfohlen. Dieser gibt den Eigenfactor pro Artikel wieder, wobei auf 1 normiert wird. Ein Journal mit einem Article Influence von über 1 ist also innerhalb der Web of Science Titel überdurchschnittlich einflussreich. Beide Kennzahlen stehen momentan für gut 12.000 Journals und über 14 Jahre zur Verfügung.

Die Korrelation zwischen Article Influence und Impact Factor ist hoch, mit Ausnahme der Bereiche Ökonomie und Mathematik. Hier liegt der Article Influence jeweils weit höher, als dass der Impact Factor vermuten lassen würde. Dies liegt daran, dass Artikel dieser Felder weniger oft zitiert werden, wodurch das einzelne Zitat umso einflussreicher ist und stärker gewichtet wird.

Wer hat die höchste Punktzahl?

Die Champions des Article Influence sind die Titel Reviews of Modern Physics, Cancer Journal for Clinicians und Nature Reviews Molecular and Cell Biology. In der Kategorie Eigenfactor sieht das Podest folgendermaßen aus: Nature, Proceedings of the National Academy of Sciences of the United States of America und Science. Namen also, die auch aus der Impact Factor Hitliste bekannt sind. Schlusslichter sind die Journals Filosofija-Sociologija und Actual Problems of Economics.

Der Eigenfactor bietet mehrere klare Vorteile gegenüber dem etablierten Industriestandard. Dennoch wird er es schwer haben, sich zu etablieren. Einige akademische Papers, welche versuchen, den Stand der Wissenschaft zu erfassen, nutzen diese Kennzahl bereits. Ob sie auch breitere Anwendung finden kann, wird sich zeigen müssen.