Archiv für den Autor: admin

Wann Google Scholar, wann nicht?

Schreiben Sie einen Kommentar

google-scholarGoogle Scholar ist beim Einstieg in ein Themenfeld oft die erste Anlaufstelle. Es ist bei Studenten beliebt, wird aber bisweilen auch von Forschenden verwendet. Die Anwendung hat viele Vorteile und einige Nachteile. Ob es das richtige Instrument ist, hängt von den Umständen und der Zielsetzung der Recherche ab. Wer dieses Werkzeug richtig einsetzen kann und weiß, wann es mit den fachspezifischen, meist kostenpflichtigen Datenbanken mithalten kann, der kann damit durchaus effizient ans Ziel kommen.

Es lohnt sich, die Vor- und Nachteile im Hinterkopf zu behalten.

 Die Vorteile von Google Scholar

  • Es ist nicht auf ein Fachgebiet beschränkt. Wer sich über die ökonomischen Auswirkungen verschiedener Waldbewirtschaftungssysteme informieren möchte, findet über Google Scholar eher das richtige Gedankenfutter, als wenn eine naturwissenschaftliche Datenbank verwendet wird, oder eine, die ausschließlich auf Ökonomie fokussiert ist.
  • Das Repertoire ist enorm. Nicht nur publizierte Artikel, die den Peer Review Prozess durchlaufen haben, sind indiziert. Auch Bücher, Konferenzbeiträge, Dissertationen, White Papers, Rezensionen und weitere Materialien stehen zur Verfügung. Grundsätzlich kann alles, was im weitesten Sinne akademisch ist, seinen Weg in die Trefferliste finden.
  • Google weiß das eine oder andere über Suchmaschinen. Folglich ist die Oberfläche benutzerfreundlich und intuitiv gestaltet, was leider nicht auf alle wissenschaftlichen Datenbanken zutrifft. Die Sortierung der Trefferliste schafft es eher als manch konkurrierender Algorithmus, relevante Treffer nach oben zu bringen. Die Qualitätsgarantie und Relevanz, die von Menschenhand platzierte Tags erreichen, kann das System aber nicht bieten. Links zu Artikeln, die einen gegebenen Text zitieren, sowie zu „ähnlichen Artikeln“ erlauben es, sich zu den zentralen Werken des Fachs „durchzuhangeln“. Zudem ist der Zugang kostenlos und von überall her möglich.

 Die Nachteile gegenüber anderen Datenbanken

  • Der kostenlose Zugang und die große Materialmenge, die durchsucht werden kann, bilden allerdings auch gleichzeitig den schwerwiegendsten Nachteil. Vielfach stehen nur Abstracts zur Verfügung. Um den vollen Text einsehen zu können, ist dann doch der Zugriff über die Universitätsbibliothek oder deren Kanäle nötig.
  • Bibliothekskataloge geben im Gegensatz zur Internetsuchmaschine die Gewissheit, dass Artikel auch wirklich vorhanden sind, dass sie zum Fachgebiet gehören, wissenschaftlichen Standards genügen und von reputablen Verlagen nach eingehender Prüfung publiziert wurden.
  • Von Bibliothekaren oder Datenbankspezialisten gesetzte Stichworte können die Recherche erheblich erleichtern und die Trefferzahl deutlich einschränken. Den Umgang mit dieser Technik zu erlernen und die besten Stichworte zu kennen braucht jedoch etwas Übung. Von Menschen festgelegte Stichworte fehlen bei Google Scholar ganz. Wer sich zu sehr auf diese Anwendung verlässt, beraubt sich der Gelegenheit, sich mit dem alternativen Ansatz vertraut zu machen.
  • Google legt die Quellen nicht offen, die als wissenschaftlich betrachtet und die folglich von Google Scholar durchsucht werden. Ebenso ist der Sortieralgorithmus ein Firmengeheimnis. Unter diesen Voraussetzungen ist die Relevanz der Treffer lediglich anekdotisch einzuschätzen. Über die Vollständigkeit der Suchresultate kann man sich nicht sicher sein.

Verschiedene Untersuchungen haben versucht, Google Scholar einerseits und Bibliothekskataloge oder akademische Datenbanken andererseits in der Realität gegeneinander antreten zu lassen. Obwohl es Ausreißer gibt, kommt die Mehrheit der Studien zum Schluss, dass Google Scholar eine weniger komplette und weniger relevante Ausbeute liefert. Jedenfalls, wenn es von ausgebildetem Personal der Universitätsbibliotheken verwendet wird. Lässt man hingegen Studenten ran, so sind die Resultate beider Suchstrategien von vergleichbarer Qualität. Die Intuition bestätigt sich: Studenten, die zum Beispiel für eine Seminararbeit recherchieren müssen und ihr Fachgebiet erst oberflächlich kennen, finden über Google Scholar rasch und mühelos adäquates Material. Für Profis, die bereits mit der Literatur ihres Bereichs, den relevanten Suchbegriffen, den wichtigsten Quellen und den einflussreichsten Autoren vertraut sind, für die überwiegen die Vorteile eines besser strukturierten Suchvorgangs.

Egal, welches Werkzeug verwendet wird, es macht immer Sinn, sich mit den jeweiligen „Tipps und Tricks“ vertraut zu machen. Google Scholar liefert, wie jede Suchanwendung, deutlich bessere Resultate, wenn die Möglichkeiten der erweiterten Suche, der Suchoperatoren und der Verlinkungen klug genutzt werden.

Wie die prestigeträchtigsten Journals der Wissenschaft schaden

Schreiben Sie einen Kommentar

over-promoting-researchDas Spektrum von Publikationsmodellen, die akademische Fachzeitschriften nutzen, ist breit. Am untersten Ende finden sich die raubtierhaften Journals und die sogenannte „vanity press“. Diese höchst unseriösen Journals verlangen vom Autor eine Publikationsgebühr und drucken fast ohne Qualitätskontrolle praktisch jeden eingereichten Artikel. Im Open Access Bereich gibt es aber andererseits auch geachtete und seriöse Titel. Einige davon finanzieren sich ebenfalls über Autorengebühren, manche haben andere Einnahmequellen erschlossen. Teilweise erscheinen diese Journals in gedruckter Form, meist nur online. Klassischerweise finanzieren sich Wissenschaftsverlage aber über Abonnentengebühren, die in der Realität überwiegend von Universitätsbibliotheken bezahlt werden. Obwohl die Arbeit der Bibliothekare und die beschränkten Budgets eine gewisse Qualität garantieren, so finden sich doch auch in dieser Kategorie immer wieder dubiose Titel, deren Peer Review Prozess den Namen nicht verdient. Eine Gefahr für die Wissenschaft wittert man unabhängig vom Finanzierungsmodell sofort am unteren Ende der Hackordnung.

Mit Hochglanz voraus!

Tatsächlich haben aber auch die prestigeträchtigen Top-Journals mit ihren Hochglanzcovern zu einer Verzerrung geführt, die dem Forschungsbetrieb nicht dienlich ist. Titel und Verlage wie Nature, Science und Cell stehen momentan besonders im Kreuzfeuer der Kritik. Die Pflege des Impact Factors (also die Anzahl Zitate, mit denen Autoren rechnen dürfen) erfordert eine breite Leserschaft. Das disziplinenübergreifende Publikum interessiert sich aber bisweilen eher für Gesprächsstoff für die nächste Cocktailparty als für Grundlagenforschung in einem relativ fremden Fach. Neben der ungesunden Fokussierung darauf, die Bedeutung eines Journals numerisch darzustellen, ist auch ein übermäßig breites Themengebiet problematisch – die Kombination von beidem führt auf einen besonders glitschigen Pfad.

Ein weiterer Faktor ist das Platzproblem. In einer wissensbasierten Gesellschaft steigt der Forschungsoutput von Jahr zu Jahr. Die bedeutendsten drei Journals können aber per Definition bloß drei Stück sein. Und deren Seitenzahl steigt nicht. Was also passiert mit dem zunehmenden Reservoir an Forschungsresultaten, die den Schnitt nicht geschafft haben? Natürlich kann die Leserschaft die Zeit nicht unbegrenzt erhöhen, die sie darauf verwendet, um auf dem Laufenden zu bleiben. Doch mehr Publikationen mit verifizierter Qualität würden die Gelegenheit bieten, den Fokus enger zu setzen und so in der eigenen Nische schneller voranzukommen. Online Publikationen machen es möglich, ohne großen Druckaufwand mehr Artikel zu veröffentlichen. Sie gefährden damit aber ihre eigene Exklusivität. Gut für die Wissenschaft, schlecht für den Verlag.

Dazu kommt, dass sich das System selbst verfestigt. Am leichtesten lässt sich vorhersagen, ob es ein Artikel in eine Top-Zeitschrift schafft, indem man den Autor fragt, ob er schon einmal in der American Economic Review, im Journal of Political Economy oder im Journal of American History veröffentlicht hat (ja, das „Phänomen Hochglanz“ gibt es auch außerhalb der Naturwissenschaften, auch wenn sich die Diskussion dort gerade am heftigsten zuspitzt). Wer mehr oder minder zufällig zu Beginn seiner Forscherkarriere die Gelegenheit hat, mit einem einschlägigen Autor zusammenzuarbeiten, der steigert seine Chancen auf eigene Publikationen enorm. Mit allen Konsequenzen in Bezug auf Beförderungen und Forschungsbudgets.

Reißerisch und dennoch gefährlich konservativ

Trotz ihrem Hang zu reißerischen, kontroversen Themen kann es schwierig sein, wirklich bahnbrechende Artikel in Luxusjournals platziert zu bekommen. Eine Studie konnte belegen, dass Mäuse grundlegend anders auf bestimmte Medikamente reagieren als Menschen. Selbst auf solche, für die Tests an Mäusen vorgeschrieben sind. Verständlicherweise wollte sich das Autorenteam damit an eine möglichst breite Leserschaft wenden. Sowohl Science als auch Nature kamen zum Schluss, dass die Erkenntnisse der Studie nachvollziehbar und korrekt seien. Und lehnten den Artikel dennoch ab, der doch solch offensichtliche Relevanz für weite Teile der Pharmaforschung hat. Da beide Verlage eine Stellungnahme ablehnen, kann über ihre Gründe nur spekuliert werden. Ob schlicht ein konservativer Grundgedanke verhindert, dass am Fundament gerüttelt werden darf – an den elementarsten, etablierten Annahmen, auf denen zahlreiche zuvor publizierte Artikel aufbauen?

Wann muss ein Artikel korrigiert oder widerrufen werden?

Schreiben Sie einen Kommentar

widerruf-vertragEinen guten Umgang mit Korrekturen und Widerrufen von publizierten, peer reviewten Artikeln zu finden, ist ein heikles Thema. Nehmen wir an, ein Autor entdeckt im Zuge seiner weiteren Forschung, dass in einem früheren Artikel Unstimmigkeiten vorhanden sind, vielleicht sogar Fehler. Seine Optionen bestehen nun einerseits darin, das Journal zu kontaktieren und alles offenzulegen. Alternativ kann er versuchen, die Neuerkenntnisse unter den Tisch zu kehren. Letzteres ist für das Voranbringen der Wissenschaft zweifellos schädlich, aber andererseits steht immerhin der Ruf des Forschenden auf dem Spiel. Bei einem Widerruf ist nur schon die verkürzte Liste von eigenen Publikationen eine Abschreckung, ganz zu schweigen vom Reputationsverlust. Die Nahaufnahme eines solchen inneren Konflikts gibt es hier zu lesen, sicherlich kann jeder Forschende die Problematik nachfühlen. Siegt das Engelchen letztlich über das Teufelchen, so liegt der Ball bei der Redaktion des betreffenden Journals, die sich ähnlich problematischen Anreizen ausgesetzt sieht: Eine zu hohe Quote von Widerrufen wirft ein schlechtes Licht auf die Seriosität des Titels und lässt Zweifel an der Qualität der gewählten Peer Reviewer aufkommen.

Licht ins Dunkel!

Durch diese widersprüchlichen Ziele kommt es immer wieder zu abstrakt und knapp formulierten Korrekturen, sowie zu undurchsichtigen Begründungen von Widerrufen, die zudem nicht an prominenter Stelle veröffentlicht werden. Die zusätzliche Vernetzung aber, für die das Internet in der akademischen Gemeinschaft gesorgt hat, ist bestens dazu geeignet, solchen Mauscheleien entgegenzuwirken. Verschiedene Onlineplattformen stehen zur Verfügung, auf denen die Leserschaft eines Artikels diesen kommentieren kann. Die Hemmschwelle, mit den Autoren in Kontakt zu treten, sinkt. Selbstverständlich geht es auch darum, potentielle Probleme mit dem Inhalt ansprechen zu können. Die Begriffe „post-publication peer review“ oder „open review“ sind für diesen Vorgang im Umlauf. Beispiele solcher Plattformen sind PubPeer und Science Fraud. Dass beide die Anonymität vorziehen, spricht Bände.

Im Fall von Science Fraud ist dies jedoch nicht gelungen, im Zuge von angedrohten Verleumdungsklagen musste der Urheber die Website vom Netz nehmen und seine Identität preisgeben. Keine Rede davon, dass Forschung in ihrem Innersten von Diskurs, von Verifizierung und Falsifizierung lebt! Die Ereignisse um die genannte Plattform haben jedoch zu einer Art von natürlichem Experiment geführt, welches bereits veröffentlicht werden konnte. Bei knapp 500 Artikeln aus dem Bereich Naturwissenschaften waren Daten angezweifelt oder das Vorgehen kritisiert worden. In etwa der Hälfte dieser Fälle wurden die entsprechenden Journals kontaktiert und die Kritikpunkte zusätzlich im Science Fraud Blog veröffentlicht. Bei der anderen Hälfte kam es nur zum „privaten“ Kontakt mit der Redaktion. Die Reaktionen? 62 % der betroffenen Forschungsteams, die ihre Namen im Blog lesen mussten, reagierten mit Korrekturen oder Widerrufen. Selbiges traf auf nur 27 % der Teams zu, die nicht dem öffentlichen Druck ausgesetzt waren.

Wie weiter?

Die Anzahl an Widerrufen steigt, und nicht nur durch das höhere Volumen von Publikationen. Tatsächlich ist ein höherer Prozentsatz der veröffentlichten Artikel von Problemen betroffen. Wo die Ursachen liegen und entsprechend nach Lösungen gesucht werden kann, ist . Der Peer Review Prozess sei schlicht am Anschlag, die nötigen Zeitressourcen für eine seriöse Prüfung fehlten ebenso, wie die Motivation, so eine These. Außerdem steht die Open Access Bewegung im Verdacht, zu höherem Volumen und tieferen Qualitätsstandards zu führen. Ob „post-publication peer review“ einen echten Lösungsansatz bieten kann, wird sich erst noch zeigen müssen. Dass PubMed mit PubMed Commons diesen Ansatz aufgreift, ist sicher ein ermunterndes Signal. Die Entdeckung eines Allheilmittels kann allerdings noch nicht verkündet werden. Eine genaue Inspizierung der Anreize und des Selbstverständnisses in der akademischen Forschung ist alles andere als überflüssig geworden.

Das Ende des „Impact Factors“?

Schreiben Sie einen Kommentar

impact_sDie übermäßige Beachtung des „Impact Factors“ steht schon länger in der Kritik. Kürzlich äußerte der Medizinnobelpreisträger Randy Schekman einen radikalen Vorschlag, um der numerischen Bewertung von Journals ein Ende zu machen – nämlich die Top-gewerteten schlicht zu ignorieren. Der Impact Factor gibt an, wie oft Artikel, die in einem bestimmten Titel erscheinen, im Schnitt zitiert werden. Die Probleme mit diesem Ansatz sind vielfältig, letztlich geht es aber darum, dass es nicht immer weise ist, ein Buch nach seinem Einband zu beurteilen. Klar, hinter der Reputation eines Journals steckt etwas mehr als hinter einem schicken Staubdeckel. Die Grundidee ist ja auch nicht falsch: Die namhaftesten Fachzeitschriften ziehen die besten Artikel der bedeutendsten Autoren an und können dann aus der Masse die Rosinen herauspicken. Tatsächlich lehnen Spitzenmagazine den größeren Teil der eingesendeten Artikel noch vor dem Peer Review ab. Dadurch stellen sie sicher, nur das wirklich beste und sensationellste Material zu veröffentlichen und machen sich so für die Leserschaft besonders attraktiv. Die Beachtung und die Anzahl an Zitaten, die ihre Artikel erhalten, nimmt im Gleichschritt mit der Leserschaft zu. Dies macht das Journal wiederum für Autoren interessanter und die Anzahl der Einsendungen erhöht sich – der perfekte Kreislauf.

Schwerwiegende Kritikpunkte

Dieses Prinzip erhält aber spätestens mit der Definition eines „guten Artikels“ die ersten Kratzer. Da eine möglichst große Leserschaft angesprochen werden muss, haben jene Themen klare Vorteile, die über einen eng definierten Fachbereich hinaus relevant sind oder sich mit einem modischen Bereich beschäftigen. Ein solider Artikel mit einem „sexy Thema“ sticht in diesem Umfeld fast immer einen konkurrierenden Text aus, der von spektakulären Neuentdeckungen berichtet, dessen Feld aber nur für einen beschränkten Leserkreis interessant ist. Zweifelhaft ist auch die Logik der Zitate als Indikator für Qualität. Es stimmt zwar, dass gute, originelle Artikel oft zitiert werden. Dies gilt aber auch für umstrittene Artikel, die auf wackeligem Boden reißerische Thesen aufstellen, denn dazu werden viele andere Forscher Stellung beziehen wollen. Hinzu kommen noch eher praktische Probleme, etwa die Schwächen des Durchschnitts: Ein Journal kann seinen Impact Factor erhöhen, wenn es pro Ausgabe nur ein oder zwei Artikel anlocken kann, die überdurchschnittlich häufig zitiert werden – über die Qualität aller verbleibenden Artikel sagt dies aber nichts aus. Der Impact Factor, der von Reuters berechnet wird und ursprünglich nicht als Qualitätsmerkmal für Forscher vorgesehen war, ist zudem ein sehr grobes Werkzeug. Es unterscheidet noch nicht einmal zwischen einem Artikel mit neuen Forschungsresultaten und einem bloßen Übersichtsartikel. Letzterer richtet sich natürlich an ein breiteres Publikum und kann allein deshalb mit mehr Zitaten rechnen, trägt aber keine eigenen Erkenntnisse bei. Mittlerweile gibt es raffiniertere Indices, die Abhilfe für die gröbsten praktischen Problemen schaffen. SCImago oder der Eigenfactor etwa kommen dem Ziel, die Bedeutung einzelner Fachzeitschriften in Zahlen auszudrücken, eindeutig näher. Den Grundsatzproblemen allerdings haben auch sie nichts entgegenzusetzen.

Radikal oder schrittweise?

Prof. Schekman sieht in den verdrehten Anreizen Parallelen zwischen der Bonuskultur der Bankenwelt und den „Luxusjournals“, wie er sie nennt (gemeint sind unter anderem die Titel Nature und Science). Dass Spitzentitel verstärkt von Widerrufen betroffen sind, führt er genau darauf zurück. Als starker Befürworter von Open Access Publikationen hat er für sich die Konsequenz gezogen, künftig nicht mehr in Luxusjournals zu publizieren (vor der Publikation der Artikel, die schließlich zur Verleihung des Nobelpreises führten, hatte er diese Überzeugung ironischerweise noch nicht gehabt– vielleicht eine gute Illustration des Problems). Einen etwas homöopathischen Ansatz verfolgt DORA (Declaration on Research Assessment). Die Deklaration wurde bisher von gut 10.000 Forschenden, Redaktoren, Verlegern, Vertretern von Fördergeldinstitutionen und Professoren unterzeichnet, was sicherlich zeigt, dass das Thema unter den Nägeln brennt. Die Unterzeichner unterstützen das Anliegen, die Qualität des Forschungsbeitrages selbst zu bewerten und nicht die Reputation des Journals als Annäherung daran zu betrachten. Insbesondere wollen sie nicht länger, dass Forschungsgelder und Beförderungen vom Impact Factor abhängen. Dies bedeutet aber im Umkehrschluss, dass Bewertungen künftig ausschließlich durch Fachvertreter vorgenommen werden können, so wie dies ursprünglich vorgesehen war. Und auch, dass diese die Artikel wieder einzeln lesen, beurteilen und einordnen müssen. Wie dem Zeitmangel begegnet werden soll, der zweifelsohne den Hauptgrund für das Ausweichen auf simple Zahlen und Indices bildet, steht nicht in der Deklaration.

Gefälschte Forschungsresultate? Der Fall Obokata

Schreiben Sie einen Kommentar

OBOKATAZwei Artikel, die Haruko Obokata im Januar in der Fachzeitschrift Nature veröffentlichen konnte, rochen nach nichts weniger als Sensation und Durchbruch. Die Forschungsresultate besagten, dass es unter den richtigen Umständen ausreicht, gewöhnliche Mäuse-Zellen hohem Stress auszusetzen (beispielsweise durch Sauerstoffentzug oder Säurebäder), um einen Regenerationsprozess auszulösen.  Die Zellen würden sich so in STAPs verwandeln, also in Zellen mit „stimulus-triggered acquisition of pluripotency“. Diese sind Stammzellen sehr ähnlich. Die 30-jährige Laborleiterin für zelluläre Umprogrammierung am Riken Center for Developmental Biology hatte aber nicht nur einen Doktortitel, eine Forschungstätigkeit an der Harvard Medical School und spektakuläre Resultate vorzuweisen. Sie brachte auch einen Glamour-Faktor ins Labor, der dem Medienrummel, der auf die neuen Entdeckungen folgte, nicht eben abträglich war.

Gefälschte Daten?

Bald aber wurden ihre Resultate von verschiedenen Seiten angezweifelt. Das vom japanischen Staat mitgetragene Riken Institut setzte daraufhin eine Untersuchungskommission ein, die schwere Fehler entdeckte: Mehrere Aufnahmen von Zellen seien bereits in Obokatas Doktorarbeit vorgekommen, welche aber einem ganz anderen Thema gewidmet war. Zudem wurden die Laboraufzeichnungen als nachlässig und mangelhaft bezeichnet. Sie reichten nicht aus, um die Experimente Obokatas nachvollziehbar zu machen. So gelang es dann auch bisher nicht, die Sensationsresultate zu reproduzieren. Erschwerend kam zudem ans Tageslicht, dass es sich bei Teilen der Doktorarbeit Obokatas um Plagiate handelt, unter anderem auch bei mehreren Bildaufnahmen. Obokata bot daraufhin an, die umstrittene Doktorarbeit zurückzuziehen; eine Entscheidung der japanischen Waseda Universität, die den Doktortitel verliehen hatte, ist noch ausstehend. An einer Pressekonferenz im April hat sich die Forscherin unter Tränen für ihre Nachlässigkeit und ihr unentschuldbares Vorgehen in Bezug auf die STAPs-Forschung entschuldigt, bestand jedoch noch darauf, dass die Kernaussage ihrer Artikel legitim und reproduzierbar sei. Und dies obwohl einer ihrer Koautoren bereits vor Monaten gebeten hatte, die Artikel zurückzuziehen. Im Laufe der folgenden Wochen musste Obokata sich dann doch mit einem Widerruf von einem und schließlich beiden Nature Artikel einverstanden erklären. Die Umsetzung steht wohl kurz bevor. Die Forscherin plant, ihre Experimente am Riken Institut zu wiederholen, und so ist das letzte Wort in dieser Affäre möglicherweise noch nicht gesprochen.

Mehr Widerrufe, weniger Irrtümer, kaum Lösungen

Dass eine Diskussion um Betrug in der Forschung derart öffentlich ausgetragen wird, ist eine Seltenheit. Klar scheint hingegen, dass betrügerische Artikel und gefälschte Resultate sich häufen und dass sie bei Entdeckung mit Vorliebe möglichst diskret, bisweilen mit richtiggehend obskuren Begründungen zurückgezogen werden. Eine Studie aus dem Jahr 2012 belegt im Bereich der Naturwissenschaften, was viele schon ahnten: Die Anzahl zurückgezogener Artikel nimmt zu, und Fehlverhalten wie Betrug oder Plagiate sind immer häufiger der Grund dafür – hinter zwei Dritteln der Widerrufe stehe mangelnde Integrität, so die Autoren der Studie. Ob strengere Kontrollen oder eine radikalere Neuorganisation der akademischen Forschung die besten Antworten auf solche Tendenzen sind, und wie sie sich umsetzten ließen, diese Diskussion steht uns noch bevor.