Neue Methode der Wissenschaftsbegutachtung am Max-Planck-Institut für Kohlenforschung entwickelt

1. Juni 2017

Expertengutachten, sogenannte „Peer Reviews“, sind im Wissenschaftsbetrieb von außerordentlich hoher Bedeutung. Die Karriere von Wissenschaftlern hängt maßgeblich davon ab, was sie wo publizieren. Bislang nutzen Wissenschaftsverlage die „Peer Reviews“ weniger Gutachter aus dem gleichen Fachgebiet, um die Qualität eines Manuskriptes zu beurteilen.

"Aber Expertengutachten sind gelegentlich wenig aussagekräftig, manchmal sogar voreingenommen und brauchen viel Zeit", meint Benjamin List, Direktor am Max-Planck-Institut für Kohlenforschung und Chefherausgeber von Synlett, einem Fachmagazin für chemische Synthese.

Professor List und sein Doktorand Denis Höfler haben mit dem „Intelligenten Crowd-Reviewing“ ein neues geschlossenes Web-Kollaborationstool zur Wissenschaftsbegutachtung entwickelt, das viele Vorteile gegenüber dem klassischem Expertenurteil bietet und von der Interaktion der Gutachter profitiert. Nach einer mehrmonatigen Testphase können sie feststellen, dass ihr Verfahren die Begutachtung beschleunigt, mehr wertvolle Kommentare liefert und eine solide Entscheidungsbasis für den Verleger darstellt, die von den Autoren sehr gut angenommen wird. „Die Mitglieder der Crowd schafften es, innerhalb von 72 Stunden ein oder mehrere Manuskripte qualifiziert zu begutachten. Mehr noch: zwischen den Reviewern entstand eine Diskussion, welche in dieser Form einen einzigartigen Mehrwert lieferte“, erzählt Ben List.

Die Forscher aus Mülheim sind überzeugt, dass die neue Form der Begutachtung auch für andere Wissenschaftsfelder interessant ist. „Intelligente Crowd-Reviews beschleunigen und verbessern die Begutachtung. Wir können uns gut vorstellen, dass sie in Zukunft zum Hauptwerkzeug der Wissenschaftsbegutachtung werden“, meint List. Die Wissenschaftszeitung „Nature“ veröffentlichte jetzt seine Idee der Wissenschaftsbegutachtung in ihrer Rubrik „World View“. Den ganzen Artikel finden Sie hier.

Link zum Artikel: 1. JUNE 2017 | VOL 546 | NATURE

Zum Praxistest

Das Tool zum „Intelligenten Crowd-Review“ entwickelten Benjamin List und Denis Höfler mit einer IT-Start-up Firma aus Stuttgart. Die geschützte Plattform bietet die Möglichkeit, hochgeladene Manuskripte oder Anträge anonym zu kommentieren, Kommentare von anderen Gutachtern zu kommentieren und später eine Auswertung zu erstellen. Für einen ersten Test rekrutierten sie eine 100-köpfige Experten-Crowd, größtenteils aus dem Bereich der Chemischen Synthese. Zu den Mitgliedern der Crowd gehörten jüngere und ältere Wissenschaftler aus Industrie und Hochschulen, die zumeist durch die Herausgeber von Synlett ausgewählt und vorgeschlagen worden waren. Sie konnten selbst entscheiden, was und wie viel sie bei einem hochgeladenen Manuskript kommentieren wollten. Parallel durchlief dasselbe Manuskript den klassischen Peer-Review-Prozess. Das Ergebnis: Das „Crowd-basierte Reviewing“ lieferte mehr wertvolle Kommentare in kürzerer Zeit und half dem Herausgeberteam, zum gleichen Urteil zu gelangen wie die klassischen Expertengutachten. Für das Journal Synlett wird die Methode in Zukunft weiter angewendet.

Wenn Sie mehr Informationen über die Idee und Tests zum „Intelligenten Crowd-Reviewing“ wünschen, steht Ihnen Professor Benjamin List gern zur Verfügung.

Kontaktinformationen:

Max-Planck-Institut für Kohlenforschung
Professor Dr. Benjamin List,
Leiter der Abteilung Homogene Katalyse
Telefon: 0208/306-2410, E-Mail: List@mpi-muelheim.mpg.de

Bild: Professor Benjamin List