Open Password: Freitag, den 10. Juni 2016

Altmetrics – Jasmin Schmitz

Messung von Forschungsleistungen

Altmetrics: Auf dem Weg
zur Standardisierung

 

Aber noch viele Detailprobleme

Von Jasmin Schmitz, Düsseldorf, schmitz-jasmin@web.de

Im Rahmen des Bibliothekskongresses in Leipzig fand ein Workshop zum Thema „Offene Metriken für wissenschaftliche Daten“ statt. Seine Ergebnisse stellen einen guten Überblick des aktuellen Diskussionsstandes dar[1].

Ausgangslage

Die klassische Impact-Messsung, wie z.B. die Zählung von Zitationen, hat den Nachteil, dass sie relativ langsam ist, da es abhängig vom Wissenschaftsgebiet eine Zeit dauert, bis Publikationen rezipiert und zitiert werden. Zudem werden Zitationshäufigkeiten von kommerziellen Anbietern offeriert, die somit nicht offen zugänglich sind. Mit der fehlenden freien Zugänglichkeit geht auch ein Mangel an Transparenz einher, so dass oftmals unklar ist, wie entsprechende Zahlen ermittelt wurden. Darüber hinaus ist die Tendenz zu beobachten, Forschungsleistungen einzelner Individuen ausschließlich anhand einzelner Kennzahlen (z.B. Journal Impact Factor, h-Index) zu bewerten[2].

Diese Umstände werden zunehmend von der wissenschaftlichen Community kritisiert. Die vielleicht bekanntesten Veröffentlichungen dazu sind das Altmetrics Manifesto[3] sowie die San Francisco Declaration on Research Assessment (DORA)[4]. Hier wird gefordert, neben Zitationen auch Nutzungsdaten sowie weitere ergänzende oder alternative Kennzahlen zu erheben, die sich auf die einzelne Publikation beziehen (Article Level Metrics – ALM). Zudem sollten die Ergebnisse des Peer Review in die Bewertung einbezogen werden, die Messung von Publikationsleistungen somit multidimensional sein. Dazu gehört auch, dass andere Formen des Forschungsoutputs wie z.B. Forschungsdaten oder Software bei der Bewertung der Leistung mitberücksichtigt werden.

[1] Präsentationen sind abrufbar unter: https://opus4.kobv.de/opus4-bib-info/solrsearch/index/search/searchtype/collection/id/16398.

[2] D. Hicks, P.l Wouters, L. Waltman, S. de Rijcke & I.l Rafols: Bibliometrics (2015): The Leiden Manifesto for research metrics.  Nature 520, 429-43.  Doi:10.1038/520429a.

[3] J. Priem, D. Taraborelli, P. Groth, C. Neylon (2010), Altmetrics: A manifesto, 26 October 2010. http://altmetrics.org/manifesto.

[4] San Francisco Declaration on Research Assessment: http://www.ascb.org/dora/.

 

Standardisierungsbemühungen

Im Rahmen der „NISO Alternative Assessment Metrics (Altmetrics) Initiative“[1] sollen Standards oder Best Practises entwickelt werden. Zudem werden Vorschläge erarbeitet, für welche „Produkte“ wissenschaftlicher Arbeit ebenfalls Kennzahlen erhoben werden können[2].  Besonderes Augenmerk wird dabei auch auf Forschungsdaten gelegt[3]. Aus Sicht der NISO müssen Altmetrics transparent, replizierbar und genau sein. Sie schlagen daher vor, dass jeder Datenanbieter (wie z.B. Twitter und Facebook) sowie Datenaggregatoren (wie z.B. Altmetric.com und ImpactStory) einmal jährlich einen „Code of Conduct Self-Reporting Table“ ausfüllen, der erkennen lässt, welche Zahlen bereitgestellt und wie diese ermittelt werden. Diese Reports sollen frei zugänglich sein[4].

Ein wichtiger Teil von Article Level Metrics (ALM) ist die Nutzung gemessen über Downloads. Hierbei ergibt sich das Problem, dass eine Publikation an mehreren Stellen im Netz liegen kann. Das Zusammenführen der Downloadzahlen ist dann eine Herausforderung. Im ersten Schritt soll im Rahmen eines DFG-geförderten Projekts der EZB-Linking-Dienst um Open-Access-Publikationen erweitert werden. Damit würden parallel frei zugängliche Publikationen ermittelt und dem Nutzer angezeigt[5].

Bei den Nutzungsstatistiken ist nicht unerheblich, wie diese erhoben werden (z.B.: Mitzählen von automatisierten Anfragen ja/nein?). Im Bereich der Repositorien kann die Anzeige von Nutzungsstatistiken (neben anderer ALM) ein Anreiz für Autoren sein, ihre Publikationen dort ebenfalls bereitzustellen. Im Gegensatz zu Verlagsseiten, wo die Abrufzahlen nicht selten unter Verschluss gehalten werden, sollten die Abrufe hier – im Sinne von offenen Metriken – stets frei einsehbar sein.

Um Anreize für die Publikation von Forschungsdaten zu setzen, wären auch hier das Erheben von Nutzungsstatistiken und weiteren Impactzahlen wie Zitationsraten und Altmetrics sinnvoll. Ein vom NSF gefördertes Projekt („Making Data Count“[6]) hat hier versucht, entsprechende Voraussetzungen zu schaffen. Um Zitatraten für Forschungsdaten ermitteln zu können, ist es aber auch wichtig, dass verwendete Daten überhaupt zitiert werden und in Referenzlisten aufgenommen werden. Ein erster Schritt in diese Richtung sind die „Data Citation Principles“ von FORCE11[7]. Auch die Vergabe von persistenten Identifikatoren wie DOI für Forschungsdaten verbessert die Zitierfähigkeit und erleichtert das Erheben weiterer ALM.

[1] NISO Alternative Assessment Metrics (Altmetrics) Initiative: http://www.niso.org/topics/tl/altmetrics_initiative/.

[2] Alternative Outputs in Scholarly Communications:  http://www.niso.org/apps/group_public/download.php/16555/NISO%20RP-25-201x-2C,%20Alternative%20Outputs%20in%20Scholarly%20Communications.pdf .

[3] Alternative Outputs in Scholarly Communications: Data Metrics: http://www.niso.org/apps/group_public/download.php/16553/NISO%20RP-25-201x-2A%20Alternative%20Outputs%20in%20Scholarly%20Communications–Data%20Metrics.pdf .

[4] Altmetrics Data Quality Code of Conduct: http://www.niso.org/apps/group_public/download.php/16121/NISO%20RP-25-201x-3,%20Altmetrics%20Data%20Quality%20Code%20of%20Conduct%20-%20draft%20for%20public%20comment.pdf .

[5] OA-EZB: Open-Access-Services der Elektronischen Zeitschriftenbibliothek: http://www.uni-regensburg.de/bibliothek/projekte/oa-ezb/.

[6] Making Data Count: http://mdc.lagotto.io/.

[7] Joint Declaration of Data Citation Principles – FINAL: https://www.force11.org/group/joint-declaration-data-citation-principles-final.

Bedeutung

Alle Bemühungen um Altmetrics sollten aber nicht zum Ziel haben, wissenschaftlichen Impact erneut in einer Zahl auszudrücken, da Altmetrics kein Ersatz für die Zitationsanalyse sind, vielmehr eine Ergänzung. Sie können als Instrument dienen, um zu analysieren, wie man wahrgenommen wird und wie breit die Wahrnehmung ist. In diesem Sinne wäre auch eine Definition von Altmetrics als „alternative Metriken“ wenig hilfreich, wenn es nur um den Aspekt der Zählbarkeit und Quantifizierung geht. Vielmehr werden weitere „Nutzungsspuren“ ausgewertet. Hinzu kommt, dass ihre Bedeutung vielfach noch unklar ist (Was sagt es uns, wenn ein Artikel-DOI 20 Mal getwittert wurde?). Zudem muss über eine Normierung diskutiert werden, also Konsens darüber geschaffen werden, wie viele „Downloads“, „Mentions“, „Bookmarks“ usw. als durchschnittlich gelten und was gute bis herausragende Werte wären.  Bislang ist man sich weitestgehend einig, dass „Mentions“ auf Bookmarking-Seiten wie Mendeley oder in wissenschaftlichen Blogs für Publikationen einen anderen Stellenwert haben als anderswo im Web, aber darüber hinaus besteht Forschungsbedarf.

Datenqualität und Verfügbarkeit

Ein weiteres Thema ist die Datenqualität und die Verfügbarkeit von Altmetrics-Daten. So können die Zahlen je nach Anbieter variieren. Zudem ist zu beobachten, dass APIs, mit denen in der Regel Zahlen beim Datenanbieter oder -aggregator abgerufen werden, auch restriktiver werden.

Während die beschriebenen Standardisierungsbemühungen durchaus hilfreich sind, besteht eine ähnliche „Gefahr“ wie bei den „klassischen“ Impactkennzahlen, nämlich eine Konsolidierung in Richtung kommerzielle Anbieter – dies mit der Konsequenz, dass auch alternative bzw. ergänzende Metriken nicht grundsätzlich frei verfügbar wären. Das Ziel sollte allerdings sein, dass diese nicht nur transparent, sondern auch offen sind. Als offene Software wurde LAGOTTO[1] entwickelt, die auch von PLOS, CrossRef und DataCite für eigene Dienste genutzt wird[2], und die ihrerseits auf Daten von kommerziellen Anbietern wie beispielsweise Mendeley zugreift.

Da davon auszugehen ist, dass Impactzahlen (entweder klassisch oder alternativ) auch künftig bei der Bewertung von Forschungsleistungen eine Rolle spielen, ist eine kritische Begleitung der Entwicklungen durch die Wissenschaftler selbst unerlässlich. Hierbei geht es auch um die Frage der Deutungshoheit. Eine Art Open Governance wäre wichtig, da ansonsten nur die Interessen derjenigen eine Rolle spielen, die die Metriken bereitstellen.

[1] About Lagotto: http://www.lagotto.io/.

[2] Crossref Event Data: http://eventdata.crossref.org/ und DataCite API: https://api.labs.datacite.org/.

Anzeige

FAQ + Hilfe