Zitationsanalyse

Die Zitationsanalyse ist ein Gebiet der Bibliometrie, das sich mit dem Studium von Zitationen, das heißt den Beziehungen zwischen zitierten und zitierenden Arbeiten, und ihrer Anwendung als bibliometrische Untersuchungsmethode beschäftigt.

Als bibliometrische Parameter kommen verschiedene Indikatoren zum Einsatz, die meistens mit Hilfe von statistischen Methoden errechnet werden, wobei bestimmte Annahmen bezüglich des Zitierverhaltens von Autoren gemacht werden:

• Im Allgemeinen gilt eine wissenschaftliche Arbeit als einflussreich, wenn sie von anderen Autoren oft zitiert wird. Als Indikator verwendet man hier den Zitationswert, der Zitationshäufigkeiten in Relation zur Gesamtzahl der zitierten Beiträge setzt, wobei auch seine zeitliche Entwicklung berücksichtigt werden kann.
• Unterstellt man eine Beziehung zwischen mehreren Arbeiten, die gemeinsam zitiert werden oder gemeinsam eine andere zitieren, so kann man mit Hilfe der Clusteranalyse Gruppen von Autoren und/oder Publikationen bilden, die sich möglicherweise mit einem Teilgebiet der Wissenschaft beschäftigen.
• Falls die Möglichkeit der inhaltlichen Auswertung von Publikationen besteht, dann stellt die Korrespondenzanalyse ein geeignetes Werkzeug für die Erstellung von Wissenschaftslandkarten dar.

Ergebnis der Zitationsanalyse: Publikationen zum Thema Outsourcing

Weil der Aufbau wissenschaftlicher Publikationen weitgehend standardisiert ist und neben Referenzen andere Daten wie Abstracts, Volltext, Deskriptoren und Anschriften der Autoren enthalten, kommt die Zitationsanalyse immer häufiger zum Einsatz. Zur Recherche und Analyse von Zitationen gibt es Zitationsdatenbanken, die erforderliche Informationen im offenen Format bereitstellen. Da sich die Ergebnisse von Zitationsanalysen oft nicht in einfachen Zahlen ausdrücken lassen, werden auch Methoden der Informationsvisualisierung eingesetzt, um die komplexen Zitationsbeziehungen abzubilden.

Ziele der Zitationsanalyse sind

• inhaltlich-fachliche Beziehungen zwischen Personen, Institutionen, Publikationen, Disziplinen und deren wissenschaftlichen Einfluss (Impact)
• Forschungsschwerpunkte von wissenschaftlichen Arbeiten und ihre Entwicklung über die Zeit
• Aktivitäten und Aktualität von Forschungsgruppen innerhalb der Wissenschaften sowie „heiße“ Themen und Diskussionen
• bahnbrechende Publikationen, die Grundlage für weitere Forschungen bilden.
• Beziehungen zwischen Forschung und Wirtschaft (Zitate wissenschaftlicher Literatur in Patenten)
• Einsatz als Evaluierungsinstrument für Peer Reviews
• Teilaspekt zur Beurteilung der Qualität wissenschaftlicher Arbeit als Entscheidungsgrundlage für öffentliche Forschungseinrichtungen

Geschichte

1927 begann das Geschwisterpaar Gross Zitate als bibliometrische Datenquelle zu benutzen. Anhand von Fußnoten wurde die Nennung der chemischen Fachzeitschriften ermittelt. Je häufiger eine Zeitschrift genannt wurde, umso höher wurde die Relevanz gewertet. Dabei fielen Gross & Gross eine ungleiche Verteilung auf. Diese besagt, dass einige wenige Zeitschriften vielfach mehr als Quelle angegeben worden sind, als andere Veröffentlichungen.

Eugene Garfield schlug 1955 in seinem Artikel „Citation indexes for science“ 1955 vor, Zitationen wissenschaftlicher Veröffentlichungen systematisch zu erfassen und damit Zitationszusammenhänge deutlich zu machen. 1963 erschien der erste gedruckte Science Citation Index, der 562 Fachzeitschriften des Jahres 1961 analysierte und 2 Millionen Zitate veröffentlichte. In Zusammenarbeit mit Irving H. Sher entstand daraus der „Journal Impact Factor“. Dieser ermittelt im Rückblick auf die 2 vorherigen Jahre, wie oft die Artikel einer Fachzeitschrift in einer anderen Zeitschrift zitiert wurden. Die Gesamtanzahl der veröffentlichten Artikel wird durch die errechnete Zahl geteilt und ergibt den entsprechenden Faktor.

Karl Erik Rosengren entwickelte 1966 die Co-citation-Relation. Wenn im Verlauf einer Debatte ein Autor mehrfach zitiert wird, erhöht sich sein Zitationszähler. Bei der gemeinsamen Nennung zweiter Autoren, wird die Relation der beiden verstärkt. Dieser Wert gibt Auskunft darüber, dass beide Autoren offensichtlich auf einem gemeinsamen Arbeitsgebiet forschen. Dieses Verfahren kann auch auf Dokumente und Begriffe angewandt werden.

Robert K. Merton veröffentlichte 1968 den Matthäus-Effekt. Dieser beschreibt, dass bekannte Autoren häufiger zitiert werden als unbekannte. Merton beobachte dabei, dass mit zunehmender Bekanntheit der zitierten Stelle, die Quelle bei weiteren Verwendungen nicht mehr oder nur noch der Autor genannt wird.

Alan Pritchard prägte 1969 den Begriff der Bibliometrie zur quantitativen Messung von wissenschaftlichen Publikationen. Dabei werden Bücher, Aufsätze und Zeitschriften anhand mathematischer und statistischer Methoden vermessen. So wird zum Beispiel ermittelt, wie oft ein Wissenschaftler Artikel in Zeitschriften veröffentlicht. Auch kommen die bisher vorgestellten Verfahren in der Bibliometrie zur Anwendung. Die Bibliometrie ist eine Teildisziplin der Szientometrie.

1973 wurde erstmals der Social Sciences Citation Index veröffentlicht. Dies ist eine vom Institute for Scientific Information entwickelte interdisziplinäre, kostenpflichtige Zitationsdatenbank, die mehr als 3.100 meist englischsprachige Fachzeitschriften aus mehr als 50 sozialwissenschaftlichen Disziplinen betrachtet.

Henry Small und Irina Marshakova entwickelten 1973 die Zitationsanalyse.

1976 wurde das Journal Citation Reports vom Institute for Scientific Information veröffentlicht. Mit dieser Anwendung ist die Recherche in verschiedenen Literatur- und Zitationsdatenbanken nach relevanter wissenschaftlicher Literatur möglich. Dieser Dienst existiert heute unter dem Namen „Web of Science“ und wird von Clarivate Analytics als kostenpflichtiges Webangebot betrieben.

Der Begriff „Szientometrie“ (engl. „Scientometrics“) stammt aus dem von Wassili Nalimow 1969 veröffentlichten gleichnamigen Buch. Derek de Solla Price begründete mit Eugene Garfield 1978 dieses Verfahren. Neben der Bibliometrie können auch weitere Informationen wie zum Beispiel die Anzahl der Universitätsabsolventen vermessen werden. Die Szientometrie wird der Infometrie und häufig auch den Wissenschaftswissenschaften zugerechnet.

Im gleichen Jahr entstand der Arts and Humanities Citation Index, der als kostenpflichtige Zitierdatenbank mehr als 1.100 Fachzeitschriften aus den Bereichen Kunst und Geisteswissenschaft listet.

1985 veröffentlicht Terrence A. Brooks ein Buch, in dem er die verschiedenen Zitiermöglichkeiten und die Motivation, Zitierungen anzuwenden, vorstellt.

China stellt 1988 die chinesischen Datenbank für wissenschaftliche und technische Veröffentlichungen (CSTPC) zur Verfügung, die die in chinesischen wissenschaftlichen Zeitschriften veröffentlichten Berichte auflistet.

Zitationsgraphen

Eine Menge von Zitationen und dazugehörigen Publikationen lassen sich mathematisch als Graph beschreiben, der dann als Zitationsgraph (auch Citespace) bezeichnet wird. Zur Analyse kommen unter anderem Methoden der Netzwerkanalyse zum Einsatz. In den Zitationsgraphen bilden Publikationen (in der Regel wissenschaftliche Fachartikel) Knoten, zwischen denen Zitationen die Kanten aufspannen. Alternativ lassen sich auch alle Artikel einer Fachzeitschrift zu einem Knoten zusammenfassen, um verschiedene Zeitschriften zu vergleichen. Weitere Möglichkeiten zur Konstruktion von Graphen aus Zitierungsdaten sind Informationen zur Koautorschaft und Kozitation. Die wichtigsten auf Zitation beruhenden Beziehungen zwischen zwei Publikationen A und B sind:

Möglichkeiten des Zitierens

• Zitation: Ein Artikel A zitiert einen Artikel B
• Kozitation: Zwei Artikel A und B werden von einem Artikel C gemeinsam zitiert
• Bibliografische Kopplung: Zwei Artikel A und B zitieren einen gemeinsamen Artikel C

Aus Untersuchungen von Zitationsgraphen lassen sich verschiedene Regelmäßigkeiten und Strukturen über das Publikationsverhalten von Autoren ablesen. Es zeigt sich, dass Zitationsgraphen skalenfreie und Kleine-Welt-Netzwerke bilden. Durch Clusteranalyse und anderen Techniken der Netzwerkanalyse können Communities von sich oft gegenseitig zitierenden Forschern gefunden werden.

In der Webometrie werden analog zum Zitationsgraphen Verlinkungsgraphen von Webseiten und Hyperlinks (Situationen) untersucht.

Fehlerquellen

Die Ergebnisse der Zitationsanalyse können durch verfälschte Indikatoren wie zum Beispiel die Publikationsrate von Autoren verzerrt werden. So werden Autoren mit großer Anzahl an Publikation zwar öfter zitiert, was sich in der Statistik niederschlägt, dies muss aber nicht bedeuten, dass sie oder ihre Beiträge bedeutender sind als andere. Manche Autoren veröffentlichen das gleiche wissenschaftliche Ergebnis mehrmals unter anderen Titeln oder in verschiedenen Sprachen.

Statistische Artefakte entstehen dadurch, dass bei Publikationen mit mehreren Verfassern nicht alle Autoren berücksichtigt werden. Auch die Gewichtung der einzelnen Autoren nach Arbeitsanteil kann in der Analyse kaum verwertet werden, da die Autorennamen oft aus technischen Gründen alphabetisch gespeichert werden. Auch Tipp- und Transkriptionsfehler, die bei der Erfassung von Namen in heterogenen Zeichensatzsystemen entstehen, fallen in diese Kategorie.

Unvergleichbare Vergleiche entstehen dann, falls zum Beispiel Rangordnungen bei Zeitschriften erstellt werden, die vorhandene Informationen wie Verlagszyklen, Publikationsrate vernachlässigen. Auch Zitate von Review-Artikeln, die lediglich einen Überblick bieten, können ohne inhaltliche Auswertung durch statistische Automatismen kaum gefiltert werden.

Unzulässige Verwendung mathematischer oder statistischer Verfahren, deren Voraussetzungen nicht erfüllt oder verletzt werden, ohne entsprechende Korrekturen vorzunehmen, führt zu Ineffizienzen. Diese können eine zu geringe Anzahl an Dokumenten sein wie im Falle der Multidimensionaler Skalierung oder das Fehlen einer Normalverteilung bzw. eine unzulässige Datenunabhängigkeit bei Regressionsanalyse.

Zitieren von eigenen Werken bzw. aus Gefälligkeitsgründen gilt zwar als unseriös, ob allerdings sachliche oder eher strategische Gründe vorliegen, lässt sich oft nur schwer feststellen.

Nicht berücksichtigte Unterschiede in der Art des Referenzierens bei verschiedenen Disziplinen.

Problematik

Da davon ausgegangen wird, dass gute Arbeiten häufiger zitiert werden, wird die Anzahl der Zitationen, die ein wissenschaftlicher Beitrag erfährt, oft als Maß für seine Qualität verwendet. Diese gängige Praxis ist jedoch nicht unproblematisch, da manchmal die inhaltliche Bewertung vernachlässigt zu werden droht und rein statistische Kriterien den Ausschlag geben. Die Tatsache, dass ein bestimmter Autor oft zitiert wird, kann unterschiedlichste Gründe haben und erlaubt nicht in jedem Fall eine Aussage über die Güte seines Beitrags. Auch kann es zur Bildung so genannter Zitierzirkel kommen („Zitierst du mich, zitier’ ich dich“), die das Ergebnis verfälschen (auch: Zitierkarussell, boshafter: Zitierkartell). Die Zeitschrift Science veröffentlichte im Jahr 2024 eine Analyse, nach der im Bereich Mathematik derartige Zitierkartelle aktiv waren, die durch gezielte Zitierung weniger bedeutender Arbeiten deren Zitationshäufigkeit in die Höhe trieben. Die daran beteiligten Institutionen waren Hochschulen in Saudi-Arabien (König-Abdulaziz-Universität), China und Taiwan (Universität für Chinesische Medizin). Aus diesen Hochschulen wurde eine größere Zahl an Artikeln in Wissenschaftsjournalen minderer Qualität veröffentlicht, die jeweils bestimmte Arbeiten immer wieder zitierten. Diese Verzerrung führte dazu, dass ab dem Jahr 2023 der gesamte Bereich Mathematik aus der Zitationsanalyse des Web of Science und des Science Citation Index ausgeschlossen wurde.

Konkrete Kritikpunkte von Zitationsanalysen

• Der durch die Anzahl der Zitationen in wissenschaftlichen Aufsätzen gemessene Impact einer Arbeit ignoriert den Einfluss, den eine Arbeit möglicherweise in anderen Bereichen hat (zum Beispiel in der Industrie, die ihre Ergebnisse nicht publiziert).
• Durch den Matthäus-Effekt werden häufig zitierte Arbeiten ohne Blick auf den Inhalt wiederum häufiger zitiert. Eine Studie von M. V. Simikin und V. P. Roychowdhury deutet darauf hin, dass nur rund ein Viertel der zitierten Arbeiten von den Autoren überhaupt gelesen werden.
• Manche Zitationen werden lediglich hinzugefügt, um den Impact Factor eines Autors oder eines Journals zu steigern. Auch Publikationen werden dahingehend optimiert, eine hohe Zahl von Zitationen zu erreichen, anstatt die Qualität zu optimieren.
• Die Bedeutung von Artikeln in Fachzeitschriften und Proceedings und Monographien variiert je nach Fachgebiet deutlich. In Zitationsdatenbanken werden diese Unterschiede nicht berücksichtigt, so dass einzelne Fachgebiete unter- oder überbewertet werden.
• Bei den meistzitierten Arbeiten handelt es sich oft um Ausnahmen, die vor allem zitiert werden, weil es üblich ist, diese Arbeiten zu zitieren. Andere Arbeiten mit ebenso großem Einfluss werden dagegen nicht mehr explizit zitiert, weil ihre Inhalte selbstverständlich geworden sind.
• Die Berechnung des Impact-Faktors erfolgt immer zeitbezogen mit einer Frist von maximal 6 bis 8 Jahren (zwei PhD-Perioden), wobei im Schnitt nach den ersten zwei Jahren der Zitationspeak erreicht wird. Je nach Aktivität des Forschungsgebiets kann dieser Wert jedoch stark variieren, was zu Fehlern in der Berechnung des Impact Factors und Halbwertszeit der Zitationshäufigkeit führen kann. Ähnliche Fehler können entstehen, wenn die Periodik der Publikationsorgane unberücksichtigt bleibt.
• Durch unterschiedliche Zitierweisen werden einzelne Arbeiten in Zitationsdatenbanken als unterschiedliche Veröffentlichungen behandelt. So wurde beispielsweise das berühmte Paper Initial sequencing and analysis of the human genome des Humangenomprojekts von 2001 im ISI zunächst mit unterschiedlichen Autoren aufgeführt, wodurch es nicht unter den meistzitierten Arbeiten auftauchte.
• Manche nichtenglischsprachigen Fachzeitschriften erscheinen zusätzlich in einer englischen Ausgabe. Diese wird jedoch fälschlicherweise oft als eigenständige Zeitschrift gezählt.
• Der gemessene Impact berücksichtigt nicht den Zweck, zu dem die Veröffentlichung zitiert wird. Beispielsweise kann eine Zitation dazu dienen, auf wissenschaftliche Irrtümer in der zitierten Veröffentlichung hinzuweisen.

Der Science Impact Index (SII) versucht, zu einem objektiven Maß für die Forschungsqualität von Wissenschaftlern zu kommen, indem er viele dieser Aspekte durch Gewichtung berücksichtigt.

Siehe auch

• Informetrie
• Impact-Faktor und h-Index
• Clusteranalyse
• Halbwertszeit
• CiteSeer

Literatur

Monographien

• Eugene Garfield: Citation Indexing – Its Theory and Application in Science, Technology, and Humanities. Wiley, New York NY 1979, ISBN 0-471-02559-3.
• Otto Nacke (Hrsg.): Zitatenanalyse und verwandte Verfahren. IDIS – Institut für Dokumentation und Information über Sozialmedizin und Öffentliches Gesundheitswesen, Bielefeld 1980, ISBN 3-88139-024-3.
• Ирина В. Маршакова: Система цитирования научной литературы как средство слежения за развитием науки. Наука, Москва 1988, ISBN 5-02-013311-6.
• Henk F. Moed: Citation Analysis in Research Evaluation (= Information Science and Knowledge Management. Bd. 9). Springer, Dordrecht u. a. 2005, ISBN 1-4020-3713-9.

Einzeldarstellungen

• Henry Small: Co-citation in the scientific literature: A new measure of the relationship between two documents. In: Journal of the American Society for Information Science. Bd. 24, Nr. 4, 1973, S. 265–269, doi:10.1002/asi.4630240406, Digitalisat (PDF; 328 KB).
• Henry Small, E. Sweeney: Clustering the Science Citation Index^® using co-citations. I. A comparison of methods. In: Scientometrics. Bd. 7, Nr. 3–6, 1985, S. 391–409, doi:10.1007/BF02017157.
• Henry Small, E. Sweeney, Edward Greenlee: Clustering the Science Citation Index using co-citations. II. Mapping science. In: Scientometrics. Bd. 8, Nr. 5–6, 1985, S. 321–340, doi:10.1007/BF02018057.
• Philip Ball: Index aims for fair ranking of scientists. In: Nature. Bd. 436, Nr. 7053, 2005, S. 900, doi:10.1038/436900a.
• Jorge E. Hirsch: An index to quantify an individual’s scientific research output. In: Proceedings of the National Academy of Sciences of the United States of America. Bd. 102, Nr. 46, 2005, S. 16569–16572, doi:10.1073/pnas.0507655102.
• Paul L. K. Gross, Elsie M. Gross: College libraries and chemical education. In: Science. Bd. 66, Nr. 1713, 1927, S. 385–389, doi:10.1126/science.66.1713.385.
• Alan Pritchard: Statistical Bibliography or Bibliometrics? In: Journal of Documentation. Bd. 25, Nr. 4, 1969, S. 348–349, doi:10.1108/eb026482.
• Jürgen Rauter: Zitationsanalyse und Intertextualität. Intertextuelle Zitationsanalyse und zitatenanalytische Intertextualität (= Schriftenreihe Poetica. Bd. 91). Kovač, Hamburg 2006, ISBN 3-8300-2383-9 (Zugleich: Düsseldorf, Universität, Dissertation, 2005).
• Kerstin Noëlle Vokinger: Empirische Analyse der bundesverwaltungs- und bundesgerichtlichen Urteile zur Umsetzung des Öffentlichkeitsgesetzes – unter Berücksichtigung des «Zitationsverhaltens» der Gerichte. In: Zeitschrift für Schweizerisches Recht. Band 139, Heft I, 2020.

Weblinks

• CiteSpace-Tool von Chaomei Chen (englisch)
• Szientometrie : Zitatenanalyse – Vorlesungsskript (Memento vom 7. Mai 2010 im Internet Archive)
• Universitäts- und Landesbibliothek Tirol: Zitationsanalyse
• CiteSeer^x Scientific Literature Digital Library and Search Engine
• Was können Zitationsvergleiche … nicht unbedingt? Beispiele zu Problematik von Zitationsvergleichen