Wikipedia:WikiProjekt FemNetz/FemNetz 2022/AG1

Arbeitsgruppe 1 

Frauen zählen
Quantitative Studien zum Gender Bias in Löschdiskussionen

Worum geht es?

Francesca Tripodi legte im vergangenen Sommer eine Studie zum Gender Bias bei Löschanträgen in der englischsprachigen Wikipedia vor, u. a. von Tilman Bayer bezüglich der Methodik im englischsprachigen Signpost kritisiert. Eine sich anschließende Diskussion veranlasste Reise Reise, eine ähnlich geartete Untersuchung in der deutschsprachigen Wikipedia durchzuführen. Wir wollen diese beiden Untersuchungen kritisch hinterfragen: Was brauchen wir, was fehlt, was müsste geprüft oder geändert werden, um eine entsprechende Studie für die DE-WP mit belastbarem Zahlenmaterial zu publizieren – und wer kann uns dabei helfen? Das Ziel des Workshops ist die Formulierung entsprechender Fragestellungen.

Wer ist dabei?

Samstag/Sonnabend, 29. Januar 2022 14:15-15:45 Uhr

• Grizma
• Medea7
• Leserättin
• Kaethe17
• Papierautobahn
• Sandra Folie
• Kritzolina
• Pikyidea
• Denis Barthel
• LSaddf
• Momel
• Weltenspringerin
• Reise Reise
• Raknete
• Bücherfresser
• Yi7cuGhe
• Sophie Elisabeth

Freiwillige für Fortsetzung der AG

• Grizma
• Medea7
• Leserättin
• Pikyidea
• Yi7cuGhe
• Papierautobahn
• Sophie Elisabeth
• DBarthel (WMF) als Schnittstelle zur WMF, falls gewünscht

Links zum Thema

Herangezogene Studien

• Ms. Categorized: Gender, notability, and inequality on Wikipedia von Francesca Tripodi (2021)
• Kritik Tilman Bayers zur Tripodi-Studie im Signpost
• Sind die Relevanzkriterien frauenfeindlich? Kurierbeitrag vom 24.2.2021 von Gestumblindi, der Anlass für die Untersuchung von Reise Reise war
• Faktencheck: Löschantragsquoten und Löschentscheidungsquoten nach Geschlecht in der deutschsprachigen Wikipedia Untersuchung von Reise Reise für das Jahr 2021

Siehe auch

• Testing discrimination in practice – Methodenarsenal, das eigene Vorurteile bei Studienerstellung, also den eigenen Bias oder Blinden Fleck berücksichtigt und zu eliminieren versucht
• Exploring Systematic Bias through Article Deletions on Wikipedia from a Behavioral Perspective von Zena Worku, Taryn Bipat, David W. McDonald, Mark Zachry (2020).
• Gender Bias in der deutschen Wikipedia von Studierenden der HU Berlin

Protokoll

Stichpunkte zur Tripodi-Studie

Die Studie enthält quantitative und qualitative Anteile. Die qualitative Betrachtung zum Gender Bias soll hier vernachlässig werden. Sie vermischt jedoch die qualitativen Beobachtungen „aus ethnografischen Studien“ mit der Fragestellung an die quantitative Analyse, was Anlass zur Kritik gab (siehe unten).
- Untersuchte Löschanträge auf Biografien im Zeitraum Januar 2017 bis Februar 2020 in der en-WP.
1. Zwei Ausgangshypothesen:

H1: Der prozentuale Anteil der Frauenbiografien, die jeden Monat zur Löschung vorgeschlagen werden, ist größer als der im Verhältnis zu allen verfügbaren Biografien bestehende Anteil der Frauenbiografien auf Wikipedia im gleichen Zeitraum.

H2. Frauenbiografien werden häufiger als nicht relevant (d. h. „nicht behalten“) eingestuft als Biografien von Männern.

Gesamtzahl aller betrachteten Biografien: 22.174

- Datensatz zeigte, dass der Anteil der Frauenbiografien, die jeden Monat zur Löschung nominiert wurden (von allen zur Löschung nominierten Biografien), größer war als der Anteil der verfügbaren Biografien über Frauen in der englischsprachigen Wikipedia im Allgemeinen. Von Januar 2017 bis Februar 2020 stieg die Zahl der Biografien über Frauen in der englischsprachigen Wikipedia von 16,83% auf 18,25%, doch der Anteil der Biografien über Frauen, die jeden Monat zur Löschung nominiert wurden, lag durchweg über 25%.
-> Rückschluss: Mit jeder „fehl“gelabelten Löschung verlängere sich der Zeitraum zur „Schließung“ des Gender Gaps.
-> Tripodi stellt fest, dass Frauenbiografien in der en-WP häufiger fehlerhaft als nicht relevant eingestuft werden (25% im Vergleich zu 17%), was in der Statistik als signifikante Differenz eingestuft wird.
-> Positiv: Frauenbiografien wurden trotz der höheren Nominierungsquote häufiger behalten als Männerbiografien.

Rückschlüsse in Bezug auf den Gender Gap

Das Problem der Unterrepräsentanz von Frauenbiografien in (en) WP geht über das Fehlen von Artikeln hinaus:

• Die Relevanzkriterien stellen für Frauenbiografien eine größere Hürde dar;
• Selbst Frauenbiografien, die die Relevanzkriterien erfüllen, haben eine höhere Wahrscheinlichkeit, einen Löschantrag zu erhalten als Männerbiografien, d. h.: Selbst wenn sie nach objektiven Kriterien relevant sind, werden sie subjektiv als weniger relevant bewertet;
• Auch wenn die Behaltensquote am Ende höher liegt, legt die höhere Nomininierungsquote nahe, dass für Frauenbiografien der Anspruch an die Artikelqualität höher liegt, mithin der Aufwand zur Erstellung mehr Zeit erfordert, ergo: weniger Zeit an der Quantität zu arbeiten.
• Das Zeitkontingent zum Organisieren von Schreibwerkstätten und -wettbewerben wird zusätzlich belastet, wenn ein höherer Aufwand für die QS, das Monitoring von Artikeln nach der VÖ und für die Argumentation in LDs anfällt.
  

-> Wenn relativ gesehen also mehr Frauen an Frauenbiografien arbeiten als Männer und entsprechende Schreibwerkstätten organisieren, die (gesamtgesellschaftlich gesehen) insgesamt weniger Zeit für WP aufbringen können (bekannte Argumente), vergrößert dies wiederum den Gender Gap.

-> Das wiederum könnte dafür verantwortlich sein, dass mehr Frauen WP den Rücken kehren (zuviel Arbeit). (=statistisch nicht belegbar, dass das der Fall ist / grz)

-> Das könnte eine Aussage über strukturelle Ausschlüsse in der WP-Hierarchie zulassen. Oder aber über generelle Ausschlüsse in der Gesamtgesellschaft.

Targeting von Schreibwerkstätten

• Edit-a-thons werden „getargeted“, also wegen der Beteiligung vieler Neulinge von mehr User*innen als üblich beobachtet und entsprechend wird auch ein Anteil von Artikeln zur Löschung nominiert.
• Personen, die sich mit der QS befassen würden sich hier weniger Zeit nehmen, „guten Willen“ an den Tag zu legen und diese einer ausführlicheren Prüfung zu unterziehen, Schreibwettbewerbe zu Frauenbiografien sind mithin überproportional in der Beobachtung und damit anfällig für Löschungen. (trifft auch auf LGBT-Bios zu).

Kritik von Tilman Bayer

1. Kritik an der Ausgangsfragestellung: Tripodi sei selbst voreingenommen an die Interpretation der erzielten Ergebnisse herangegangen, also mit der Absicht, einen Gender Bias zu beweisen.

-> Es müssten jedoch beim statistischen Vorgehen Störvariablen und kausale Zusammenhänge bei der Modellerstellung berücksichtigt werden

2. Der Verhältnis der weiblichen Biografien lebender Personen bzw. der in den letzten 50-70 Jahren geborenen, ist höher als ihr prozentualer Anteil an Biografien insgesamt.

-> Das folgt aus historischen Erwägungen: da die Geschichtsschreibung traditionell Leistungen von Frauen lange Zeit als weniger beachtenswert ansah bzw. die Tätigkeitsfelder, in denen Frauen tätig waren, nicht als lexikalisch relevant angesehen werden und dadurch weniger relevante Frauenbiografien in historischer Zeit existieren;

Schlussfolgerung: die Eingrenzung der Löschanträge auf einen bestimmten Zeitraum wäre sinnvoll

-> Zugleich folgt daraus die Problematik, dass sich die Relevanz lebender Personen möglicherweise weniger schnell klären lässt als die historischer Personen, über die bereits Forschung und Geschichtsschreibung existiert

3. Das Datum der Artikelerstellung müsste bei der Datenerhebung ebenfalls berücksichtigt werden; (das hat Reise Reise in seiner Studie getan, in seiner Kurzpublikation die Abbildung der übrigen Ergebnisse dann jedoch aus Platz- und Kapazitätsgründen zurückgestellt):

-> denn: aktuell veröffentlichte WP-Artikel werden sehr viel wahrscheinlicher auf Relevanz geprüft als schon lange Zeit bestehende Artikel (die u. U. nur durch Zufall „gefunden“ werden)

-> dabei ist ebenfalls der steigende Anteil von Frauenbiografien an Wikipedia insgesamt zu berücksichtigen, der bei neuen Artikeln gestiegen ist (auch das ein Ergebnis von Reise Reise)

4. Interpretation der quantitativen Ergebnisse widerspricht anderen Studien, die das Gegenteil als erwiesen sehen, wer hat Recht? Oder liegt die Wahrheit irgendwo in der Mitte?: Tripodis Ergebnis, dass Frauenbiografien zwar häufiger zur Löschung vorgeschlagen würden, aber weniger häufig tatsächlich gelöscht würden, führte für sie zu der Schlussfolgerung, dass tatsächlich ein Vorurteil gegenüber Frauen vorliege; für andere Studien war dies der Beleg dafür, dass keiner vorliege.

Stichpunkte zur Reise Reise-Studie

Ausgangsfrage ist anders: „Bei wie vielen der im Jahr 2021 erstellten Artikel zu Männern (in der de-WP) gab es im Jahr 2021 eine Löschdiskussion und bei wie vielen zu Frauen?“

• Untersuchungszeitraum: 2021
  
• 2.303 Löschanträge auf biografische Artikel: 1714 Männer, 586 Frauen, 3 nichtbinäre Personen;

->Auf die Gesamtanzahl der biografischen Artikel bezogen, ergäbe sich eine „Wahrscheinlichkeit für einen Löschantrag im Jahr 2021“ von ca 0,41 % auf Frauenbiografien und 0,24% auf Männerbiografien;

• Untersuchungsgegenstand: Lediglich LAs auf im Jahr 2021 erstellte, also neue Artikel, um Vergleichbarkeit zu ermöglichen.
  

-> das untersucht „Fairness“faktor, lässt jedoch Fragen zum Gender Gap aus dem Blick (mensch müsste auch LAs auf alte Artikel ins Verhältnis setzen)

• Ergebnis: Von allen biografischen Artikeln zu Männern oder Frauen, die im Jahr 2021 in der LD landeten, wurden 1075 Männer und 337 Frauen gelöscht.
• Im Jahr 2021 wurden insgesamt 35.948 Artikel über Männer und 12.159 Artikel über Frauen geschrieben.
  • Von den im Jahr 2021 erstellten Artikeln über Männer erhielten 3,50 % einen Löschantrag.
  • Von den im Jahr 2021 erstellten Artikeln über Frauen erhielten 3,56 % einen Löschantrag.

(** Von 14 Biografien nichtbinärer Personen erhielten 3 einen LA, alle 3 wurden gelöscht.)

Weiterführende Fragen

Welche Fragen müssten wir an eine entsprechende Studie für die de-WP stellen?

Strukturelle Fragen

• Täuschung oder Realität? Was sagen die Zahlen wirklich zum Gendergap?
• Löschdiskussionen auswerten?
• Forschungseinrichtung an Bord holen, um den Standpunkt so neutral wie möglich zu behandeln
• KIT Karlsruhe als Projektpartner? (Pikyidea hat Kontakte und kann vermitteln)
• Soziologie / Medienuni Babelsberg? (Kontakt ev. über Grizma)
• Förderungsmöglichkeiten über WMF (->Denis Barthel ansprechen):
  • https://meta.wikimedia.org/wiki/Grants:MSIG/About [Wikimedia MSIG Fund]
  • Wikimedia Research Technology Fund

Inhaltliche Fragen

• Was sagen die Daten?
• These im Vorfeld?
• Datenmaterial interpretieren, auswerten?
• Anliegen an die Studien vorher formulieren
• Suche nach Buzzwords in Löschdiskussionen?
• Gibt es Auffälligkeiten?
• CSV-Datei von Reise Reise runterladen, da er sie demnächst löschen will
• mit Personen der QS ins Gespräch kommen

Wann geht es weiter?

Nächstes Treffen: Ende Februar werden alle Interessierten, die sich im Chat eingetragen haben, benachrichtigt. Regelmässige Termine im monatlichen Rythmus sind angedacht.