Wikipedia:Projektdiskussion/Ein neues Tool zur Vandalismusbekämpfung – Automoderator

Dies ist eine archivierte Unterseite der Seite Wikipedia:Projektdiskussion. Benutze bitte die aktuelle Diskussionsseite, auch um eine archivierte Diskussion weiterzuführen. Um auf diese Diskussion zu verlinken, kopiere den Seitennamen aus der Adresszeile deines Browsers.

Mit der Umorganisation wurden alle aktiven Diskussionen auf die Hauptseite WP:Projektdiskussion übertragen und werden dort weitergeführt. Diese Seite dient nur als Archiv.

Hallo allerseits, ich heiße Sam Walton und bin der Produktmanager für das Moderator-Tools-Team. Wir arbeiten derzeit an einem Projekt namens Automoderator, das es Communitys erlaubt, böswillige Edits auf der Grundlage von Communityregeln automatisch zurückzusetzen. Wir hoffen auf Ideen und Feedback zu unseren bisherigen Plänen und haben eine Anzahl Fragen zu Themen vorbereitet, die wir mit der Hilfe von Sichter:innen und Administrator:innen gerne besser verstehen würden. Zusätzlich zum Überblick und zu den Fragen auf der Hauptseite des Projekts haben wir zwei Unterseiten mit spezifischeren Informationen angelegt:

• Wenn du die Genauigkeit des Automoderators untersuchen möchtest und prüfen möchtest, wie er sich mit verschiedenen Arten von Bearbeitungen verhält, haben wir eine ’Testmöglichkeit vorbereitet, sodass du uns dabei helfen kannst, neue Muster zu entdecken, die wir vor der Freischaltung des Automoderators berücksichtigen können.
• Der Evaluierungsplan ist der erste Entwurf unseres Plans, um festzustellen, ob Automoderator seine Ziele erreicht und keine negativen Auswirkungen hat. Wenn du Ideen zu Daten oder Metriken hast, die wir erfassen sollten, gib uns hier Bescheid!

Wenn du Fragen zum Automoderator oder Gedanken zur möglichen Nutzung durch deine Community hast, lass es mich bitte wissen! Samwalton9 (WMF) (Diskussion) 16:17, 19. Dez. 2023 (CET)

Hi Sam, this sound really interesting, but I fear not many people will see it on this page. Have you thought about bringing this to the administrator's noticeboard? I think it might be a good place to make more people aware of what is happening. Best, Kritzolina (Diskussion) 16:45, 19. Dez. 2023 (CET)

Um das inhaltlich noch etwas klarer zu formulieren: Es geht um eine Art „KI“-gestützen Automatismus, bei denen Revertierung von Bearbeitungen sofort automatisch erfolgen soll, wenn die KI anhand eines Scoring der Meinung ist, dass es eine unerwünschte Bearbeitung wäre.

Menschen sollen hier nicht mehr involviert werden, oder könnten sich hinterher anhand einer Art Bot-Beitragsliste angucken, was revertiert wurde.

Jüngstes europäisches Recht hatte sich übrigens grad zur Zulässigkeit solcher reinen Automatismen und Entscheidungen per Scoring geäußert; Tendenz: eher unzulässig.

Aktivierung bedürfte fraglos eines MB.

VG --PerfektesChaos 16:57, 19. Dez. 2023 (CET)

Das Ganze ist auch ohne EU-Recht eine blöde Idee. --DaB. (Diskussion) 18:07, 19. Dez. 2023 (CET)

Was soll denn die Schufa-Entscheidung des EuGH [1][2][3] mit Automoderator zu tun haben? Dort ging es um Datenschutz und das automatisierte Scoring von Menschen im Rahmen eines Vertragsschlusses, das ist etwas ganz anderes als die automatisierte Moderation von Nutzerbeiträgen in einem Online-Enzyklopädieprojekt. --Johannnes89 (Diskussion) 20:22, 19. Dez. 2023 (CET)

Es ist der Spirit. Einstufung von „Kunden“ (jemand, der ein Wiki bearbeiten möchte, oder eine Krankenversicherung oder einen Mietvertrag haben möchte) allein durch maschinelle Entscheidung ohne menschliche Mitwirkung, basierend auf einem Scoring. VG --PerfektesChaos 20:47, 19. Dez. 2023 (CET)

„Spirit“ war in meinem Jurastudium bisher selten ein Argument. Weder geht es hier um einen Vertragsschluss, noch dürfte das in sonstiger Form unter Art. 22 DSGVO fallen, schließlich entfaltet ein automatischer Revert keinerlei rechtliche Wirkung oder ist „in ähnlicher Weise erheblich beeinträchtig[end]“ --Johannnes89 (Diskussion) 20:59, 19. Dez. 2023 (CET)

Thanks for the suggestion @Kritzolina! I'll post there too. --Samwalton9 (WMF) (Diskussion) 17:33, 19. Dez. 2023 (CET)

Irgendwo hatte ich gelesen, dass es schon den Vorschlag gab, den Automoderator (blödes Wort für Gebrauch auf Deutsch, hier wird ja nichts moderiert) lediglich eine Liste ausgeben zu lassen, welche Edits er revertieren würde, ein Mensch schaut drüber und führt den Revert am Ende auf seine Verantwortung aus – quasi als Hinweis auf „vergessenen“ Vandalismus. Einen Revertbot wird man hier nicht einführen wollen und auch nicht müssen, wir haben die Gesichteten Versionen, um Vandalismus von der unmittelbaren Artikelanzeige fernzuhalten. -- hgzh 18:26, 19. Dez. 2023 (CET)

Unter Wikipedia Diskussion:WikiProjekt Vandalismusbekämpfung/Archiv/2023#New Wikimedia Foundation project - Automoderator gabs im September auch schonmal ne Diskussion dazu. Ich wäre deutlich offener für das Projekt als vermutlich der Communitydurchschnitt, aber in der verlinkten Diskussion wurde auch bereits angesprochen, dass es denkbar wäre, anstelle von Reverts das Programm einfach nur mitloggen zu lassen.

Hier geht es aber ja erstmal einfach nur darum, die Qualität des Tools außerhalb von dewiki zu testen, daran hab ich mich gerne beteiligt. Wenn es irgendwann mal fertig ist und andere Wikis es einsetzen, können wir dann ja in Ruhe diskutieren (inkl. Umfrage, MB etc.), ob (und falls wenn ja in welcher Form) das Tool auch für dewiki denkbar wäre. --Johannnes89 (Diskussion) 19:55, 19. Dez. 2023 (CET)

Gegen eine abrufbare Wartungsliste „Welche Pubertier-Vokabeln usw. wurden in den letzten 72 Stunden eingefügt und sind bislang noch nicht revertiert worden“ hat niemand was einzuwenden.

Das ist jedoch nicht die Intention des hier vorgestellten Werkzeugs. Das heißt ja nicht umsonst „Auto-“ und das kommt von Automatismus.

Eine der Tücken dieses Scoring, wie seit fast einem Jahrzehnt mit derlei Mechanismen beobachtet werden kann, ist „anonym [IP] höchstwahrscheinlich böööhse – advanced editor guuuuuut“. Da kommen unsere RCler im Zweifelsfall auch selbst drauf, und deshalb lassen sich die registrierten ja ausblenden. Nett wäre es, wenn die auch noch Benutzer-Level (unterhalb Sichter) ausblenden könnte. Sie lässt sich aber auf ungesichtete Beiträge fokussieren, und das sind (abgesehen von Folgebeiträgen selbst durch aktive Sichter) grad die mit dem größten Fokus.

So eine Wartungsliste könnten allerdings auch unsere Bots generieren, wenn deren Herrchen oder Dämchen sich langweilen sollten, aber sie sollte nicht auf eine deWP-Seitenversion geschrieben werden. Da könnten dann tatsächlich Prioritäten gesetzt werden; sehr analog einem Bearbeitungsfilter, mit usergroup und allerlei verdächtigen Schlüsselwörtern oder Aktionstypen (unbelegte große Löschungen), ggf. nur für Nicht-Sichter. Anders als ein Bearbeitungsfilter aber nicht mit jahrzehntelangem unlöschbarem Logbuch-Eintrag für Konten.

VG --PerfektesChaos 20:06, 19. Dez. 2023 (CET)

Da manche Projekte so mit Vandalismus/Spam geflutet sind, ohne die selben RC-Kapazitäten zu haben wie wir, dass sie (z.B. ptwiki / fawiki) IP-Bearbeitungen im ANR komplett verhindern oder über einen solchen Schritt zumindest nachdenken, wird das Tool für manche Projekte sehr willkommen sein (andere wie z.B. enwiki / ruwiki nutzen ja sowieso schon Anti-Vandalismusbots).

Wenn wir das gleiche Tool mit einer harmlosen Funktion (Kontrollliste potentiell verdächtiger Edits) nutzen können, wäre das doch schön. Klar könnte man sowas auch per Bot, Editfilter o.Ä. selbst machen, aber dann hätten wir die Arbeit und nicht das WMF-Team, was sowieso am Tool sitzt. Insofern unterstütze ich die Testrunde gerne. --Johannnes89 (Diskussion) 20:16, 19. Dez. 2023 (CET)

Der Vorläufer des jetzt hier vorgestellten WMF-Projekts war mw:ORES, ein privat (volunteer) begonnenes Projekt.

• Das ist fast ein Jahrzehnt zugange gewesen; wir hatten uns seinerzeit schon mal intensiv damit beschäftigt und das Konzept wurde recht breit abgelehnt.
• Während das ausführlich über „Edit quality“ und „Article quality“ philosophiert, war es mir noch niemals gelungen, valide und belastbare Aussagen über „ORES quality“ zu finden: Wie zuverlässig sind die von ORES behaupteten Scoring-Einschätzungen? Hat offenbar niemals jemand nachgemessen. Hat viel Murks detektiert, ja, aber die Masse war offenkundig und berechtigt. Der Anteil der false positives ist nie ermittelt worden, die Newbie-Verscheuchung auch nicht.

Das hier zur Diskussion stehende Werkzeug sagt: automated prevention or reversion of bad edits based on scoring from a machine learning model

• Heißt: Nix mit Vorschlägen. Ausführen, jetzt, sofort. Speicherung blockieren, oder revertieren. Ausdrücklich keinerlei „Kontrollliste“.
• machine learning model heißt: Wenn von 100 anonymen Edits 60 revertiert wurden, dann bedeutet dieser automatische Lernprozess, dass anonyme Edits höchstwahrscheinlich Vandalismus sind, und die eigentlich auch alle revertiert werden können. Das machine learning model in der KI bedeutet, dass das häufigste Verhalten in der Vergangenheit das wahrscheinlich richtige ist und stabilisiert werden muss. Wenn unsere Firma in der Vergangenheit vorwiegend Männer und Inländer eingestellt hatte, dann sind auch zukünftig Frauen und Ausländer ungeeignet und deshalb gar nicht erst zum Vorstellungsgespräch einzuladen.

Die enWP setzt schon seit etlichen Jahren automatisch revertierende Bots ein.

• ClueBot NG, SeroBOT, Dexbot sind bei dem in Rede stehenden Automoderator explizit genannt worden. Das Ziel sei, deren Automatismen allen Wikis zur Verfügung zu stellen. Meines Wissens verwenden diese Bots wohl das von ORES generierte Scoring.
• Die enWP berichtet, ohne vollautomatische Edit-Revertierung könne sie ihren ANR nicht mehr sauber halten.
• Die haben aber auch kein Sichtungssystem.
• Auf FZW beklagen sich zuweilen zuverlässige hiesige Autoren, sie hätten eine hiesige Erkenntnis in den dortigen Artikel einpflegen wollen, wären aber nach wenigen Sekunden von einem Bot revertiert worden. Weil sie nur geringen enWP-Editcount haben, wurden sie als offenkundige Vandalen identifiziert.

VG --PerfektesChaos 20:47, 19. Dez. 2023 (CET)

Warum schreibst du mir das? Ist doch alles bekannt, du hingegen hast offenbar die bereits oben verlinkte Diskussion nicht gelesen, in der es hieß, dass ein „log-only mode“ als feature überlegt wird.

Da wir uns einig sind, dass dewiki automatische Reverts wohl mehrheitlich ablehnt, müssen wir gar keine Zeit verschwenden, darüber zu diskutieren, zumal auch keine Gefahr droht, dass das Tool gegen unseren Willen zu uns kommt. Interessierte Projekte bekommen es, alle anderen halt nicht.

Wenn wir aber Interesse and nem log-only feature haben und diesbezüglich nichts selbst entwickeln wollen, sollte man sich an dem Test beteiligen.

Und wenn du mit Blick auf frühere Projekte skeptisch bist, wie zuverlässig das sein kann, wäre eine Teilnahme am Test ja umso sinnvoller, im Google Spreadsheet / ods file kann man sich die „risk scores“ von 5.000 zufälligen dewiki Edits anschauen. --Johannnes89 (Diskussion) 21:14, 19. Dez. 2023 (CET)

Wie soll sich jemand aus dewiki „an dem Test beteiligen“, wenn dewiki explizit dieses Werkzeug automated prevention or reversion of bad edits ablehnt; mindestens aber ein 2/3-MB selbst für einen Probelauf beizubringen wäre?

Was hat jemand aus dewiki der Community von ptwiki oder fawiki oder sonstwem reinzuquatschen, wie deren Community mit ihren Bearbeitungen und Newbies umzugehen hat?

Was jemand als Kommentar dort hinterlassen kann, und damit wäre unsere Beteiligung vermutlich bereits erschöpft: „Welche Pubertier-Vokabeln usw. wurden in den letzten 3 (oder 7, 14, 30) Tagen eingefügt (probably bad edits, bad actions) und sind bislang noch nicht revertiert worden“ ohne ewig gespeichertes und den Konten zugeordnetes BF-Log oder tagging und als off-wiki-page.

VG --PerfektesChaos 21:28, 19. Dez. 2023 (CET) 21:30, 19. Dez. 2023 (CET)

Wie das geht würde dir mw:Moderator Tools/Automoderator/Testing beantworten: Es findet kein onwiki Test statt, sondern anhand von Datasets bereits vergangener Bearbeitungen aus verschiedenen Projekten wird verglichen, wie man selbst handeln würde vs. wie das Tool die jeweiligen Edits beurteilt.

Und sollte es irgendwann mal onwiki Tests geben, wären die bei uns halt (nach MB) im log-only mode, was ja sowieso der einzige Modus ist, der halbwegs Chancen auf Community-Support haben könnte. Insofern müssen wir wie gesagt wirklich nicht über automatische Reverts bei uns sprechen. --Johannnes89 (Diskussion) 21:37, 19. Dez. 2023 (CET)

im Google Spreadsheet / ods file kann man sich die „risk scores“ von 5.000 zufälligen dewiki Edits anschauen – ich will keine Liste von 5000 Edits vorgesetzt bekommen, die ich jeder einzeln persönlich zu evaluieren habe – ich will eine aggregierte Auskunft von reputabler (=menschlicher) Seite, zu wie viel % dieser 5.000 Edits es sich tatsächlich um revertierungswürdigen Vandalismus handeln würde (ich glaub ja gern an 98 % oder 97 % oder 99 %), und wieviel % (also 100, 150 oder 50 false positives), die entsprechend 100 potenzielle Neu-Autoren automatisiert raugegrault hätten.

Also nicht 5.000 Rohdatensätze, sondern nur eine einzige Prozentzahl. Wobei sich auch menschliche RCler irren können und mal im Dauerklick-Modus eine eigentlich korrekte Tippfehler- oder Zahlendreher-Korrektur wegklicken können.

Wer also möchte, kann als Testkarnickel alle diese 5.000 Rohdatensätze durcharbeiten und zu jedem eine menschliche Revert-Begründung vermerken, damit ich dann diese stichprobenartig nachprüfen kann, wenn ich mir schon die 5.000 Einträge angucken muss.

VG --PerfektesChaos 21:44, 19. Dez. 2023 (CET)

Und genau das kann niemand in der Foundation leisten, weil die nicht beurteilen DÜRFEN, was wir tatsächlich revertieren würden und mit welcher Begründung. Das ist unsere Entscheidungshoheit, deshalb müssen wir gucken und Karnickeln, damit dann andere diesen Prozentsatz haben ... --Kritzolina (Diskussion) 09:36, 22. Dez. 2023 (CET)

Nun ja, dann kann ja zunächst jemand, der Soziologie oder dergleichen zumindest angefangen hat zu studieren, und in „Methoden 1“ ein „gut“ oder wenigstens „befriedigend“ bekam, die Konfiguration einer belastbaren Analyse aufsetzen. Also eine, die man nicht sofort in die Tonne treten muss, wegen falschem methodischem Ansatz und fehlender Aussagekraft und keinerlei Zuverlässigkeit.

• Ich will, dass 1.000 Fälle eingeschlossen sind, bei denen die KI auf „revertieren“ beurteilt hatte.
• Es muss zu jedem untersuchten Fall eine Begründung geben (reicht Auswahl aus mehreren Standardbegründungen), warum ein Mensch auf „revertieren“ entschieden hatte. Es ist der Nick der Person beizugeben, die das menschlich eingestuft hatte.
• Wenn von Menschenseite die Bearbeitung eingestuft wird, darf auf gar keinen Fall sichtbar sein, welches Ergebnis die KI für denselben Fall hatte. Andernfalls kommt es zum „Confirmation Bias“, heißt, nach einigen Dutzend Fällen bestätigen die Menschen nur noch stereotyp immer überall den KI-Vorschlag.
• Ich gestehe menschlichen RClern eine Fehlerquote von 1 % vorschneller, übereifriger Revertierungen zu.
• Die KI muss sich als mindestens genauso gut, eher besser als Menschen erweisen. Jede falsche Revertierung vergrault potenzielle Neuautoren und schadet dem Projekt.
• Das Ergebnis der KI ist abzugleichen mit einer trivialen Regel „anonym bööööhse – Sichter guuuuut“. Um wieviel genauer ist der KI-Aufwand verglichen mit einem simplen Algorithmus basierend auf Gruppe?
• Der zu analysierende Satz muss eine realistische Zusammensetzung der Bearbeitungen enthalten; also die präsentierten guten und schlechten Edits müssen in etwa im gleichen Zahlenverhältnis stehen wie die Realität.
• Es ist dann auch zu ermitteln, in welchem Umfang die KI schlechte Bearbeitungen akzeptiert als geeignet hatte, die Menschen revertiert hätten, um die Projektqualität zu sichern.
• Werden die aufgezählten Mindeststandards nicht eingehalten, war die komplette Analyse wertlos.
• Zur Erinnerung: Alle bisherigen Konzepte des „Auto-moderator“ sehen nur eine automatisierte Revertierung vor. Von Vorschlägen ist bislang nur als theoretische Möglichkeit die Rede.

Es bedarf keinerlei MB, sondern kann in den nächsten Stunden eingeführt werden, als Ausgabe eines Tools eine Vorschlagsliste verdächtiger Bearbeitungen außerhalb Wikitext-Seiten der deWP darzustellen.

• Die Liste sollte nur die letzten 3, 7 oder ähnlich Tage umfassen.
• Um Doppelarbeit zu vermeiden, sollten autorisierte Menschen die Möglichkeit erhalten, bereits nachgeprüfte und als false positive eingestufte Fälle von der Liste zu eliminieren.
• Dafür sind Authentisierung mittels H:OAuth und Sichterrechte erforderlich, weil sonst alle Vandalen in einem sozialen Hetzwerk eine Anleitung kommunizieren können, dass Vandalismus eines zweistufigen Prozesses bedarf: 1. vandalierende Bearbeitung; 2. Bearbeitung auf der KI-Liste als ordnungsgemäß klassifizieren.
• Wenn bereits von anderer Seite ein Revert erfolgte, soll die Bearbeitung nicht mehr auf der Vorschlagsliste erscheinen.
• Hilfreiche Verlinkungen sind beizugeben. Wenn per H:OAuth autorisiert wurde, kann per procura auch ein Revert mit Bearbeitungskommentar erfolgen.

VG --PerfektesChaos 10:06, 22. Dez. 2023 (CET)

Ich sehe den Sinn davon nicht. Leicht erkennbare, unerwünschte Beiträge werden auf de-WP doch durch die Gesichteten Versionen abgefangen. Die ganzen (KI-) Bots sind doch nur dann von Bedeutung, wenn es keine gesichteten Versionen gibt, wie auf en-WP. Grüße --h-stt !? 19:40, 27. Dez. 2023 (CET)

Auch leicht erkennbarer Unsinn muss von irgendwem revertiert werden. Dafür kann man sich entweder beim Nachsichten Zeit nehmen oder direkt schon wenn diese Edits geschehen (letzteres halte ich für effizienter). Dann wäre eine Übersicht potentieller Vandalismusedits praktisch, anstatt dass man Spezial:Letzte Änderungen mithilfe der dortigen Filter durchforsten muss. --Johannnes89 (Diskussion) 17:37, 2. Jan. 2024 (CET)

Das Angebot sollte rundweg und bedingungslos abgelehnt werden. Ein solches Tool wäre ein Sargnagel für das Projekt Wikipedia, wie es mir am Herzen liegt. Automatisierte Reverts kommen überhaupt nicht infrage, aber selbst Log-only-Lösungen halte ich für den Eintritt des Katastrophenfalls. --Mautpreller (Diskussion) 13:40, 2. Jan. 2024 (CET)

Inwiefern wäre eine Übersicht von Edits, die man auf Vandalismus kontrollieren sollte, der Eintritt eines Katastrophenfalls? Wäre doch wenig anderes als eine gefilterte Version von Spezial:Letzte Änderungen (wo man jetzt schon Eingrenzungen vornehmen kann [4]), zumal wir auch seit Jahren Bearbeitungsfilter haben, die z.B. potentiellen Linkspam durch frisch angemeldete Konten im Hintergrund mitloggen. --Johannnes89 (Diskussion) 17:37, 2. Jan. 2024 (CET)

Ich sehs schon vor mir: Dann werden Edits zurückgesetzt, weil sie von einer Künstlichen Intelligenz (!) als schädlich markiert wurden. Ich kenn doch unsere Community (und unsere RCler). Damit sollten wir gar nicht erst anfangen. Die Bearbeitungsfilter sind ohnehin schon problematisch genug. Die Wikipedia verliert Schritt für Schritt ihren Charakter als offene Enzyklopädie. --Mautpreller (Diskussion) 19:54, 2. Jan. 2024 (CET)

Vollkommene Unterstützung. Der Einsatz von KI würde faktisch zu einem Monopol des Verantwortlichen der KI über die Wikipedia und dabei das freie Wissen führen. Das ist das genaue Gegenteil von dem, was die Wikipedia als Ziel hat. --Viele Grüße Pastelfa (Diskussion) 13:39, 28. Jan. 2024 (CET)