Wikipedia:Fundraiser 2013/Tests

 

Informationen rund um den Fundraiser

Portalseite

Kampagnentests

Spender-Umfrage 2013

Persönliche Aufrufe 2012

Portalseite WMF zum Fundraiser 2013
Portalseite Fundraiser 2012

Chat-Kanal Wikimedia Fundraising
#wikimedia-fundraising

Bei der Gestaltung und Durchführung der jährlichen Spendenkampagne für Wikipedia und Freies Wissen stellen Kampagnentests einen wichtigen Grundpfeiler dar. Mit Hilfe von Bannern und Spendenaufrufen versuchen wir möglichst viele Leser von einer Unterstützung zu überzeugen. Grüne, gelbe oder blaue Banner, Aufrufe als Text oder Video, mit kurzen oder langen Botschaften - die Möglichkeiten der Kampagnengestaltung sind vielfältig. Es bedarf daher einer verlässlichen Orientierungshilfe, die sicher stellt, dass man auf dem richtigen Weg ist. Das Testen der Kampagnenelemente ist hierbei unser Kompass. Es ist die wichtigste Entscheidungsgrundlage für die Auswahl von Bannern und des Designs der Spendenseiten.

Auf dieser Portalseite veröffentlichen wir unsere Testergebnisse. Wenn ihr also wissen wollt, warum die aktuellen Banner so aussehen wie sie aussehen oder warum die Spendenseite dieses und nicht jenes Layout hat, seid ihr hier genau richtig. Ihr seid natürlich herzlich dazu eingeladen, auf der Diskussionseite Testergebnisse zu diskutieren. Natürlich könnt ihr auch eigene Testideen vorschlagen.

Wie wird getestet?

Anders als die meisten anderen gemeinnützigen Organisationen können wir die Elemente unserer Kampagnen aufgrund des hohen Besucheraufkommens umfassend und valide testen. Dazu führen wir A/B-Tests durch, bei denen zwei oder mehr Versionen eines Banners oder einer Spendenseite gleichzeitig geschaltet werden und für jeweils eine Hälfte der Nutzer sichtbar sind. Anhand verschiedener Kennzahlen können wir anschließend evaluieren, welche Version erfolgreicher war. Mithilfe eines statistischen Signifikanztests (i.d.R. Chi-Quadrat-Test) prüfen wir, ob wir dem Ergebnis vertrauen können.

Als eingeloggter Nutzer wird man von den Kampagnentests nichts merken, da wir die Banner nur nicht angemeldeten Lesern zeigen. Zudem werden wir in diesem Jahr die Sichtbarkeit der Tests zusätzlich einschränken und einige Bannertests nur auf 1% bis 5% der in Wikipedia geladenen Seiten schalten. Um eine genügend große Stichprobe zu erhalten, müssen die Tests dadurch über einen längeren Zeitraum laufen. Ein wichtiger Vorteil dieser Methode besteht darin die Repräsentativität des Samples zu erhöhen, da nun Nutzer aus unterschiedlichen Uhrzeiten und Wochentagen einfließen.

Wann wird getestet?

Zur Vorbereitung der Spendenkampagne werden wir ab August regelmäßig Tests durchführen. Auf unserer Portalseite werden wir die Tests in der Regel ankündigen.

Testergebnisse de.wp.org

Test 1: Faktenbanner: Aufruf im Dropdown

Montag, 5.8. 2013, 11:00 bis Freitag, 9.8. 2013, 10:00

An den Beginn unserer Testreihe zur Vorbereitung der Spendenkampagne stellten wir eine konzeptionelle Fragestellung. Im letzten Jahr konnten wir sehen, dass beim Faktenbanner eine Änderung der Inhalte nach dem Aufklappen des Dropdowns kaum Einfluss auf das Spendenverhalten hatte. Auch die WMF verzichtete auf zusätzliche Inhalte im Dropdown. Daher testeten wir zwei Versionen des Faktenbanners. In der einen Variante wurde der Aufruf von Dr. Cueppers angezeigt, in der zweiten war nur noch das nun in der Mitte zentrierte Spendenformular zu sehen. Das Testergebnis steht in Kontinuität mit den Erkenntnissen des letzten Jahres. Mit oder ohne Aufrufe - beim Faktenbanner macht dies kaum einen Unterschied. Beide Varianten liefen nahezu auf dem selben Niveau.

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
mit_Aufruf	5F	1082000	18500	1113	828	14190.77	17.14	0.017098	0.001029	0.06016	0.0007652	0.04476	0.74394	0.0131153	19.34
nur_Form	5F	1055500	18485	1184	865	14185.39	16.40	0.017513	0.001122	0.06405	0.0008195	0.04679	0.73057	0.0134395	18.31

• Spende/Klick: +4,55% (p-value = 0.3704)

Test 2: Faktenbanner: Fakten- vs. 5€-Banner

Dienstag, 27.8.2013, 16:15 - Donnerstag, 29.8.2013, 19:00 (1% der WP-Seitenladungen)

Weniger ist manchmal mehr - das erfolgreichste Banner im letzten Jahr zeigte lediglich einen einzigen Satz: den wirkungsstarken "5€-Spruch". Unsicher waren wir uns allerdings, ob dieser Erfolg darauf basierte, dass wir das Banner zum Ende der Kampagne schalteten. Viele Leser hatten zuvor vermutlich das Faktenbanner gelesen und kannten wesentliche Informationen bereits. In diesem Jahr war es daher für uns wichtig gleich zu Beginn der Kampagnentests die Wirkung des 5€-Banners zu prüfen. An den Ergebnissen können wir nun sehen, dass für den Erfolg des Banners der Zeitpunkt der Kampagne keine Rolle zu spielen scheint. Mit 45% Steigerung der Spendenrate (Spende/Imp) stellt sich wie zuvor das 5€-Banner als viel erfolgreicher als das Faktenbanner dar. Bei einem genauen Blick lassen sich jedoch Unterschiede zu den Tests im letzten Jahr feststellen: Die aktuelle Steigerung beruht wesentlich auf einer enorm erhöhten Klickrate, im Gegensatz zu 2012, wo weniger Menschen zum Klicken bewegt werden konnten, von denen jedoch ein viel höherer Anteil spendete - eine gänzlich andere Wirkungsweise, die eventuell auf den Kampagnenzeitpunkt zurückzuführen ist.

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Faktenbanner	379600	9725	493	418	7668.52	18.35	0.025619	0.001299	0.05069	0.0011012	0.04298	0.84787	0.0202016	15.06
5€-Banner	378300	15576	698	604	9250.32	15.32	0.041174	0.001845	0.04481	0.0015966	0.03878	0.86533	0.0244523	20.67

• Klick-Rate: p-value < 2.2e-16; Spende/Imp: p-value = 4.382e-09; Spende/Klick: p-value = 0.1127

--Tobias Schumann (WMDE) (Diskussion) 14:48, 3. Sep. 2013 (CEST)

Test 3: Liebe Leserinnen und Leser

Mittwoch, 4.9., 12:00 - Samstag, 7.9., 14:00

Im letzten Jahr konnten wir sehen, wie wirksam die direkte Ansprache der Leser im Banner ist. Im aktuellen Test wollten wir herausfinden, ob die regelmäßig niedrige Quote weiblicher Spender - und damit die gesamte Spendenquote - im Rahmen der Ansprache gesteigert werden kann. Wir verglichen daher "Liebe Leser" mit "Liebe Leserinnen und Leser". Leider wirkt sich, wie die Testergebnisse zeigen, die geänderte Ansprache nicht positiv aus.

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Leser	1448000	19912	963	852	16496.29	19.36	0.013751	0.000665	0.04836	0.0005884	0.04279	0.88474	0.0113925	20.24
Leserinnen und Leser	1452000	19784	1097	886	18534.21	20.92	0.013625	0.000756	0.05545	0.0006102	0.04478	0.80766	0.0127646	21.76

• Spende/Imp: p-value = 0.4486

--Tobias Schumann (WMDE) (Diskussion) 14:13, 12. Sep. 2013 (CEST)

Test 4: 5€-Banner: Aufruf im Dropdown

Mittwoch, 11.9., 11:45 - Montag, 16.9., 11:30

Wie bereits im ersten Test diesen Jahres prüften wir hier die Wirkung eines persönlichen Aufrufs. Diesmal wollten wir sehen, welchen Effekt der Aufruf von Dr. Cueppers in Kombination mit dem 5€-Banner hat. Erneut mussten wir feststellen, dass es praktisch keinen Unterschied für das Spendenverhalten macht, ob ein Aufruf nach dem Aufklappen des Banners angezeigt wird oder nicht.

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
mit_Aufruf	1435400	12427	770	632	9813.79	15.53	0.008658	0.000536	0.06196	0.0004403	0.05086	0.82078	0.0068370	18.31
kein_Aufruf	1460500	12299	776	636	9345.00	14.69	0.008421	0.000531	0.06309	0.0004355	0.05171	0.81959	0.0063985	16.73

• Spende/Klick: +1,7% (p-value = 0.7607)

Test 5: Größe Spendenbutton

Donnerstag, 19.9., 14:00 - Dienstag, 24.9., 11:00 Uhr

In den kommenden Wochen werden wir uns verstärkt mit dem Bezahlprozess der Spendenseite beschäftigen und unter anderem verstärkt am Layout des Spendenformulars arbeiten. Als einen ersten Schritt testeten wir diese Mal vier verschiedene Größen des Spendenbuttons im Formular. Laut den Ergebnissen unseres Tests wirkt sich dies nicht auf die Spendenrate aus.

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
ctrl	1178200	14922	789	667	12969.00	19.44	0.012665	0.000670	0.05287	0.0005661	0.04470	0.84537	0.0110075	22.12
groß	1183200	15215	811	675	13449.48	19.93	0.012859	0.000685	0.05330	0.0005705	0.04436	0.83231	0.0113670	22.73
größer	1188200	14854	803	675	12896.59	19.11	0.012501	0.000676	0.05406	0.0005681	0.04544	0.84060	0.0108539	22.39
am größten	1175600	15031	806	674	12664.31	18.79	0.012786	0.000686	0.05362	0.0005733	0.04484	0.83623	0.0107726	25.90

Test 6: Rollo-Funktion

Donnerstag, 26.9., 12:00 - Samstag, 28.9., 0:00 Uhr

Aus der Evaluation der Tests des letzten Jahres wissen wir, dass es einer der wichtigsten Erfolgsfaktoren ist, die Aufmerksamkeit der Leser zu erreichen. Entsprechende Änderungen des Bannerlayouts waren häufig erfolgreich. Mit dem aktuellen Test gingen wir in diesem Bereich neue Wege und prüften die Wirkung eines Banners, dass nach dem Laden der Webseite ähnlich eines Rollo in seine Position heruntergleitet. Die Ergebnisse bestätigen unsere These: Die Klick-Rate konnte wesentlich gesteigert werden, so dass auch insgesamt die Spenden-Rate steigt - und das um ganze 22%!

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Ctrl	848500	31211	1011	841	16243.62	19.31	0.036784	0.001192	0.03239	0.0009912	0.02695	0.83185	0.0191439	23.85
Rollo	817500	35920	1175	988	19383.55	19.62	0.043939	0.001437	0.03271	0.0012086	0.02751	0.84085	0.0237108	21.71

• Klick Rate: +15,1% (p-Wert < 2.2e-16)
• Spende/Imp: +21,9% (p-Wert = 2.275e-05)

Test 7, 8 und 9: kleiner Beitrag, 1€, 5€ oder 10€?

Im Oktober konzentrierten wir uns auf eine kleine Variation mit großer Wirkung. Unser aktuell erfolgreichstes Banner enthält lediglich den einen Satz: "Wenn jeder 5€ spenden würde,...". Schon aus dem letzten Jahr wissen wir, dass eine Veränderung des Betrags Auswirkung auf die Spendenbereitschaft der Leser hat. Nun prüften wir, welchen Unterschied es macht, wenn man den Satz mit 1€, 10€ oder einem "kleinen Beitrag" variiert. Im Hintergrund steht dabei die Überlegung, dass mit einem kleineren Beitrag die Hürde zu spenden deutlich gesenkt wird. Andererseits verändert sich einhergehend der Spendendurchschnitt. Dies ist an den Testergebnissen deutlich zu sehen: Je höher der genannte Betrag, desto höher der Spendendurchschnitt. Am höchsten ist der Wert bei der offenen Formulierung vom "kleinen Beitrag." Aber auch die Spendenrate verändert sich je nach genannter Spendenhöhe stark. Mit der "1€"-Variante können sogar so viele Menschen von einer Spende überzeugt werden, dass der Nachteil des niedrigen Durchschnitts wettgemacht werden kann. In unserem Fall heißt es also: "Masse statt Klasse".

Test 7, Dienstag, 1.10., 16:30 - Montag, 7.10., 18:00 Uhr

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
5€	2953100	20813	1413	1202	21055.43	17.52	0.007048	0.000478	0.06789	0.0004070	0.05775	0.85067	0.0071299	18.78
kl.Beitrag	2932200	22060	1052	832	16914.83	20.33	0.007523	0.000359	0.04769	0.0002837	0.03772	0.79087	0.0057686	21.38

Test 8, Freitag, 18.10., 12:15 - Dienstag, 22.10., 16:00 Uhr

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
5€	2182600	15738	1030	823	12660.66	15.38	0.007211	0.000472	0.06545	0.0003771	0.05229	0.79903	0.0058007	20.18
1€	2210700	18132	1438	1168	15061.13	12.89	0.008202	0.000650	0.07931	0.0005283	0.06442	0.81224	0.0068128	21.44

Test 9, Mittwoch, 23.10., 12:00 - Dienstag, 29.10., 11:00 Uhr

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
1€	3203800	23320	1801	1403	18152.33	12.94	0.007279	0.000562	0.07723	0.0004379	0.06016	0.77901	0.0056659	20.81
10€	3262600	21032	1135	880	16387.12	18.62	0.006446	0.000348	0.05397	0.0002697	0.04184	0.77533	0.0050227	21.55

--Tobias Schumann (WMDE) (Diskussion) 10:48, 4. Nov. 2013 (CET)

Test 10 und 11: Formular im Banner

Von den Tests der WMF wissen wir, dass ein Formular direkt im Banner ein großes Potential darstellt. Hier nun prüften wir dies in unseren Bannern. Und: Tatsächlich führt das neue Bannerkonzept zu einer enormen Steigerung der Spendenrate. Im ersten Test versuchten wir den Effekt der Integration des Formulars möglichst isoliert zu betrachten und passten unser Faktenbanner (mit Drop) dem Formularbanner graphisch stark an. Erwartungsgemäß sankt die Klick-Rate enorm. Doch die Spendenrate wurde um ganze 98% gesteigert. Im zweiten Test ließen wir dann das Formularbanner gegen unser aktuell bestes Banner laufen. Auch hier kam es zu einer immer noch 79%igen Steigerung der Spendenanzahl pro Impression.

Test 10 Donnerstag 30.10., 14:00 - Freitag 01.11., 14:30 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
ohne_Formular_mod	5F	1034000	10862	663	513	9733.50	18.97	0.010505	0.000641	0.06104	0.0004961	0.04723	0.77376	0.0094134	23.04
mit_Formular	5F	1023700	0	1904	1006	18746.33	18.63	0.000000	0.001860	0.00000	0.0009827	0.00000	0.52836	0.0183123	14.56

Test 11

Freitag 01.11. 14:30 - Dienstag 05.11. 16:00 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
ohne_Formular_1€	5F	2276500	17836	1466	1131	14962.16	13.23	0.007835	0.000644	0.08219	0.0004968	0.06341	0.77149	0.0065724	19.41
mit_Formular	5F	2276400	0	4515	2027	38018.39	18.76	0.000000	0.001983	0.00000	0.0008904	0.00000	0.44895	0.0167011	20.66

• Signifikanz Anz/Imp: p=2,80648183729183E-57 (Chi-Quadrat)

Test 12: Rollo-Effekt II

Freitag 08.11., 11:30 - 18:20 Uhr

Bei diesem Test handelt es sich im Prinzip um eine Wiederholung von Test 6, bei dem wir die Rollo-Funktion prüften. Sicherheitshalber wollten wir aber sehen, ob diese Form der Bannerdarstellung beim neuen Bannerkonzept mit integriertem Formular die selbe Wirkung erzielt. In der Tat scheint das Banner so eine höhere Aufmerksamkeit zu erhalten, denn wie in Test 6 erhöht sich die Klick-Rate (+17%, Test6: +19%). In der Folge konnte so auch die Spendenrate (Anz/Imp) um 12% gesteigert werden.

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
ohne_Rollo	5F	2396200	0	6640	3163	57011.12	18.02	0.000000	0.002771	0.00000	0.0013200	0.00000	0.47636	0.0237923	23.18
mit_Rollo	5F	2368200	0	7697	3485	65047.40	18.66	0.000000	0.003250	0.00000	0.0014716	0.00000	0.45277	0.0274670	24.92

• Signifikanz Anz/Imp: Chi-Quadrat p=0,00000936

Test 13 und 18: Blauer Link

Montag 11.11., 12:45 - 20:00 Uhr

Um den wichtigen Satz "Wenn jeder..." stärker hervorzuheben, griffen wir hier auf eine Gestaltungsmöglichkeit zurück, die sich im letzten Jahr bewährt hatte: die blaue Formatierung als Link. In Test 39 konnten wir sehen, wie sich zwar die Klick-Rate nicht veränderte, jedoch ein größerer Teil der Klickenden für eine Spende entschied. Wir folgerten, dass der Bannertext durch die optische Hervorhebung dieses zentralen Satzes insgesamt überzeugender wirkte. In unserem aktuellen Test kommen wir jedoch zu einem völlig unterschiedlichen Ergebnis: starke Steigerung der Klick-Rate aber enorme Senkung der Spende/Besuch auf der Landing Page, so dass insgesamt die Spendenrate gleich bleibt. Es sieht also so aus, als ob die Link-Formatierung in der aktuellen Bannerkonstellation (kein Drop, kein persönlicher Aufruf) ein Interesse erzeugt, dass nach dem Klick nicht befriedigt werden kann und daher zu einem Abbruch führt. In der Überarbeitung der Landing Page sehen wir daher noch viel Potenzial, jene Abbrecher zu überzeugen.

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
no_link	5F	1043100	0	3189	1326	22973.51	17.33	0.000000	0.003057	0.00000	0.0012712	0.00000	0.41580	0.0220243	23.43
link	5F	1052400	0	4788	1332	24933.00	18.72	0.000000	0.004550	0.00000	0.0012657	0.00000	0.27820	0.0236916	24.69

--Tobias Schumann (WMDE) (Diskussion) 14:54, 15. Nov. 2013 (CET)

Update: Aufgrund der Ergebnisse von Test 13 vermuteten wir, dass Menschen, die auf einen zusätzlichen Link im Formularbanner klicken, mehr Informationen suchen. Da wir nicht wissen, was sie interessieren könnte, testeten wir dies hier mit einer Spendenseite mit dem Spendenaufruf von Jimmy. Diese sahen nur diejenigen, die auf den Link klickten. Die Anderen sahen dagegen die Standard-Spendenseite, welche keinen Aufruf enthält. Am Ergebnis änderte dies aber nichts. Wie auch in Test 13 ging eine Erhöhung der Klickrate mit einer komplementären Senkung der Konversion auf der Spendenseite einher, so dass es insgesamt keine Änderung bei der Spendenrate gab. Sollte es ein Informationsbedürfnis geben, so konnten wir es mit dem Spendenaufruf von Jimmy nicht befriedigen.

Test 18, Dienstag 19.11., 20:00 - Donnerstag 21.11., 12:00 Uhr

Banner	Landing Page	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
ohne_Link	5F	6599600	10053	4730	97075.61	20.52	0.001523	0.0007167	0.47051	0.0147093	29.43
mit_Link	5F&Jimmy	6616800	11805	4793	94320.97	19.68	0.001784	0.0007244	0.40601	0.0142548	28.97

• Chi-Quadrat-Test Besuch/Imp: p = 0,000000
• Chi-Quadrat-Test Anzahl/Besuch: p = 0,000000
• Chi-Quadrat-Test Anzahl/Imp: p = 0,60391893

Test 14: Formularbanner: Fakten vs. 1€

Dienstag 12.11., 17:45 - Mittwoch 13.11., 10:45 Uhr

Aus Test 2 wissen wir, dass die Reduzierung des Bannertextes auf den "Wenn jeder..."-Satz sehr erfolgreich sein kann. Daher lag es nahe, dies auch bei dem aktuellen Formularbanner zu versuchen. Allerdings wurde in Test 2 nach dem Klick im Dropbanner, also noch vor dem Aschluss der Spende, der wichtige Faktentext angezeigt. Anhand der aktuellen Testergebnisse sehen wir, dass dies ein entscheidender Faktor war. Denn im Formularbanner führt die Reduzierung des Faktentextes auf den "Wenn jeder"-Satz zu einer starken Verringerung des Erfolgs: Die Spendenrate sinkt um rund 30%. Kombiniert mit einem geringeren Spendendurchschnitt sinkt der Erfolg des Banner sogar noch stärker.

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Fakten	5F	1195100	0	3835	1680	30328.84	18.05	0.000000	0.003209	0.00000	0.0014057	0.00000	0.43807	0.0253777	23.11
1€	5F	1202200	0	3094	1190	14973.45	12.58	0.000000	0.002574	0.00000	0.0009899	0.00000	0.38462	0.0124550	19.26

• Signifikanz Anzahl/Imp: p = 1,26892988247306E-20 (Chi-Quadrat)

--Tobias Schumann (WMDE) (Diskussion) 15:22, 18. Nov. 2013 (CET)

Test 15, 16, 28, 30, 53: Textarbeit Faktentext

Während der Kampagne arbeiteten wir mehrmals am Text des Faktenaufrufs. Zunächst versuchten wir eine neue Variante des Faktentextes, orientiert am aktuellen Text der WMF (Test 15). Dieser längere Text ist tatsächlich erfolgreicher und konnte im Test die Spendenrate (Anzahl/Imp) um rund 20% steigern.

In Test 16 gingen wir wieder einmal der Frage nach, welcher Betrag in der Spendenaufforderung genannt werden soll. Zwar bestätigte sich erneut das Prinzip, dass bei "1€" mehr Menschen mit einer kleineren Durchschnittsspende spenden als bei "kleiner Beitrag". Doch in Kombination mit dem Faktentext verändert sich das Verhältnis von Spendenanzahl und Spendenhöhe und die geringere Durchschnittsspende scheint stärker ins Gewicht zu fallen. Daher schnitt überraschender Weise insgesamt die Variante mit dem "kleinen Betrag" besser ab.

Um den recht langen Text etwas zu verkürzen, strichen wir in Test 28 mehrere Sätze rund um den Vergleich von Wikipedia mit einer Bibliothek und einem öffentlichen Park. Dabei gingen wir von der Annahme aus, dass eine kürzerer Text eine höhere Wahrscheinlichkeit erzeugt, gelesen zu werden. Tatsächlich lief die gekürzte Variante im Test jedoch um wenige Prozent schlechter bei der Spendenrate (-2,7%).

In Test 30 erweiterten wir dagegen den Bannertext um einige, erfahrungsgemäß überzeugende Aspekte (keine Gebühren, kein kommerzielles Interesse, Selbstverständlichkeit im Alltag). Die Änderungen wirkten sich zwar positiv aus (+2,7%), jedoch in einem so geringen Umfang, dass die Ergebnisse nicht statistisch signifkant waren.

Je konkreter und auf einen bestimmten Anlass bezogen eine Ansprache ist, desto eher ist sie überzeugend. An Weihnachten testeten wir daher einen Bannertext, der das akutelle Datum direkt anspricht und baten die Leser "an diesem Weihnachtstag" etwas zurückzugeben (Test 53). Mit einer Steigerung der Spendenrate um 13% war diese Verortung im Jetzt sehr erfolgreich. Für die nächste Spendenkampagne ist das Ergebnis sehr lehrreich, da sich viele Möglichkeiten denken lassen, anlassbezogen zu kommunizieren.

Test 15, Freitag 15.11., 10:00 - 14:00 Uhr

Banner	Landing Page	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Ctrl	5F	1273900	1452	701	12162.50	17.35	0.001140	0.0005503	0.48278	0.0095475	24.50
Text_neu	5F	1282800	1667	866	18364.49	21.21	0.001300	0.0006751	0.51950	0.0143159	25.40

Chi-Quadrat Anzahl/Imp: p = 0,00005538

Test 16, Freitag 15.11., 17:00 - Sonntag 17.11., 18:30 Uhr

Banner	Landing Page	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
kl.Beitrag	5F	8055800	19299	10180	207503.16	20.38	0.002396	0.0012637	0.52749	0.0257582	24.50
1€	5F	8065800	21927	11807	194619.86	16.48	0.002719	0.0014638	0.53847	0.0241290	23.96

Chi-Quadrat Anzahl/Imp: p = 0,00000000

Test 28, Montag 02.12., 13:15 - Dienstag 03.12., 13:15 Uhr

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
ctrl	4182300	5391	2696	49653.99	18.42	0.001289	0.0006446	0.50009	0.0118724	29.08
kein_Park	4228700	5481	2652	49195.98	18.55	0.001296	0.0006271	0.48385	0.0116338	30.48

Chi-Quadrat Anzahl/Imp: p = 0,314689

Test 30, Donnerstag 05.12., 12:00 - Freitag 06.12., 18:30

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Text_Ctrl	5221100	6015	2876	54755.30	19.04	0.001152	0.0005508	0.47814	0.0104873	28.41
Text_Var	5169400	6160	2925	57276.78	19.58	0.001192	0.0005658	0.47484	0.0110800	29.26

Chi-Quadrat Anzahl/Imp: p = 0,3065

Test 53, Dienstag 24.12., 00:00 - Mittwoch 25.12., 10:00 Uhr

Banner	Impressions	LP- Besucher	Spendenanzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Ctrl	2042900	4126	2156	45632.07	21.17	0.002020	0.0010554	0.52254	0.0223369	19.59
Weihnachtshinweis	2041600	4395	2439	51387.08	21.07	0.002153	0.0011947	0.55495	0.0251700	19.58

Chi-Quadrat Anzahl/Imp: p = 0,00003123

Test 17, 19, 20, 23, 41, 44, 55, 56: zeitverzögerte Banneranzeige

Mit dieser umfassenden Testreihe schauten wir uns die Wirkung einer zeitverzögerten Banneranzeige auf die Spendenrate gründlich an. Die Idee dahinter: Mit unserer Bannerkommunikation unterbrechen wir den Leser in seiner Suche nach Information. Wäre es daher nicht viel besser, wenn das Banner angezeigt wird, nachdem der Leser gefunden hat, wonach er sucht? Ohne Störung bei der Recherche und mit befriedigtem Informationsbedürfniss wäre der Leser vermutlich eher bereit unsere Botschaft zu lesen. So einleuchtend das klingt, so schwierig ist die Umsetzung dieser Idee. Denn mit unterschiedlichen Informationsinteressen geht eine unterschiedliche Lesedauer einher. Auch schwankt die durchschnittliche Verweildauer aller Wikipedia-Leser vermutlich je nach Tageszeit und Wochentag. Letztlich blieb uns also nicht anderes übrig als - der Methode trial and error folgend - verschieden lang andauernde Verzögerungen zu testen. Insgesamt 8 mal wendeten wir uns diesem Element der Kampagnengestaltung zu und können nun mit großer Sicherheit sagen: Eine Zeitverzögerung zwischen 7,5 und 15 Sekunden führt in der Tat zu einer Steigerung der Spendenrate.

Die verschiedenen Intervalle, die wir testeten, betrugen 60, 30, 15 und 7,5 Sekunden. Laut den Ergebnissen sieht es so aus, als ob die Klick Rate um so stärker sinkt, je später das Banner angezeigt wird. Andererseits steigt die Konversion auf der Spendenseite mit der Zeitverzögerung, wobei dieser Effekt offenbar bei 15 Sekunden stagniert. Mit einer Zeitverzögerung sehen also vermutlich weniger Menschen das Banner, aber der Anteil vom Spenden überzeugter Personen nimmt zu - entsprechend unserer Annahmen zur Wirkung des Zeipunkts der Banneranzeige. Dies wirkt sich auf die Spendenrate aus. Während eine längere Verzögerung der Banner nicht erfolgreich war, steigt die Spendenrate um bis zu 14% bei einer Verzögerung bis zu 15 Sekunden. Wegen der vermuteten Unterschiede der durchschnittlichen Verweildauer je nach Wochentag wiederholten wir die Tests zu unterschiedlichen Zeitpunkten und testeten auch die beiden Zeitintervalle von 7,5 und 15 Sekunden gegeneinander. Als Fazit der Testreihe stellt sich eine Verzögerung von 7,5 Sekunden als die beste Variante dar.

Test 17, Montag 18.11., 22:00 - Dienstag 19.11., 21:00 Uhr

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
kein_Delay	3926400	6226	2873	58464.06	20.35	0.001586	0.0007317	0.46145	0.0148900	28.76
30_Sek.	4006000	6018	3090	61968.11	20.05	0.001502	0.0007713	0.51346	0.0154688	29.14

• Chi-Quadrat-Test Besuch/Imp: p = 0,002766
• Chi-Quadrat-Test Anzahl/Besuch: p = 0
• Chi-Quadrat-Test Anzahl/Imp: p = 0,041739

Test 19, Freitag 22.11., 12:45 - 18:30 Uhr

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
kein_Delay	1322800	1687	748	15063.53	20.14	0.001275	0.0005655	0.44339	0.0113876	25.33
60_Sek.	1399000	1308	643	13453.00	20.92	0.000935	0.0004596	0.49159	0.0096162	28.30

• Chi-Quadrat-Test Besuch/Imp: p = 0,000000
• Chi-Quadrat-Test Anzahl/Besuch: p = 0,008710
• Chi-Quadrat-Test Anzahl/Imp: p = 0,000112

Test 20, Freitag 22.11., 18:30 - Sonntag 24.11., 14:00 Uhr

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
kein_Delay	5090000	8329	4088	83313.43	20.38	0.001636	0.0008031	0.49082	0.0163681	25.05
15_Sek.	4990400	8549	4570	90724.19	19.85	0.001713	0.0009158	0.53457	0.0181797	24.90

• Chi-Quadrat-Test Besuch/Imp: p = 0,002885
• Chi-Quadrat-Test Anzahl/Besuch: p = 0,000000
• Chi-Quadrat-Test Anzahl/Imp: p = 0,000000

Test 23, Donnerstag 28.11., 20:00 Uhr - Freitag 29.11., 11:30 Uhr

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
kein_Delay	1593500	1982	841	17522.50	20.84	0.001244	0.0005278	0.42432	0.0109962	27.12
15_Sek.	1602300	1961	964	20222.34	20.98	0.001224	0.0006016	0.49159	0.0126208	27.50

• Chi-Quadrat-Test Besuch/Imp: p = 0,611696
• Chi-Quadrat-Test Anzahl/Besuch: p = 0,000022
• Chi-Quadrat-Test Anzahl/Imp: p = 0,005454

Test 41, Sonntag 15.12., 14:45 - Montag 16.12., 14:15 Uhr

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
15_Sek.	3564200	4361	2062	43676.14	21.18	0.001224	0.0005785	0.47283	0.0122541	25.12
7,5_Sek.	3529100	4809	2233	45783.13	20.50	0.001363	0.0006327	0.46434	0.0129730	25.69

• Chi-Quadrat-Test Besuch/Imp: p = 0,000000
• Chi-Quadrat-Test Anzahl/Besuch: p = 0,415859
• Chi-Quadrat-Test Anzahl/Imp: p = 0,003341

Test 44, Montag 16.12., 23:00 - Dienstag 17.12., 17:30

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
kein_Delay	2474800	2840	1157	24763.58	21.40	0.001148	0.0004675	0.40739	0.0100063	27.41
7,5_Sek.	2385900	2513	1106	22826.46	20.64	0.001053	0.0004636	0.44011	0.0095672	25.34

• Chi-Quadrat-Test Besuch/Imp: p = 0,001727
• Chi-Quadrat-Test Anzahl/Besuch: p = 0,015594
• Chi-Quadrat-Test Anzahl/Imp: p = 0,839830

Test 55, Samstag 28.12., 15:45 - Sonntag 29.12., 19:00 Uhr

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
kein_Delay	3356500	6884	3873	82483.04	21.30	0.002051	0.0011539	0.56261	0.0245741	23.45
7,5_Sek.	3318700	7114	4260	88047.13	20.67	0.002144	0.0012836	0.59882	0.0265306	23.98

• Chi-Quadrat-Test Besuch/Imp: p = 0,008877
• Chi-Quadrat-Test Anzahl/Besuch: p = 0,000014
• Chi-Quadrat-Test Anzahl/Imp: p = 0,000002

Test 56, Sonntag 29.12., 19:00 - Montag 30.12., 24:00

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
15_Sek	3771900	6877	4290	90130.42	21.01	0.001823	0.0011374	0.62382	0.0238952	22.15
7,5_Sek	3761100	7304	4344	91444.13	21.05	0.001942	0.0011550	0.59474	0.0243131	21.55

• Chi-Quadrat-Test Besuch/Imp: p = 0,000170
• Chi-Quadrat-Test Anzahl/Besuch: p = 0,000391
• Chi-Quadrat-Test Anzahl/Imp: p = 0,474747

Test 21, 31, 52: Neues Layout Spendenseite

Eine uns immer wieder beschäftigende Problematik ist die Abbrecherquote auf unserer Spendenseite. Bereits in der Herbstkampagne 2012 lag ein Schwerpunkt auf verschiedenen Anpassungen der Spendenseite mit dem Ziel die Abbrecherquote zu verändern. Auch in der aktuellen Kampagne mit dem Spendenformular im Banner kommt es auf der Spendenseite zu rund 50% Abbrechern, obwohl der Spendenprozess schon im Banner durch das Ausfüllen des Formulars beginnt und damit eine klare Spendenabsicht erkennbar wird.

In der Vorbereitung der diesjährigen Spendenkampagne haben wir uns eingehend mit den Prozessen von Online-Zahlungsabschlüssen beschäftigt und viele der diese begünstigenden Faktoren in eine komplette Neugestaltung der Spendenseite einfließen lassen. Zum Beispiel sollte das Design möglichst aufgeräumt und klar sein, der Zahlungsprozess möglichst mit positiven Reizen verstärkt werden (grüne Häkchen nach Ausfüllen) oder wichtige Informationen genau an der Stelle im Prozess angezeigt werden, wo das Bedürfnis nach ihnen entsteht. Zufrieden mit dem neuen Design prüften wir gespannt in mehreren Tests dessen Wirkung. Einem ersten Test mit leicht negativem Ergebnis (Test 21) konnte nicht vertraut werden, da sich herausstellte, dass es auf der neuen Spendenseite zu technischen Fehlern gekommen war. Der zweite Test beinhaltete im Banner ein der Spendenseite graphisch angelehntes Formular (T31). Dies führte zu überraschenden Ergebnissen: Einer 15%igen Senkung der Klickrate stand eine 13%ige Steigerung auf der Spendenseite gegenüber, so dass im Ergebnis beide Testgruppen hinsichtlich der Spendenrate etwa gleich gut liefen. Während die Erklärung für den Rückgang an Klicks im Dunkeln blieb, konnte dieser Test auch keine verlässliche Aussage über die Wirkung der neuen Spendenseite liefern. Erst ein dritter und vierter Test auf Wikipedia und Wikipedia.de über längere Zeiträume brachten am Ende die Gewissheit, dass die neu gestaltete Spendenseite die Abbrecherquote tatsächlich verringert. Allerdings fällt die Steigerung der Konversion auf der Spendenseite mit +6% und + 5% geringer aus, als wir uns erhofft hatten.

Test 21 , Mittwoch, 27.11., 14:00 - Donnerstag 28.11., 13:00 Uhr

Banner	Landing Page	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
ctrl	Layout_alt	3513000	4036	1897	37924.00	19.99	0.001149	0.0005400	0.47002	0.0107953	29.05
ctrl	Layout_neu	3484600	4040	1851	37210.64	20.10	0.001159	0.0005312	0.45817	0.0106786	26.81

Chi-Quadrat-Test Anzahl/Besuch: p = 0,285606

Test 31 , Freitag 06.12., 18:30 - Montag 09.12., 12:30 Uhr

Banner	Landing Page	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Formular_alt	Layout_alt	8482300	11442	5747	112457.79	19.57	0.001349	0.0006775	0.50227	0.0132579	26.39
Formular_neu	Layout_neu	8314500	9501	5392	108190.45	20.06	0.001143	0.0006485	0.56752	0.0130123	25.41

Chi-Quadrat-Test Anzahl/Besuch: p = 0,000000

Test 52, Montag 23.12., 10:00 - Freitag 27.12., 13:15 Uhr

Banner	Landing Page	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
ctrl	Layout_alt	6713400	13451	7437	157678.19	21.20	0.002004	0.0011078	0.55290	0.0234871	24.25
ctrl	Layout	6773400	13080	7662	160878.99	21.00	0.001931	0.0011312	0.58578	0.0237516	18.56

Chi-Quadrat-Test Anzahl/Besuch: p = 0,00000006

Test 22, 34, 35, 40, 42: Formular im Banner <--> Fakten_Drop/Jimmy_Drop/5€_Drop

Zu Beginn der Kampagne hatten wir gesehen, dass die Integration des Formulars in das Banner zu einer enormen Steigerung der Spendenrate führt (siehe Tests 10 und 11). Wir konnten uns aber nicht sicher sein, dass dies über den gesamten Zeitlauf der Kampagne so bleiben würde. Beispielsweise könnte es sein, dass zu Beginn der Kampagne der Anteil an sehr spendenbereiten Lesern noch sehr hoch ist und diese positiv auf den verkürzten Spendenprozess reagieren. Im Laufe der Zeit hätten immer mehr dieser Menschen bereits gespendet und ein größerer Teil der Leser wünschte sich vielleicht mehr Informationen, würde also mit größerer Wahrscheinlichkeit auf ein Banner reagieren, dass mehr Informationen vor dem Abschluss der Spende vermittelt. Um also in Bezug auf die Wirksamkeit des Formularbanners sicher zu gehen, testeten wir es über den Verlauf der Spendenkampagne mehrmals gegen verschiedene Drop-Down-Banner. Diese zeigten entweder den Faktentext, den 5€-Satz oder den Jimmy-Aufruf. In den insgesamt fünf Tests schnitt das Formularbanner jedoch stets am erfolgreichsten ab. Nur in Test 35 konnte der Aufruf von Jimmy nahezu mithalten, auch wenn das Formularbanner im Vergleich die Spendenrate minimal um 1,9% steigerte.

Test 22 , Donnerstag 28.11., 13:00 - 20:00 Uhr

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
FA_drop	1702100	16669	849	695	14382.10	20.69	0.009793	0.000499	0.05093	0.0004083	0.04169	0.81861	0.0084496	30.77
FA_Formular	1678600	0	1794	821	16807.50	20.47	0.000000	0.001069	0.00000	0.0004891	0.00000	0.45764	0.0100128	27.31

Chi-Quadrat Anzahl/Imp: p = 0,000452

Test 34 , Dienstag 10.12., 17:00 - Mittwoch 11.12., 10:00 Uhr

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Fakten_Drop	2200900	20954	1302	1039	20584.55	19.81	0.009521	0.000592	0.06214	0.0004721	0.04958	0.79800	0.0093528	31.63
Fakten_Formular	2132200	0	2432	1140	23216.45	20.37	0.000000	0.001141	0.00000	0.0005347	0.00000	0.46875	0.0108885	31.32

Chi-Quadrat Anzahl/Imp: p = 0,003674

Test 35 Mittwoch 11.12., 12:30 - Mittwoch 11.12., 18:00 Uhr

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
pA_Jimmy_Drop	1452200	35205	751	569	11637.00	20.45	0.024243	0.000517	0.02133	0.0003918	0.01616	0.75766	0.0080134	35.42
Fakten_Form	1420300	0	1349	567	11454.00	20.20	0.000000	0.000950	0.00000	0.0003992	0.00000	0.42031	0.0080645	30.40

Chi-Quadrat Anzahl/Imp: p = 0,752729

Test 40 , Freitag 13.12., 18:45 - Sonntag 15.12., 01:00 Uhr

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
5€_Drop_blau	4026900	70876	3517	2878	49334.77	17.14	0.017601	0.000873	0.04962	0.0007147	0.04061	0.81831	0.0122513	26.42
Fakten_Form	3263200	0	5113	2581	49811.50	19.30	0.000000	0.001567	0.00000	0.0007909	0.00000	0.50479	0.0152646	24.87

Chi-Quadrat-Test Anzahl/Imp: p = 0,000182

Test 42 , Montag 16.12., 14:15 - 23:00 Uhr

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
5€_Drop	2257200	42680	1444	1128	20286.29	17.98	0.018908	0.000640	0.03383	0.0004997	0.02643	0.78116	0.0089874	24.95
Fakten_Formular	1926400	0	2379	1053	22332.01	21.21	0.000000	0.001235	0.00000	0.0005466	0.00000	0.44262	0.0115926	26.10

Chi-Quadrat-Test Anzahl/Imp: p = 0,036274

Test 24 und 38: Layout Banner: Hightlight von Text

In vielen Tests haben wir festgestellt, wie überzeugend der "Wenn jeder"-Satz Leser wirkt. Um ihn optisch hervorzuheben und so mehr Aufmerksamkeit auf ihn zu lenken, übernahmen wir von der WMF eine Layoutänderung des Banners: eine gelbe Highlight-Markierung ähnlich dem Strich eines Textmarkers. Die Hervorhebung war sehr erfolgreich: Die Spendenrate stieg um 46%! Daher wollten wir diesen Effekt in einem späteren Test nutzen und die mittlerweile im Banner integrierte Bankverbindung (siehe Test 29) hervorheben. Wir wissen durch Umfragen, dass viele Leser gerne spenden würden, aber Online-Zahlungen nicht vertrauen. Jedes Jahr schreiben uns hunderte Leser E-Mails, um unsere Bankverbindung zu erfragen, weswegen wir diese bereits direkt im Banner anzeigen. Dennoch gingen noch viele E-Mails bei uns ein, so dass wir uns für ein Hervorhebung der Bankverbindung entschieden. In Test 38 interessierte uns lediglich, ob die Hervorhebung einen negativen Effekt hat, aber die Spendenrate wird kaum beeinflusst.

Test 24 Freitag 29.11., 13:00 - 19:45 Uhr

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
ohne_Highlight	1320200	1461	733	15002.00	20.47	0.001107	0.0005552	0.50171	0.0113634	25.98
mit_Highlight	1288100	1894	1047	21336.95	20.38	0.001470	0.0008128	0.55280	0.0165647	24.62

Chi-Quadrat Anzahl/Imp: p = 0,00000000

Test 38, Donnerstag 12.12., 20:00 - Freitag 13.12., 14:30 Uhr

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
kein_Highlight	2105300	3183	1510	29505.31	19.54	0.001512	0.0007172	0.47440	0.0140148	27.17
Highlight	2084700	2956	1403	26351.69	18.78	0.001418	0.0006730	0.47463	0.0126405	27.07

Chi-Quadrat Anzahl/Imp: p = 0,08583915

Test 25: Anrede in Großbuchstaben

Freitag 29.11., 19:45 - Samstag 30.11., 18:00 Uhr

Die direkte Ansparache des Lesers ist ein wichtiges Erfolgselement des Bannertextes. Um mehr Aufmerksamkeit darauf zu lenken, probierten wir hier eine Variante mit Großbuchstaben. Leider führte dies zu keiner Änderung der Spendenrate.

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Ctrl	2250500	3848	2130	39670.52	18.62	0.001710	0.0009465	0.55353	0.0176274	23.60
Typo_groß	2254300	3873	2137	40256.00	18.84	0.001718	0.0009480	0.55177	0.0178574	24.13

Chi-Quadrat Anzahl/Imp: p=0,95846222

Test 26, 27, 29: Hover-Element

Das Formularbanner bietet relativ wenig Informationen vor dem Ausfüllen des Spendenformulars, also der Entscheidung zu spenden. Aus der Annahme, dass für einige Spendeninteressierte jedoch bestimmte Informationen relevant sind, suchten wir nach einem Weg diese im Banner unterzubringen. So kamen wir auf den Gedanken einige wichtige Aspekte im Hoverelement - dem unteren Bereich des Banners, der erst erscheint, wenn man mit der Maus darüberfährt - unterzubringen. In der Testgruppe informierten wir dort nun zusätzlich zur Kontoverbindung über die steuerliche Absetzbarkeit, verlinkten Informationen zur Verwendung der Spendengelder und eine Kontakmöglichkeit sowie erweiterten die Zahlmöglichkeiten um die Unterstützung per SMS (Test 26). Dies führte tatsächlich zu einer gewissen Änderung des Verhaltens: einige Menschen klickten auf die zusätzlichen Informationsmöglichkeiten, so dass die Klickrate des Banners um rund 17% erhöht wurde. Doch von diesen Menschen spendete leider nur ein kleiner Teil. Daher führte die gesteigerte Klickrate nicht zu einer Erhöhung der Spendenrate.

Mit dem Ziel die Aufmerksamkeit stärker auf die Inhalte im Hoverelement zu lenken, änderten wir dessen Hintergrundfarbe in hellblau (Test 27). Dies führte aber zu keiner grundsätzlichen Änderung der Ergebnisse. Da der Farbwechsel praktisch keine Auswirkungen hatte, fragten wir uns nun, ob der Hover als graphisches Element überhaupt zu mehr Aufmerksamkeit führt. Wir hatten es immer als einen Faktor verstanden, der die Aufmerksamkeit für das gesamte Banner steigert. Also testeten wir in Test 29 Banner mit und ohne Hoverlement gegeneinander. Letzteres hat den Vorteil, dass die Bankverbindung für jeden Leser sichtbar ist, ohne dass mit der Maus über das Banner gefahren werden muss. Auch in diesem Test ergab sich keine Unterschied in der Spendenrate. Für den weiteren Verlauf der Kampagne wechselten wir auf Banner ohne Hoverelement mit der verbesserten Sichtbarkeit der Bankverbindung.

Test 26 , Samstag 30.11., 20:15 - Sonntag 01.12., 18:30 Uhr

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Hover_Ctrl	2979400	4939	2699	50797.57	18.82	0.001658	0.0009059	0.54647	0.0170496	25.35
Hover_Var	2946200	4665	2525	49549.99	19.62	0.001583	0.0008570	0.54126	0.0168183	24.77
Info-Links	-	1023	72	1472.01	20.44	0.00000	0.0000000	0.07038	0.0000000	27.42

Chi-Quadrat-Test Anzahl/Imp: p = 0,320062

Test 27 , Sonntag 01.12., 18:30 - Montag 02.12., 13:15 Uhr

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Hover_Ctrl	2754100	3760	1901	37246.49	19.59	0.001365	0.0006902	0.50559	0.0135240	29.11
Hover_blau	2754900	3736	1873	35349.27	18.87	0.001356	0.0006799	0.50134	0.0128314	28.64
Info-Links	-	460	27	1000.00	37.04	0.000000	0.0000000	0.05870	0.0000000	23.81

Chi-Quadrat-Test Anzahl/Imp: p = 0,992855

Test 29 , Mittwoch 04.12., 16:15 - Donnerstag 05.12., 12:00 Uhr

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Ctrl_Hover	2808400	3491	1777	34244.78	19.27	0.001243	0.0006327	0.50902	0.0121937	29.84
Kto_keinHover	2786500	3541	1748	34222.71	19.58	0.001271	0.0006273	0.49365	0.0122816	29.72

Chi-Quadrat-Test Anzahl/Imp: p = 0,797848

--Tobias Schumann (WMDE) (Diskussion) 14:33, 20. Jan. 2014 (CET)

Test 32: Sticky unten

Montag 09.12., 12:30 - Montag 09.12., 18:00 Uhr

Für das erfolgreiche Schalten von Bannern ist es notwendig die Aufmerksamkeit des Lesers zu erreichen. Da die Lektüre des Artikeltextes ein sich nach unten fortsetzender Prozess ist, konzentriert sich die Aufmerksamkeit des Leser vermutlich eher auf den unteren Bildschirmbereich. Eine Positionierung des Banners am unteren Bildschirmrand schien uns folglich sehr erfolgsversprechend. Dies prüften wir mit Test 32. Laut den Ergebnissen scheint jedoch eine Bannerdarstellung am oberen Bildschirmrand mehr Aufmerksamkeit zu erhalten. Mit der graphischen Verschiebung nach unten sank gleichsam die Klick-Rate um rund 12%. Insgesamt verringerte sich die Spendenrate um 10%.

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
sticky_oben	1539100	1562	700	12760.50	18.23	0.001015	0.0004548	0.44814	0.0082909	30.45
sticky_unten	1428100	1277	585	10972.30	18.76	0.000894	0.0004096	0.45810	0.0076831	26.97

• Chi-Quadrat-Test Besucher/Imp: p = 0,0007806
• Chi-Quadrat-Test Anzahl/Imp: p = 0,061650

Test 33: Spenderkommentare auf Landing Page

Montag 09.12., 23:00 - Dienstag 10.12., 17:00 Uhr

Obwohl der Spendenprozess bereits im Banner durch das Ausfüllen des Formulars beginnt - und damit eine klare Spendenabsicht erkennbar wird -, schließen nur rund die Hälfte eine Spende tatsächlich ab. Die anderen fünfzig Prozent brechen den Prozess leider auf der Spendenseite ab. Nachdem eine vollständige Neugestaltung keine Verbesserung gebracht hatte, versuchten wir in diesem Test eine inhaltliche Änderung der Spendenseite: Wir integrierten eine Art Spendenticker mit den jeweils aktuellsten fünf Spenderkommentaren auf der Spendenseite. Dem Prinzip der Sozialen Bewährtheit folgend, erhofften wir durch das Anzeigen existierender Spender bei potentiellen Gebern Vertrauen zu schaffen und zudem mit den Kommentaren weitere Überzeugungsarbeit zu leisten. Leider stellte sich der Spendenticker im Test nicht als probates Mittel heraus. Die Spendenrate blieb praktisch unverändert.

Update: Ein parallel laufender, identischer Test auf wikipedia.de kommt zu dem gleichen Ergebnis.

Banner	Landing Page	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
ctrl	ohne_Kommentare	2610300	2704	1179	22559.77	19.13	0.001036	0.0004517	0.43602	0.0086426	28.57
ctrl	mit_Kommentaren	2552800	2709	1216	21889.62	18.00	0.001061	0.0004763	0.44887	0.0085747	31.27

Chi-Quadrat-Test Anzahl/Besuch: p = 0,193106

Test 36: Text und Layout Banner: kurz und groß

Mittwoch 11.12., 18:00 - Donnerstag 12.12., 12:30 Uhr

Hier testeten wir eine kürzere Variante des Faktentextes, die es erlaubt die Schriftgröße des Texts zu erhöhen. Diese einfache, von der WMF erprobte Änderung erhöhte die Spendenquote um 10%. Die Vermutung liegt nahe, dass die leichter lesbare Textmenge von mehr Menschen gelesen wird.

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
text_ctrl	2221500	2648	1244	26283.42	21.13	0.001192	0.0005600	0.46979	0.0118314	28.56
text_kurz_bold	2195500	2889	1355	28422.00	20.98	0.001316	0.0006172	0.46902	0.0129456	28.44

Chi-Quadrat-Test Anzahl/Imp: p = 0,013206

--Tobias Schumann (WMDE) (Diskussion) 14:42, 20. Jan. 2014 (CET)

Test 37 und 46: Bannerfarbe: gelb vs. blau

In den letzten Jahren führte eine Änderung der Bannerfarbe zum Teil zu starken Verbesserungen der Spendenraten, vermutlich aufgrund einer damit erzielten Aufmerksamkeitssteigerung. In der diesjährigen Kampagne erzielten wir mit Farbänderungen dagegen widersprüchliche Ergebnisse. Ein Test der Farben grün gegen gelb auf wikipedia.de ergab einen deutlichen positiven Effekt der Signalfarbe Gelb (Test 2: Spende/Imp +22%). Eine weitere Farbänderung - von gelb zu blau - evaluierten wir in mehreren Tests auf de.wikipedia.org und wikipedia.de. Während diese im ersten Test sehr erfolgreich war (Test 37: Spende/Imp +28%), brachte eine Testwiederholung lediglich eine Steigerung der Spendenrate von 3% (Test 46), also praktisch keinem Unterschied. Ein identischer Test auf wikipedia.de ergab ebenso keinen wirklichen Unterschied (Test 4: Spende/Imp: -3%). Unklar bleibt leider, ob es sich beim ersten Test um einen tatsächlichen Effekt handelt oder ob das Ergebnis - trotz statistischer Signifikanz - nicht glaubwürdig ist.

Test 37, Donnerstag 12.12., 12:30 - 20:00 Uhr

Banner	Impressions	LP- Besucher	Spenden anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
gelb	1565900	1780	764	15324.00	20.06	0.001137	0.0004879	0.42921	0.0097861	23.60
blau	1561200	2189	977	20816.09	21.31	0.001402	0.0006258	0.44632	0.0133334	29.84

Chi-Quadrat-Test Anzahl/Imp: p = 0,000000

Test 46, Dienstag 17.12., 20:10 - Mittwoch 18.12., 16:30 Uhr

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
gelb	2674600	2947	1296	28011.05	21.61	0.001102	0.0004846	0.43977	0.0104730	27.08
blau	2684200	2955	1339	27263.11	20.36	0.001101	0.0004988	0.45313	0.0101569	26.40

Chi-Quadrat-Test Anzahl/Imp: p = 0,455724

Test 39: Dialog-Banner

In diesem Test prüften wir die Wirkung eines völlig neuen Ansatzes. Das Ziel war es, stärker mit den Wikipedia-Lesern in Dialog zu treten und potentiell mehr Menschen zu erreichen. Dazu zeigten wir ein Banner, das im Wesenlichen dannach fragt, ob man Wikipedia helfen möchte - ohne genauer zu spezifizieren, was das bedeutet. Statt dessen werden zwei Buttons zur Wahl gestellt. Möchte man nicht helfen, verschwindet das Banner. Möchte man helfen, erscheint das Standard-Formularbanner. Leider hat diese Herangehensweise zu einer krassen Senkung der Spendenrate geführt (Anzahl/Imp: -61%). Dennoch war dieser Versuch lehrreich und hat vielleicht Potential für die Zukunft. Denn tatsächlich reagierten mehr Leser auf das Banner: 32% mehr Menschen klicken auf den Helfen-Button als im Faktenbanner das Formular ausfüllen.

Freitag 13.12., 14:30 - 17:30 Uhr

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Fakten_Formular	532500	0	594	275	5967.21	21.70	0.000000	0.001115	0.00000	0.0005164	0.00000	0.46296	0.0112060	23.79
Dialog-Banner	585800	789	177	118	2335.11	19.79	0.001347	0.000302	0.22433	0.0002014	0.14956	0.66667	0.0039862	24.00

Chi-Quadrat-Test Anzahl/Imp: p = 0,0000

Test 47, 49, 57: Spenden-Barometer

Im Vergleich über die Jahre betrachtet ähnelt der diesjährige Verlauf der Spendenkampagne eher dem Auf und Ab des Jahres 2011 als 2012. In der letzten Kampagne gelang es relativ frühzeitig mit mehreren erfolgreichen Weiterentwicklungen den typischen Niedergang der Spendeneinnahmen nach Kampagnenbeginn umzukehren, was uns ermöglichte zum Ende hin auch Banner und Geschichten vom Wikipedianern zu zeigen, die zwar auf großes Interesse stießen und über den Hintergrund der größten Enzyklpoädie aufklärten, aber nicht so stark von einer Spende überzeugten. Im Jahr 2011 dagegen dauerte es bis in die letzten Wochen hinein etwas zu finden, dass die Spendeneinnahmen aus dem Tal anhob und einen erfolgreichen Abschluss ermöglichte. Mit dem erstmaligen Einsatz des 5€-Banners konnte damals für die letzten Wochen eine fast dramatische Steigerung der Spenden erreicht werden.

Auch dieses Jahr bedurfte es eines Rettungsankers, nachdem mit verschiedenen kleineren Verbesserungen die Einnahmen zwar auf einem gewissen Niveau gehalten werden konnten, dies aber klar nicht ausreichte, um das Spendenziel zu erreichen. Warum also nicht kommunizieren, dass es mit der Erreichung des Spendenziels knapp wird? Wir griffen auf eine alte Idee zurück und integrierten ein Spendenbarometer ins Banner, dass den täglichen Fortschritt bei den Einnahmen zeigte. Aber eben auch, wie viel noch fehlt. Das Layout des Barometers ließen wir von unserem Grafiker überarbeiten und testeten es zunächst in einem 5€-Banner, da dort mehr Platz für die Darstellung zur Verfügung stand (Test 47). Das Ergebnis spiegelt mehr als einen rettenden Strohhalm wieder: Die Spendenrate steigerte sich um 83% gegenüber dem Faktenbanner. Dieses erweiterten wir wiederum in einem nächsten Test um das Barometer (Test 49). Auch damit konnten wir die Spendenrate um weitere 24% steigern. Doch da das verglichene 5€-Banner zu einem weit niedrigeren Durchschnittsbetrag führt, fiel die tatsächliche Steigerung weitaus stärker aus (Betrag/Imp: +49%). Unser dritter und letzter Test rund um das Spendenbarometer fokussierte auf die Angabe der verbleibenden Zeit. Am letzten Tag der Kampagne testeten wir die Formulierung "Heute endet unsere Spendenkampagne" gegen einen automatischen Countdown der letzten 24 Stunden. Hier scheint Einfachheit zu überzeugen. Die tickende Restzeit senkte die Spendenrate um 20%.

Dank des Spendenbarometers konnten wir den Verlauf der Herbstkampagne 2013 noch einmal nachhaltig drehen. Nur so gelang es, das diesjährige Spendenziel zu erreichen und die Kampagne planmäßig am 31.12. zu beenden.

Test 47, Mittwoch 18.12., 16:30 - Donnerstag 19.12., 11:30 Uhr

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
5€_Drop_mitBaro	2316000	25184	2666	2227	39153.21	17.58	0.010874	0.001151	0.10586	0.0009616	0.08843	0.83533	0.0169055	25.40
Fakten_Formular	2165400	0	2486	1135	21990.00	19.37	0.000000	0.001148	0.00000	0.0005242	0.00000	0.45656	0.0101552	27.72

Chi-Quadrat-Test Anzahl/Imp: p = 0,0000

Test 49, Donnerstag 19.12., 18:30 - Freitag 20.12., 11:30 Uhr

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
Fakten_Form_Baro	1606600	0	3396	1992	43127.06	21.65	0.000000	0.002114	0.00000	0.0012399	0.00000	0.58657	0.0268437	23.79
5€_Drop_Baro	1661000	16922	1925	1660	29984.78	18.06	0.010188	0.001159	0.11376	0.0009994	0.09810	0.86234	0.0180522	24.74

Chi-Quadrat-Test Anzahl/Imp: p = 0,0000

Test 57, Montag 30.12., 24:00 - Dienstag 31.12., 14:45 Uhr

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
"heute_endet"	1028100	2393	1597	35672.43	22.34	0.002328	0.0015534	0.66736	0.0346974	21.46
"noch_xy_stunden"	1046000	2024	1302	27188.33	20.88	0.001935	0.0012447	0.64328	0.0259927	19.15

• Chi-Quadrat-Test Besuch/Imp: p = 0,0000
• Chi-Quadrat-Test Anzahl/Besuch: p = 0,093128
• Chi-Quadrat-Test Anzahl/Imp: p = 0,0000

Test 48: Layout und Text von Faktenaufruf im Drop

Donnerstag 19.12., 12:45 - 17:30 Uhr

Kurzzeitig sah es während der Herbstkampagne so aus, als ob die Drop-Version der Banner wieder die erfolgreichste Variante darstellt. Dabei klappt sich das Banner nach dem Klick quasi auf und fährt runter, so dass Spendenformular und Aufrufe sichtbar werden. Aus dem vergangenen Jahr wissen wir, dass der Faktenaufruf im Drop eine große Rolle spielt. In Test 48 prüften wir nun zwei in Textlänge und Layout verschiedene Varianten des Faktentextes im Drop-Banner. Mit einer minimalen Steigerung bei Anzahl/Klick von 3,7% liegt die blaue und kurze Variante zwar vorn. Angesichts des geringen Unterschieds und dem nicht statistisch signifikanten Ergebnis muss man aber eher davon ausgehen, dass zwischen den beiden Varianten kein Unterschied besteht.

Banner	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp	% Frauen
rot_und_lang	986300	9574	950	786	15047.00	19.14	0.009707	0.000963	0.09923	0.0007969	0.08210	0.82737	0.0152560	24.77
blau_und_kurz	1042000	9934	984	846	14543.54	17.19	0.009534	0.000944	0.09905	0.0008119	0.08516	0.85976	0.0139573	24.89

• Chi-Quadrat-Test Klick/Imp: p = 0,205996
• Chi-Quadrat-Test Anzahl/Klick: p = 0,597
• Chi-Quadrat-Test Anzahl/Besuch: p = 0,049813
• Chi-Quadrat-Test Anzahl/Imp: p = 0,706822

Test 50 und 54: Landing Page: WMDE vs. WP Logo

Angesichts einer Abbrecherquote von rund 50% auf unserer Spendenseite lag ein Schwerpunkt der Herbstkampagne auf deren Weiterentwicklung. Eine unserer Vermutungen war, dass das prominent platzierte Wikimedia-Logo einen Teil der spendeninteressierten Besucher verwirrte. Wir können davon ausgehen, dass das institutionelle Gefüge rund um Wikipedia nicht allen Lesern bekannt ist und so die skeptische Frage auftaucht, wieso plötzlich auf der Spendenseite das Logo von Wikipedia verschwindet. Um diese Vermutung zu überprüfen, ersetzten wir in zwei Tests das WMDE-Logo durch den Puzzleball, jeweils im alten und im neuen Spendenseiten-Layout. Interessanterweise und für uns überraschend hat die Ersetzung in beiden Tests keinerlei Auswirkung auf die Abbrecherquote. Unsere Annahme über die Wirkung des Wikimedia-Logos stellte sich also als falsch heraus.

Test 50 , Freitag 20.12., 14:00 - Samstag 21.12., 20:00 Uhr

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
WMDE_Logo	2997700	7056	4097	87600.11	21.38	0.002354	0.0013667	0.58064	0.0292224	21.83
WP_Logo	3008900	7118	4143	88668.95	21.40	0.002366	0.0013769	0.58205	0.0294689	22.15

Chi-Quadrat Anzahl/Besuch: p = 0,86538749

Test 54, Freitag 27.12., 13:15 - Samstag 28.12., 15:45 Uhr

Banner	Landing Page	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
ctrl	wmde_logo	3004100	6052	3618	75559.00	20.88	0.002015	0.0012044	0.59782	0.0251520	21.72
ctrl	wp_logo	3003600	6021	3576	77287.15	21.61	0.002005	0.0011906	0.59392	0.0257315	21.57

Chi-Quadrat Anzahl/Besuch: p = 0,66257838

Test 51: Spendenformular: vorausgewählter Betrag

Samstag 21.12., 20:00 - Montag 23.12., 15:00 Uhr

Mehr oder weniger historisch gewachsen haben wir in unserem Spendenformular einen Button bei der Betragswahl vorausgewählt. Mit dem Test wollten wir absichern, dass diese Vorauswahl keinen negativen Effekt hat. In der Tat hat das Weglassen der Vorauswahl praktisch keinen Effekt auf die Spendenrate (+2,4%). Jedoch verändern sich sowohl Klick Rate (-15%) als auch Konversion auf der Spendenseite (+20%) in statistisch signifkantem Maß - in der Weise, dass sie sich gegenseitig ausgleichen. Diese Änderung des Verhaltens können wir nicht recht erklären. Eine mögliche Begründung könnte sein: Die Nutzer werden abgechreckt durch eine Warnmeldung, da sie auf einen der Zahlweise-Buttons klicken, ohne vorher einen Betrag ausgewählt zu haben. Sie wollten eventuell nur sehen, wie der Spendenprozess weiter geht oder hoffen mehr Informationen zu finden und haben nun eventuell Angst, dass das Klicken auf das Button eine verbindliche Zahlung auslöst und brechen dann ab.

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
ctrl	4206500	9061	5214	112115.67	21.50	0.002154	0.0012395	0.57543	0.0266530	22.75
ohne_Default	4248100	7778	5393	116839.26	21.66	0.001831	0.0012695	0.69337	0.0275039	23.67

• Chi-Quadrat-Test Besuch/Imp: p = 0,0000
• Chi-Quadrat-Test Anzahl/Besuch: p = 0,0000
• Chi-Quadrat-Test Anzahl/Imp: p = 0,217926

Testergebnisse wp.de

Test 1: mit vs. ohne Formular im Banner

Montag, 28.11.2013 - Mittwoch, 30.11.2013

In einer Vielzahl von Tests konnten wir den positiven Effekt sehen, den die Integration des Spendenformulars direkt in das Banner bewirkt (Vergleich hier und hier). Dennoch wollten wir diese Änderung nicht ungeprüft auf Wikipedia.de übernehmen. Glücklicherweise zeigte sich aber auch hier eine klar positive Veränderung der Spendenrate (Anzahl/Imp: +27%).

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
ohne_Formular	172291	634	137	3122.00	22.79	0.003680	0.0007952	0.21609	0.0181205	21.00
mit_Formular	172128	307	174	4069.00	23.39	0.001784	0.0010109	0.56678	0.0236394	18.18

Test 2: Bannerfarbe: grün vs. gelb

Mittwoch, 4.12.2013 - Samstag, 7.12.2013

Während der Spendenkampagne haben wir mehrere Tests rund um die Farbe des Banners durchgeführt. Eine ausführliche Auswertung findet ihr hier.

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
grün	290180	447	277	5817.00	21.00	0.001540	0.0009546	0.61969	0.0200462	22.43
gelb	396747	752	463	10122.70	21.86	0.001895	0.0011670	0.61569	0.0255142	21.23

Test 3: Kommentare auf der Landing Page

Montag, 9.12.2013 - Sonntag, 15.12.2013

Parallel zu einem identischen Test auf de.wikipedia.org versuchten wir hier die Abbrecherquote auf der Spendenseite durch das Zeigen der neuesten Spenderkommentare zu verringern. Ebenso wie in dem zeitgleich verlaufenden Zwillingstest brachte dies leider keine Veränderung der Spendenrate.

Banner	Landing- Page	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
ctrl	ohne_Kommentare	620875	936	584	13559.50	23.22	0.001508	0.0009406	0.62393	0.0218393	20.17
ctrl	mit_Kommentaren	619731	998	621	17048.05	27.45	0.001610	0.0010020	0.62224	0.0275088	16.42

Test 4: Bannerfarbe: gelb vs. blau

Sonntag, 15.12.2013 - Donnerstag, 19.12.2013

Während der Spendenkampagne haben wir mehrere Tests rund um die Farbe des Banners durchgeführt. Eine ausführliche Auswertung findet ihr hier.

Banner	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	% Frauen
gelb	449946	647	419	13365.68	31.90	0.001438	0.0009312	0.64760	0.0297051	19.58
blau	450710	650	407	11335.00	27.85	0.001442	0.0009030	0.62615	0.0251492	16.92

Test 5: Layout Spendenseite: alt vs. neu

Donnerstag, 19.12.2013 - Dienstag, 31.12.2013

Hier testeten wir unsere Spendenseite gegen eine neue, in Konzept und Gestaltung völlig überarbeitete Variante. Da wir diesen Test auch auf de.wikipedia.org durchführten, findet sich die Analyse der Ergebnisse in einer gesammelten Auswertung.

Banner	Landing- Page	Impressions	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Besucher pro Imp	Anzahl pro Imp	Anzahl pro Besucher	Betrag pro Imp	% Frauen
ctrl	alte LP	1141958	3262	2321	67780.22	29.20	0.002856	0.0020325	0.71153	0.0593544	18.97
ctrl	neue LP	1142043	3291	2451	68929.41	28.12	0.002882	0.0021462	0.74476	0.0603562	15.25

Chi-Quadrat-Test Anzahl/Besuch: p = 0,002499

--Tobias Schumann (WMDE) (Diskussion) 14:33, 20. Jan. 2014 (CET)

Testergebnisse mobil: m.de.wp.org

In 2013 haben wir Neuland betreten. Nicht nur zeigten wir erstmalig Banner auf der mobilen Wikipedia-Seite. Wir stiegen zugleich in das A/B-Testen in diesem neuen und spannenden Bereich ein. Bei den Tests konnten wir zum Teil ausgeprägte Steigerungen der Spendenraten erreichen. Da die Nutzungs- und Klickzahlen auf mobilen Geräten jedoch deutlich niedriger liegen als auf der Desktop-Wikipedia, mussten die Tests für aussagekräftige Ergebnisse verhältnismäßig lang laufen. Daher konnten wir während der Herbstkampagne 2013 insgesamt nur sechs Tests realisieren.

Test 1: Sticky-Funktion

Mittwoch, 4.12.2013, 22:15 - Donnerstag, 5.12.2013, 22:15

Auf mobilen Geräten dauert es aufgrund der nicht immer optimalen Netzverbindung teils relativ lange bevor das Banner geladen ist. Dadurch kommen viele Nutzer gar nicht in die Gelegenheit es zu sehen, da sie auf der Artikelseite bereits nach unten gescrollt haben. Daher lag es nahe, gleich zu Beginn die Stickyfunktion zu testen. Auf diese Weise wird sichergestellt, dass jeder Nutzer das Banner zu sehen bekommt. Erwartungsgemäß führte dies zu einer Steigerung der Spendenrate, doch über das Ausmaß der Steigerung - rund 220% - waren wir dann doch überrascht.

Banner	Impressions	Spenden- anzahl	Summe	Durch- schnitt	Anzahl pro Imp	Betrag pro Imp
nicht_sticky	1510100	42	318.00	7.57	0.0000278	0.0002106
Info-Links	-	0	0.00	0.00	0.0000000	0.0000000
sticky	1237500	108	705.00	6.53	0.0000873	0.0005697
Info-Links	-	2	28.00	14.00	0.0000000	0.0000000

• p-Wert Anzahl/Impression = 0,000000

Test 2: Layout Text im Drop - Faktentext auf gelb vs. rot

Samstag, 7.12.2013, 18:00 - Dienstag, 10.12.2013, 18:00 Uhr

Mit einer Farbänderung versuchten wie auf den kleinen Bildschirmen von Smartphones mehr Aufmerksamkeit zu erreichen: Wir änderten die Hintergrundfarbe des Faktentextes im Drop von gelb auf rot. Dies brachte jedoch offenbar nicht den gewünschten Effekt, die Spendenrate änderte sich nicht.

Banner	Impressions	Spenden- anzahl	Summe	Durch- schnitt	Anzahl pro Imp	Betrag pro Imp
Ctrl_gelb	4285600	279	1944.00	6.97	0.0000651	0.0004536
Info-Links	-	0	0.00	0.00	0.0000000	0.0000000
Var_rot	4203800	277	1741.00	6.29	0.0000659	0.0004141
Info-Links	-	0	0.00	0.00	0.0000000	0.0000000

• p-Wert Anzahl/Impression = 0,88676786

Test 3 und 4: Layout Banner: Button vs. Link

Mit diesen zwei Tests konzentrierten wir uns auf das Layout des Banners. Wir ersetzten den Spenden-Button im Banner durch einen blauen Link und ergänzten den highlight-markierten "Wenn jeder..."-Spruch. Dies führte zu einem Einbruch der Klick-Rate um rund 70%, jedoch zu einer enormen Zunahme der Konversion im Drop um 294%. Im Ergebnis schneidet das neue, an der WMF orientierte Layout um 12% besser ab. Allerdings hatte sich bei der Überarbeitung der Bannergestaltung ein Unterschied bei den Schriftgrößen im Drop eingeschlichen. Um wirklich saubere Testergebnisse zu erhalten, wiederholten wir den Test und stellten sicher, dass beide Testgruppen gleiche Textgrößen besaßen. Im diesem zweiten Test erhielten wir praktisch identische Ergebnisse und konnten nun doppelt abgesichert auf das neue Bannerlayout vertrauen.

Test 3, Freitag, 10.12.2013, 21:15 - Montag, 13.12.2013, 16:15 Uhr

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp
Button	L10h16	2677600	15522	320	186	1129.00	6.07	0.005797	0.000120	0.02062	0.0000695	0.01198	0.58125	0.0004216
Info-Links		-	-	29	0	0.00	0.00	-	0.000000	0.00000	0.0000000	0.00000	0.00000	0.0000000
Link	L10h16	2641000	4362	355	206	1286.00	6.24	0.001652	0.000134	0.08138	0.0000780	0.04723	0.58028	0.0004869
Info-Links		-	-	21	0	0.00	0.00	-	0.000000	0.00000	0.0000000	0.00000	0.00000	0.0000000

p-wert Anzahl/Impression = 0,25160119

Test 4, Montag, 13.12.2013, 16:15 - Dienstag, 16.12.2013, 15:15

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp
Button	L10h16	3600000	21112	511	300	2130.00	7.10	0.005864	0.000142	0.02420	0.0000833	0.01421	0.58708	0.0005917
Info-Links		-	-	40	1	5.00	5.00	-	0.000000	0.00000	0.0000000	0.00000	0.02500	0.0000000
Link	L10h16	3652800	5922	546	347	2324.00	6.70	0.001621	0.000149	0.09220	0.0000950	0.05860	0.63553	0.0006362
Info-Links		-	-	31	0	0.00	0.00	-	0.000000	0.00000	0.0000000	0.00000	0.00000	0.0000000

p-wert Anzahl/Impression = 0,09637155

Test 5: Anzahl Spendenbeträge

Donnerstag, 16.12.2013, 15:15 - Montag, 20.12.2013, 1:15 pm UTC

Aus vielen Tests kennen wir die Bedeutung der richtigen Auswahl der im Formular angezeigten Spendenbeträge. Sowohl die Anzahl als auch die angegebenen Summen wirken sich auf die Spendenhäufigkeit und Durchschnittsspende aus. Eine höhere Anzahl vorgegebener Beträge kann dabei das Formular unübersichtlicher wirken lassen oder aber durch mehr Auswahlmöglichkeiten die Bequemlichkeit der Nutzung steigern. Auf den kleinen Smartphonebildschirmen stellt sich diese Frage neu. Hier testeten wir nun vier (3|5|10|20) gegen sechs (5|15|25|50|75|100) Spendenbeträge. (Bisher konnten wir aufgrund des technischen Neulands der mobilen Banner leider noch nicht die Funktionalität eines Freifeldes implementieren.) Im Unterschied zu früheren Ergebnissen bei Tests der Desktop-Seite wurde die Spendenrate (Anzahl/Impression) durch mehr Auswahlmöglichkeiten nicht gesteigert. Eventuell spielt hier die kleine Bildschirmgröße tatsächlich eine Rolle für ein verändertes Verhältnis von Übersichtlichkeit und Usability. Positiv ist aber, dass bei der Variante mit sechs Auswahlbeträgen eine Erhöhung der Durchschnittsspende festgestellt werden konnte, weswegen wir die Änderung in das mobile Banner übernahmen.

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp
vier_Beträge	L10h16	3879100	74882	523	284	2020.00	7.11	0.019304	0.000135	0.00698	0.0000732	0.00379	0.54302	0.0005207
Info-Links		-	-	61	2	15.00	7.50	-	0.000000	0.00000	0.0000000	0.00000	0.03279	0.0000000
sechs_Beträge	L10h16	3870100	75166	536	285	2605.00	9.14	0.019422	0.000138	0.00713	0.0000736	0.00379	0.53172	0.0006731
Info-Links		-	-	45	0	0.00	0.00	-	0.000000	0.00000	0.0000000	0.00000	0.00000	0.0000000

Test 6: Text und Highlight im Drop

Montag, 23.12.2013, 17:00 - Dienstag, 31.12.2013, 11:00 pm UTC

Text und Layout des Spendenaufrufs im Dropdown-Bereich des Banners standen im Zentrum dieses Tests. Wir verglichen zwei Varianten des Faktentextes gegeneinander, wobei die Testversion zudem mit einer gelben Higlightmarkierung versehen war. Genau diese Variante steigerte die für diese Testkonstellation entscheidende Metrik Anzahl/Klick um 8% gegenüber der Kontrollvariante. Allerdings ist das Ergebnis knapp nicht statistisch signifkant.

Banner	Landing Page	Impressions	Banner Klicks	LP- Besucher	Spenden- anzahl	Summe	Durch- schnitt	Banner-Klick pro Imp	Besucher pro Imp	Besucher pro Banner-Klick	Anzahl pro Imp	Anzahl pro Banner Klick	Anzahl pro Besucher	Betrag pro Imp
Ctrl	L10h16	10363700	199258	1291	735	7000.00	9.52	0.019227	0.000125	0.00648	0.0000709	0.00369	0.56933	0.0006754
Info-Links		-	-	114	0	0.00	0.00	-	0.000000	0.00000	0.0000000	0.00000	0.00000	0.0000000
Var	L10h16	10344900	199802	1251	791	8322.09	10.52	0.019314	0.000121	0.00626	0.0000765	0.00396	0.63229	0.0008045
Info-Links		-	-	118	5	190.00	38.00	-	0.000000	0.00000	0.0000000	0.00000	0.04237	0.0000000

• p-Wert Anzahl/Klick = 0,13141519 (Chi-Quadrat-Test)

--Tobias Schumann (WMDE) (Diskussion) 13:39, 5. Mai 2014 (CEST)