Wikiup:Fundraiser 2013/Tests
Bei der Gestaltung und Durchführung der jährlichen Spendenkampagne für Wikipedia und Freies Wissen stellen Kampagnentests einen wichtigen Grundpfeiler dar. Mit Hilfe von Bannern und Spendenaufrufen versuchen wir möglichst viele Leser von einer Unterstützung zu überzeugen. Grüne, gelbe oder blaue Banner, Aufrufe als Text oder Video, mit kurzen oder langen Botschaften - die Möglichkeiten der Kampagnengestaltung sind vielfältig. Es bedarf daher einer verlässlichen Orientierungshilfe, die sicher stellt, dass man auf dem richtigen Weg ist. Das Testen der Kampagnenelemente ist hierbei unser Kompass. Es ist die wichtigste Entscheidungsgrundlage für die Auswahl von Bannern und des Designs der Spendenseiten.
Auf dieser Portalseite veröffentlichen wir unsere Testergebnisse. Wenn ihr also wissen wollt, warum die aktuellen Banner so aussehen wie sie aussehen oder warum die Spendenseite dieses und nicht jenes Layout hat, seid ihr hier genau richtig. Ihr seid natürlich herzlich dazu eingeladen, auf der Diskussionseite Testergebnisse zu diskutieren. Natürlich könnt ihr auch eigene Testideen vorschlagen.
Wie wird getestet?
Anders als die meisten anderen gemeinnützigen Organisationen können wir die Elemente unserer Kampagnen aufgrund des hohen Besucheraufkommens umfassend und valide testen. Dazu führen wir A/B-Tests durch, bei denen zwei oder mehr Versionen eines Banners oder einer Spendenseite gleichzeitig geschaltet werden und für jeweils eine Hälfte der Nutzer sichtbar sind. Anhand verschiedener Kennzahlen können wir anschließend evaluieren, welche Version erfolgreicher war. Mithilfe eines statistischen Signifikanztests (i.d.R. Chi-Quadrat-Test) prüfen wir, ob wir dem Ergebnis vertrauen können.
Als eingeloggter Nutzer wird man von den Kampagnentests nichts merken, da wir die Banner nur nicht angemeldeten Lesern zeigen. Zudem werden wir in diesem Jahr die Sichtbarkeit der Tests zusätzlich einschränken und einige Bannertests nur auf 1% bis 5% der in Wikipedia geladenen Seiten schalten. Um eine genügend große Stichprobe zu erhalten, müssen die Tests dadurch über einen längeren Zeitraum laufen. Ein wichtiger Vorteil dieser Methode besteht darin die Repräsentativität des Samples zu erhöhen, da nun Nutzer aus unterschiedlichen Uhrzeiten und Wochentagen einfließen.
Wann wird getestet?
Zur Vorbereitung der Spendenkampagne werden wir ab August regelmäßig Tests durchführen. Auf unserer Portalseite werden wir die Tests in der Regel ankündigen.
Testergebnisse de.wp.org
Test 1: Faktenbanner: Aufruf im Dropdown
Montag, 5.8. 2013, 11:00 bis Freitag, 9.8. 2013, 10:00
An den Beginn unserer Testreihe zur Vorbereitung der Spendenkampagne stellten wir eine konzeptionelle Fragestellung. Im letzten Jahr konnten wir sehen, dass beim Faktenbanner eine Änderung der Inhalte nach dem Aufklappen des Dropdowns kaum Einfluss auf das Spendenverhalten hatte. Auch die WMF verzichtete auf zusätzliche Inhalte im Dropdown. Daher testeten wir zwei Versionen des Faktenbanners. In der einen Variante wurde der Aufruf von Dr. Cueppers angezeigt, in der zweiten war nur noch das nun in der Mitte zentrierte Spendenformular zu sehen. Das Testergebnis steht in Kontinuität mit den Erkenntnissen des letzten Jahres. Mit oder ohne Aufrufe - beim Faktenbanner macht dies kaum einen Unterschied. Beide Varianten liefen nahezu auf dem selben Niveau.
| Banner | Landing Page |
Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| mit_Aufruf | 5F | 1082000 | 18500 | 1113 | 828 | 14190.77 | 17.14 | 0.017098 | 0.001029 | 0.06016 | 0.0007652 | 0.04476 | 0.74394 | 0.0131153 | 19.34 |
| nur_Form | 5F | 1055500 | 18485 | 1184 | 865 | 14185.39 | 16.40 | 0.017513 | 0.001122 | 0.06405 | 0.0008195 | 0.04679 | 0.73057 | 0.0134395 | 18.31 |
- Spende/Klick: +4,55% (p-value = 0.3704)
Test 2: Faktenbanner: Fakten- vs. 5€-Banner
Dienstag, 27.8.2013, 16:15 - Donnerstag, 29.8.2013, 19:00 (1% der WP-Seitenladungen)
Weniger ist manchmal mehr - das erfolgreichste Banner im letzten Jahr zeigte lediglich einen einzigen Satz: den wirkungsstarken "5€-Spruch". Unsicher waren wir uns allerdings, ob dieser Erfolg darauf basierte, dass wir das Banner zum Ende der Kampagne schalteten. Viele Leser hatten zuvor vermutlich das Faktenbanner gelesen und kannten wesentliche Informationen bereits. In diesem Jahr war es daher für uns wichtig gleich zu Beginn der Kampagnentests die Wirkung des 5€-Banners zu prüfen. An den Ergebnissen können wir nun sehen, dass für den Erfolg des Banners der Zeitpunkt der Kampagne keine Rolle zu spielen scheint. Mit 45% Steigerung der Spendenrate (Spende/Imp) stellt sich wie zuvor das 5€-Banner als viel erfolgreicher als das Faktenbanner dar. Bei einem genauen Blick lassen sich jedoch Unterschiede zu den Tests im letzten Jahr feststellen: Die aktuelle Steigerung beruht wesentlich auf einer enorm erhöhten Klickrate, im Gegensatz zu 2012, wo weniger Menschen zum Klicken bewegt werden konnten, von denen jedoch ein viel höherer Anteil spendete - eine gänzlich andere Wirkungsweise, die eventuell auf den Kampagnenzeitpunkt zurückzuführen ist.
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| Faktenbanner | 379600 | 9725 | 493 | 418 | 7668.52 | 18.35 | 0.025619 | 0.001299 | 0.05069 | 0.0011012 | 0.04298 | 0.84787 | 0.0202016 | 15.06 |
| 5€-Banner | 378300 | 15576 | 698 | 604 | 9250.32 | 15.32 | 0.041174 | 0.001845 | 0.04481 | 0.0015966 | 0.03878 | 0.86533 | 0.0244523 | 20.67 |
- Klick-Rate: p-value < 2.2e-16; Spende/Imp: p-value = 4.382e-09; Spende/Klick: p-value = 0.1127
--Tobias Schumann (WMDE) (Diskussion) 14:48, 3. Sep. 2013 (CEST)
Test 3: Liebe Leserinnen und Leser
Mittwoch, 4.9., 12:00 - Samstag, 7.9., 14:00
Im letzten Jahr konnten wir sehen, wie wirksam die direkte Ansprache der Leser im Banner ist. Im aktuellen Test wollten wir herausfinden, ob die regelmäßig niedrige Quote weiblicher Spender - und damit die gesamte Spendenquote - im Rahmen der Ansprache gesteigert werden kann. Wir verglichen daher "Liebe Leser" mit "Liebe Leserinnen und Leser". Leider wirkt sich, wie die Testergebnisse zeigen, die geänderte Ansprache nicht positiv aus.
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| Leser | 1448000 | 19912 | 963 | 852 | 16496.29 | 19.36 | 0.013751 | 0.000665 | 0.04836 | 0.0005884 | 0.04279 | 0.88474 | 0.0113925 | 20.24 |
| Leserinnen und Leser | 1452000 | 19784 | 1097 | 886 | 18534.21 | 20.92 | 0.013625 | 0.000756 | 0.05545 | 0.0006102 | 0.04478 | 0.80766 | 0.0127646 | 21.76 |
- Spende/Imp: p-value = 0.4486
--Tobias Schumann (WMDE) (Diskussion) 14:13, 12. Sep. 2013 (CEST)
Test 4: 5€-Banner: Aufruf im Dropdown
Mittwoch, 11.9., 11:45 - Montag, 16.9., 11:30
Wie bereits im ersten Test diesen Jahres prüften wir hier die Wirkung eines persönlichen Aufrufs. Diesmal wollten wir sehen, welchen Effekt der Aufruf von Dr. Cueppers in Kombination mit dem 5€-Banner hat. Erneut mussten wir feststellen, dass es praktisch keinen Unterschied für das Spendenverhalten macht, ob ein Aufruf nach dem Aufklappen des Banners angezeigt wird oder nicht.
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| mit_Aufruf | 1435400 | 12427 | 770 | 632 | 9813.79 | 15.53 | 0.008658 | 0.000536 | 0.06196 | 0.0004403 | 0.05086 | 0.82078 | 0.0068370 | 18.31 |
| kein_Aufruf | 1460500 | 12299 | 776 | 636 | 9345.00 | 14.69 | 0.008421 | 0.000531 | 0.06309 | 0.0004355 | 0.05171 | 0.81959 | 0.0063985 | 16.73 |
- Spende/Klick: +1,7% (p-value = 0.7607)
Test 5: Größe Spendenbutton
Donnerstag, 19.9., 14:00 - Dienstag, 24.9., 11:00 Uhr
In den kommenden Wochen werden wir uns verstärkt mit dem Bezahlprozess der Spendenseite beschäftigen und unter anderem verstärkt am Layout des Spendenformulars arbeiten. Als einen ersten Schritt testeten wir diese Mal vier verschiedene Größen des Spendenbuttons im Formular. Laut den Ergebnissen unseres Tests wirkt sich dies nicht auf die Spendenrate aus.
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| ctrl | 1178200 | 14922 | 789 | 667 | 12969.00 | 19.44 | 0.012665 | 0.000670 | 0.05287 | 0.0005661 | 0.04470 | 0.84537 | 0.0110075 | 22.12 |
| groß | 1183200 | 15215 | 811 | 675 | 13449.48 | 19.93 | 0.012859 | 0.000685 | 0.05330 | 0.0005705 | 0.04436 | 0.83231 | 0.0113670 | 22.73 |
| größer | 1188200 | 14854 | 803 | 675 | 12896.59 | 19.11 | 0.012501 | 0.000676 | 0.05406 | 0.0005681 | 0.04544 | 0.84060 | 0.0108539 | 22.39 |
| am größten | 1175600 | 15031 | 806 | 674 | 12664.31 | 18.79 | 0.012786 | 0.000686 | 0.05362 | 0.0005733 | 0.04484 | 0.83623 | 0.0107726 | 25.90 |
Test 6: Rollo-Funktion
Donnerstag, 26.9., 12:00 - Samstag, 28.9., 0:00 Uhr
Aus der Evaluation der Tests des letzten Jahres wissen wir, dass es einer der wichtigsten Erfolgsfaktoren ist, die Aufmerksamkeit der Leser zu erreichen. Entsprechende Änderungen des Bannerlayouts waren häufig erfolgreich. Mit dem aktuellen Test gingen wir in diesem Bereich neue Wege und prüften die Wirkung eines Banners, dass nach dem Laden der Webseite ähnlich eines Rollo in seine Position heruntergleitet. Die Ergebnisse bestätigen unsere These: Die Klick-Rate konnte wesentlich gesteigert werden, so dass auch insgesamt die Spenden-Rate steigt - und das um ganze 22%!
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| Ctrl | 848500 | 31211 | 1011 | 841 | 16243.62 | 19.31 | 0.036784 | 0.001192 | 0.03239 | 0.0009912 | 0.02695 | 0.83185 | 0.0191439 | 23.85 |
| Rollo | 817500 | 35920 | 1175 | 988 | 19383.55 | 19.62 | 0.043939 | 0.001437 | 0.03271 | 0.0012086 | 0.02751 | 0.84085 | 0.0237108 | 21.71 |
- Klick Rate: +15,1% (p-Wert < 2.2e-16)
- Spende/Imp: +21,9% (p-Wert = 2.275e-05)
Test 7, 8 und 9: kleiner Beitrag, 1€, 5€ oder 10€?
Im Oktober konzentrierten wir uns auf eine kleine Variation mit großer Wirkung. Unser aktuell erfolgreichstes Banner enthält lediglich den einen Satz: "Wenn jeder 5€ spenden würde,...". Schon aus dem letzten Jahr wissen wir, dass eine Veränderung des Betrags Auswirkung auf die Spendenbereitschaft der Leser hat. Nun prüften wir, welchen Unterschied es macht, wenn man den Satz mit 1€, 10€ oder einem "kleinen Beitrag" variiert. Im Hintergrund steht dabei die Überlegung, dass mit einem kleineren Beitrag die Hürde zu spenden deutlich gesenkt wird. Andererseits verändert sich einhergehend der Spendendurchschnitt. Dies ist an den Testergebnissen deutlich zu sehen: Je höher der genannte Betrag, desto höher der Spendendurchschnitt. Am höchsten ist der Wert bei der offenen Formulierung vom "kleinen Beitrag." Aber auch die Spendenrate verändert sich je nach genannter Spendenhöhe stark. Mit der "1€"-Variante können sogar so viele Menschen von einer Spende überzeugt werden, dass der Nachteil des niedrigen Durchschnitts wettgemacht werden kann. In unserem Fall heißt es also: "Masse statt Klasse".
Test 7,
Dienstag, 1.10., 16:30 - Montag, 7.10., 18:00 Uhr
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| 5€ | 2953100 | 20813 | 1413 | 1202 | 21055.43 | 17.52 | 0.007048 | 0.000478 | 0.06789 | 0.0004070 | 0.05775 | 0.85067 | 0.0071299 | 18.78 |
| kl.Beitrag | 2932200 | 22060 | 1052 | 832 | 16914.83 | 20.33 | 0.007523 | 0.000359 | 0.04769 | 0.0002837 | 0.03772 | 0.79087 | 0.0057686 | 21.38 |
Test 8, Freitag, 18.10., 12:15 - Dienstag, 22.10., 16:00 Uhr
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| 5€ | 2182600 | 15738 | 1030 | 823 | 12660.66 | 15.38 | 0.007211 | 0.000472 | 0.06545 | 0.0003771 | 0.05229 | 0.79903 | 0.0058007 | 20.18 |
| 1€ | 2210700 | 18132 | 1438 | 1168 | 15061.13 | 12.89 | 0.008202 | 0.000650 | 0.07931 | 0.0005283 | 0.06442 | 0.81224 | 0.0068128 | 21.44 |
Test 9,
Mittwoch, 23.10., 12:00 - Dienstag, 29.10., 11:00 Uhr
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| 1€ | 3203800 | 23320 | 1801 | 1403 | 18152.33 | 12.94 | 0.007279 | 0.000562 | 0.07723 | 0.0004379 | 0.06016 | 0.77901 | 0.0056659 | 20.81 |
| 10€ | 3262600 | 21032 | 1135 | 880 | 16387.12 | 18.62 | 0.006446 | 0.000348 | 0.05397 | 0.0002697 | 0.04184 | 0.77533 | 0.0050227 | 21.55 |
--Tobias Schumann (WMDE) (Diskussion) 10:48, 4. Nov. 2013 (CET)
Test 10 und 11: Formular im Banner
Von den Tests der WMF wissen wir, dass ein Formular direkt im Banner ein großes Potential darstellt. Hier nun prüften wir dies in unseren Bannern. Und: Tatsächlich führt das neue Bannerkonzept zu einer enormen Steigerung der Spendenrate. Im ersten Test versuchten wir den Effekt der Integration des Formulars möglichst isoliert zu betrachten und passten unser Faktenbanner (mit Drop) dem Formularbanner graphisch stark an. Erwartungsgemäß sankt die Klick-Rate enorm. Doch die Spendenrate wurde um ganze 98% gesteigert. Im zweiten Test ließen wir dann das Formularbanner gegen unser aktuell bestes Banner laufen. Auch hier kam es zu einer immer noch 79%igen Steigerung der Spendenanzahl pro Impression.
Test 10
Donnerstag 30.10., 14:00 - Freitag 01.11., 14:30 Uhr
| Banner | Landing Page |
Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| ohne_Formular_mod | 5F | 1034000 | 10862 | 663 | 513 | 9733.50 | 18.97 | 0.010505 | 0.000641 | 0.06104 | 0.0004961 | 0.04723 | 0.77376 | 0.0094134 | 23.04 |
| mit_Formular | 5F | 1023700 | 0 | 1904 | 1006 | 18746.33 | 18.63 | 0.000000 | 0.001860 | 0.00000 | 0.0009827 | 0.00000 | 0.52836 | 0.0183123 | 14.56 |
Test 11
Freitag 01.11. 14:30 - Dienstag 05.11. 16:00 Uhr
| Banner | Landing Page |
Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| ohne_Formular_1€ | 5F | 2276500 | 17836 | 1466 | 1131 | 14962.16 | 13.23 | 0.007835 | 0.000644 | 0.08219 | 0.0004968 | 0.06341 | 0.77149 | 0.0065724 | 19.41 |
| mit_Formular | 5F | 2276400 | 0 | 4515 | 2027 | 38018.39 | 18.76 | 0.000000 | 0.001983 | 0.00000 | 0.0008904 | 0.00000 | 0.44895 | 0.0167011 | 20.66 |
- Signifikanz Anz/Imp: p=2,80648183729183E-57 (Chi-Quadrat)
Test 12: Rollo-Effekt II
Freitag 08.11., 11:30 - 18:20 Uhr
Bei diesem Test handelt es sich im Prinzip um eine Wiederholung von Test 6, bei dem wir die Rollo-Funktion prüften. Sicherheitshalber wollten wir aber sehen, ob diese Form der Bannerdarstellung beim neuen Bannerkonzept mit integriertem Formular die selbe Wirkung erzielt. In der Tat scheint das Banner so eine höhere Aufmerksamkeit zu erhalten, denn wie in Test 6 erhöht sich die Klick-Rate (+17%, Test6: +19%). In der Folge konnte so auch die Spendenrate (Anz/Imp) um 12% gesteigert werden.
| Banner | Landing Page |
Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| ohne_Rollo | 5F | 2396200 | 0 | 6640 | 3163 | 57011.12 | 18.02 | 0.000000 | 0.002771 | 0.00000 | 0.0013200 | 0.00000 | 0.47636 | 0.0237923 | 23.18 |
| mit_Rollo | 5F | 2368200 | 0 | 7697 | 3485 | 65047.40 | 18.66 | 0.000000 | 0.003250 | 0.00000 | 0.0014716 | 0.00000 | 0.45277 | 0.0274670 | 24.92 |
- Signifikanz Anz/Imp: Chi-Quadrat p=0,00000936
Test 13 und 18: Blauer Link
Montag 11.11., 12:45 - 20:00 Uhr
Um den wichtigen Satz "Wenn jeder..." stärker hervorzuheben, griffen wir hier auf eine Gestaltungsmöglichkeit zurück, die sich im letzten Jahr bewährt hatte: die blaue Formatierung als Link. In Test 39 konnten wir sehen, wie sich zwar die Klick-Rate nicht veränderte, jedoch ein größerer Teil der Klickenden für eine Spende entschied. Wir folgerten, dass der Bannertext durch die optische Hervorhebung dieses zentralen Satzes insgesamt überzeugender wirkte. In unserem aktuellen Test kommen wir jedoch zu einem völlig unterschiedlichen Ergebnis: starke Steigerung der Klick-Rate aber enorme Senkung der Spende/Besuch auf der Landing Page, so dass insgesamt die Spendenrate gleich bleibt. Es sieht also so aus, als ob die Link-Formatierung in der aktuellen Bannerkonstellation (kein Drop, kein persönlicher Aufruf) ein Interesse erzeugt, dass nach dem Klick nicht befriedigt werden kann und daher zu einem Abbruch führt. In der Überarbeitung der Landing Page sehen wir daher noch viel Potenzial, jene Abbrecher zu überzeugen.
| Banner | Landing Page |
Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| no_link | 5F | 1043100 | 0 | 3189 | 1326 | 22973.51 | 17.33 | 0.000000 | 0.003057 | 0.00000 | 0.0012712 | 0.00000 | 0.41580 | 0.0220243 | 23.43 |
| link | 5F | 1052400 | 0 | 4788 | 1332 | 24933.00 | 18.72 | 0.000000 | 0.004550 | 0.00000 | 0.0012657 | 0.00000 | 0.27820 | 0.0236916 | 24.69 |
--Tobias Schumann (WMDE) (Diskussion) 14:54, 15. Nov. 2013 (CET)
Update: Aufgrund der Ergebnisse von Test 13 vermuteten wir, dass Menschen, die auf einen zusätzlichen Link im Formularbanner klicken, mehr Informationen suchen. Da wir nicht wissen, was sie interessieren könnte, testeten wir dies hier mit einer Spendenseite mit dem Spendenaufruf von Jimmy. Diese sahen nur diejenigen, die auf den Link klickten. Die Anderen sahen dagegen die Standard-Spendenseite, welche keinen Aufruf enthält. Am Ergebnis änderte dies aber nichts. Wie auch in Test 13 ging eine Erhöhung der Klickrate mit einer komplementären Senkung der Konversion auf der Spendenseite einher, so dass es insgesamt keine Änderung bei der Spendenrate gab. Sollte es ein Informationsbedürfnis geben, so konnten wir es mit dem Spendenaufruf von Jimmy nicht befriedigen.
Test 18, Dienstag 19.11., 20:00 - Donnerstag 21.11., 12:00 Uhr
| Banner | Landing Page |
Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| ohne_Link | 5F | 6599600 | 10053 | 4730 | 97075.61 | 20.52 | 0.001523 | 0.0007167 | 0.47051 | 0.0147093 | 29.43 |
| mit_Link | 5F&Jimmy | 6616800 | 11805 | 4793 | 94320.97 | 19.68 | 0.001784 | 0.0007244 | 0.40601 | 0.0142548 | 28.97 |
- Chi-Quadrat-Test Besuch/Imp: p = 0,000000
- Chi-Quadrat-Test Anzahl/Besuch: p = 0,000000
- Chi-Quadrat-Test Anzahl/Imp: p = 0,60391893
Test 14: Formularbanner: Fakten vs. 1€
Dienstag 12.11., 17:45 - Mittwoch 13.11., 10:45 Uhr
Aus Test 2 wissen wir, dass die Reduzierung des Bannertextes auf den "Wenn jeder..."-Satz sehr erfolgreich sein kann. Daher lag es nahe, dies auch bei dem aktuellen Formularbanner zu versuchen. Allerdings wurde in Test 2 nach dem Klick im Dropbanner, also noch vor dem Aschluss der Spende, der wichtige Faktentext angezeigt. Anhand der aktuellen Testergebnisse sehen wir, dass dies ein entscheidender Faktor war. Denn im Formularbanner führt die Reduzierung des Faktentextes auf den "Wenn jeder"-Satz zu einer starken Verringerung des Erfolgs: Die Spendenrate sinkt um rund 30%. Kombiniert mit einem geringeren Spendendurchschnitt sinkt der Erfolg des Banner sogar noch stärker.
| Banner | Landing Page |
Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| Fakten | 5F | 1195100 | 0 | 3835 | 1680 | 30328.84 | 18.05 | 0.000000 | 0.003209 | 0.00000 | 0.0014057 | 0.00000 | 0.43807 | 0.0253777 | 23.11 |
| 1€ | 5F | 1202200 | 0 | 3094 | 1190 | 14973.45 | 12.58 | 0.000000 | 0.002574 | 0.00000 | 0.0009899 | 0.00000 | 0.38462 | 0.0124550 | 19.26 |
- Signifikanz Anzahl/Imp: p = 1,26892988247306E-20 (Chi-Quadrat)
--Tobias Schumann (WMDE) (Diskussion) 15:22, 18. Nov. 2013 (CET)
Test 15, 16, 28, 30, 53: Textarbeit Faktentext
Während der Kampagne arbeiteten wir mehrmals am Text des Faktenaufrufs. Zunächst versuchten wir eine neue Variante des Faktentextes, orientiert am aktuellen Text der WMF (Test 15). Dieser längere Text ist tatsächlich erfolgreicher und konnte im Test die Spendenrate (Anzahl/Imp) um rund 20% steigern.
In Test 16 gingen wir wieder einmal der Frage nach, welcher Betrag in der Spendenaufforderung genannt werden soll. Zwar bestätigte sich erneut das Prinzip, dass bei "1€" mehr Menschen mit einer kleineren Durchschnittsspende spenden als bei "kleiner Beitrag". Doch in Kombination mit dem Faktentext verändert sich das Verhältnis von Spendenanzahl und Spendenhöhe und die geringere Durchschnittsspende scheint stärker ins Gewicht zu fallen. Daher schnitt überraschender Weise insgesamt die Variante mit dem "kleinen Betrag" besser ab.
Um den recht langen Text etwas zu verkürzen, strichen wir in Test 28 mehrere Sätze rund um den Vergleich von Wikipedia mit einer Bibliothek und einem öffentlichen Park. Dabei gingen wir von der Annahme aus, dass eine kürzerer Text eine höhere Wahrscheinlichkeit erzeugt, gelesen zu werden. Tatsächlich lief die gekürzte Variante im Test jedoch um wenige Prozent schlechter bei der Spendenrate (-2,7%).
In Test 30 erweiterten wir dagegen den Bannertext um einige, erfahrungsgemäß überzeugende Aspekte (keine Gebühren, kein kommerzielles Interesse, Selbstverständlichkeit im Alltag). Die Änderungen wirkten sich zwar positiv aus (+2,7%), jedoch in einem so geringen Umfang, dass die Ergebnisse nicht statistisch signifkant waren.
Je konkreter und auf einen bestimmten Anlass bezogen eine Ansprache ist, desto eher ist sie überzeugend. An Weihnachten testeten wir daher einen Bannertext, der das akutelle Datum direkt anspricht und baten die Leser "an diesem Weihnachtstag" etwas zurückzugeben (Test 53). Mit einer Steigerung der Spendenrate um 13% war diese Verortung im Jetzt sehr erfolgreich. Für die nächste Spendenkampagne ist das Ergebnis sehr lehrreich, da sich viele Möglichkeiten denken lassen, anlassbezogen zu kommunizieren.
Test 15, Freitag 15.11., 10:00 - 14:00 Uhr
| Banner | Landing Page |
Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| Ctrl | 5F | 1273900 | 1452 | 701 | 12162.50 | 17.35 | 0.001140 | 0.0005503 | 0.48278 | 0.0095475 | 24.50 |
| Text_neu | 5F | 1282800 | 1667 | 866 | 18364.49 | 21.21 | 0.001300 | 0.0006751 | 0.51950 | 0.0143159 | 25.40 |
Chi-Quadrat Anzahl/Imp: p = 0,00005538
Test 16, Freitag 15.11., 17:00 - Sonntag 17.11., 18:30 Uhr
| Banner | Landing Page |
Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| kl.Beitrag | 5F | 8055800 | 19299 | 10180 | 207503.16 | 20.38 | 0.002396 | 0.0012637 | 0.52749 | 0.0257582 | 24.50 |
| 1€ | 5F | 8065800 | 21927 | 11807 | 194619.86 | 16.48 | 0.002719 | 0.0014638 | 0.53847 | 0.0241290 | 23.96 |
Chi-Quadrat Anzahl/Imp: p = 0,00000000
Test 28, Montag 02.12., 13:15 - Dienstag 03.12., 13:15 Uhr
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| ctrl | 4182300 | 5391 | 2696 | 49653.99 | 18.42 | 0.001289 | 0.0006446 | 0.50009 | 0.0118724 | 29.08 |
| kein_Park | 4228700 | 5481 | 2652 | 49195.98 | 18.55 | 0.001296 | 0.0006271 | 0.48385 | 0.0116338 | 30.48 |
Chi-Quadrat Anzahl/Imp: p = 0,314689
Test 30, Donnerstag 05.12., 12:00 - Freitag 06.12., 18:30
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| Text_Ctrl | 5221100 | 6015 | 2876 | 54755.30 | 19.04 | 0.001152 | 0.0005508 | 0.47814 | 0.0104873 | 28.41 |
| Text_Var | 5169400 | 6160 | 2925 | 57276.78 | 19.58 | 0.001192 | 0.0005658 | 0.47484 | 0.0110800 | 29.26 |
Chi-Quadrat Anzahl/Imp: p = 0,3065
Test 53, Dienstag 24.12., 00:00 - Mittwoch 25.12., 10:00 Uhr
| Banner | Impressions | LP- Besucher |
Spendenanzahl | Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| Ctrl | 2042900 | 4126 | 2156 | 45632.07 | 21.17 | 0.002020 | 0.0010554 | 0.52254 | 0.0223369 | 19.59 |
| Weihnachtshinweis | 2041600 | 4395 | 2439 | 51387.08 | 21.07 | 0.002153 | 0.0011947 | 0.55495 | 0.0251700 | 19.58 |
Chi-Quadrat Anzahl/Imp: p = 0,00003123
Test 17, 19, 20, 23, 41, 44, 55, 56: zeitverzögerte Banneranzeige
Mit dieser umfassenden Testreihe schauten wir uns die Wirkung einer zeitverzögerten Banneranzeige auf die Spendenrate gründlich an. Die Idee dahinter: Mit unserer Bannerkommunikation unterbrechen wir den Leser in seiner Suche nach Information. Wäre es daher nicht viel besser, wenn das Banner angezeigt wird, nachdem der Leser gefunden hat, wonach er sucht? Ohne Störung bei der Recherche und mit befriedigtem Informationsbedürfniss wäre der Leser vermutlich eher bereit unsere Botschaft zu lesen. So einleuchtend das klingt, so schwierig ist die Umsetzung dieser Idee. Denn mit unterschiedlichen Informationsinteressen geht eine unterschiedliche Lesedauer einher. Auch schwankt die durchschnittliche Verweildauer aller Wikipedia-Leser vermutlich je nach Tageszeit und Wochentag. Letztlich blieb uns also nicht anderes übrig als - der Methode trial and error folgend - verschieden lang andauernde Verzögerungen zu testen. Insgesamt 8 mal wendeten wir uns diesem Element der Kampagnengestaltung zu und können nun mit großer Sicherheit sagen: Eine Zeitverzögerung zwischen 7,5 und 15 Sekunden führt in der Tat zu einer Steigerung der Spendenrate.
Die verschiedenen Intervalle, die wir testeten, betrugen 60, 30, 15 und 7,5 Sekunden. Laut den Ergebnissen sieht es so aus, als ob die Klick Rate um so stärker sinkt, je später das Banner angezeigt wird. Andererseits steigt die Konversion auf der Spendenseite mit der Zeitverzögerung, wobei dieser Effekt offenbar bei 15 Sekunden stagniert. Mit einer Zeitverzögerung sehen also vermutlich weniger Menschen das Banner, aber der Anteil vom Spenden überzeugter Personen nimmt zu - entsprechend unserer Annahmen zur Wirkung des Zeipunkts der Banneranzeige. Dies wirkt sich auf die Spendenrate aus. Während eine längere Verzögerung der Banner nicht erfolgreich war, steigt die Spendenrate um bis zu 14% bei einer Verzögerung bis zu 15 Sekunden. Wegen der vermuteten Unterschiede der durchschnittlichen Verweildauer je nach Wochentag wiederholten wir die Tests zu unterschiedlichen Zeitpunkten und testeten auch die beiden Zeitintervalle von 7,5 und 15 Sekunden gegeneinander. Als Fazit der Testreihe stellt sich eine Verzögerung von 7,5 Sekunden als die beste Variante dar.
Test 17, Montag 18.11., 22:00 - Dienstag 19.11., 21:00 Uhr
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| kein_Delay | 3926400 | 6226 | 2873 | 58464.06 | 20.35 | 0.001586 | 0.0007317 | 0.46145 | 0.0148900 | 28.76 |
| 30_Sek. | 4006000 | 6018 | 3090 | 61968.11 | 20.05 | 0.001502 | 0.0007713 | 0.51346 | 0.0154688 | 29.14 |
- Chi-Quadrat-Test Besuch/Imp: p = 0,002766
- Chi-Quadrat-Test Anzahl/Besuch: p = 0
- Chi-Quadrat-Test Anzahl/Imp: p = 0,041739
Test 19, Freitag 22.11., 12:45 - 18:30 Uhr
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| kein_Delay | 1322800 | 1687 | 748 | 15063.53 | 20.14 | 0.001275 | 0.0005655 | 0.44339 | 0.0113876 | 25.33 |
| 60_Sek. | 1399000 | 1308 | 643 | 13453.00 | 20.92 | 0.000935 | 0.0004596 | 0.49159 | 0.0096162 | 28.30 |
- Chi-Quadrat-Test Besuch/Imp: p = 0,000000
- Chi-Quadrat-Test Anzahl/Besuch: p = 0,008710
- Chi-Quadrat-Test Anzahl/Imp: p = 0,000112
Test 20, Freitag 22.11., 18:30 - Sonntag 24.11., 14:00 Uhr
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| kein_Delay | 5090000 | 8329 | 4088 | 83313.43 | 20.38 | 0.001636 | 0.0008031 | 0.49082 | 0.0163681 | 25.05 |
| 15_Sek. | 4990400 | 8549 | 4570 | 90724.19 | 19.85 | 0.001713 | 0.0009158 | 0.53457 | 0.0181797 | 24.90 |
- Chi-Quadrat-Test Besuch/Imp: p = 0,002885
- Chi-Quadrat-Test Anzahl/Besuch: p = 0,000000
- Chi-Quadrat-Test Anzahl/Imp: p = 0,000000
Test 23, Donnerstag 28.11., 20:00 Uhr - Freitag 29.11., 11:30 Uhr
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| kein_Delay | 1593500 | 1982 | 841 | 17522.50 | 20.84 | 0.001244 | 0.0005278 | 0.42432 | 0.0109962 | 27.12 |
| 15_Sek. | 1602300 | 1961 | 964 | 20222.34 | 20.98 | 0.001224 | 0.0006016 | 0.49159 | 0.0126208 | 27.50 |
- Chi-Quadrat-Test Besuch/Imp: p = 0,611696
- Chi-Quadrat-Test Anzahl/Besuch: p = 0,000022
- Chi-Quadrat-Test Anzahl/Imp: p = 0,005454
Test 41, Sonntag 15.12., 14:45 - Montag 16.12., 14:15 Uhr
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| 15_Sek. | 3564200 | 4361 | 2062 | 43676.14 | 21.18 | 0.001224 | 0.0005785 | 0.47283 | 0.0122541 | 25.12 |
| 7,5_Sek. | 3529100 | 4809 | 2233 | 45783.13 | 20.50 | 0.001363 | 0.0006327 | 0.46434 | 0.0129730 | 25.69 |
- Chi-Quadrat-Test Besuch/Imp: p = 0,000000
- Chi-Quadrat-Test Anzahl/Besuch: p = 0,415859
- Chi-Quadrat-Test Anzahl/Imp: p = 0,003341
Test 44, Montag 16.12., 23:00 - Dienstag 17.12., 17:30
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| kein_Delay | 2474800 | 2840 | 1157 | 24763.58 | 21.40 | 0.001148 | 0.0004675 | 0.40739 | 0.0100063 | 27.41 |
| 7,5_Sek. | 2385900 | 2513 | 1106 | 22826.46 | 20.64 | 0.001053 | 0.0004636 | 0.44011 | 0.0095672 | 25.34 |
- Chi-Quadrat-Test Besuch/Imp: p = 0,001727
- Chi-Quadrat-Test Anzahl/Besuch: p = 0,015594
- Chi-Quadrat-Test Anzahl/Imp: p = 0,839830
Test 55, Samstag 28.12., 15:45 - Sonntag 29.12., 19:00 Uhr
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| kein_Delay | 3356500 | 6884 | 3873 | 82483.04 | 21.30 | 0.002051 | 0.0011539 | 0.56261 | 0.0245741 | 23.45 |
| 7,5_Sek. | 3318700 | 7114 | 4260 | 88047.13 | 20.67 | 0.002144 | 0.0012836 | 0.59882 | 0.0265306 | 23.98 |
- Chi-Quadrat-Test Besuch/Imp: p = 0,008877
- Chi-Quadrat-Test Anzahl/Besuch: p = 0,000014
- Chi-Quadrat-Test Anzahl/Imp: p = 0,000002
Test 56, Sonntag 29.12., 19:00 - Montag 30.12., 24:00
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| 15_Sek | 3771900 | 6877 | 4290 | 90130.42 | 21.01 | 0.001823 | 0.0011374 | 0.62382 | 0.0238952 | 22.15 |
| 7,5_Sek | 3761100 | 7304 | 4344 | 91444.13 | 21.05 | 0.001942 | 0.0011550 | 0.59474 | 0.0243131 | 21.55 |
- Chi-Quadrat-Test Besuch/Imp: p = 0,000170
- Chi-Quadrat-Test Anzahl/Besuch: p = 0,000391
- Chi-Quadrat-Test Anzahl/Imp: p = 0,474747
Test 21, 31, 52: Neues Layout Spendenseite
Eine uns immer wieder beschäftigende Problematik ist die Abbrecherquote auf unserer Spendenseite. Bereits in der Herbstkampagne 2012 lag ein Schwerpunkt auf verschiedenen Anpassungen der Spendenseite mit dem Ziel die Abbrecherquote zu verändern. Auch in der aktuellen Kampagne mit dem Spendenformular im Banner kommt es auf der Spendenseite zu rund 50% Abbrechern, obwohl der Spendenprozess schon im Banner durch das Ausfüllen des Formulars beginnt und damit eine klare Spendenabsicht erkennbar wird.
In der Vorbereitung der diesjährigen Spendenkampagne haben wir uns eingehend mit den Prozessen von Online-Zahlungsabschlüssen beschäftigt und viele der diese begünstigenden Faktoren in eine komplette Neugestaltung der Spendenseite einfließen lassen. Zum Beispiel sollte das Design möglichst aufgeräumt und klar sein, der Zahlungsprozess möglichst mit positiven Reizen verstärkt werden (grüne Häkchen nach Ausfüllen) oder wichtige Informationen genau an der Stelle im Prozess angezeigt werden, wo das Bedürfnis nach ihnen entsteht. Zufrieden mit dem neuen Design prüften wir gespannt in mehreren Tests dessen Wirkung. Einem ersten Test mit leicht negativem Ergebnis (Test 21) konnte nicht vertraut werden, da sich herausstellte, dass es auf der neuen Spendenseite zu technischen Fehlern gekommen war. Der zweite Test beinhaltete im Banner ein der Spendenseite graphisch angelehntes Formular (T31). Dies führte zu überraschenden Ergebnissen: Einer 15%igen Senkung der Klickrate stand eine 13%ige Steigerung auf der Spendenseite gegenüber, so dass im Ergebnis beide Testgruppen hinsichtlich der Spendenrate etwa gleich gut liefen. Während die Erklärung für den Rückgang an Klicks im Dunkeln blieb, konnte dieser Test auch keine verlässliche Aussage über die Wirkung der neuen Spendenseite liefern. Erst ein dritter und vierter Test auf Wikipedia und Wikipedia.de über längere Zeiträume brachten am Ende die Gewissheit, dass die neu gestaltete Spendenseite die Abbrecherquote tatsächlich verringert. Allerdings fällt die Steigerung der Konversion auf der Spendenseite mit +6% und + 5% geringer aus, als wir uns erhofft hatten.
Test 21 , Mittwoch, 27.11., 14:00 - Donnerstag 28.11., 13:00 Uhr
| Banner | Landing Page |
Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| ctrl | Layout_alt | 3513000 | 4036 | 1897 | 37924.00 | 19.99 | 0.001149 | 0.0005400 | 0.47002 | 0.0107953 | 29.05 |
| ctrl | Layout_neu | 3484600 | 4040 | 1851 | 37210.64 | 20.10 | 0.001159 | 0.0005312 | 0.45817 | 0.0106786 | 26.81 |
Chi-Quadrat-Test Anzahl/Besuch: p = 0,285606
Test 31 , Freitag 06.12., 18:30 - Montag 09.12., 12:30 Uhr
| Banner | Landing Page |
Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| Formular_alt | Layout_alt | 8482300 | 11442 | 5747 | 112457.79 | 19.57 | 0.001349 | 0.0006775 | 0.50227 | 0.0132579 | 26.39 |
| Formular_neu | Layout_neu | 8314500 | 9501 | 5392 | 108190.45 | 20.06 | 0.001143 | 0.0006485 | 0.56752 | 0.0130123 | 25.41 |
Chi-Quadrat-Test Anzahl/Besuch: p = 0,000000
Test 52, Montag 23.12., 10:00 - Freitag 27.12., 13:15 Uhr
| Banner | Landing Page |
Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| ctrl | Layout_alt | 6713400 | 13451 | 7437 | 157678.19 | 21.20 | 0.002004 | 0.0011078 | 0.55290 | 0.0234871 | 24.25 |
| ctrl | Layout | 6773400 | 13080 | 7662 | 160878.99 | 21.00 | 0.001931 | 0.0011312 | 0.58578 | 0.0237516 | 18.56 |
Chi-Quadrat-Test Anzahl/Besuch: p = 0,00000006
Test 22, 34, 35, 40, 42: Formular im Banner <--> Fakten_Drop/Jimmy_Drop/5€_Drop
Zu Beginn der Kampagne hatten wir gesehen, dass die Integration des Formulars in das Banner zu einer enormen Steigerung der Spendenrate führt (siehe Tests 10 und 11). Wir konnten uns aber nicht sicher sein, dass dies über den gesamten Zeitlauf der Kampagne so bleiben würde. Beispielsweise könnte es sein, dass zu Beginn der Kampagne der Anteil an sehr spendenbereiten Lesern noch sehr hoch ist und diese positiv auf den verkürzten Spendenprozess reagieren. Im Laufe der Zeit hätten immer mehr dieser Menschen bereits gespendet und ein größerer Teil der Leser wünschte sich vielleicht mehr Informationen, würde also mit größerer Wahrscheinlichkeit auf ein Banner reagieren, dass mehr Informationen vor dem Abschluss der Spende vermittelt. Um also in Bezug auf die Wirksamkeit des Formularbanners sicher zu gehen, testeten wir es über den Verlauf der Spendenkampagne mehrmals gegen verschiedene Drop-Down-Banner. Diese zeigten entweder den Faktentext, den 5€-Satz oder den Jimmy-Aufruf. In den insgesamt fünf Tests schnitt das Formularbanner jedoch stets am erfolgreichsten ab. Nur in Test 35 konnte der Aufruf von Jimmy nahezu mithalten, auch wenn das Formularbanner im Vergleich die Spendenrate minimal um 1,9% steigerte.
Test 22 , Donnerstag 28.11., 13:00 - 20:00 Uhr
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| FA_drop | 1702100 | 16669 | 849 | 695 | 14382.10 | 20.69 | 0.009793 | 0.000499 | 0.05093 | 0.0004083 | 0.04169 | 0.81861 | 0.0084496 | 30.77 |
| FA_Formular | 1678600 | 0 | 1794 | 821 | 16807.50 | 20.47 | 0.000000 | 0.001069 | 0.00000 | 0.0004891 | 0.00000 | 0.45764 | 0.0100128 | 27.31 |
Chi-Quadrat Anzahl/Imp: p = 0,000452
Test 34 , Dienstag 10.12., 17:00 - Mittwoch 11.12., 10:00 Uhr
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| Fakten_Drop | 2200900 | 20954 | 1302 | 1039 | 20584.55 | 19.81 | 0.009521 | 0.000592 | 0.06214 | 0.0004721 | 0.04958 | 0.79800 | 0.0093528 | 31.63 |
| Fakten_Formular | 2132200 | 0 | 2432 | 1140 | 23216.45 | 20.37 | 0.000000 | 0.001141 | 0.00000 | 0.0005347 | 0.00000 | 0.46875 | 0.0108885 | 31.32 |
Chi-Quadrat Anzahl/Imp: p = 0,003674
Test 35
Mittwoch 11.12., 12:30 - Mittwoch 11.12., 18:00 Uhr
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| pA_Jimmy_Drop | 1452200 | 35205 | 751 | 569 | 11637.00 | 20.45 | 0.024243 | 0.000517 | 0.02133 | 0.0003918 | 0.01616 | 0.75766 | 0.0080134 | 35.42 |
| Fakten_Form | 1420300 | 0 | 1349 | 567 | 11454.00 | 20.20 | 0.000000 | 0.000950 | 0.00000 | 0.0003992 | 0.00000 | 0.42031 | 0.0080645 | 30.40 |
Chi-Quadrat Anzahl/Imp: p = 0,752729
Test 40 , Freitag 13.12., 18:45 - Sonntag 15.12., 01:00 Uhr
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| 5€_Drop_blau | 4026900 | 70876 | 3517 | 2878 | 49334.77 | 17.14 | 0.017601 | 0.000873 | 0.04962 | 0.0007147 | 0.04061 | 0.81831 | 0.0122513 | 26.42 |
| Fakten_Form | 3263200 | 0 | 5113 | 2581 | 49811.50 | 19.30 | 0.000000 | 0.001567 | 0.00000 | 0.0007909 | 0.00000 | 0.50479 | 0.0152646 | 24.87 |
Chi-Quadrat-Test Anzahl/Imp: p = 0,000182
Test 42 , Montag 16.12., 14:15 - 23:00 Uhr
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| 5€_Drop | 2257200 | 42680 | 1444 | 1128 | 20286.29 | 17.98 | 0.018908 | 0.000640 | 0.03383 | 0.0004997 | 0.02643 | 0.78116 | 0.0089874 | 24.95 |
| Fakten_Formular | 1926400 | 0 | 2379 | 1053 | 22332.01 | 21.21 | 0.000000 | 0.001235 | 0.00000 | 0.0005466 | 0.00000 | 0.44262 | 0.0115926 | 26.10 |
Chi-Quadrat-Test Anzahl/Imp: p = 0,036274
Test 24 und 38: Layout Banner: Hightlight von Text
In vielen Tests haben wir festgestellt, wie überzeugend der "Wenn jeder"-Satz Leser wirkt. Um ihn optisch hervorzuheben und so mehr Aufmerksamkeit auf ihn zu lenken, übernahmen wir von der WMF eine Layoutänderung des Banners: eine gelbe Highlight-Markierung ähnlich dem Strich eines Textmarkers. Die Hervorhebung war sehr erfolgreich: Die Spendenrate stieg um 46%! Daher wollten wir diesen Effekt in einem späteren Test nutzen und die mittlerweile im Banner integrierte Bankverbindung (siehe Test 29) hervorheben. Wir wissen durch Umfragen, dass viele Leser gerne spenden würden, aber Online-Zahlungen nicht vertrauen. Jedes Jahr schreiben uns hunderte Leser E-Mails, um unsere Bankverbindung zu erfragen, weswegen wir diese bereits direkt im Banner anzeigen. Dennoch gingen noch viele E-Mails bei uns ein, so dass wir uns für ein Hervorhebung der Bankverbindung entschieden. In Test 38 interessierte uns lediglich, ob die Hervorhebung einen negativen Effekt hat, aber die Spendenrate wird kaum beeinflusst.
Test 24 Freitag 29.11., 13:00 - 19:45 Uhr
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| ohne_Highlight | 1320200 | 1461 | 733 | 15002.00 | 20.47 | 0.001107 | 0.0005552 | 0.50171 | 0.0113634 | 25.98 |
| mit_Highlight | 1288100 | 1894 | 1047 | 21336.95 | 20.38 | 0.001470 | 0.0008128 | 0.55280 | 0.0165647 | 24.62 |
Chi-Quadrat Anzahl/Imp: p = 0,00000000
Test 38, Donnerstag 12.12., 20:00 - Freitag 13.12., 14:30 Uhr
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| kein_Highlight | 2105300 | 3183 | 1510 | 29505.31 | 19.54 | 0.001512 | 0.0007172 | 0.47440 | 0.0140148 | 27.17 |
| Highlight | 2084700 | 2956 | 1403 | 26351.69 | 18.78 | 0.001418 | 0.0006730 | 0.47463 | 0.0126405 | 27.07 |
Chi-Quadrat Anzahl/Imp: p = 0,08583915
Test 25: Anrede in Großbuchstaben
Freitag 29.11., 19:45 - Samstag 30.11., 18:00 Uhr
Die direkte Ansparache des Lesers ist ein wichtiges Erfolgselement des Bannertextes. Um mehr Aufmerksamkeit darauf zu lenken, probierten wir hier eine Variante mit Großbuchstaben. Leider führte dies zu keiner Änderung der Spendenrate.
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| Ctrl | 2250500 | 3848 | 2130 | 39670.52 | 18.62 | 0.001710 | 0.0009465 | 0.55353 | 0.0176274 | 23.60 |
| Typo_groß | 2254300 | 3873 | 2137 | 40256.00 | 18.84 | 0.001718 | 0.0009480 | 0.55177 | 0.0178574 | 24.13 |
Chi-Quadrat Anzahl/Imp: p=0,95846222
Test 26, 27, 29: Hover-Element
Das Formularbanner bietet relativ wenig Informationen vor dem Ausfüllen des Spendenformulars, also der Entscheidung zu spenden. Aus der Annahme, dass für einige Spendeninteressierte jedoch bestimmte Informationen relevant sind, suchten wir nach einem Weg diese im Banner unterzubringen. So kamen wir auf den Gedanken einige wichtige Aspekte im Hoverelement - dem unteren Bereich des Banners, der erst erscheint, wenn man mit der Maus darüberfährt - unterzubringen. In der Testgruppe informierten wir dort nun zusätzlich zur Kontoverbindung über die steuerliche Absetzbarkeit, verlinkten Informationen zur Verwendung der Spendengelder und eine Kontakmöglichkeit sowie erweiterten die Zahlmöglichkeiten um die Unterstützung per SMS (Test 26). Dies führte tatsächlich zu einer gewissen Änderung des Verhaltens: einige Menschen klickten auf die zusätzlichen Informationsmöglichkeiten, so dass die Klickrate des Banners um rund 17% erhöht wurde. Doch von diesen Menschen spendete leider nur ein kleiner Teil. Daher führte die gesteigerte Klickrate nicht zu einer Erhöhung der Spendenrate.
Mit dem Ziel die Aufmerksamkeit stärker auf die Inhalte im Hoverelement zu lenken, änderten wir dessen Hintergrundfarbe in hellblau (Test 27). Dies führte aber zu keiner grundsätzlichen Änderung der Ergebnisse. Da der Farbwechsel praktisch keine Auswirkungen hatte, fragten wir uns nun, ob der Hover als graphisches Element überhaupt zu mehr Aufmerksamkeit führt. Wir hatten es immer als einen Faktor verstanden, der die Aufmerksamkeit für das gesamte Banner steigert. Also testeten wir in Test 29 Banner mit und ohne Hoverlement gegeneinander. Letzteres hat den Vorteil, dass die Bankverbindung für jeden Leser sichtbar ist, ohne dass mit der Maus über das Banner gefahren werden muss. Auch in diesem Test ergab sich keine Unterschied in der Spendenrate. Für den weiteren Verlauf der Kampagne wechselten wir auf Banner ohne Hoverelement mit der verbesserten Sichtbarkeit der Bankverbindung.
Test 26 , Samstag 30.11., 20:15 - Sonntag 01.12., 18:30 Uhr
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| Hover_Ctrl | 2979400 | 4939 | 2699 | 50797.57 | 18.82 | 0.001658 | 0.0009059 | 0.54647 | 0.0170496 | 25.35 |
| Hover_Var | 2946200 | 4665 | 2525 | 49549.99 | 19.62 | 0.001583 | 0.0008570 | 0.54126 | 0.0168183 | 24.77 |
| Info-Links | - | 1023 | 72 | 1472.01 | 20.44 | 0.00000 | 0.0000000 | 0.07038 | 0.0000000 | 27.42 |
Chi-Quadrat-Test Anzahl/Imp: p = 0,320062
Test 27 , Sonntag 01.12., 18:30 - Montag 02.12., 13:15 Uhr
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| Hover_Ctrl | 2754100 | 3760 | 1901 | 37246.49 | 19.59 | 0.001365 | 0.0006902 | 0.50559 | 0.0135240 | 29.11 |
| Hover_blau | 2754900 | 3736 | 1873 | 35349.27 | 18.87 | 0.001356 | 0.0006799 | 0.50134 | 0.0128314 | 28.64 |
| Info-Links | - | 460 | 27 | 1000.00 | 37.04 | 0.000000 | 0.0000000 | 0.05870 | 0.0000000 | 23.81 |
Chi-Quadrat-Test Anzahl/Imp: p = 0,992855
Test 29 , Mittwoch 04.12., 16:15 - Donnerstag 05.12., 12:00 Uhr
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| Ctrl_Hover | 2808400 | 3491 | 1777 | 34244.78 | 19.27 | 0.001243 | 0.0006327 | 0.50902 | 0.0121937 | 29.84 |
| Kto_keinHover | 2786500 | 3541 | 1748 | 34222.71 | 19.58 | 0.001271 | 0.0006273 | 0.49365 | 0.0122816 | 29.72 |
Chi-Quadrat-Test Anzahl/Imp: p = 0,797848
--Tobias Schumann (WMDE) (Diskussion) 14:33, 20. Jan. 2014 (CET)
Test 32: Sticky unten
Montag 09.12., 12:30 - Montag 09.12., 18:00 Uhr
Für das erfolgreiche Schalten von Bannern ist es notwendig die Aufmerksamkeit des Lesers zu erreichen. Da die Lektüre des Artikeltextes ein sich nach unten fortsetzender Prozess ist, konzentriert sich die Aufmerksamkeit des Leser vermutlich eher auf den unteren Bildschirmbereich. Eine Positionierung des Banners am unteren Bildschirmrand schien uns folglich sehr erfolgsversprechend. Dies prüften wir mit Test 32. Laut den Ergebnissen scheint jedoch eine Bannerdarstellung am oberen Bildschirmrand mehr Aufmerksamkeit zu erhalten. Mit der graphischen Verschiebung nach unten sank gleichsam die Klick-Rate um rund 12%. Insgesamt verringerte sich die Spendenrate um 10%.
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| sticky_oben | 1539100 | 1562 | 700 | 12760.50 | 18.23 | 0.001015 | 0.0004548 | 0.44814 | 0.0082909 | 30.45 |
| sticky_unten | 1428100 | 1277 | 585 | 10972.30 | 18.76 | 0.000894 | 0.0004096 | 0.45810 | 0.0076831 | 26.97 |
- Chi-Quadrat-Test Besucher/Imp: p = 0,0007806
- Chi-Quadrat-Test Anzahl/Imp: p = 0,061650
Test 33: Spenderkommentare auf Landing Page
Montag 09.12., 23:00 - Dienstag 10.12., 17:00 Uhr
Obwohl der Spendenprozess bereits im Banner durch das Ausfüllen des Formulars beginnt - und damit eine klare Spendenabsicht erkennbar wird -, schließen nur rund die Hälfte eine Spende tatsächlich ab. Die anderen fünfzig Prozent brechen den Prozess leider auf der Spendenseite ab. Nachdem eine vollständige Neugestaltung keine Verbesserung gebracht hatte, versuchten wir in diesem Test eine inhaltliche Änderung der Spendenseite: Wir integrierten eine Art Spendenticker mit den jeweils aktuellsten fünf Spenderkommentaren auf der Spendenseite. Dem Prinzip der Sozialen Bewährtheit folgend, erhofften wir durch das Anzeigen existierender Spender bei potentiellen Gebern Vertrauen zu schaffen und zudem mit den Kommentaren weitere Überzeugungsarbeit zu leisten. Leider stellte sich der Spendenticker im Test nicht als probates Mittel heraus. Die Spendenrate blieb praktisch unverändert.
Update: Ein parallel laufender, identischer Test auf wikipedia.de kommt zu dem gleichen Ergebnis.
| Banner | Landing Page |
Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| ctrl | ohne_Kommentare | 2610300 | 2704 | 1179 | 22559.77 | 19.13 | 0.001036 | 0.0004517 | 0.43602 | 0.0086426 | 28.57 |
| ctrl | mit_Kommentaren | 2552800 | 2709 | 1216 | 21889.62 | 18.00 | 0.001061 | 0.0004763 | 0.44887 | 0.0085747 | 31.27 |
Chi-Quadrat-Test Anzahl/Besuch: p = 0,193106
Test 36: Text und Layout Banner: kurz und groß
Mittwoch 11.12., 18:00 - Donnerstag 12.12., 12:30 Uhr
Hier testeten wir eine kürzere Variante des Faktentextes, die es erlaubt die Schriftgröße des Texts zu erhöhen. Diese einfache, von der WMF erprobte Änderung erhöhte die Spendenquote um 10%. Die Vermutung liegt nahe, dass die leichter lesbare Textmenge von mehr Menschen gelesen wird.
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| text_ctrl | 2221500 | 2648 | 1244 | 26283.42 | 21.13 | 0.001192 | 0.0005600 | 0.46979 | 0.0118314 | 28.56 |
| text_kurz_bold | 2195500 | 2889 | 1355 | 28422.00 | 20.98 | 0.001316 | 0.0006172 | 0.46902 | 0.0129456 | 28.44 |
Chi-Quadrat-Test Anzahl/Imp: p = 0,013206
--Tobias Schumann (WMDE) (Diskussion) 14:42, 20. Jan. 2014 (CET)
Test 37 und 46: Bannerfarbe: gelb vs. blau
In den letzten Jahren führte eine Änderung der Bannerfarbe zum Teil zu starken Verbesserungen der Spendenraten, vermutlich aufgrund einer damit erzielten Aufmerksamkeitssteigerung. In der diesjährigen Kampagne erzielten wir mit Farbänderungen dagegen widersprüchliche Ergebnisse. Ein Test der Farben grün gegen gelb auf wikipedia.de ergab einen deutlichen positiven Effekt der Signalfarbe Gelb (Test 2: Spende/Imp +22%). Eine weitere Farbänderung - von gelb zu blau - evaluierten wir in mehreren Tests auf de.wikipedia.org und wikipedia.de. Während diese im ersten Test sehr erfolgreich war (Test 37: Spende/Imp +28%), brachte eine Testwiederholung lediglich eine Steigerung der Spendenrate von 3% (Test 46), also praktisch keinem Unterschied. Ein identischer Test auf wikipedia.de ergab ebenso keinen wirklichen Unterschied (Test 4: Spende/Imp: -3%). Unklar bleibt leider, ob es sich beim ersten Test um einen tatsächlichen Effekt handelt oder ob das Ergebnis - trotz statistischer Signifikanz - nicht glaubwürdig ist.
Test 37, Donnerstag 12.12., 12:30 - 20:00 Uhr
| Banner | Impressions | LP- Besucher |
Spenden anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| gelb | 1565900 | 1780 | 764 | 15324.00 | 20.06 | 0.001137 | 0.0004879 | 0.42921 | 0.0097861 | 23.60 |
| blau | 1561200 | 2189 | 977 | 20816.09 | 21.31 | 0.001402 | 0.0006258 | 0.44632 | 0.0133334 | 29.84 |
Chi-Quadrat-Test Anzahl/Imp: p = 0,000000
Test 46, Dienstag 17.12., 20:10 - Mittwoch 18.12., 16:30 Uhr
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| gelb | 2674600 | 2947 | 1296 | 28011.05 | 21.61 | 0.001102 | 0.0004846 | 0.43977 | 0.0104730 | 27.08 |
| blau | 2684200 | 2955 | 1339 | 27263.11 | 20.36 | 0.001101 | 0.0004988 | 0.45313 | 0.0101569 | 26.40 |
Chi-Quadrat-Test Anzahl/Imp: p = 0,455724
Test 39: Dialog-Banner
In diesem Test prüften wir die Wirkung eines völlig neuen Ansatzes. Das Ziel war es, stärker mit den Wikipedia-Lesern in Dialog zu treten und potentiell mehr Menschen zu erreichen. Dazu zeigten wir ein Banner, das im Wesenlichen dannach fragt, ob man Wikipedia helfen möchte - ohne genauer zu spezifizieren, was das bedeutet. Statt dessen werden zwei Buttons zur Wahl gestellt. Möchte man nicht helfen, verschwindet das Banner. Möchte man helfen, erscheint das Standard-Formularbanner. Leider hat diese Herangehensweise zu einer krassen Senkung der Spendenrate geführt (Anzahl/Imp: -61%). Dennoch war dieser Versuch lehrreich und hat vielleicht Potential für die Zukunft. Denn tatsächlich reagierten mehr Leser auf das Banner: 32% mehr Menschen klicken auf den Helfen-Button als im Faktenbanner das Formular ausfüllen.
Freitag 13.12., 14:30 - 17:30 Uhr
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| Fakten_Formular | 532500 | 0 | 594 | 275 | 5967.21 | 21.70 | 0.000000 | 0.001115 | 0.00000 | 0.0005164 | 0.00000 | 0.46296 | 0.0112060 | 23.79 |
| Dialog-Banner | 585800 | 789 | 177 | 118 | 2335.11 | 19.79 | 0.001347 | 0.000302 | 0.22433 | 0.0002014 | 0.14956 | 0.66667 | 0.0039862 | 24.00 |
Chi-Quadrat-Test Anzahl/Imp: p = 0,0000
Test 47, 49, 57: Spenden-Barometer
Im Vergleich über die Jahre betrachtet ähnelt der diesjährige Verlauf der Spendenkampagne eher dem Auf und Ab des Jahres 2011 als 2012. In der letzten Kampagne gelang es relativ frühzeitig mit mehreren erfolgreichen Weiterentwicklungen den typischen Niedergang der Spendeneinnahmen nach Kampagnenbeginn umzukehren, was uns ermöglichte zum Ende hin auch Banner und Geschichten vom Wikipedianern zu zeigen, die zwar auf großes Interesse stießen und über den Hintergrund der größten Enzyklpoädie aufklärten, aber nicht so stark von einer Spende überzeugten. Im Jahr 2011 dagegen dauerte es bis in die letzten Wochen hinein etwas zu finden, dass die Spendeneinnahmen aus dem Tal anhob und einen erfolgreichen Abschluss ermöglichte. Mit dem erstmaligen Einsatz des 5€-Banners konnte damals für die letzten Wochen eine fast dramatische Steigerung der Spenden erreicht werden.
Auch dieses Jahr bedurfte es eines Rettungsankers, nachdem mit verschiedenen kleineren Verbesserungen die Einnahmen zwar auf einem gewissen Niveau gehalten werden konnten, dies aber klar nicht ausreichte, um das Spendenziel zu erreichen. Warum also nicht kommunizieren, dass es mit der Erreichung des Spendenziels knapp wird? Wir griffen auf eine alte Idee zurück und integrierten ein Spendenbarometer ins Banner, dass den täglichen Fortschritt bei den Einnahmen zeigte. Aber eben auch, wie viel noch fehlt. Das Layout des Barometers ließen wir von unserem Grafiker überarbeiten und testeten es zunächst in einem 5€-Banner, da dort mehr Platz für die Darstellung zur Verfügung stand (Test 47). Das Ergebnis spiegelt mehr als einen rettenden Strohhalm wieder: Die Spendenrate steigerte sich um 83% gegenüber dem Faktenbanner. Dieses erweiterten wir wiederum in einem nächsten Test um das Barometer (Test 49). Auch damit konnten wir die Spendenrate um weitere 24% steigern. Doch da das verglichene 5€-Banner zu einem weit niedrigeren Durchschnittsbetrag führt, fiel die tatsächliche Steigerung weitaus stärker aus (Betrag/Imp: +49%). Unser dritter und letzter Test rund um das Spendenbarometer fokussierte auf die Angabe der verbleibenden Zeit. Am letzten Tag der Kampagne testeten wir die Formulierung "Heute endet unsere Spendenkampagne" gegen einen automatischen Countdown der letzten 24 Stunden. Hier scheint Einfachheit zu überzeugen. Die tickende Restzeit senkte die Spendenrate um 20%.
Dank des Spendenbarometers konnten wir den Verlauf der Herbstkampagne 2013 noch einmal nachhaltig drehen. Nur so gelang es, das diesjährige Spendenziel zu erreichen und die Kampagne planmäßig am 31.12. zu beenden.
Test 47, Mittwoch 18.12., 16:30 - Donnerstag 19.12., 11:30 Uhr
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| 5€_Drop_mitBaro | 2316000 | 25184 | 2666 | 2227 | 39153.21 | 17.58 | 0.010874 | 0.001151 | 0.10586 | 0.0009616 | 0.08843 | 0.83533 | 0.0169055 | 25.40 |
| Fakten_Formular | 2165400 | 0 | 2486 | 1135 | 21990.00 | 19.37 | 0.000000 | 0.001148 | 0.00000 | 0.0005242 | 0.00000 | 0.45656 | 0.0101552 | 27.72 |
Chi-Quadrat-Test Anzahl/Imp: p = 0,0000
Test 49, Donnerstag 19.12., 18:30 - Freitag 20.12., 11:30 Uhr
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| Fakten_Form_Baro | 1606600 | 0 | 3396 | 1992 | 43127.06 | 21.65 | 0.000000 | 0.002114 | 0.00000 | 0.0012399 | 0.00000 | 0.58657 | 0.0268437 | 23.79 |
| 5€_Drop_Baro | 1661000 | 16922 | 1925 | 1660 | 29984.78 | 18.06 | 0.010188 | 0.001159 | 0.11376 | 0.0009994 | 0.09810 | 0.86234 | 0.0180522 | 24.74 |
Chi-Quadrat-Test Anzahl/Imp: p = 0,0000
Test 57, Montag 30.12., 24:00 - Dienstag 31.12., 14:45 Uhr
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| "heute_endet" | 1028100 | 2393 | 1597 | 35672.43 | 22.34 | 0.002328 | 0.0015534 | 0.66736 | 0.0346974 | 21.46 |
| "noch_xy_stunden" | 1046000 | 2024 | 1302 | 27188.33 | 20.88 | 0.001935 | 0.0012447 | 0.64328 | 0.0259927 | 19.15 |
- Chi-Quadrat-Test Besuch/Imp: p = 0,0000
- Chi-Quadrat-Test Anzahl/Besuch: p = 0,093128
- Chi-Quadrat-Test Anzahl/Imp: p = 0,0000
Test 48: Layout und Text von Faktenaufruf im Drop
Donnerstag 19.12., 12:45 - 17:30 Uhr
Kurzzeitig sah es während der Herbstkampagne so aus, als ob die Drop-Version der Banner wieder die erfolgreichste Variante darstellt. Dabei klappt sich das Banner nach dem Klick quasi auf und fährt runter, so dass Spendenformular und Aufrufe sichtbar werden. Aus dem vergangenen Jahr wissen wir, dass der Faktenaufruf im Drop eine große Rolle spielt. In Test 48 prüften wir nun zwei in Textlänge und Layout verschiedene Varianten des Faktentextes im Drop-Banner. Mit einer minimalen Steigerung bei Anzahl/Klick von 3,7% liegt die blaue und kurze Variante zwar vorn. Angesichts des geringen Unterschieds und dem nicht statistisch signifikanten Ergebnis muss man aber eher davon ausgehen, dass zwischen den beiden Varianten kein Unterschied besteht.
| Banner | Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| rot_und_lang | 986300 | 9574 | 950 | 786 | 15047.00 | 19.14 | 0.009707 | 0.000963 | 0.09923 | 0.0007969 | 0.08210 | 0.82737 | 0.0152560 | 24.77 |
| blau_und_kurz | 1042000 | 9934 | 984 | 846 | 14543.54 | 17.19 | 0.009534 | 0.000944 | 0.09905 | 0.0008119 | 0.08516 | 0.85976 | 0.0139573 | 24.89 |
- Chi-Quadrat-Test Klick/Imp: p = 0,205996
- Chi-Quadrat-Test Anzahl/Klick: p = 0,597
- Chi-Quadrat-Test Anzahl/Besuch: p = 0,049813
- Chi-Quadrat-Test Anzahl/Imp: p = 0,706822
Test 50 und 54: Landing Page: WMDE vs. WP Logo
Angesichts einer Abbrecherquote von rund 50% auf unserer Spendenseite lag ein Schwerpunkt der Herbstkampagne auf deren Weiterentwicklung. Eine unserer Vermutungen war, dass das prominent platzierte Wikimedia-Logo einen Teil der spendeninteressierten Besucher verwirrte. Wir können davon ausgehen, dass das institutionelle Gefüge rund um Wikipedia nicht allen Lesern bekannt ist und so die skeptische Frage auftaucht, wieso plötzlich auf der Spendenseite das Logo von Wikipedia verschwindet. Um diese Vermutung zu überprüfen, ersetzten wir in zwei Tests das WMDE-Logo durch den Puzzleball, jeweils im alten und im neuen Spendenseiten-Layout. Interessanterweise und für uns überraschend hat die Ersetzung in beiden Tests keinerlei Auswirkung auf die Abbrecherquote. Unsere Annahme über die Wirkung des Wikimedia-Logos stellte sich also als falsch heraus.
Test 50 , Freitag 20.12., 14:00 - Samstag 21.12., 20:00 Uhr
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| WMDE_Logo | 2997700 | 7056 | 4097 | 87600.11 | 21.38 | 0.002354 | 0.0013667 | 0.58064 | 0.0292224 | 21.83 |
| WP_Logo | 3008900 | 7118 | 4143 | 88668.95 | 21.40 | 0.002366 | 0.0013769 | 0.58205 | 0.0294689 | 22.15 |
Chi-Quadrat Anzahl/Besuch: p = 0,86538749
Test 54, Freitag 27.12., 13:15 - Samstag 28.12., 15:45 Uhr
| Banner | Landing Page |
Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| ctrl | wmde_logo | 3004100 | 6052 | 3618 | 75559.00 | 20.88 | 0.002015 | 0.0012044 | 0.59782 | 0.0251520 | 21.72 |
| ctrl | wp_logo | 3003600 | 6021 | 3576 | 77287.15 | 21.61 | 0.002005 | 0.0011906 | 0.59392 | 0.0257315 | 21.57 |
Chi-Quadrat Anzahl/Besuch: p = 0,66257838
Test 51: Spendenformular: vorausgewählter Betrag
Samstag 21.12., 20:00 - Montag 23.12., 15:00 Uhr
Mehr oder weniger historisch gewachsen haben wir in unserem Spendenformular einen Button bei der Betragswahl vorausgewählt. Mit dem Test wollten wir absichern, dass diese Vorauswahl keinen negativen Effekt hat. In der Tat hat das Weglassen der Vorauswahl praktisch keinen Effekt auf die Spendenrate (+2,4%). Jedoch verändern sich sowohl Klick Rate (-15%) als auch Konversion auf der Spendenseite (+20%) in statistisch signifkantem Maß - in der Weise, dass sie sich gegenseitig ausgleichen. Diese Änderung des Verhaltens können wir nicht recht erklären. Eine mögliche Begründung könnte sein: Die Nutzer werden abgechreckt durch eine Warnmeldung, da sie auf einen der Zahlweise-Buttons klicken, ohne vorher einen Betrag ausgewählt zu haben. Sie wollten eventuell nur sehen, wie der Spendenprozess weiter geht oder hoffen mehr Informationen zu finden und haben nun eventuell Angst, dass das Klicken auf das Button eine verbindliche Zahlung auslöst und brechen dann ab.
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| ctrl | 4206500 | 9061 | 5214 | 112115.67 | 21.50 | 0.002154 | 0.0012395 | 0.57543 | 0.0266530 | 22.75 |
| ohne_Default | 4248100 | 7778 | 5393 | 116839.26 | 21.66 | 0.001831 | 0.0012695 | 0.69337 | 0.0275039 | 23.67 |
- Chi-Quadrat-Test Besuch/Imp: p = 0,0000
- Chi-Quadrat-Test Anzahl/Besuch: p = 0,0000
- Chi-Quadrat-Test Anzahl/Imp: p = 0,217926
Testergebnisse wp.de
Test 1: mit vs. ohne Formular im Banner
Montag, 28.11.2013 - Mittwoch, 30.11.2013
In einer Vielzahl von Tests konnten wir den positiven Effekt sehen, den die Integration des Spendenformulars direkt in das Banner bewirkt (Vergleich hier und hier). Dennoch wollten wir diese Änderung nicht ungeprüft auf Wikipedia.de übernehmen. Glücklicherweise zeigte sich aber auch hier eine klar positive Veränderung der Spendenrate (Anzahl/Imp: +27%).
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| ohne_Formular | 172291 | 634 | 137 | 3122.00 | 22.79 | 0.003680 | 0.0007952 | 0.21609 | 0.0181205 | 21.00 |
| mit_Formular | 172128 | 307 | 174 | 4069.00 | 23.39 | 0.001784 | 0.0010109 | 0.56678 | 0.0236394 | 18.18 |
Test 2: Bannerfarbe: grün vs. gelb
Mittwoch, 4.12.2013 - Samstag, 7.12.2013
Während der Spendenkampagne haben wir mehrere Tests rund um die Farbe des Banners durchgeführt. Eine ausführliche Auswertung findet ihr hier.
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| grün | 290180 | 447 | 277 | 5817.00 | 21.00 | 0.001540 | 0.0009546 | 0.61969 | 0.0200462 | 22.43 |
| gelb | 396747 | 752 | 463 | 10122.70 | 21.86 | 0.001895 | 0.0011670 | 0.61569 | 0.0255142 | 21.23 |
Test 3: Kommentare auf der Landing Page
Montag, 9.12.2013 - Sonntag, 15.12.2013
Parallel zu einem identischen Test auf de.wikipedia.org versuchten wir hier die Abbrecherquote auf der Spendenseite durch das Zeigen der neuesten Spenderkommentare zu verringern. Ebenso wie in dem zeitgleich verlaufenden Zwillingstest brachte dies leider keine Veränderung der Spendenrate.
| Banner | Landing- Page |
Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| ctrl | ohne_Kommentare | 620875 | 936 | 584 | 13559.50 | 23.22 | 0.001508 | 0.0009406 | 0.62393 | 0.0218393 | 20.17 |
| ctrl | mit_Kommentaren | 619731 | 998 | 621 | 17048.05 | 27.45 | 0.001610 | 0.0010020 | 0.62224 | 0.0275088 | 16.42 |
Test 4: Bannerfarbe: gelb vs. blau
Sonntag, 15.12.2013 - Donnerstag, 19.12.2013
Während der Spendenkampagne haben wir mehrere Tests rund um die Farbe des Banners durchgeführt. Eine ausführliche Auswertung findet ihr hier.
| Banner | Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
% Frauen |
| gelb | 449946 | 647 | 419 | 13365.68 | 31.90 | 0.001438 | 0.0009312 | 0.64760 | 0.0297051 | 19.58 |
| blau | 450710 | 650 | 407 | 11335.00 | 27.85 | 0.001442 | 0.0009030 | 0.62615 | 0.0251492 | 16.92 |
Test 5: Layout Spendenseite: alt vs. neu
Donnerstag, 19.12.2013 - Dienstag, 31.12.2013
Hier testeten wir unsere Spendenseite gegen eine neue, in Konzept und Gestaltung völlig überarbeitete Variante. Da wir diesen Test auch auf de.wikipedia.org durchführten, findet sich die Analyse der Ergebnisse in einer gesammelten Auswertung.
| Banner | Landing- Page |
Impressions | LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Besucher pro Imp |
Anzahl pro Imp |
Anzahl pro Besucher |
Betrag pro Imp |
% Frauen |
| ctrl | alte LP | 1141958 | 3262 | 2321 | 67780.22 | 29.20 | 0.002856 | 0.0020325 | 0.71153 | 0.0593544 | 18.97 |
| ctrl | neue LP | 1142043 | 3291 | 2451 | 68929.41 | 28.12 | 0.002882 | 0.0021462 | 0.74476 | 0.0603562 | 15.25 |
Chi-Quadrat-Test Anzahl/Besuch: p = 0,002499
--Tobias Schumann (WMDE) (Diskussion) 14:33, 20. Jan. 2014 (CET)
Testergebnisse mobil: m.de.wp.org
In 2013 haben wir Neuland betreten. Nicht nur zeigten wir erstmalig Banner auf der mobilen Wikipedia-Seite. Wir stiegen zugleich in das A/B-Testen in diesem neuen und spannenden Bereich ein. Bei den Tests konnten wir zum Teil ausgeprägte Steigerungen der Spendenraten erreichen. Da die Nutzungs- und Klickzahlen auf mobilen Geräten jedoch deutlich niedriger liegen als auf der Desktop-Wikipedia, mussten die Tests für aussagekräftige Ergebnisse verhältnismäßig lang laufen. Daher konnten wir während der Herbstkampagne 2013 insgesamt nur sechs Tests realisieren.
Test 1: Sticky-Funktion
Mittwoch, 4.12.2013, 22:15 - Donnerstag, 5.12.2013, 22:15
Auf mobilen Geräten dauert es aufgrund der nicht immer optimalen Netzverbindung teils relativ lange bevor das Banner geladen ist. Dadurch kommen viele Nutzer gar nicht in die Gelegenheit es zu sehen, da sie auf der Artikelseite bereits nach unten gescrollt haben. Daher lag es nahe, gleich zu Beginn die Stickyfunktion zu testen. Auf diese Weise wird sichergestellt, dass jeder Nutzer das Banner zu sehen bekommt. Erwartungsgemäß führte dies zu einer Steigerung der Spendenrate, doch über das Ausmaß der Steigerung - rund 220% - waren wir dann doch überrascht.
| Banner | Impressions | Spenden- anzahl |
Summe | Durch- schnitt |
Anzahl pro Imp |
Betrag pro Imp |
| nicht_sticky | 1510100 | 42 | 318.00 | 7.57 | 0.0000278 | 0.0002106 |
| Info-Links | - | 0 | 0.00 | 0.00 | 0.0000000 | 0.0000000 |
| sticky | 1237500 | 108 | 705.00 | 6.53 | 0.0000873 | 0.0005697 |
| Info-Links | - | 2 | 28.00 | 14.00 | 0.0000000 | 0.0000000 |
- p-Wert Anzahl/Impression = 0,000000
Test 2: Layout Text im Drop - Faktentext auf gelb vs. rot
Samstag, 7.12.2013, 18:00 - Dienstag, 10.12.2013, 18:00 Uhr
Mit einer Farbänderung versuchten wie auf den kleinen Bildschirmen von Smartphones mehr Aufmerksamkeit zu erreichen: Wir änderten die Hintergrundfarbe des Faktentextes im Drop von gelb auf rot. Dies brachte jedoch offenbar nicht den gewünschten Effekt, die Spendenrate änderte sich nicht.
| Banner | Impressions | Spenden- anzahl |
Summe | Durch- schnitt |
Anzahl pro Imp |
Betrag pro Imp |
| Ctrl_gelb | 4285600 | 279 | 1944.00 | 6.97 | 0.0000651 | 0.0004536 |
| Info-Links | - | 0 | 0.00 | 0.00 | 0.0000000 | 0.0000000 |
| Var_rot | 4203800 | 277 | 1741.00 | 6.29 | 0.0000659 | 0.0004141 |
| Info-Links | - | 0 | 0.00 | 0.00 | 0.0000000 | 0.0000000 |
- p-Wert Anzahl/Impression = 0,88676786
Test 3 und 4: Layout Banner: Button vs. Link
Mit diesen zwei Tests konzentrierten wir uns auf das Layout des Banners. Wir ersetzten den Spenden-Button im Banner durch einen blauen Link und ergänzten den highlight-markierten "Wenn jeder..."-Spruch. Dies führte zu einem Einbruch der Klick-Rate um rund 70%, jedoch zu einer enormen Zunahme der Konversion im Drop um 294%. Im Ergebnis schneidet das neue, an der WMF orientierte Layout um 12% besser ab. Allerdings hatte sich bei der Überarbeitung der Bannergestaltung ein Unterschied bei den Schriftgrößen im Drop eingeschlichen. Um wirklich saubere Testergebnisse zu erhalten, wiederholten wir den Test und stellten sicher, dass beide Testgruppen gleiche Textgrößen besaßen. Im diesem zweiten Test erhielten wir praktisch identische Ergebnisse und konnten nun doppelt abgesichert auf das neue Bannerlayout vertrauen.
Test 3, Freitag, 10.12.2013, 21:15 - Montag, 13.12.2013, 16:15 Uhr
| Banner | Landing Page |
Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
| Button | L10h16 | 2677600 | 15522 | 320 | 186 | 1129.00 | 6.07 | 0.005797 | 0.000120 | 0.02062 | 0.0000695 | 0.01198 | 0.58125 | 0.0004216 |
| Info-Links | - | - | 29 | 0 | 0.00 | 0.00 | - | 0.000000 | 0.00000 | 0.0000000 | 0.00000 | 0.00000 | 0.0000000 | |
| Link | L10h16 | 2641000 | 4362 | 355 | 206 | 1286.00 | 6.24 | 0.001652 | 0.000134 | 0.08138 | 0.0000780 | 0.04723 | 0.58028 | 0.0004869 |
| Info-Links | - | - | 21 | 0 | 0.00 | 0.00 | - | 0.000000 | 0.00000 | 0.0000000 | 0.00000 | 0.00000 | 0.0000000 |
p-wert Anzahl/Impression = 0,25160119
Test 4, Montag, 13.12.2013, 16:15 - Dienstag, 16.12.2013, 15:15
| Banner | Landing Page |
Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
| Button | L10h16 | 3600000 | 21112 | 511 | 300 | 2130.00 | 7.10 | 0.005864 | 0.000142 | 0.02420 | 0.0000833 | 0.01421 | 0.58708 | 0.0005917 |
| Info-Links | - | - | 40 | 1 | 5.00 | 5.00 | - | 0.000000 | 0.00000 | 0.0000000 | 0.00000 | 0.02500 | 0.0000000 | |
| Link | L10h16 | 3652800 | 5922 | 546 | 347 | 2324.00 | 6.70 | 0.001621 | 0.000149 | 0.09220 | 0.0000950 | 0.05860 | 0.63553 | 0.0006362 |
| Info-Links | - | - | 31 | 0 | 0.00 | 0.00 | - | 0.000000 | 0.00000 | 0.0000000 | 0.00000 | 0.00000 | 0.0000000 |
p-wert Anzahl/Impression = 0,09637155
Test 5: Anzahl Spendenbeträge
Donnerstag, 16.12.2013, 15:15 - Montag, 20.12.2013, 1:15 pm UTC
Aus vielen Tests kennen wir die Bedeutung der richtigen Auswahl der im Formular angezeigten Spendenbeträge. Sowohl die Anzahl als auch die angegebenen Summen wirken sich auf die Spendenhäufigkeit und Durchschnittsspende aus. Eine höhere Anzahl vorgegebener Beträge kann dabei das Formular unübersichtlicher wirken lassen oder aber durch mehr Auswahlmöglichkeiten die Bequemlichkeit der Nutzung steigern. Auf den kleinen Smartphonebildschirmen stellt sich diese Frage neu. Hier testeten wir nun vier (3|5|10|20) gegen sechs (5|15|25|50|75|100) Spendenbeträge. (Bisher konnten wir aufgrund des technischen Neulands der mobilen Banner leider noch nicht die Funktionalität eines Freifeldes implementieren.) Im Unterschied zu früheren Ergebnissen bei Tests der Desktop-Seite wurde die Spendenrate (Anzahl/Impression) durch mehr Auswahlmöglichkeiten nicht gesteigert. Eventuell spielt hier die kleine Bildschirmgröße tatsächlich eine Rolle für ein verändertes Verhältnis von Übersichtlichkeit und Usability. Positiv ist aber, dass bei der Variante mit sechs Auswahlbeträgen eine Erhöhung der Durchschnittsspende festgestellt werden konnte, weswegen wir die Änderung in das mobile Banner übernahmen.
| Banner | Landing Page |
Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
| vier_Beträge | L10h16 | 3879100 | 74882 | 523 | 284 | 2020.00 | 7.11 | 0.019304 | 0.000135 | 0.00698 | 0.0000732 | 0.00379 | 0.54302 | 0.0005207 |
| Info-Links | - | - | 61 | 2 | 15.00 | 7.50 | - | 0.000000 | 0.00000 | 0.0000000 | 0.00000 | 0.03279 | 0.0000000 | |
| sechs_Beträge | L10h16 | 3870100 | 75166 | 536 | 285 | 2605.00 | 9.14 | 0.019422 | 0.000138 | 0.00713 | 0.0000736 | 0.00379 | 0.53172 | 0.0006731 |
| Info-Links | - | - | 45 | 0 | 0.00 | 0.00 | - | 0.000000 | 0.00000 | 0.0000000 | 0.00000 | 0.00000 | 0.0000000 |
Test 6: Text und Highlight im Drop
Montag, 23.12.2013, 17:00 - Dienstag, 31.12.2013, 11:00 pm UTC
Text und Layout des Spendenaufrufs im Dropdown-Bereich des Banners standen im Zentrum dieses Tests. Wir verglichen zwei Varianten des Faktentextes gegeneinander, wobei die Testversion zudem mit einer gelben Higlightmarkierung versehen war. Genau diese Variante steigerte die für diese Testkonstellation entscheidende Metrik Anzahl/Klick um 8% gegenüber der Kontrollvariante. Allerdings ist das Ergebnis knapp nicht statistisch signifkant.
| Banner | Landing Page |
Impressions | Banner Klicks |
LP- Besucher |
Spenden- anzahl |
Summe | Durch- schnitt |
Banner-Klick pro Imp |
Besucher pro Imp |
Besucher pro Banner-Klick |
Anzahl pro Imp |
Anzahl pro Banner Klick |
Anzahl pro Besucher |
Betrag pro Imp |
| Ctrl | L10h16 | 10363700 | 199258 | 1291 | 735 | 7000.00 | 9.52 | 0.019227 | 0.000125 | 0.00648 | 0.0000709 | 0.00369 | 0.56933 | 0.0006754 |
| Info-Links | - | - | 114 | 0 | 0.00 | 0.00 | - | 0.000000 | 0.00000 | 0.0000000 | 0.00000 | 0.00000 | 0.0000000 | |
| Var | L10h16 | 10344900 | 199802 | 1251 | 791 | 8322.09 | 10.52 | 0.019314 | 0.000121 | 0.00626 | 0.0000765 | 0.00396 | 0.63229 | 0.0008045 |
| Info-Links | - | - | 118 | 5 | 190.00 | 38.00 | - | 0.000000 | 0.00000 | 0.0000000 | 0.00000 | 0.04237 | 0.0000000 |
- p-Wert Anzahl/Klick = 0,13141519 (Chi-Quadrat-Test)
--Tobias Schumann (WMDE) (Diskussion) 13:39, 5. Mai 2014 (CEST)
