Die Signifikanz bei A/B Tests

Vielleicht haben Sie unseren Artikel „Wieso A/B Tests garantiert funktionieren“ gelesen und sind nun motiviert, um regelmäßig A/B Tests durchzuführen? Wunderbar! :-)

Doch zu Beginn eines solchen Projekts stellen sich üblicherweise zwei wichtige Fragen:

• Was soll ich denn überhaupt testen?
• Wie erreiche ich ein aussagekräftiges Ergebnis?

Die erste Frage lässt sich schnell und einfach beantworten. Die Newsletter-Experten von dialog-Mail haben genau dazu einen Artikel geschrieben und über 150 Ideen für Newsletter A/B Test-Elemente gesammelt.

In diesem Artikel beschäftigen wir uns mit der zweiten Frage.

Das Zauberwort heißt hier „Signifikanz“: Wenn ein gemessener Unterschied (z.B. zwischen mehreren Betreffzeilen) statistisch signifikant ist, dann bedeutet das, dass dieser Unterschied mit hoher Wahrscheinlichkeit tatsächlich auf die Variation der Betreffzeilen zurückzuführen ist – und nicht rein zufällig entstanden ist.

Die Signifikanz schützt Sie also davor, mögliche falsche Entscheidungen zu treffen. Denn wenn Sie auf Basis eines Tests Maßnahmen durchführen, die Unterschiede in dem Test aber tatsächlich rein zufällig waren, dann sind auch die Maßnahmen möglicherweise falsch.

Welche Faktoren beeinflussen die Signifikanz?

Es gibt drei Faktoren, mit denen Sie die Signifikanz steuern können:

• Größe der Testgruppen: Grundsätzlich gilt: Je größer die Testgruppen, umso höher die Wahrscheinlichkeit für einen signifikanten Unterschied. Daher der Tipp: Sofern möglich, wählen Sie die Testgruppen lieber etwas größer als zu klein.
• Unterschiedlichkeit der Elemente: Je unterschiedlicher die Test-Elemente sind, umso eher wird es auch einen messbaren Unterschied geben. Zum Beispiel Betreffzeilen sollten sich also – vor allem bei kleinen Testgruppen – nicht nur durch wenige Buchstaben unterscheiden.
• Zuverlässigkeit des Ergebnisses: Und schließlich ist es möglich, das Vertrauensintervall (umgekehrt die „Irrtumswahrscheinlichkeit“) festzulegen. Für die Praxis haben sich zwei Werte bewährt: 99% und 95%. Ein Wert von 95% bedeutet, dass ein Rest-Risiko von 5% bleibt, dass ein gemessener Unterschied doch rein zufällig ist. Je höher das Vertrauensintervall (d.h. je geringer die Irrtumswahrscheinlichkeit), umso größer müssen die Testgruppen oder die Unterschiedlichkeit der Elemente sein, damit sich ein signifikanter Unterschied ergeben kann.

Das sind also drei „Schrauben“, an denen Sie drehen können!

Wie groß sollten die Testgruppen mindestens sein?

Aus unserer Erfahrung empfehlen wir folgende Minimalgrößen:

• für Test-Elemente, die sich auf die Öffnungsrate auswirken (z.B. Betreffzeilen oder Versandzeitpunkte) mindestens 500 Empfänger pro Testelement,
• für Test-Elemente, die sich auf die Klickrate auswirken (z.B. Farbe des Buttons) mindestens 2.500 Empfänger pro Testelement.

Grundsätzlich sollten die Testgruppen – siehe oben – besser etwas größer als zu klein gewählt werden.

Ein paar Tipps für die Praxis

Wenn Sie noch nicht allzu viele Tests durchgeführt haben, sind vielleicht folgende Tipps hilfreich:

• Zuerst „low-hanging fruits“: Beginnen Sie zu Beginn mit Test-Elementen, die sich auf die Öffnungsrate auswirken. Am besten eignen sich dafür die Betreffzeile, der Absender oder der Versandzeitpunkt.
• Sorgen Sie für Erfolgserlebnisse: Achten Sie gerade bei den ersten Tests darauf, Varianten zu testen, die sich tatsächlich wesentlich voneinander unterscheiden. So können Sie gleich zu Beginn unter Beweis stellen, dass sich das Testen auszahlt.
• Tests ohne Unterschied müssen kein Fehlschlag sein: Auch wenn ein Test keinen dramatischen Unterschied zwischen den Varianten zeigt, können dennoch daraus interessante Erkenntnisse gewonnen werden. Wenn z.B. zwei Versandzeitpunkte zur gleichen (hohen) Öffnungsrate führen, haben Sie zukünftig mehrere geeignete Alternativen zur Verfügung.

Ein kleiner Tipp zum Abschluss: Wenn Sie einen einfachen Weg brauchen, um festzustellen, ob sich zwei Testvarianten statistisch signifikant voneinander unterscheiden, können Sie sich das mit dem Signifikanz-Test von dialog-Mail jederzeit ausrechnen lassen.