Wir empfehlen ja andauernd, das Optimieren von Mailings mit A/B Tests zur Gewohnheit zu machen. Denn das kostet nur wenige Minuten Aufwand, ist einfach umsetzbar und normalerweise ohne (Mehr-) Kosten verbunden.
Doch es gibt noch einen gewichtigen Grund, weshalb A/B-Tests empfehlenswert sind: Sie verbessern die Kennzahlen – und zwar garantiert!
Dazu ein Rechenbeispiel, das vielleicht so manche Augen öffnen wird.
Ein kleines Gedankenexperiment: Die Ausgangsdaten
Angenommen, Sie verschicken ein Mailing an 20.000 Empfänger. Dafür würden Ihnen 3 verschiedene Betreffzeilen einfallen, die Öffnungsraten wie folgt erzielen würden (was Sie vorher natürlich nicht wissen können!):
Betreff A: 36%
Betreff B: 32%
Betreff C: 28%
Bei diesem Beispiel gehen wir davon aus, dass alle 3 Varianten die gleiche Eintritts-Wahrscheinlichkeit haben, d.h. Sie wissen vorab tatsächlich nicht, welche der drei Betreffzeilen besonders gut oder schlecht abschneidet.
Szenario OHNE A/B Test
Wenn Sie keinen A/B Test für die 3 Betreffzeilen durchführen, müssen Sie raten und eine davon wird verschickt.
Betreff A: 36% mit Wahrscheinlichkeit = 33% –> 12%
Betreff B: 32% mit Wahrscheinlichkeit = 33% –> 10,7%
Betreff C: 28% mit Wahrscheinlichkeit = 33% –> 9,3%
Fazit: Ohne A/B Test erreichen Sie einen durchschnittliche Öffnungsrate von 32%.
Und MIT A/B Test?
Für dieses Mailing würde man einen A/B Test mit Gewinner-Versand durchführen – und der sorgt für den Unterschied.
Das funktioniert so:
- Zuerst werden die 3 Betreffzeilen an je 3.000 Empfänger verschickt (und die restlichen 11.000 werden vorerst zurückgehalten) – das machen die guten Newsletter-Systeme automatisch.
- Dann werden für eine kurze Zeit (normalerweise wenige Stunden) die Öffnungsraten der drei Varianten in Echtzeit gemessen.
- Sobald eine davon statistisch signifikant besser abschneidet als die anderen beiden, wird automatisch die Gewinner-Variante an die restlichen 11.000 Empfänger verschickt. Auch das machen die modernen Systeme alles automatisch.
Konkret bedeutet das für unser kleines Beispiel:
3.000 Empfänger bekommen die Variante A -> 36% ÖR
3.000 Empfänger bekommen die Variante B -> 32% ÖR
3.000 Empfänger bekommen die Variante C -> 28% ÖR
11.000 Empfänger bekommen die Variante A -> 36% ÖR (Gewinner-Versand)
Das Ergebnis: In Summe erzielen Sie für die 20.000 Empfänger eine Öffnungsrate von 34,2%.
Das Ergebnis: Eine deutlich bessere Öffnungsrate
Durch die Durchführung des A/B Tests (mit Gewinner-Versand) erreichen Sie also 440 mehr Öffnungen. Das sind knapp 7% mehr als bei der Variante ohne Test. Immerhin, oder?
Angesichts der Tatsache, dass die Umsetzung so eines A/B Tests im Normallfall nur 2 oder 3 Minuten mehr Zeit in Anspruch nimmt, gibt es doch wirklich keine Ausrede mehr, um nicht zu testen. Oder?
Übrigens, auch wenn die Unterschiede zwischen den 3 Varianten geringer wären, würde ein A/B Test zum besseren Ergebnis führen.
Über den Autor
Michael Kornfeld ist mit einer über 25-jährigen Laufbahn ein leidenschaftlicher Verfechter von E-Mail-Marketing. Er hält zahlreiche Seminare und Fachvorträge und zählt zu den renommiertesten Experten Österreichs auf diesem Gebiet.