Vorsicht vor Testberichten

Es gibt im Internet unzählige Websites mit Testberichten für alle möglichen Produkte und Dienstleistungen – natürlich auch für Newsletter-Tools, wie zum Beispiel emailtooltester oder Systemhaus (um nur zwei zu nennen).

Doch kann man sich damit wirklich einen guten Überblick verschaffen und können solche Testberichte die eigene Entscheidung für ein Tool tatsächlich abnehmen – oder zumindest erleichtern?

Die Testberichte sind durchaus praktisch

Beginnen wir mit den Vorteilen – denn die gibt es durchaus:

• Testberichte konzentrieren sich meist auf die bekanntesten und größten Tools und können so einen sehr guten ersten Ausgangspunkt Das gilt vor allem für Unternehmen, die noch wenig Erfahrung mit E-Mail Marketing haben und/oder den Markt noch überhaupt nicht kennen.
• So bekommen interessierte Unternehmen vielleicht auch neue Anbieter zu sehen, die sie überhaupt nicht in Betracht gezogen hätten (z.B. weil sie ihnen nicht bekannt waren oder sie den Anbieter nicht in erster Linie mit E-Mail Marketing in Verbindung gebracht hätten).
• Unabhängige Tests können ein objektiveres Urteil bieten als beispielsweise Empfehlungen, auch weil die Tester deutlich mehr Systeme kennen und daher Vergleichswerte oder einheitliche Kriterien (z.B. eine Bewertungsskala) heranziehen können.
• Unternehmen können sich so außerdem einiges an Zeit sparen. Denn die Testberichte enthalten oft auch Screenshots, die einen ersten Einblick bieten, den man sonst erst über einen Demo-Zugang bekommen hätte, oder beschreiben Vor- und Nachteile, die man selber vielleicht gar nicht (schnell) entdeckt hätte.

Wo (etwas) Licht ist, ist auch (viel) Schatten

Den Vorteilen steht jedoch eine ganze Reihe von Nachteilen gegenüber, die man sich bewusst machen sollte:

• Die meisten Testberichte konzentrieren sich nur auf sehr wenige Tools. Manchmal sind es 10, oft aber auch deutlich weniger als das (meist 3-5). Damit decken Sie also immer nur einen Bruchteil des Marktes ab und können keinen aussagekräftigen Überblick bieten.
• Darüber hinaus scheinen in diesen Testlisten immer wieder die gleichen Unternehmen auf, weil sich die Tester nur auf die bekanntesten Tools Das ist auch durchaus verständlich, doch kann es dennoch sein, dass ein kleinerer (lokaler) Anbieter für Ihre Anforderungen wesentlich besser geeignet wäre. Doch die scheinen in den Testberichten oft nicht auf.
• Viele Tests vermitteln den Anschein der Unabhängigkeit, doch leider sind sie oft nicht objektiv. Erst auf den zweiten (oder dritten) Blick sieht man, dass es offenbar Provisionen bzw. andere Vergütungen gibt, die eine Testbericht-Website bekommt, wenn ein User auf die Website des Anbieters weiterklickt. Damit stellt sich naturgemäß die Frage, wie unvoreingenommen und objektiv diese Tests tatsächlich sein können. Uns sind sogar Fälle bekannt, wo ein Software-Anbieter zahlen sollte, damit ein (positiver) Testbericht über sein System erstellt wird…
• Die Newsletter-Tools werden fast alle ständig weiter-entwickelt. Damit sind Tests, die ein Jahr (oder gar länger) zurückliegen, eventuell nicht mehr aussagekräftig, weil zwischenzeitlich Schwächen ausgeräumt oder neue Funktionen entwickelt wurden. Tipp: Achten Sie bei den Testberichten unbedingt auf das Datum des Tests! Wenn gar keines angegeben wird, dann wird es dafür einen Grund geben.
• Leider werden auch oft die rechtlichen Aspekte ausgeklammert stiefmütterlich behandelt. So ist nach dem EuGH-Urteil vom Juli 2020 der Einsatz von amerikanischen Dienstleistern sehr problematisch; das wird aber so gut wie nie thematisiert.
• Außerdem stehen bei den Tests ausschließlich Funktionen und Features im Vordergrund. Dabei wird aber oft vernachlässigt, dass auch „softe“ Faktoren wichtig wären (zum Beispiel für die interne Akzeptanz des Tools!). Dazu gehören Dinge wie die Benutzerfreundlichkeit, die geographische Nähe des Anbieters, die Reaktionsgeschwindigkeit des Supports aber auch die Fairness der Vertragsbedingungen oder die Sympathie des Anbieters. Solche – oft wichtigen – Kriterien können durch einen allgemeinen Test natürlich kaum abgedeckt werden.
• Für fast jede Software gilt: Der Teufel liegt im Detail. Wirklich umfassende Tests sind ungemein aufwändig und zeitintensiv – daher sind die kostenlosen Testberichte fast immer sehr oberflächlich. Doch manche Go- oder No-Go-Kriterien offenbaren sich nicht auf einem statischen Screenshot, sondern erst auf den zweiten Blick, wenn man sich wirklich intensiv mit einem System auseinandersetzt.
• Last but not least: Die Testberichte sind ein Geschäftsmodell. Sie sorgen einerseits für viel Traffic auf der Website und andererseits für zusätzliche Einnahmen über Affiliate-Modelle. Sie sind also Mittel zum Zweck – und oft nicht mehr. Ein Beispiel: Vergleichen Sie doch mal die zwei Testberichte für Newsletter-Tools auf emailtooltester und websitetooltester. Alles klar? (Wenn nicht: Werfen Sie bei beiden Websites einen Blick auf das Impressum ;-).

Fazit: Nützlich, aber mit Vorsicht

Die Testberichte haben einen großen Vorteil: Sie bieten einen raschen Überblick über einige wichtige Anbieter in diesem Markt und anhand der Testergebnisse könnte man zumindest eine erste grobe „Short List“ erstellen.

Das ist vor allem für Unternehmen sehr praktisch, die wenigen Ressourcen für eine detaillierte Marktanalyse zur Verfügung haben.

Allerdings können die Testberichte keine fundierte Auseinandersetzung mit den verschiedenen Tools ersetzen – und noch weniger eine qualitativ hochwertige Entscheidung für ein System, das ein Unternehmen viele Jahre begleiten soll.

Tipp: In diesem Zusammenhang ist vielleicht ein weiterer Blog-Artikel von uns für Sie interessant: Die Top-5 Fehler bei der Anbieter-Auswahl.

Tipp: Falls Sie Unterstützung bei der Marktübersicht oder der Auswahl eines geeigneten Anbieters für Ihr Unternehmen benötigen: Wir stehen Ihnen dabei gerne mit all unserem Fachwissen und der jahrelangen Erfahrung mit Rat und Tat zur Seite. Kontaktieren Sie uns einfach!