Kundenbewertungen vs. Testurteile: Wie aussagekräftig sind Amazons Sterne?
Wissenschaftler der Technischen Universität Dortmund haben Bewertungen
für 1 322 Elektronikprodukte wie Smartphones, Kopfhörer und Toaster
verglichen, die von der Stiftung Warentest in den Jahren 2014 bis 2017
geprüft wurden und bei Amazon Rezensionen erhielten. Fazit: Tester und
Kunden kommen oft zu ganz unterschiedlichen Bewertungen. Uns wundert das
nicht. Hier erklären wir, warum.
Man weiß nie, was man kriegt!
Beim
Internetshopping ist es wie mit der berühmten Pralinenschachtel von
Filmheld Forrest Gump: Man weiß nie, was man kriegt! Die Ware lässt sich
nur auf Fotos bestaunen und nicht anfassen. Weit und breit kein
Verkäufer, der berät. Bloß gut, dass es Produktbewertungen gibt – neben
denen der Stiftung Warentest auch solche von Kunden, die den Artikel
gekauft und ausprobiert haben. Bei Internethändler Amazon etwa lassen
sich Produkte auf einer Skala von bis zu fünf Sternen bewerten, ein
Stern bedeutet Murks, fünf Sterne Topqualität. Viele Kaufinteressenten
orientieren sich daran.
Neutral statt emotional
Nur in knapp einem Drittel der Fälle ist unser Testsieger auch das Produkt mit der besten Amazon-Bewertung. Die Macher der Studie
Should We Reach for the Stars? – an der wir als Stiftung übrigens nicht beteiligt waren – kommen zu dem Schluss, dass sich Sterne-Bewertungen von Amazon nicht gut eignen, um die Qualität eines Produkts einzuschätzen. Aus unserer Sicht ist es völlig logisch, dass sich Kundenbewertungen und Urteile der Stiftung Warentest unterscheiden. Denn unser Warentest ist ganz anders gestrickt als eine Kundenrezension.
Das Mittelmaß ist bei Amazon unterrepräsentiert
Internetshopper
äußern sich oft emotional und vertreten häufig extreme Meinungen zu den
gekauften Produkten. Wer sich den Aufwand macht, eine Rezension zu
schreiben, hat sich meist über eine Ware wahnsinnig gefreut oder
geärgert. Das Mittelmaß ist in vielen Sterne-Bewertungen
unterrepräsentiert. Die Stiftung Warentest prüft dagegen nach
wissenschaftlichen und transparenten Kriterien. Unsere Tester
bevorzugen keine bestimmte Marke und sind nicht sauer, weil die teure
Neuanschaffung nicht ihren Vorstellungen entspricht. Außerdem bewerten
wir in einem Test mehrere Geräte untereinander, unsere Urteile sagen
auch etwas darüber aus, wie gut etwa ein Radio im Vergleich zu anderen
getesteten Radios ist.
Laien stoßen an Grenzen
Manche
Produkteigenschaften können Laien zudem gar nicht selbst prüfen. Im
Labor zerlegen wir zum Beispiel Kopfhörer und untersuchen sie auf
Schadstoffe. Unsere IT-Cracks entschlüsseln den Datenstrom von
Baby-Webcams und probieren aus, ob Fremde die Videos abfischen können.
Ingenieure nehmen in unserem Auftrag die elektrische Sicherheit von
Haartrocknern unter die Lupe. Ottilie und Otto Normal fehlt hier die
Expertise.
Von den Sternen nicht blenden lassen
Nützliche Hinweise
liefern Kundenkritiken dennoch – etwa zur Alltagstauglichkeit der
Produkte. Wir raten aber, ganz genau hinzusehen und sich nicht von den
angezeigten Sternen blenden zu lassen. Das kann danebengehen, wie im
Falle eines Toasters, der zum Zeitpunkt der Recherche von 442
Amazon-Kunden mit vier Sternen bewertet wurde. Unter den Rezensionen
sind 56 mit nur einem Stern, sie enthalten Kritikpunkte wie „kaputt“
oder „nach einem Monat defekt“. 19 weitere unzufriedene Rezensenten
vergeben zwei Sterne. 75 von 442 Käufern sind also vom Gerät enttäuscht,
dennoch erhält es vier Amazon-Sterne.
Amazon bildet keinen Durchschnitt
Wir haben bei Amazon
nachgefragt, wie die Gesamtzahl der Sterne zustande kommt. Die Antwort:
Amazon rechnet anstelle des Durchschnitts mit einem Modell, das
verschiedene Kriterien berücksichtigt – etwa wie alt eine Bewertung
ist, wie nützlich andere Kunden eine Kritik fanden, ob es sich um einen
verifizierten Kauf handelt und wie authentisch Rezensenten wirken.