Einsatzmöglichkeiten des A/B Testings

Worauf man bei unterschiedlichen Szenarien achten muss
MUUUH! GROUP — 07.09.2018

Thema: Insider

Ein A/B-Test ist eines der wichtigsten Instrumente, um aus einem vagen Bauchgefühl eine datengetriebene Entscheidung zu machen. Bei einem A/B-Test geht es darum, zwei Versionen eines Produktes, einer Website, einer E-Mail, einer Ansprache oder eines anderen Faktors zu testen, um mögliche Verbesserungspotenziale zu identifizieren. Am Beispiel einer Website erklärt, funktioniert ein A/B-Test folgendermaßen:

 

  1. Es wird eine Hypothese entwickelt, wie die Website (Version A) aus Nutzersicht verbessert werden könnte. Diese Veränderung wird in Form einer zweiten Version der Website (Version B) umgesetzt.
  2. 50% der Nutzer werden auf die alte Seite geleitet (Kontrollgruppe), 50% auf die neue Seite (Variation).
  3. Nach dem Test wird ausgewertet, welche der Versionen bessere Resultate liefert.

AB Test Beispiel

Während die Optimierung einer Website das klassische Beispiel für einen A/B-Test ist, sind der Fantasie hinsichtlich der Einsatzmöglichkeiten dieser Methode keine Grenzen gesetzt. Hier einige Beispiele:

Performancemarketing

Sowohl Bannerwerbung als auch Suchmaschinenwerbung sind hervorragend dafür geeignet, um mit A/B-Tests die „Click-Through-Rate“ (CTR) zu erhöhen. Hier ist es wichtig darauf zu achten, dass die Ads gleichmäßig ausgespielt werden. Standardmäßig spielt GoogleAds Anzeigen optimiert aus, spielt also die Anzeige häufiger aus, welche Google für effektiver hält. So verfälscht Google jedoch das Ergebnis des A/B-Tests. Da die optimierte Anzeigenrotation grundsätzlich gut funktioniert und für eine höhere CTR und Conversion-Rate sorgt, ist es sinnvoll, sie nur für die Zeit des A/B-Tests und ausschließlich für die getestete Anzeigengruppe auszuschalten. Das folgende Bild zeigt, wie die optimierte Anzeigenrotation für eine Anzeigengruppe im Google Ads Konto deaktiviert werden kann.

AB Test GoogleAds

Kundenservice

Auch der Kundenservice lässt sich mit A/B-Tests optimieren. Wenn zum Beispiel viele Nutzer Unterstützung beim Zurücksetzen ihres Telefons benötigen, kann mittels A/B-Test ermittelt werden, ob es besser ist, mit dem Kunden gemeinsam die Schritte am Telefon durchzugehen oder eine Videoanleitung zuzusenden. Beim Design von A/B-Tests im Kundenservice sollte man erhebliche Zeit und Energie in die Auswahl der zu optimierenden Kennzahlen und die Definition der unterliegenden Metriken investieren. Die Variante „Videoanleitung“ würde die „Average Resolution Time“ (durchschnittliche Lösungszeit) vermutlich senken, könnte aber durchaus die User Experience verschlechtern. Daher sollte zusätzlich eine Zufriedenheitskennzahl wie der „Customer Satisfaction Score (CSAT)“ oder der „Net Promoter Score (NPS)“ gemessen werden.

Offline (Einzelhandel)

Der Offline-Kontakt mit dem Kunden wird häufig außer Acht gelassen, wenn es um experimentelle Optimierung geht. Doch auch an diesem Touchpoint bieten sich zahllose Fragen, welche durch A/B-Tests beantwortet werden können. Eine besondere Herausforderung in der Offlinewelt stellt das Sampling dar. Online kann man einem Nutzer mittels Zufallsgenerator Variante A oder B zuspielen –  offline leider nicht. Wenn zum Beispiel eine Fastfood-Kette ausprobieren möchte, ob das Angebot „Unbegrenzte Cola zu jedem Menü“ den Umsatz pro Kunde steigert, kann sie dies entweder mit einem „Within-Subject-Design“, einem „Between-Subject-Design“ oder einer Kombination der beiden testen.

Beim „Within-Subject-Design“ wird in einem Restaurant für eine Woche Variante A (kein „Free Refill“) und eine Woche Variante B (mit „Free Refill“) angeboten. Danach wird gemessen, welche Woche profitabler war. Eine Schwäche dieses Designs ist die Abhängigkeit von temporären Effekten. Wenn in der zweiten Woche das Bundesgesundheitsministerium eine große Kampagne mit dem Titel „Gesund Essen“ startet, sind die Testresultate voraussichtlich nutzlos.

Beim „Between-Subject-Design“ wird in einer Stadt Variante A angeboten und in einer anderen Stadt Variante B. Dieses Design ist robust gegenüber temporären Effekten, aber anfällig für geografische Effekte. Wenn die „Gesund Essen“-Kampagne nicht vom Bundesgesundheitsministerium, sondern vom größten Arbeitgeber der Stadt A kommt, sind die Testresultate wiederum fragwürdig oder gar nutzlos.

Das robusteste Design ist eine Kombination der beiden Varianten. Hier wird in der ersten Woche in Stadt A Variante A aktiv und in Stadt B Variante B; in der zweiten Woche wird die Verteilung umgekehrt.

AB Test Design

Diese Kombination ist die robusteste, aber auch die aufwändigste Variante. Sowohl beim „Within-Subject-Desgin“, als auch beim „Between-Subject-Design“ darf die Variation in nur einem einzigen Restaurant umgesetzt werden, während bei der Kombination eine Umsetzung in zwei Restaurants zu erfolgen hat. Entsprechend sollte zunächst evaluiert und abgewogen werden, wie viel höher die Kosten für ein komplexeres Testverfahren, sind und wie hoch im Vergleich die voraussichtlichen Kosten werden, wenn auf Basis fehlerhafter Ergebnisse fragwürdige Entscheidungen  getroffen werden.

A/B Tests sind ein wichtiges Instrument beim validieren von Minimum Viable Products (MVPs). Wie MVPs auch im Großunternehmen validiert werden können, welche Hürden sich auf dem Weg ergeben und wie diese Hürden umschifft werden können, erfahren Sie in unserem kostenlosen Whitepaper "MVP Operations - Agiles validieren im Betrieb".

Download Whitepaper

 

Marcus Hülsdau

Wenn man Marcus Hülsdau beschreiben will, fällt einem als erstes ein Wort ein: Vielfalt! Mit einem Gesellenbrief von der Handwerkskammer, einem Bachelor im Ingenieurwesen, zwei Mastern im Management und mehr MOOCs als er zählen kann, ist er ein wahrer „Jack of all trades“. Marcus hat in Deutschland und dem europäischen Ausland für verschiedene kleinere Unternehmen im Bereich Medientechnik gearbeitet, für einen Personaldienstleister Kunden akquiriert und für ein Startup Business Development gemacht. Danach hat er in Polen und Großbritannien studiert. Bevor Marcus zu MUUUH! gewechselt ist, war er wissenschaftlicher Mitarbeiter an der Uni Osnabrück. Sein wissenschaftliches Mindset hat er mitgebracht! Er stellt regelmäßig Fragen wie: „Wissen wir das wirklich?“, „Was sind unsere Hypothesen?“ oder „Wie können wir diese Annahme validieren?“.