Diese Schlussfolgerung ist gefährlich, wie die empirische Betrachtung eines anderen Mythos zeigt. Er lautet: Der Storch bringt die Kinder. Empirisch betrachtet korreliert die Höhe der Geburtenrate in Westdeutschland von 1965 bis 1980 tatsächlich eng mit der Größe der Storchenpopulation*. Warum aber verleitet die Statistik zu einer Annahme, von dem wir alle wissen, dass er nicht stimmt? Die Antwort liegt in einem Effekt namens Scheinkorrelation. Beide Variablen korrelieren nur scheinbar; die wahre Ursache für den scheinbaren Zusammenhang ist die Urbanisierung des gemeinsamen Lebensraumes. Diese Variable lag jedoch außerhalb unserer Betrachtung.
Der Schläfer-Effekt: eine erste Vermutung
Eine ähnliche Konstellation könnte also den Schläfer-Effekt verursachen, wenn auch hier die Wahrheit weniger transparent als im Storchenbeispiel ist. Die Variablen „Kunde ist erreichbar“ und „Kunde kündigt“ können durchaus einen gemeinsamen kausalen Ursprung haben, den wir aktuell nicht beobachten. Möglicherweise sind Kunden, die beruflich stark eingespannt sind, im Rahmen der Kampagnentelefonie schlechter erreichbar. Gleichzeitig verdienen diese Menschen im Durchschnitt mehr Geld und könnten daher weniger Interesse daran haben, das Einsparpotenzial bei ihren Telefonverträgen zu heben. Wenn dem so ist, dann kann dieser Umstand zu einer Scheinkorrelation zwischen Erreichbarkeit und Kündigungsquote führen. Es bedarf also einer deutlich genaueren Analyse, bevor Unternehmen ihre Kampagnen zur Churn Prevention einstellen.
Status Quo der Forschung
Seit einiger Zeit beschäftigt der Schläfer-Effekt auch die Wissenschaft. In die populärwissenschaftliche Berichterstattung hat es im Jahr 2015 das Feldexperiment von Eva Ascarza, Raghuram Iyengar und Martin Schleicher** geschafft. Die Forscher boten einer zufällig ausgewählten Kundengruppe ein für sie günstigeren Tarif an, eine Kontrollgruppe ging hingegen leer aus. Von den Kunden, die das Angebot zur Churn Prevention bekommen haben, kündigten 9,6 Prozent. Von den Probanden der Kontrollgruppe kündigten nur 6,5 Prozent. Auch hier scheint die eher nicht intuitive These bestätigt worden zu sein, indem das scheinbar gute Angebot für den Kunden am Ende zu einer höheren Kündigungsquote führt.
Nur fast wasserdicht
Selbstverständlich liefern die Autoren der Studie eine wesentliche Methodik für die Untersuchung unseres Mythos. Erstens werden die Kunden zufällig in die Untersuchungs- und die Kontrollgruppe verteilt. Damit reduziert sich der sogenannte Self-Selection-Bias als Grund für das beobachtete Ergebnis. Wissenschaftler beschreiben damit den Effekt, dass der Grund für die Zuordnung eines Kunden in eine Gruppe nicht auf Basis einer Entscheidung passiert (z.B. die Entscheidung ans Telefon zu gehen, wie bei unserem Telekommunikationsdienstleister). Zusätzlich kontrolliert die Untersuchung mögliche Faktoren, die eine Scheinkorrelation erzeugen können. In dieser Studie sind dies Variablen, die das Nutzerverhalten beschreiben.
Trotz dieser Vorkehrungen bleibt es dabei: Solange es Variablen außerhalb dieses Modells gibt, die nicht von den Wissenschaftlern explizit untersucht werden, können die gefundenen Ergebnisse zur misslungenen Churn Prevention Scheinkorrelationen beschreiben. Die beschriebene Annahme, dass Kunden mit größerer Kündigungswahrscheinlich eher ein Werbetelefonat annehmen als diejenigen mit geringer Kündigungswahrscheinlichkeit, kann auch hier gelten. Die Wissenschaftler berichten keine Erreichbarkeitsquoten bei dieser Kampagne, womit eine endgültige Bewertung unmöglich ist.
...und CHURN Prevention hilft doch!
MUUUH! Consulting hat sich bei der Untersuchung der Kundendaten des Telekommunikationsdienstleisters für eine wesentlich breitere Datenbasis entschieden. Als Zielvariable definierte das Beratungshaus ebenso wie die Wissenschaftler die Variable „Kündigung“. Auf der Suche nach der erklärenden Variablen haben die Datenexperten sämtliche rund 250 Parameter untersucht, die zuvor vom Auftraggeber über dessen Kunden erhoben wurden. Mehr Daten in Form zusätzlicher Variablen führen zu deutlich belastbareren Ergebnissen, weil sie das Risiko unerkannter Scheinkorrelationen stark reduzieren.
Gleichzeitig führt die immense Variablenvielfalt in gängigen Korrelations- und Kausalanalysen zu erheblichen methodischer Schwierigkeiten. Die Berechnungen übernahm daher ein auf neuronalen Netzen basierender Algorithmus, der insbesondere moderierende Variablen und nicht-lineare Zusammenhänge erkennt, ohne dass vorab definierte Annahmen über Einflussvariablen getroffen werden müssen.