Wie schnell kann ich Ergebnisse im A/B- oder multivariaten Test erhalten und kann ich mich auf diese Ergebnisse verlassen? Diese grundlegenden Fragen stellen sich die meisten Seitenbetreiber, wenn sie mit der kontinuierlichen Optimierung ihrer Website beginnen.
Früher war die Verbesserung einer Website in weiten Teilen eine Frage des Geschmacks. Heute bestimmen Statistik und Mathematik, an welchen Stellschrauben einer Website gedreht wird.
A/B-Testing ist bereits etablierter Standard zur kontinuierlichen Optimierung von Websites. Dabei werden der ursprünglichen Version des zu testenden Elements eine oder mehrere Varianten gegenüber gestellt. Besucher sehen während des Testzeitraums entweder die Ursprungsversion oder eine Variante. Anhand ihres Verhaltens wird dann die bessere Version ausgewählt. Der multivariate Test betrachtet die gleichzeitige Veränderung mehrerer Elemente auf einer Seite.
Ursprungsversion und vier Varianten eines A/B-Tests für TUIfly.com
Diese Methode wird auf dem gesamten Weg des Konsumenten (Customer Journey) auf einer Website verwendet: von der Akquisition der Besucher über Landingpages bis hin zur detaillierten Optimierung. Insbesondere in der Akquisitionsstrecke sind dabei schnelle Ergebnisse gefragt, um mit hoher Sicherheit die beste Version auszuwählen.
Um das zu schaffen, wird vorab häufig kein fixer Test-Zeitraum bestimmt. Vielmehr wird durch kontinuierliches Monitoring der aktuellen Testergebnisse der Zeitpunkt abgewartet, an dem eine Variante vermeintlich besser funktioniert als die andere.
Zu Beginn des Tests ist ein Ziel festgelegt worden, z.B. der Kauf eines Produkts, die Anmeldung zum Newsletter oder einfach das Erreichen einer bestimmten Seite. Sind die Daten erst einmal gesammelt, ist die beste Version schnell bestimmt.
Viel wichtiger, als die bessere Version zu finden, ist allerdings, sicherzustellen, dass das Ergebnis statistisch signifikant ist, also nicht durch einen Zufall entstanden ist. Schlimmstenfalls könnte sonst ein Sieger gekürt werden, wo es keinen gibt, oder gar die falsche Seiten-Variante zum Sieger erklärt worden.
Statistische Signifikanz ist keine neue Methode, die spezifisch für den Bereich des A/B-Testings entwickelt wurde, sondern ist ein erprobtes Mittel, um den Zufall auszuschließen.
Für die Berechnung der Signifikanz gibt es verschiedene, etablierte Methoden, wie z.B. den T-Test Chi^2-Test. Diese Methoden prüfen anhand der Zahl der Testteilnehmer, der bisherigen und der im Test erzielten Zielerreichung (Conversion Rate) und der getesteten Varianten, ob die Verteilung der Ergebnisse zufällig ist oder nicht. Im Netz gibt es verschiedene Signifikanz- und Confidenz-Rechner, mit deren Hilfe man eigene Tests bewerten kann.
Noch einfacher werden Tests und die Berechnung der Signifikanz heute mit dem Einsatz entsprechender Tools, wie z.B. Google Website Optimizer oder Adobe Test & Target. Diese Tools helfen bei der Durchführung von A/B- und multivariaten Tests und werten diese statistisch aus.
In der kontinuierlichen Optimierung sollten sich Seitenbetreiber nicht zu schnellen Entscheidungen aufgrund vermeintlich klarer Testergebnisse verführen lassen. Vielmehr muss jedes Testergebnis auf statistisch signifikanten Daten aufbauen. Nur so kann sichergestellt werden, dass Entscheidungen auf relevanten Ergebnissen basieren und die Website mit jeder Optimierung besser wird.
Data Love
Es gibt 28 Beiträge in Data Love.
Wer braucht schon digitale Privatsphäre?
Wir steuern auf einen neuen Generationenkonflikt zu, und es ist eine neue Variante des Konflikts zwischen digitalen Eingeborenen und Einwanderern. Diesmal geht es um die Privatsphäre und ob es sie im digitalen Zeitalter überhaupt noch geben kann.
Nein, meint eine neue Gruppe, die sich datenschutzkritische Spackeria nennt. In einem Interview mit dem Spiegel, der die Spackeria grob als „Internet-Exhibitionisten“ tituliert, sagt die 25-jährige Julia Schramm Sätze wie diesen:
Meine Daten können mir nicht mehr gehören. Wir haben längst die Kontrolle darüber verloren. Ob wir es nun gut finden oder nicht: Privatsphäre ist sowas von Eighties. (lacht)
Mich deuchte ja schon länger, spätestens eigentlich seit dem Auftritt von Peter Schaar auf der re:publica, dass Datenschutz sowas von Eighties ist. Privatsphäre jedoch hielt ich bislang für durchaus wünschenswert. Aber das mag am Alter liegen, schließlich bin ich digitaler Immigrant, dessen Aufenthaltserlaubnis für das Internet seit 1994 immer nur jährlich verlängert wird.
Julia Schramm gehört der gleichen Generation an wie Mark Zuckerberg. Und so wie Zuckerberg mit Facebook die praktischen Grundlagen des sozialen Miteinanders im digitalen Raum neu definiert, so definiert Schramm die theoretischen Grundlagen um.
Vieles spricht tatsächlich für den radikalen Abschied von der Privatsphäre. Allerdings, so merkt Johan Staël von Holstein nicht ganz zu Unrecht an, ist das auch eine Frage des Alters. Wer erst einmal Kinder hat und es zu einem gewissen Wohlstand gebracht hat, der legt womöglich mehr Wert darauf, seine sensiblen Daten zu schützen, als ein College-Student.
Johan Staël von Holstein arbeitet an einem Facebook-Herausforderer namens MyCube. Er will damit den Nutzern die Kontrolle über ihre Daten zurückgeben, also das schaffen, was Julia Schramm für unmöglich hält. Auf der NEXT11 im Mai wird er sprechen. Tickets gibt es hier.
Was ist Data Love?
Die NEXT11 (Termin vormerken: 17./18. Mai, Tickets gibt es hier) steht unter dem Motto Data Love. Aber was heißt das eigentlich?
Diese Frage stellte Alexander Franz Köllner von IFRANZNATION am vergangenen Wochenende auf dem Videocamp im schönen Essen. Hier die Antworten, im Video, versteht sich:
Vgl. auch: The Principles of Data Love
Stephan Noller, die Liebe zu Daten und der digitale Mob
Wir leben in einem seltsamen Land. In diesem Land kann sich die Öffentlichkeit tagelang an der Dissertation eines Ministers abarbeiten, können belastende Daten über Plagiatsvorwürfe in einem öffentlich zugänglichen Wiki gesammelt und ausgewertet werden.
In diesem Land können kleine Volksaufstände gegen die sogenannte Datensammelwut von Unternehmen wie Google und Dienste wie Street View enstehen – und das gleiche Volk nachher zu den intensivsten Nutzern des Straßenbilderdienstes gehören. In diesem Land können Konsumenten mit Begeisterung jede Menge werbefinanzierte Dienste nutzen und gleichzeitig gegen Werbung sein.
Ist das nicht schizophren?
Stephan Noller hat sich jüngst in der Zeit zu seiner, ich möchte fast sagen, Liebe zu Daten bekannt.
Ich finde die aktuelle Debatte über Datenmissbrauch im Internet ärgerlich. Nicht nur, weil ich Teil dieser Industrie bin. Sondern vor allem, weil darin eine gewisse Technologiefeindlichkeit und auch Ignoranz mitschwingt. Es wird der Eindruck einer im halblegalen Bereich operierenden, auf kurzfristige Gewinne ausgerichteten Industrie erweckt, die nur so viele Bedenken kennt, wie Rechtsanwälte und Verbraucherschützer ihr jeweils abtrotzen können.
Technologiefeindlich ist die Sichtweise, weil Tracking sehr nah am Kern dessen operiert, was das Internet so faszinierend und nützlich macht und es bereits jetzt zu einem der stärksten Wachstumsfaktoren in mehreren Wirtschaftsbereichen hat werden lassen. Ignorant ist die Haltung, weil das Internet uns eine völlig neue Welt eröffnet.
Wie um Stephan Nollers Diagnose zu bestätigen, schlägt sich in den Kommentarspalten unter seinem Artikel der digitale Mob nieder, der Werbung im Allgemeinen und Targeting im Besonderen zwar für Teufelszeug hält, aber selbstverständlich nicht auf allerlei dadurch finanzierte digitale Annehmlichkeiten verzichten will. Diese Debatte wird in Deutschland leider auf einem nachgerade unterirdischen Niveau geführt. Ein wenig Dave Winer könnte nicht schaden:
Advertising will get more and more targeted until it disappears, because perfectly targeted advertising is just information. And that’s good!
True Data Love: KLM Surprise
Die königliche Fluglinie der Niederlande hat mit einer kleinen Social-Media-Kampagne ihre netzaffinen Kunden überrascht. Die Mechanik war einfach und beruhte auf Foursquare: Wer bei Foursquare eincheckt, so die Annahme, der hat auch ein Profil bei Facebook, Twitter oder LinkedIn.
Daraus lassen sich öffentlich zugängliche Informationen über den Fluggast und den Grund seiner Reise gewinnen. Das Social-Media-Team überraschte die KLM-Passagiere dann mit einem kleinen, persönlichen Geschenk. Das Ganze war dann auf Facebook zu sehen.
Aus den Kommentaren bei YouTube lässt sich auch gleich das Risiko einer solchen Kampagne ersehen: Auch unzufriedene Passagiere melden sich zu Wort. Ein persönliches Geschenk tröstet nicht über Unzulänglichkeiten bei der eigentlichen Dienstleistung hinweg.
Auf jeden Fall aber ist die Kampagne ein schöner Fall von Data Love. So lautet das Motto der NEXT11. KLM zeigt hier beispielthaft, wie aus dem stetig wachsenden Datenstrom neue Anwendungen mit Mehrwert für den Konsumenten entwickelt werden können.
[Hat tip to @pr_ip]