Was ist ein Split-Test?

Ein Split-Test (auch A/B-Test genannt) ist eine einfache Methode, um herauszufinden, was in Ihrem Shop am besten funktioniert. Sie erstellen zwei oder mehr Varianten derselben Seite, z. B. Ihrer Startseite, und lassen Shoporama jedem Besucher zufällig eine der Varianten anzeigen. Nach einer gewissen Zeit kannst du sehen, welche Variante die meisten Verkäufe, den größten Warenkorb oder die höchste Konversionsrate erzielt hat. Anstatt zu raten, was deinen Kunden am besten gefällt, lässt du sie durch ihr Verhalten entscheiden.

Das Clevere an einem Split-Test ist, dass er fair ist. Beide Varianten werden den Besuchern zur gleichen Zeit und unter denselben Bedingungen angezeigt, sodass weder das Wetter, die Jahreszeit noch eine Kampagne das Ergebnis verzerren. Wenn eine Variante gewinnt, dann deshalb, weil sie tatsächlich besser abschneidet.

Ein konkretes Beispiel: Ein grüner „In den Warenkorb“-Button, der eine um 8 % höhere Konversionsrate erzielt als der rote, klingt nach wenig, aber bei Tausenden von Besuchen macht das richtig Geld aus.

Drei Arten von Split-Tests in Shoporama

Sie können drei verschiedene Arten von Änderungen gegeneinander testen:

1. Seitenlayouts. Zwei oder mehr Varianten derselben Seite im Seiten-Designer. Testen Sie beispielsweise zwei verschiedene Startseiten-Layouts, zwei Versionen Ihrer Kategorieseite oder zwei Aufbauten für Produktseiten. Sie können Bilder, Abschnitte, Text und die Reihenfolge ändern – alles, was sich im Seiten-Designer befindet.
2. Stylesheets. Zwei oder mehr CSS-Varianten im Vergleich. Testen Sie Schaltflächenfarben, Schriftgrößen, Layoutanpassungen oder ganze Designstile. Wenn Sie ein wenig CSS schreiben können (oder jemanden haben, der das für Sie übernimmt), finden Sie hier die überraschenden Gewinner. Kleine visuelle Änderungen können einen großen Einfluss auf die Konversionsrate haben.
3. Ganze Designs. Führe A/B-Tests zwischen zwei deiner eigenen Designs durch – von der HTML-Struktur bis hin zu JavaScript und CSS insgesamt. Dies ist die umfassendste Testform, bei der du zwei grundlegend unterschiedliche Geschäftsansätze vergleichst (z. B. einen herkömmlichen Webshop gegenüber einem Single-Page-Flow). Erfordert ein Pro-Abonnement und Smarty 4. Wenn 80 % Ihrer Optimierungen ohnehin direkt in den Theme-Dateien vorgenommen werden, können Sie hier messen, ob sie funktionieren.

Alle drei Arten funktionieren technisch auf die gleiche Weise und verwenden dieselben Statistiken. Du entscheidest selbst, welche Art von Test für das, was du testen möchtest, sinnvoll ist.

Zeitgesteuerte Schaltung – auch ohne Split-Test

Klassisches Beispiel: Black Friday. Anstatt daran denken zu müssen, dich am 28. November um 00:00 Uhr anzumelden und deine Startseite zu ändern, erstellst du im Voraus eine Black-Friday-Startseite und gibst dem System die Anweisung: „Zeige diese vom 28. November bis zum 1. Dezember an“. Den Rest erledigt Shoporama von selbst.

Das funktioniert für alle großen Saisonzeiten: Sommerschlussverkauf, Weihnachten, Vatertag, Singles Day, Valentinstag. Du kannst mehrere zeitgesteuerte Varianten gleichzeitig haben, z. B. eine normale Startseite das ganze Jahr über, eine Sommerversion von Juni bis August und eine Black-Friday-Version in dieser Woche. Das System wechselt automatisch an den richtigen Daten zwischen ihnen.

Wenn du die Variante nur an einem bestimmten Datum anzeigen lassen möchtest, lass das Kontrollkästchen „Online“ deaktiviert und gib nur die Daten ein. Dann wird sie automatisch in diesem Zeitraum aktiviert und verschwindet wieder, sobald das Enddatum überschritten ist.

So fängst du an

Zunächst benötigst du zwei Varianten, die du gegeneinander testen möchtest:

1. Gehe zum Seitendesigner (oderzum Stylesheet, wenn du CSS testen möchtest), suche die Seite, die du testen möchtest, und klicke auf das Kopiersymbol (die beiden Blatt Papier) neben dem Seitennamen. Du erhältst eine Kopie, die offline startet, sodass du sie bedenkenlos bearbeiten kannst.
2. Passe die Kopie an. Ändere Bilder, korrigiere Text, ordne Abschnitte neu an. Das ist es, was deine Kunden als Alternative zum Original sehen sollen.
3. Schalte die Kopie online. Nun hast du zwei Online-Varianten derselben Seite. Hättest du beide einfach ohne Test online geschaltet, würde die Variante mit der höchsten Priorität gewinnen und allen angezeigt werden. Hier kommt der Split-Test ins Spiel.
4. Gehen Sie zu „Split-Test“ und erstellen Sie einen neuen Test. Wähle aus, was du testen möchtest (die Seite oder Stylesheets), gib dem Test einen Namen („Startseite Hero A vs. B“), füge die beiden Varianten hinzu, wähle die Traffic-Verteilung (beginne mit 50/50) und klicke auf „Start“. Nun werden Ihre Besucher automatisch verteilt, und jedem Nutzer wird eine Variante zugewiesen, die ihn bei wiederholten Besuchen begleitet.

Wie ermitteln wir den Gewinner?

Hinter den Kulissen verwendet Shoporama eine moderne statistische Methode (Bayes’sche Methode), um zu berechnen, wie wahrscheinlich es ist, dass jede Variante die beste ist. Du musst die Mathematik dahinter nicht verstehen, aber im Gegensatz zu klassischen p-Werten liefert dir die Bayes’sche Methode Antworten, die du tatsächlich nutzen kannst: „Variante B hat eine Wahrscheinlichkeit von 87 %, die beste zu sein“. Wenn diese Wahrscheinlichkeit 95 % erreicht und genügend Daten vorliegen, erklären wir die Variante zum Gewinner.

Wir küren KEINEN Gewinner zu früh. Selbst wenn Variante B nach zwei Tagen besser aussieht, kann es sich um Zufälle oder eine kurze Kampagne handeln, die den Umsatz in die Höhe treibt. Um falsch-positive Gewinner zu vermeiden, verlangen wir:

• Mindestens 1.000 Besucher pro Variante
• Mindestens 100 Bestellungen insgesamt über alle Varianten hinweg
• Mindestens 14 Tage Laufzeit (damit wir zweimal einen ganzen Wochenzyklus abdecken)
• 95 % Bayes’sche Wahrscheinlichkeit, dass die Variante der Gewinner die beste ist

Wenn die Kriterien nicht erfüllt sind, zeigen wir dir, welche Variante derzeit vorne liegt, weisen aber deutlich darauf hin, dass der Test noch nicht entschieden ist. So weißt du, ob du noch warten musst oder ob das Ergebnis bereits zuverlässig ist.

Automatisierung – einmal einrichten und vergessen

Du musst nicht jeden Tag deinen Test im Auge behalten. Dank zweier unabhängiger Einstellungen kann das System das selbst übernehmen:

• Automatischer Stopp, sobald es einen klaren Sieger gibt. Sobald die Kriterien erfüllt sind und eine Variante eine Wahrscheinlichkeit von 95 %+ aufweist, wird der Test automatisch beendet. Du erhältst eine Benachrichtigung im Admin-Bereich.
• Verwende den Gewinner als neuen Standard, sobald der Test beendet ist. Der Gewinner wird mit hoher Priorität online geschaltet, und die übrigen Varianten werden offline geschaltet. Du hast weiterhin alle Varianten im System, sodass du jederzeit manuell über die Variantenliste zurückwechseln kannst. Dies funktioniert sowohl beim automatischen Stopp als auch, wenn du den Test selbst manuell beendest.

Wenn beide Einstellungen aktiviert sind, kannst du einen Test erstellen, auf „Start“ klicken und ihn dann vergessen. Sobald er beendet ist, ist dein Shop bereits auf die Gewinnerversion aktualisiert, und du erhältst im Admin-Bereich eine Benachrichtigung, die dir mitteilt, was passiert ist.

Die Statistiken, die du erhältst

Für jede Variante zeigt Shoporama Folgendes an:

• Besucher – Anzahl der eindeutigen Besucher, die die Variante gesehen haben (Bots ausgeschlossen)
• Bestellungen – Anzahl der abgeschlossenen Bestellungen von Besuchern, die die Variante gesehen haben
• Umsatz – Gesamtumsatz pro Variante inkl. MwSt. und Versandkosten
• Konversionsrate — Bestellungen geteilt durch Besucher, angegeben in Prozent
• Umsatz pro Besucher (RPV) – der wichtigste KPI im E-Commerce, da er sowohl die Konversionsrate als auch die Warenkorbgröße in einer einzigen Zahl erfasst
• Gewinnwahrscheinlichkeit — Bayes’sche Wahrscheinlichkeit, dass die Variante die beste ist, dargestellt als farbiger Balken

Die führende Variante wird mit einem grünen Hintergrund hervorgehoben, und sobald ein Gewinner mit einer Wahrscheinlichkeit von 95 %+ ermittelt wurde, erhält er ein Trophäen-Abzeichen. Die Zahlen bleiben zwischen den Aktualisierungen unverändert, bis neue Daten eingehen, sodass Sie die Seite bedenkenlos neu laden können, ohne dass die Prozentwerte schwanken.

Was passiert hinter den Kulissen?

Wenn ein Besucher während eines laufenden Tests zum ersten Mal auf Ihren Shop gelangt, weisen wir ihm basierend auf der Traffic-Verteilung eine Variante zu. Die Zuweisung wird in einem kleinen Cookie namens „pb_v“ gespeichert, damit der Besucher bei wiederholten Besuchen immer dieselbe Variante sieht. Das ist entscheidend. Wenn der Kunde gestern auf dem Smartphone Variante A und heute auf dem Laptop Variante B gesehen hätte, wäre der Test nicht mehr gültig.

Wenn der Kunde einen Artikel in den Warenkorb legt, speichern wir die Variantenzuordnung im Warenkorb selbst. Bei Abschluss der Bestellung wird diese mit der Variante gekennzeichnet, die der Kunde gesehen hat. Das bedeutet, dass wir den tatsächlichen Umsatz pro Variante messen können und nicht nur geschätzte Klicks. Jede Nacht läuft ein Skript, das die Statistiken aktualisiert und Tests automatisch beendet, die die Signifikanzschwelle erreicht haben.

Cookies und DSGVO

Sie müssen nichts unternehmen, damit der Split-Test die DSGVO einhält. Es handelt sich um ein funktionales Cookie, das keine Daten an Dritte weitergibt und nicht für Marketingzwecke verwendet wird.

Das Cookie enthält lediglich eine zufällige Besucher-ID und eine Zuordnung zu der Variante, die der Nutzer sieht. Es kann nicht von JavaScript auf der Seite ausgelesen werden, wird nur bei First-Party-Navigation gesendet und läuft nach 30 Tagen ab. Wenn Besucher Cookies über Ihr Cookie-Banner ablehnen, wird das Cookie nicht gesetzt. Stattdessen verwenden wir einen sitzungsbasierten Fallback, der den Nutzer für den Rest der Sitzung begleitet, ohne Daten auf die Festplatte zu schreiben.

Sie sollten das Cookie in Ihrer Cookie-Richtlinie als funktionales/Präferenz-Cookie aufführen. Wir zeigen außerdem selbst einen unauffälligen Hinweis in der Split-Test-Verwaltung an, der Sie daran erinnert. Die dänische Datenschutzbehörde betrachtet „Sticky“-A/B-Test-Cookies als funktionale Cookies, für die keine ausdrückliche Marketing-Einwilligung erforderlich ist.

Bots und Suchmaschinen

Googlebot, Bingbot und andere Crawler erhalten immer dieselbe Variante (die mit dem höchsten Traffic-Gewicht im Test). Sie erhalten kein Cookie und fließen nicht in die Statistik ein. Dies stellt weder ein Cloaking- noch ein SEO-Problem dar, da wir keine unterschiedlichen Inhalte basierend auf dem User-Agent bereitstellen – alle neuen Besucher erhalten dieselbe Auswahl wie der Bot. Die kanonische URL ist stabil, sodass Google die Seite ohne Beeinträchtigungen ranken kann.

Wenn der Test abgeschlossen ist

Wenn du „Gewinner als neuen Standard verwenden“ aktiviert hast, geschieht dies automatisch: Der Gewinner wird aktiviert, die Verlierer werden deaktiviert, und du erhältst eine Benachrichtigung. Falls nicht, kannst du selbst den Test aufrufen, um zu sehen, welche Variante gewonnen hat, und deinen Shop manuell auf diese Version aktualisieren.

Die Statistiken bleiben in jedem Fall erhalten. Du kannst jederzeit zurückgehen und vergangene Tests sowie deren Ergebnisse einsehen. So entsteht im Laufe der Zeit eine Wissensdatenbank darüber, was gerade für deinen Shop funktioniert. Du planst den nächsten Test fundierter, weil du deine Kunden besser verstanden hast.

Tipps für einen guten Test

• Teste jeweils nur EINE Sache. Ändere nur die Farbe der Schaltfläche, oder nur die Überschrift, oder nur das Bild. Wenn du fünf Dinge auf einmal änderst und Variante B gewinnt, weißt du nicht, was den Ausschlag gegeben hat.
• Wähle Änderungen, die einen echten Unterschied machen können. Ein Wechsel von einer grauen zu einer dunkelgrauen Schaltfläche bewirkt selten etwas. Teste zunächst größere visuelle oder textliche Änderungen und kümmere dich erst später um die Details, wenn die großen Aspekte optimiert sind.
• Lass den Test mindestens 14 Tage laufen. In der Regel gibt es Unterschiede zwischen Werktagen und Wochenenden, und zwei vollständige Wochenzyklen liefern ein ausgewogeneres Bild.
• Beende einen Test nicht vorzeitig, nur weil es „gut aussieht“. Das ist die klassische Falle, die zu falschen positiven Ergebnissen führt. Wenn du den Signifikanz-Stopp aktiviert hast, wartet das System automatisch, bis genügend Daten vorliegen.
• Stelle eine Hypothese auf. Schreibe vor Beginn des Tests auf, was du erwartest („Ich glaube, der grüne Button konvertiert 5 % besser, weil er stärker hervorsticht“). Selbst wenn du dich irrst, lernst du etwas über deine Kunden.
• 50/50 ist am schnellsten. Wenn du vorsichtig bist und eine neue Variante nur 10 % des Traffics aussetzen möchtest, dann wähle 90/10 – aber akzeptiere, dass es länger dauert, bis genügend Daten für eine Schlussfolgerung vorliegen.

Konkrete Testideen für den Einstieg

• Für Modekleidung/Lifestyle: Teste die Überschrift „Frühjahrsneuheiten“ gegen „Neue Artikel im Shop“ auf deiner Startseite oder vergleiche ein Model-Foto mit einem Flat-Lay-Foto.
• Für Wohnaccessoires: Testen Sie den Bereich „Bestseller“ gegen „Neueste Produkte“ als ersten Block.
• Für Spezialartikel: Testen Sie, ob eine kurze Produktbeschreibung oder eine lange technische Spezifikation die beste Konversionsrate erzielt.
• Allgemein: Testen Sie die Farbe Ihrer Hauptschaltfläche. Der klassische CRO-Test zeigt, dass kleine Farbänderungen die Konversionsrate oft um 3–10 % steigern.

Kombinieren Sie dies mit Zeitsteuerung und KI

Zeitgesteuerte Tests und Split-Tests lassen sich kombinieren. Sie können beispielsweise eine Black-Friday-Startseite erstellen, diese in der betreffenden Woche online schalten und gleichzeitig zwei Varianten davon (roter Hero vs. grüner Hero) im Split-Test vergleichen, um herauszufinden, was gerade für den Black-Friday-Traffic am besten funktioniert. Saisonale Daten sind im nächsten Jahr Gold wert.

Wenn du die KI-Steuerung aktiviert hast, kannst du zeitgesteuerte Seiten auch direkt erstellen, indem du mit deinem KI-Client chattest: „Erstelle eine Black-Friday-Startseite, die automatisch am 28. November online geht und am 1. Dezember deaktiviert wird“ oder „Nimm meine Sommer-Startseite jetzt offline“. Die eigentliche Durchführung von Split-Tests (Test erstellen, Varianten auswählen, starten/stoppen) ist bewusst nicht über die KI automatisiert. Diese Entscheidungen musst du selbst treffen, damit niemand versehentlich einen Test startet.

Häufig gestellte Fragen

Muss ich technisch versiert sein, um Split-Tests zu nutzen?

Nein. Bei Seitenlayouts (Startseiten, Kategorieseiten usw.) klickst du dich wie gewohnt durch den Seiten-Designer und kopierst mit einem Klick. Bei Stylesheets musst du oder ein Helfer ein wenig CSS schreiben können, aber der Rest des Split-Test-Ablaufs ist derselbe: Varianten auswählen, starten, auf das Ergebnis warten.

Wie lange dauert es, bis ich einen Gewinner habe?

Das hängt von deinem Traffic ab. Ein Shop mit 5.000 Besuchen pro Tag kann bereits nach den mindestens 14 Tagen fertig sein. Ein kleinerer Shop benötigt möglicherweise 4–8 Wochen, um genügend Daten zu sammeln. Wenn du nicht innerhalb eines angemessenen Zeitraums 1.000 Besucher pro Variante + insgesamt 100 Bestellungen hast, wird der Signifikanz-Stopp niemals ausgelöst, und du musst die Ergebnisse anhand der dir vorliegenden Zahlen manuell bewerten. Für sehr kleine Shops kann der Split-Test dennoch ein gutes Werkzeug sein, um deutliche Unterschiede zu erkennen (z. B. eine Variante, die doppelt so gut konvertiert).

Was passiert, wenn ich eine Variante mitten in einem Test lösche?

Wenn der Test aufgrund der Löschung nur noch zwei Varianten umfasst, wird er automatisch beendet. Die gesammelten Daten bleiben als Verlauf bei den getaggten Bestellungen erhalten, aber der Test kann nicht fortgesetzt werden. In dieser Situation küren wir keinen „Gewinner“, da ein Test mit nur einer Variante keinen Sinn ergibt.

Beeinflusst das die Geschwindigkeit meines Webshops?

So gut wie gar nicht. Die Auswahl der Variante erfolgt auf dem Server, bevor das HTML gerendert wird, sodass es im Browser zu keinem Flackern oder zu Verzögerungen kommt. Der einzige zusätzliche Aufwand besteht aus einer schnellen Dateiprüfung und einem Datenbankzugriff pro Besuch während eines aktiven Tests. Wenn keine Tests laufen, ist der Overhead minimal. Der Cache wird jedoch während eines laufenden Tests deaktiviert, ebenso für Nutzer, die an einem Test teilgenommen haben (bis zu 30 Tage, nachdem ihnen eine Variante zugewiesen wurde), damit ihnen stets die ihnen zugewiesene Version ohne das Risiko einer Cache-Verfälschung angezeigt wird.

Woher weiß ich, ob ich dem Ergebnis vertrauen kann?

Die Gewinnwahrscheinlichkeit ist Ihr Anhaltspunkt. Unter 70 % – der Test ist zu knapp, warten Sie auf weitere Daten. 70–94 % – es gibt einen klaren Favoriten, der jedoch noch nicht statistisch gesichert ist. 95 %+ bei Erfüllung der Mindestanforderungen – du kannst den Gewinner getrost als Standard festlegen. Wir zeigen farbige Balken und Badges an, die es visuell leicht machen, zu erkennen, wie weit du bist.

Kann ich mehrere Split-Tests gleichzeitig durchführen?

Ja, solange sie nicht um dieselbe Zielgruppe konkurrieren. Du kannst durchaus gleichzeitig einen Split-Test auf der Startseite UND einen Split-Test für Stylesheets durchführen – sie testen unterschiedliche Dinge. Du kannst jedoch nicht zwei verschiedene Split-Tests für die Startseite parallel laufen lassen, da dies die Daten gegenseitig verfälscht. Das System setzt diese Regel automatisch durch und gibt eine Meldung aus, wenn du es versuchst.

Was passiert mit den Varianten, die den Vergleich verlieren?

Sie verschwinden nicht. Wenn du die automatische Anwendung des Gewinners aktiviert hast, werden sie offline geschaltet. Sie bleiben jedoch mit ihrem Inhalt im System erhalten. Du kannst sie jederzeit manuell wieder online schalten oder als Ausgangspunkt für eine neue Variante verwenden. Die Statistiken des abgeschlossenen Tests bleiben ebenfalls erhalten.

Was passiert, wenn mehr Besucher auf der einen Variante landen als auf der anderen?

Wir überprüfen täglich, ob die Traffic-Verteilung unausgewogen ist. Wenn der Traffic deutlich anders verteilt ist als deine Gewichtung (z. B. 70/30 statt 50/50), erhältst du eine Warnung im Admin-Bereich. Dies ist in der Regel auf eine Cache-Konfiguration oder ungewöhnliche Bot-Aktivitäten zurückzuführen, und das Ergebnis sollte mit Vorbehalt betrachtet werden, bis das Problem behoben ist.

Wann wird der Umsatz pro Besucher (RPV) angezeigt?

Der RPV wird berechnet, sobald Bestellungen für eine Variante vorliegen, wir benötigen jedoch mindestens 30 Bestellungen pro Variante, bevor wir eine statistisch zuverlässige, auf dem RPV basierende Aussage treffen können. Bis dahin kannst du weiterhin die Rohdaten einsehen und die Konversionsrate als primären KPI verwenden.

Was ist der Unterschied zwischen einem Split-Test für Stylesheets und einem für Themes?

Ein Stylesheet-Test bezieht sich auf reines CSS – Schaltflächenfarben, Schriftgrößen, Abstände. Das lässt sich schnell einrichten, und du benötigst kein eigenes Theme. Ein Theme-Test geht einen Schritt weiter: Du vergleichst zwei deiner eigenen Themes in ihrer Gesamtheit, einschließlich HTML-Struktur, JavaScript-Verhalten, Abschnittsaufbau und benutzerdefinierten Funktionen. Wenn du dein Theme bereits individuell anpasst und prüfen möchtest, ob sich eine größere Überarbeitung lohnt, ist der Theme-Test die richtige Wahl. Wenn du lediglich eine Schaltflächenfarbe testen möchtest, ist der Stylesheet-Test einfacher.

Warum erfordert der Theme-Test ein Pro-Abonnement?

Der Theme-Test setzt voraus, dass du eigene private Themes in deinem Shop hast – das ist an sich schon eine Pro-Funktion. Seitenlayouts und der Stylesheet-Test sind für alle kostenlos verfügbar, da sie bei allen Shoporama-Themes sofort einsatzbereit sind. Der Theme-Test richtet sich an Shops, die in ein individuelles Design investiert haben und die Wirkung datengestützt messen möchten.

Warum erfordert der Theme-Test Smarty 4?

Dies ist eine technische Voraussetzung dafür, dass zwei verschiedene Themes nebeneinander im selben Shop gerendert werden können, ohne dass ihr Template-Cache durcheinandergerät. Smarty 4 isoliert kompilierte Templates pro Theme automatisch; Smarty 2 tut dies nicht. Wenn dein Shop mit Smarty 2 läuft, kannst du in den Theme-Einstellungen auf Smarty 4 umstellen und so den Theme-Test freischalten.

Werden Split-Test-Daten an Google Analytics gesendet?

Nein. Alle Statistiken werden intern in Shoporama gespeichert. Du musst nichts extern konfigurieren, um die Zahlen zu erhalten.

Kostet das Split-Testing extra?

Nein. Es ist ohne zusätzliche Kosten in Ihrer Shoporama-Lösung enthalten – ohne Begrenzung der Testanzahl und ohne Gebühr pro Besucher. Sie können so viele Tests durchführen, wie Sie möchten, und so lange, wie Sie möchten.

Los geht’s

Gehe in deinem Shoporama-Adminbereich zu „Design“ → „Split-Test“ und erstelle deinen ersten Test. Wenn du dir nicht sicher bist, was du testen sollst, fang mit deiner Startseite an. Das ist die Seite, die die meisten deiner Kunden sehen, und schon kleine Verbesserungen hier bringen großen Nutzen. Testen Sie zum Beispiel zwei verschiedene Hero-Bilder oder zwei verschiedene Überschriften gegeneinander.

Wenn du Fragen hast, kannst du dich gerne unter support@shoporama.dk an uns wenden.