Was ist ein A/B-Test?
Stell dir vor, du hast zwei Buttontexte im Kopf. "Jetzt Angebot anfordern" oder "Kostenlose Beratung sichern". Statt zu diskutieren, zeigst du Variante A 500 Besuchern und Variante B 500 Besuchern. Nach zwei Wochen hat A 22 Anfragen gebracht, B 38. Entscheidung getroffen — datenbasiert.
In der Fachsprache heißt die unveränderte Ausgangsversion Control (Kontrollgruppe), die neue Variante heißt Variant oder Treatment. Du testest also nicht "Variante A gegen Variante B", sondern "Control gegen Variant". Klingt wissenschaftlicher, meint dasselbe — aber in Tools wie VWO, Optimizely oder Posthog stehen genau diese Begriffe, also solltest du sie kennen.
Das Prinzip ist alt. Schon in den 1920er Jahren testeten Direktwerber zwei Briefvarianten gegeneinander. Im Web geht das nur viel schneller: Ein Tool teilt den Traffic automatisch auf, misst die Conversions und rechnet die statistische Signifikanz aus.
Wichtig: A/B heißt, eine Sache ändern. Nicht zwei, nicht zehn. Wer gleichzeitig Überschrift, Farbe und Bild tauscht, testet kein A/B, sondern spielt Lotto. Wer trotzdem mehrere Variablen gleichzeitig prüfen will, braucht einen anderen Ansatz — siehe Multivariate Tests weiter unten.
Wie ein A/B-Test funktioniert
Ein sauberer A/B-Test läuft in sechs Schritten:
- Hypothese formulieren — "Wenn der CTA grün statt grau ist, steigt die Click-Through-Rate um mindestens 15 Prozent." Ohne Hypothese ist ein Test Zufallsgrabung.
- Eine Variable festlegen — Text, Farbe, Position, Bild. Genau eine.
- Stichprobengröße berechnen — Wie viele Besucher brauchst du, um ein Ergebnis statistisch belastbar zu machen? Online-Rechner wie der von Evan Miller oder VWO geben die Zahl aus.
- Test aufsetzen — Tool starten, Varianten eingeben, Traffic aufteilen (meistens 50/50).
- Laufen lassen, nicht anfassen — Mindestens eine Woche, besser zwei, idealerweise bis die berechnete Stichprobe erreicht ist. Wer zu früh abbricht, fängt Rauschen und nennt es Ergebnis.
- Auswerten und entscheiden — Gewinner übernehmen, Erkenntnis dokumentieren, nächsten Test planen.
Klingt simpel, ist in der Praxis voller Stolperfallen — siehe weiter unten.
Was du testen kannst (und was Sinn ergibt)
Nicht jede Änderung ist einen Test wert. Die Elemente mit dem größten Hebel auf die Conversion Rate:
- CTA-Text — "Angebot anfordern" vs "Rückruf sichern". Oft der größte Hebel.
- CTA-Farbe und -Größe — Kontrast macht viel aus, aber weniger als Text.
- Überschrift der Hero Section — Kernversprechen umformulieren.
- Hero-Bild — Produkt vs Mensch vs Ergebnis.
- Preisdarstellung — monatlich vs jährlich, mit/ohne Rabatt-Hinweis.
- Formularlänge — sieben Felder vs drei Felder.
- Anzahl der Schritte — einseitiges Formular vs mehrstufiger Checkout.
- Social Proof — mit vs ohne Kundenstimmen, Bewertungen, Logos.
- Navigation — volles Menü vs reduziertes Menü auf Landingpages.
- Videoplayer vs Standbild im Hero.
Finger weg von reinen Pixel-Tests ("2 Pixel breiter Border"). Der Unterschied ist zu klein, um ihn statistisch nachzuweisen.
A/B-Test vs Multivariate Test (MVT)
Wer mehrere Dinge gleichzeitig testen will, landet beim Multivariate Test, kurz MVT. Der Unterschied: Ein A/B-Test vergleicht zwei komplette Varianten (Control gegen Variant). Ein MVT testet mehrere Elemente unabhängig voneinander und ermittelt, welche Kombination am besten performt.
| Ansatz | Was wird getestet | Benötigter Traffic |
|---|---|---|
| A/B-Test | Control gegen eine Variant, ein Element | Niedrig bis mittel |
| A/B/n-Test | Control gegen mehrere Variants gleichzeitig | Mittel |
| Multivariate Test (MVT) | Mehrere Elemente, alle Kombinationen | Sehr hoch |
Ein Beispiel: Du testest drei Überschriften und zwei Bilder gleichzeitig. Das ergibt 3 × 2 = 6 Kombinationen, die alle genug Traffic bekommen müssen, um statistisch belastbar zu sein. Während ein A/B-Test bei 2.000 Conversions auskommt, braucht ein MVT schnell das Zehnfache. Deshalb sind MVTs nur sinnvoll auf Seiten mit sehr viel Traffic — E-Commerce-Startseiten, große SaaS-Signups, bezahlte Landingpages mit hohem Werbebudget.
Für 95 Prozent der Websites im deutschen Mittelstand ist der klassische A/B-Test die richtige Wahl. MVT klingt mächtig, scheitert in der Praxis aber oft an der Stichprobe.
Statistische Signifikanz — die Zahl, die entscheidet
Der häufigste Fehler bei A/B-Tests ist, zu früh eine Variante zum Sieger zu erklären. "Variante B liegt nach zwei Tagen bei 3,2 Prozent und Variante A bei 2,8 Prozent — B gewinnt!" Nein. Das ist Zufall, bis das Gegenteil bewiesen ist.
Die statistische Signifikanz sagt aus, wie wahrscheinlich der Unterschied nicht durch Zufall entstanden ist. Standard in der Branche: 95 Prozent Signifikanz. Das heißt, es gibt maximal eine Wahrscheinlichkeit von 5 Prozent, dass der Unterschied reines Rauschen ist.
Für ein belastbares Ergebnis brauchst du je nach Ausgangs-Conversion-Rate und erwartetem Effekt:
| Basis-CR | Erwarteter Uplift | Nötige Besucher pro Variante |
|---|---|---|
| 2 % | +10 % | ~30.000 |
| 2 % | +25 % | ~5.000 |
| 5 % | +10 % | ~12.000 |
| 5 % | +25 % | ~2.000 |
| 10 % | +10 % | ~5.500 |
| 10 % | +25 % | ~900 |
Die Tabelle macht klar, warum kleine Websites oft keine A/B-Tests fahren können — bei 400 Besuchern pro Monat dauert ein einziger Test ein halbes Jahr. Dann lieber auf Best Practices setzen und qualitative Methoden wie UX-Interviews und Session Recordings nutzen.
Tools für A/B-Tests
Die verbreitetsten Werkzeuge, nach Budget sortiert:
- VWO (Visual Website Optimizer) — Komplettlösung mit Heatmaps und Session Recordings, ab ca. 200 Euro/Monat
- Optimizely — Enterprise-Klasse, mächtig, teuer
- AB Tasty — europäischer Anbieter, DSGVO-freundlich
- Convert.com — mittlere Websites, faires Pricing
- Posthog — Open Source, self-hosted möglich
- Matomo A/B Testing — DSGVO-konform, als Add-on zu Matomo Analytics
Bei WordPress gibt es auch Plugin-Lösungen wie Nelio A/B Testing. Google Optimize wurde eingestellt und ist nicht mehr verfügbar.
Häufige Fehler bei A/B-Tests
Test zu früh abbrechen. Wer nach drei Tagen stoppt, hat meistens keinen Sieger, sondern Zufall. Stichprobe vorher berechnen, Zeitraum einhalten.
Mehrere Änderungen gleichzeitig. Eine Variable pro Test — sonst weißt du am Ende nicht, was geholfen hat.
Wochenende und Kampagnen ignorieren. Mindestens einen vollen Wochenzyklus abdecken. Ein Test, der an Black Friday startet und am Dienstag endet, ist wertlos.
Zu kleine Unterschiede testen. Hellblau zu Mittelblau wird in deinem Traffic-Volumen nie statistisch nachweisbar sein. Große, mutige Änderungen.
Ergebnisse nicht dokumentieren. Was wurde getestet, was war das Ergebnis, was haben wir gelernt. Ohne Log fängst du in einem halben Jahr wieder bei null an.