Inkrementalitätsmessung

​

Überblick

​

Was ist Inkrementalität?

​

Testmethoden

​

1. Randomisierte kontrollierte Studien (RCT)

• Genaueste kausale Messung
• Eliminiert Selektionsverzerrung
• Klare statistische Signifikanz

• Erfordert Kontrollgruppe (verpasste Gelegenheit)
• Mindeststichprobengröße erforderlich
• Spiegelt möglicherweise nicht reale Bedingungen wider

​

2. Synthetische Kontrollmethoden

• Keine Kontrollgruppe erforderlich
• Kann rückwirkend angewendet werden
• Kontinuierliche Messung möglich

• Erfordert robuste historische Daten
• Modellgenauigkeit beeinflusst Ergebnisse
• Annahmen treffen möglicherweise nicht in allen Fällen zu

​

3. Matched-Market-Tests

1. Marktauswahl: Vergleichbare Märkte nach Demografie, Verkaufsmustern identifizieren
2. Testdesign: Kampagnen in Testmärkten durchführen, Kontrollmärkte ausschließen
3. Analyse: Lift zwischen gepaarten Märkten vergleichen
4. Skalierung: Ergebnisse auf Gesamtpopulation extrapolieren

• Reale Bedingungen beibehalten
• Gut für regionale Kampagnen
• Kann verschiedene Strategien testen

• Wirklich vergleichbare Märkte zu finden ist schwierig
• Externe Faktoren können Ergebnisse beeinflussen
• Mögliche geografische Überschneidung

​

Implementierung in Topsort

​

Aktivierung von Inkrementalitätstests

{
  "test_configuration": {
    "methodology": "rct",
    "test_split": 0.8,
    "minimum_sample_size": 10000,
    "measurement_period_days": 30,
    "stratification": ["user_segment", "geographic_region"]
  }
}

​

Test-Setup-Prozess

​

Inkrementalitäts-Reporting

​

Standardmetriken

• Inkrementelle Conversions: Zusätzliche Conversions, die durch Werbung verursacht wurden
• Inkrementeller Umsatz: Umsatz direkt der Werbeexposition zuzuschreiben
• iROAS: Inkrementeller Return on Ad Spend (inkrementeller Umsatz / Werbeausgaben)
• Lift-Prozentsatz: Relative Steigerung gegenüber Baseline
• Konfidenzintervall: Statistischer Bereich des tatsächlichen Effekts

​

Beispiel-Berichtformat

INKREMENTALITÄTSTEST-ERGEBNISSE
━━━━━━━━━━━━━━━━━━━━━━━━━━
Testtyp: Randomisierte kontrollierte Studie
Testzeitraum: 1. Okt - 31. Okt 2024
Stichprobengröße: 50.000 Benutzer (40.000 Test / 10.000 Kontrolle)

ERGEBNISSE:
─────────────────────────────
Testgruppen-Conversion-Rate: 4,2%
Kontrollgruppen-Conversion-Rate: 3,1%
Inkrementeller Lift: 35,5% (95% KI: 28,2% - 42,8%)
Statistische Signifikanz: p < 0,001

Inkrementelle Conversions: 440
Inkrementeller Umsatz: 44.000 $
iROAS: 4,4x

​

Best Practices

​

Testdesign

1. Präregistrierung
   • Hypothese vor Tests dokumentieren
   • Erfolgsmetriken im Voraus definieren
   • Sich auf Testdauer festlegen
2. Randomisierungsqualität
   • Zufällige Zuweisung überprüfen
   • Vortest-Unterschiede prüfen
   • Stratifizierung für Balance verwenden
3. Stichprobengröße
   • Erforderliche Größe für gewünschte Power berechnen
   • Attributionsfenster berücksichtigen
   • Puffer für Non-Compliance einschließen

​

Häufige Fallstricke vermeiden

​

Erweiterte Überlegungen

​

Multi-Touch-Inkrementalität

1. Sequenzielle Tests: Inkrementelle Wirkung jeder zusätzlichen Exposition messen
2. Interaktionseffekte: Bewerten, wie verschiedene Anzeigenformate zusammenwirken
3. Abnehmende Erträge: Optimale Frequency-Caps identifizieren

​

Langzeiteffekte

• Customer Lifetime Value: Inkrementellen CLV im Zeitverlauf verfolgen
• Markenmetriken: Umfragebasierte Messung von Awareness/Consideration
• Halo-Effekte: Auswirkungen auf nicht beworbene Produkte

​

Cross-Channel-Koordination

• Test-/Kontrollgruppen über Kanäle koordinieren
• Gesamte inkrementelle Wirkung messen
• Cross-Channel-Interaktionseffekte identifizieren

​

Integration mit Attribution

​

Komplementäre Erkenntnisse

​

Kombinierte Berichterstattung

• Attribution für taktische Optimierung
• Inkrementalität für strategische Entscheidungen
• Unterschiede abstimmen

​

API-Zugriff

​

Testergebnisse anfordern

// Inkrementalitätstest-Ergebnisse abrufen
const testResults = await fetch("/api/incrementality/results", {
  method: "POST",
  body: JSON.stringify({
    campaign_id: "camp_123",
    test_id: "test_456",
    include_confidence_intervals: true,
    breakdown_by: ["product_category", "user_segment"],
  }),
});

​

Antwortformat

{
  "test_summary": {
    "methodology": "rct",
    "test_group_size": 40000,
    "control_group_size": 10000,
    "measurement_period": "2024-10-01 to 2024-10-31"
  },
  "results": {
    "incremental_lift": 0.355,
    "confidence_interval": [0.282, 0.428],
    "p_value": 0.0001,
    "incremental_conversions": 440,
    "incremental_revenue": 44000,
    "iroas": 4.4
  },
  "quality_checks": {
    "randomization_balance": "pass",
    "sample_size_adequate": true,
    "statistical_power": 0.95
  }
}

​

Häufig gestellte Fragen

1. Wie lange sollten Inkrementalitätstests laufen?
   • Minimum 2-4 Wochen, um den vollständigen Kaufzyklus zu erfassen, länger für überlegte Käufe.
2. Welche Mindeststichprobengröße ist erforderlich?
   • Hängt vom erwarteten Lift und der Baseline-Conversion-Rate ab. Typischerweise 10.000+ Benutzer pro Gruppe.
3. Kann Inkrementalität ohne Kontrollgruppen gemessen werden?
   • Ja, unter Verwendung synthetischer Kontrollen oder Matched Markets, obwohl RCTs am genauesten bleiben.
4. Wie oft sollte Inkrementalität getestet werden?
   • Vierteljährlich für laufende Kampagnen oder wenn bedeutende Änderungen in Strategie oder Marktbedingungen auftreten.