Medición de incrementalidad

​

Descripción general

​

¿Qué es la incrementalidad?

​

Metodologías de prueba

​

1. Ensayos controlados aleatorios (ECA)

• Medida causal más precisa Elimina el sesgo de selección
• Clara significación estadística

• Requiere un grupo de reserva (oportunidad perdida)
• Tamaño mínimo de muestra necesario
• Puede que no refleje las condiciones del mundo real

​

2. Métodos de control sintéticos

• No se requiere grupo de reserva
• Puede aplicarse retroactivamente
• Medición continua posible

• Requiere datos históricos sólidos La precisión del modelo afecta los resultados.
• Es posible que las suposiciones no se cumplan en todos los casos.

​

3. Pruebas de mercado emparejadas

1. Selección de mercado: Identificar mercados comparables según datos demográficos y patrones de ventas.
2. Diseño de prueba: Ejecutar campañas en mercados de prueba, mantener mercados de control.
3. Análisis: Comparar el incremento entre pares de mercados coincidentes.
4. Escalamiento: Extrapolar los resultados a la población total.

• Se mantienen las condiciones del mundo real
• Ideal para campañas regionales
• Puede probar diferentes estrategias

• Resulta difícil encontrar mercados verdaderamente comparables. Los factores externos pueden afectar los resultados.
• Posible efecto de contagio geográfico

​

Implementación en Topsort

​

Habilitación de pruebas de incrementalidad

{
  "test_configuration": {
    "methodology": "rct",
    "test_split": 0.8, // 80% test, 20% control
    "minimum_sample_size": 10000,
    "measurement_period_days": 30,
    "stratification": ["user_segment", "geographic_region"]
  }
}

​

Proceso de configuración de prueba

​

Informe de incrementalidad

​

Métricas estándar

• Conversiones incrementales: Conversiones adicionales causadas por la publicidad
• Ingresos incrementales: Ingresos directamente atribuibles a la exposición publicitaria
• iROAS: Retorno incremental de la inversión publicitaria (ingresos incrementales / inversión publicitaria)
• Porcentaje de elevación: Incremento relativo respecto al valor basal
• Intervalo de confianza: Rango estadístico del efecto verdadero

​

Formato de informe de muestra

INCREMENTALITY TEST RESULTS
━━━━━━━━━━━━━━━━━━━━━━━━━━
Test Type: Randomized Controlled Trial
Test Period: Oct 1 - Oct 31, 2024
Sample Size: 50,000 users (40,000 test / 10,000 control)

RESULTS:
─────────────────────────────
Test Group Conversion Rate: 4.2%
Control Group Conversion Rate: 3.1%
Incremental Lift: 35.5% (95% CI: 28.2% - 42.8%)
Statistical Significance: p < 0.001

Incremental Conversions: 440
Incremental Revenue: $44,000
iROAS: 4.4x

​

Mejores prácticas

​

Diseño de prueba

1. Preinscripción

• Define las métricas de éxito desde el principio
• Comprométase con la duración de la prueba

2. Calidad de la aleatorización

• Verificar la asignación aleatoria
• Comprobar las diferencias previas a la prueba
• Utilizar la estratificación para el equilibrio

3. Tamaño de la muestra

• Calcular el tamaño necesario para la potencia deseada
• Cuenta para la ventana de atribución
• Incluir un margen de seguridad para casos de incumplimiento.

​

Errores comunes que se deben evitar

​

Consideraciones avanzadas

​

Incrementalidad multitáctil

1. Pruebas secuenciales: Medir el impacto incremental de cada exposición adicional.
2. Efectos de interacción: Evaluar cómo funcionan juntos los diferentes formatos de anuncios.
3. Rendimientos decrecientes: Identificar los límites de frecuencia óptimos.

​

Efectos a largo plazo

• Valor del Cliente a lo Largo del Tiempo: Seguimiento del incremento del CLV a lo largo del tiempo
• Métricas de marca: Medición de la notoriedad/consideración mediante encuestas
• Efectos halo: Impacto en productos no publicitados

​

Coordinación transcanal

• Coordinar grupos de prueba/control a través de los canales
• Medir el impacto incremental total
• Identificar los efectos de interacción de los canales

​

Integración con la atribución

​

Perspectivas complementarias

​

Informe combinado

• Atribución para la optimización táctica
• Incrementalidad en las decisiones estratégicas
• Reconciliación de diferencias

​

API Acceso

​

Solicitud de resultados de pruebas

// Fetch incrementality test results
const testResults = await fetch("/api/incrementality/results", {
  method: "POST",
  body: JSON.stringify({
    campaign_id: "camp_123",
    test_id: "test_456",
    include_confidence_intervals: true,
    breakdown_by: ["product_category", "user_segment"],
  }),
});

​

Formato de respuesta

{
  "test_summary": {
    "methodology": "rct",
    "test_group_size": 40000,
    "control_group_size": 10000,
    "measurement_period": "2024-10-01 to 2024-10-31"
  },
  "results": {
    "incremental_lift": 0.355,
    "confidence_interval": [0.282, 0.428],
    "p_value": 0.0001,
    "incremental_conversions": 440,
    "incremental_revenue": 44000,
    "iroas": 4.4
  },
  "quality_checks": {
    "randomization_balance": "pass",
    "sample_size_adequate": true,
    "statistical_power": 0.95
  }
}

​

Preguntas frecuentes

1. ¿Cuánto tiempo deben durar las pruebas de incrementalidad?

• Mínimo de 2 a 4 semanas para capturar el ciclo de compra completo, más tiempo para compras consideradas.

2. ¿Cuál es el tamaño mínimo de muestra necesario?

3. ¿Se puede medir la incrementalidad sin grupos de prueba?

• Sí, utilizando controles sintéticos o mercados emparejados, aunque los ECA siguen siendo los más precisos.

4. ¿Con qué frecuencia se debe probar la incrementalidad?

• Trimestralmente para campañas en curso, o cuando se produzcan cambios significativos en la estrategia o en las condiciones del mercado.