Medição de incrementalidade

​

Visão Geral

​

O que é a incrementalidade?

​

Metodologias de teste

​

1. Ensaios controlados aleatórios (ECA)

• Medida causada mais precisa
• Elimina o viés de seleção
• Clara significância estatística

• Requer um grupo de reserva (oportunidade perdida)
• Tamanho mínimo de amostra necessário
• Pode não refletir as condições do mundo real

​

2. Métodos de controle sintético

• Não é necessário grupo de reserva
• Pode ser aplicado retroativamente
• Medição contínua possível

• Requer dados históricos sólidos
• A precisão do modelo afeta os resultados
• É possível que as suposições não se cumpram em todos os casos

​

3. Testes de mercado emparelhados

1. Seleção de mercado: Identificar mercados comparáveis segundo dados demográficos e padrões de vendas
2. Design de teste: Executar campanhas em mercados de teste, manter mercados de controle
3. Análise: Comparar o incremento entre pares de mercados correspondentes
4. Escalonamento: Extrapolar os resultados à população total

• Mantêm-se as condições do mundo real
• Ideal para campanhas regionais
• Pode testar diferentes estratégias

• É difícil encontrar mercados verdadeiramente comparáveis
• Os fatores externos podem afetar os resultados
• Possível efeito de contágio geográfico

​

Implementação na Topsort

​

Habilitação de testes de incrementalidade

{
  "test_configuration": {
    "methodology": "rct",
    "test_split": 0.8, // 80% test, 20% control
    "minimum_sample_size": 10000,
    "measurement_period_days": 30,
    "stratification": ["user_segment", "geographic_region"]
  }
}

​

Processo de configuração de teste

​

Relatório de incrementalidade

​

Métricas padrão

• Conversões incrementais: Conversões adicionais causadas pela publicidade
• Receitas incrementais: Receitas diretamente atribuíveis à exposição publicitária
• iROAS: Retorno incremental do investimento publicitário (receitas incrementais / investimento publicitário)
• Porcentagem de elevação: Incremento relativo em relação ao valor basal
• Intervalo de confiança: Faixa estatística do efeito verdadeiro

​

Formato de relatório de amostra

INCREMENTALITY TEST RESULTS
━━━━━━━━━━━━━━━━━━━━━━━━━━
Test Type: Randomized Controlled Trial
Test Period: Oct 1 - Oct 31, 2024
Sample Size: 50,000 users (40,000 test / 10,000 control)

RESULTS:
─────────────────────────────
Test Group Conversion Rate: 4.2%
Control Group Conversion Rate: 3.1%
Incremental Lift: 35.5% (95% CI: 28.2% - 42.8%)
Statistical Significance: p < 0.001

Incremental Conversions: 440
Incremental Revenue: $44,000
iROAS: 4.4x

​

Melhores Práticas

​

Design de teste

1. Pré-inscrição
   • Documentar a hipótese antes de realizar o teste
   • Definir as métricas de sucesso desde o princípio
   • Comprometer-se com a duração do teste
2. Qualidade da aleatorização
   • Verificar a atribuição aleatória
   • Verificar as diferenças prévias ao teste
   • Utilizar a estratificação para o equilíbrio
3. Tamanho da amostra
   • Calcular o tamanho necessário para a potência desejada
   • Conta para a janela de atribuição
   • Incluir uma margem de segurança para casos de não cumprimento

​

Erros comuns a evitar

​

Considerações avançadas

​

Incrementalidade multitoque

1. Testes sequenciais: Medir o impacto incremental de cada exposição adicional
2. Efeitos de interação: Avaliar como funcionam juntos os diferentes formatos de anúncios
3. Rendimentos decrescentes: Identificar os limites de frequência ótimos

​

Efeitos a longo prazo

• Valor do Cliente ao Longo do Tempo: Acompanhamento do incremento do CLV ao longo do tempo
• Métricas de marca: Medição da notoriedade/consideração através de pesquisas
• Efeitos halo: Impacto em produtos não publicitados

​

Coordenação transcanal

• Coordenar grupos de teste/controle através dos canais
• Medir o impacto incremental total
• Identificar os efeitos de interação dos canais

​

Integração com a atribuição

​

Perspectivas complementares

​

Relatório combinado

• Atribuição para a otimização tática
• Incrementalidade nas decisões estratégicas
• Reconciliação de diferenças

​

API Acesso

​

Solicitação de resultados de testes

// Fetch incrementality test results
const testResults = await fetch("/api/incrementality/results", {
  method: "POST",
  body: JSON.stringify({
    campaign_id: "camp_123",
    test_id: "test_456",
    include_confidence_intervals: true,
    breakdown_by: ["product_category", "user_segment"],
  }),
});

​

Formato de resposta

{
  "test_summary": {
    "methodology": "rct",
    "test_group_size": 40000,
    "control_group_size": 10000,
    "measurement_period": "2024-10-01 to 2024-10-31"
  },
  "results": {
    "incremental_lift": 0.355,
    "confidence_interval": [0.282, 0.428],
    "p_value": 0.0001,
    "incremental_conversions": 440,
    "incremental_revenue": 44000,
    "iroas": 4.4
  },
  "quality_checks": {
    "randomization_balance": "pass",
    "sample_size_adequate": true,
    "statistical_power": 0.95
  }
}

​

Perguntas frequentes

1. Quanto tempo devem durar os testes de incrementalidade?
   • Mínimo de 2 a 4 semanas para capturar o ciclo de compra completo, mais tempo para compras consideradas.
2. Qual é o tamanho mínimo de amostra necessário?
   • Depende do aumento previsto e da taxa de conversão base. Geralmente, mais de 10.000 usuários por grupo.
3. Pode-se medir a incrementalidade sem grupos de teste?
   • Sim, utilizando controles sintéticos ou mercados emparelhados, embora os ECAs continuem sendo os mais precisos.
4. Com que frequência deve ser testada a incrementalidade?
   • Trimestralmente para campanhas em curso, ou quando ocorram mudanças significativas na estratégia ou nas condições do mercado.