Como obter novos conhecimentos através de testes A/B

Fazendo maior uso de dados e análises do que com o exemplo simples (mas eficaz) acima, os testes A/B podem ser usados para medir o impacto de uma série de testes diferentes, tais como e-mail marketing, teste de campanha PPC, conteúdo do website e muito mais.

Mas aqui, vamos discutir um cenário muito simples. Digamos que queremos realizar um teste de marketing regional e, portanto, desejamos medir seu impacto para informar se vale a pena correr novamente no futuro ou não. Mas o que é exatamente um teste A/B, e como ele pode ajudar neste caso? Como devemos executar o teste em si? E como podemos realmente medir seu impacto?

O que é um teste A/B?

O teste A/B, às vezes conhecido como teste dividido ou teste e controle, é usado para comparar duas versões de algo e medir o impacto de um elemento que é alterado. Em nosso exemplo de teste de marketing regional, estamos procurando medir a elevação (se houver) em todas as regiões que o marketing correu, em comparação com as regiões onde não correu.

Como se faz um teste A/B?

Comece com a hipótese a ser testada. Por exemplo, você acredita que uma determinada peça de marketing irá superar a norma. Isto poderia ser motivado por uma pergunta, tal como "Por que um determinado canal não está funcionando?" ou "Gostaríamos de explorar esta estratégia no futuro, como podemos testar se ela funciona"? Esta última se encaixa bem em nosso exemplo de marketing regional.

A partir daqui, certifique-se de ter os dados necessários para medir o teste e configurá-lo da maneira correta. Por exemplo, se estiver realizando um teste regional, certifique-se de que você seja capaz de coletar dados de nível regional/de loja. E certifique-se de discutir o teste com as partes relevantes para garantir que o gasto, a fuga e as regiões escolhidas para o teste sejam suficientes.

A qualquer momento, haverá uma gama completa de fatores que influenciam as vendas. Entretanto, mantendo tudo igual, exceto o marketing que está sendo testado, podemos presumir com confiança que qualquer aumento está vindo do próprio teste.

Como você mede os resultados do teste A/B?

Primeiro, temos que coletar todos os dados necessários. Em nosso exemplo de teste regional, dividimos os dados de vendas em dois conjuntos distintos: um conjunto de teste e um conjunto de controle. A coleta de dados de vendas em nível de loja informaria a divisão dos dados de vendas em nosso caso.

Em seguida, devemos indexar os conjuntos de teste e controle para ter a mesma linha de base, para que uma comparação justa possa ser feita. Considerando que podem ser de valores absolutos diferentes, esta é a melhor maneira de comparar os dois quando se olha para a mudança nas vendas.

Como mencionado anteriormente, mantendo todos os outros fatores iguais (isto é, disponibilidade do produto, nenhuma diferença na oferta entre lojas, etc.), qualquer diferença vista no conjunto de teste pode ser atribuída à atividade de marketing que executamos. Veja o gráfico abaixo para um bom exemplo visual disso.

O que os testes A/B conseguem.

Os testes A/B nos permitem calcular o ROI com mais precisão do que seria possível de outra forma, por exemplo, modelando o total de vendas nacionais com MMM tradicional. A modelagem em nível de loja é outra solução, mas para testes ad-hoc menores, muitas vezes não é eficiente em termos de custo devido ao recurso necessário e aos gastos relativos por trás do teste.

Os testes A/B não fornecem apenas provas baseadas em dados de que um teste funcionou ou não. Ele também oferece a oportunidade de aplicar insights sobre o comportamento do consumidor em outras áreas de seu marketing. Se um teste regional funcionou ao comercializar um determinado produto, então ele pode muito bem funcionar novamente usando um canal diferente.

A realização de testes regulares funciona melhor, pois ajuda a alcançar o melhor gasto de marketing e a colocação mais rápida dentro de cada canal, tornando o marketing mais frutífero. E, é claro, semelhante ao nosso experimento com sementes favoritas, lançar mais luz sobre o marketing só vai ajudar a aumentar seu impacto!