Identificando a significância em seus dados analíticos

O que é significativo?

Tomar decisões com base em dados requer o apoio de uma medida robusta de confiança nos dados.

Nas costas de um evento de algum tipo (início de campanha, novo aplicativo, pandemia global), se observarmos qualquer mudança em nossos dados, precisamos estar confiantes de que a "coisa" que aconteceu foi realmente responsável para a mudança nos dados - não apenas uma correlação. Temos que ser capazes de demonstrar que tivemos esta coisa não aconteceuos dados não teriam mudado.

Então, podemos inferir uma relação causal entre o evento e a mudança dos dados. Lembre-se - ainda é uma probabilidade, nunca podemos provar a causalidade em um sentido categórico, mas nós pode ser altamente confiante (e é muito melhor do que adivinhar!). Podemos remover a emoção e o preconceito inconsciente da tomada de decisões. Não usamos dados oculares ou usamos nossa matemática intestinal para informar o processo de tomada de decisão.

Aqui está a conversa completa e os slides do episódio "Viva com o Poderoso Colmeia" da semana passada (rolar até o final para os slides):

Como funciona?

A tecnologia por trás do pacote Google CausalImpact R que foi demonstrada no episódio constrói um modelo de série temporal estrutural Bayesiano e depois tenta prever o contrafactual.

Simplesmente, o modelo matemático usa dados anteriores ao evento para prever como seriam os dados se o evento não tivesse acontecido. Importante: a previsão é na verdade uma faixa probabilística de valores. Se os dados históricos forem ruidosos, então a precisão da previsão mudará. Veja a captura de tela abaixo, a partir da caminhada de demonstração através do link acima. Na imagem abaixo, a área sombreada azul é a previsão (estimador de controle sintético) do modelo. Se os dados observados caírem fora da região azul, nós temos significado!

A região azul fica maior com dados mais ruidosos. Quanto mais ampla a região azul, mais extrema a observação terá que ser para se obter um sinal significativo.

Usando o Google CausalImpact

Você pode usar o pacote CausalImpact com tão pouco quanto três linhas de R. R Studio é open source ou você pode experimentá-lo usando rstudio.cloud.

Esteja ciente, se você instalar o pacote CausalImpact localmente, devido às dependências, você precisará pelo menos da v3.5 do R. Eu atualizei o Linux no Chromebook para obter a última versão do R e R Studio através deste artigo muito útil e a instalação do pacote foi muito simples.

Há outra opção graças a Mark Edmondson do IIH Nordic. Mark escreveu um grande front-end de aplicativo brilhante para CausalImpact que é de uso livre, para que você possa explorar o significado em seus próprios dados GA.

Usando o significado para estabelecer a causalidade e tomar medidas

Usamos o pacote para analisar os dados do cliente para responder com confiança às principais questões comerciais que surgiram em relação às mudanças de KPI desde que o Reino Unido foi bloqueado.

Além de considerarmos os dados de YTD (definindo o 'evento' como 1 de janeiro), usamos períodos de data pré e pós bloqueio (9 de março). Os dados mostram padrões claros no comportamento de compra para sites de varejo. Os sites de mídia parecem apresentar um crescimento explosivo. No entanto, as especificidades relativas às áreas de crescimento de conteúdo são altamente informativas - não o que você esperaria ver apenas olhando os dados de longe.

Para clientes do varejo e da mídia, a capacidade de identificar áreas de crescimento atual e futuro com confiança é uma tática altamente valiosa. Em um nível estratégico, a previsão de resultados da CausalImpact é altamente acionável na condução do conteúdo da campanha, nos orçamentos e no tempo.

Embora as táticas para a atual situação global incluam "gerenciamento", há uma clara aproximação para preparação também. Tomar decisões sobre os dados atuais e usar previsões com confiança provou ser valioso para nossos clientes.

Recursos adicionais

Obrigado por ler! Os slides do episódio podem ser acessados aqui:

Assista ao vídeo introdutório do pacote CausalImpact R aqui (visualização obrigatória!):