Higiene Digital: Combate ao Bloqueio de Dados

Alguns anos atrás, à medida que o armazenamento digital se tornou mais acessível, a atitude de muitas empresas em relação aos dados era a de "armazenar tudo" Todos. Únicas. Dados. Ponto.

Em seguida vieram os "grandes dados" e a computação em nuvem, que trouxe ainda mais dados, mais poder computacional e ostensivamente mais oportunidades e insights. Como resultado, o consumo de dados disparou, impulsionado pela Internet, redes sociais e serviços digitais.

Parafraseando meu guru Avinash Kaushikagora temos mais dados do que Deus jamais pretendeu que alguém tivesse.

O instinto de armazenar tudo é compreensível. Por que jogar fora os dados? Mas tem havido alguns efeitos imprevistos:

• Aumenta a carga de trabalho associada à garantia de qualidade dos dados
• Aumenta os tempos de processamento de dados
• Torna os conjuntos de dados mais complexos e mais difíceis de trabalhar com
• A maioria dos dados é irrelevante para a análise empresarial

A decisão de manter todos os dados foi fácil. Discernir quais pontos de dados devem ser considerados é difícil. Esta fase de consideração será implementada ou como as empresas estão especificando um projeto de dados (ANTES), ou como elas introduzem uma nova liberação de seus ativos digitais (DEPOIS).

Somente para audiências maduras

Imagine que você está construindo a especificação para seu projeto e descobrindo como medir o sucesso do projeto. É muito provável que você considere os seguintes KPIs:

• Taxa de utilização das principais características (taxa de conversão)
• Eficácia de marketing (orçamento, custo por aquisição)
• Métricas de vaidade (volume, usuários)

Soa muito básico? É justo. E ainda assim é uma grande base para se trabalhar!

Dica importante: Seu projeto deve estar em sincronia com o nível de maturidade de sua organização.

Primeiro, você precisa ter certeza de que os dados básicos que pretende coletar de seu site ou aplicativo repercutem com seus gerentes de produto, sua equipe de marketing ou seus analistas. Eles precisam entender como esses números básicos podem ajudar a moldar seu produto ou estratégias de marketing.

Então, um documento de especificação deve ser estabelecido. Uma espécie de Bíblia de coleta de dados. Chame-lhe um plano de etiquetagem, um projeto de coleta de dados, um documento de projeto de solução... seja criativo! Esse documento não será gravado em pedra. Ele irá evoluir com sua empresa à medida que você enriquecer seu conjunto de dados para atender às suas exigências de medição. Certifique-se de incluir as partes interessadas significativas nesse processo, ou então...

Somente após passar por uma fase de especificação completa dos dados você pode considerar enriquecer seus dados durante os ciclos de desenvolvimento subseqüentes. O enriquecimento dos dados será um dos dois:

• Vertical: mais métricas para medir eventos específicos do usuário
• Horizontal: mais dimensões/atributos para dar mais contexto às métricas

Continue enriquecendo seus dados para avaliar os KPIs que suportam a medição de seus objetivos comerciais. Dê a eles o máximo de contexto possível para que a análise seja o mais relevante e acionável possível.

Seus dados provocam alegria?

Toda esta conversa sobre o enriquecimento de seus dados parece ótima, mas você pode estar em uma fase em que já tenha coletado dados demais. É discutível, obter uma tonelada de dados significa levar o combustível para o aprendizado da máquina de alimentação, inteligência artificialou qualquer processamento de dados razoavelmente avançado.

Dito isto, demasiados dados não identificados/não catalogados acabarão por gerar confusão e custos de armazenamento/processamento. Por exemplo, se você tiver um contrato com um fornecedor de análise digital (digamos Adobe ou Google), é muito provável que você esteja pagando uma taxa de assinatura mensal/ano com base no número de acessos que seu sistema coleta e processa em relatórios, cubos e conjuntos de dados diversos. Além disso, as equipes de marketing digital não são conhecidas por questionar o status quo quando se trata de dados e rastreamento, em particular.

Se você combinar ambas as facetas da limpeza de dados, estamos olhando para uma campanha de otimização que se transforma em um esforço de economia de custos. É aqui que você, como empresa, deve começar a se perguntar: "será que eu realmente preciso desses dados? Minha equipe pode funcionar sem medir o índice métrico X e o atributo Y"?

Para pedir emprestado de Marie Kondo's konmari métodovocê devem manter apenas os pontos de dados que falam ao coração. Identificar métricas/atributos que não mais "faísquem alegria", agradecer-lhes por seu serviço antes de dispor brutalmente deles com um aperto firme e satisfatório do botão DELETE.

Como você pode dizer se deve descartar um ponto de dados específico?

Isto requer um pouco de investigação que pode ser feita em seu repositório de dados, observando sua estrutura de dados (nomes de colunas e valores, por exemplo). Se você não consegue se decidir, pergunte-se se um determinado ponto de dados em particular "provoca alegria", ou no nosso caso, impulsiona a análise e pode ser usado como um fator na aprendizagem da máquina. Na verdade, esta é uma grande ocasião para realmente usar a aprendizagem de máquinas para descobrir!

Alimente seu conjunto de dados no R/Python (insira aqui seu pacote de aprendizagem de máquina favorito) e veja os resultados:

Você também poderia olhar a análise de fatores de outra forma e ver onde um fator específico realmente contribui para o desempenho, métrica por métrica:

Uma vez terminada a análise de quais pontos de dados ainda pertencem em sua arquitetura de dados, é hora de podar. Se você tomou a decisão de apagar dados existentes, isto pode ser tão simples quanto apagar uma coluna ou um conjunto de entradas em um banco de dados, um lago de dados ou um repositório de dados. Mas isso é apenas para os dados que você já coletou. E quanto ao avanço da coleta de dados?

Se você quiser mudar a maneira como os dados são coletados, você precisa ir konmari em seus ativos digitais: rastreamento de sites da web, SDKs móveis, dispositivos OTT. Usando um sistema de gerenciamento de tags (TMS), você pode começar desativando/pausando tags que você não precisa mais antes de excluí-las com segurança de versões futuras:

Do ponto de vista da gestão, as partes interessadas precisam se dar a conhecer e expressar claramente os requisitos de dados que podem ser facilmente recuperados. Dessa forma, quando você poda/papeja dados que são considerados como não mais motivo de alegria, você não está sabotando inadvertidamente os relatórios de seus colegas.

E é por isso que você precisava daquela Bíblia de Coleta de Dados em primeiro lugar!

Em que etapa de coleta de dados você se encontra? Antes ou depois? Básico ou complexo?