fbpx

Qual versão ganhou? Entendendo o nível de confiança do teste A/B de e-mails

por dionei

Por Joju Mangalam

O teste A/B de e-mails é geralmente usado para selecionar, entre duas versões diferentes de mensagens, qual foi a vencedora, que será enviada a toda a população da sua lista. O teste A/B é um assunto abrangente; nós iremos nos aprofundar neste tema num futuro blog post. Como preparação para esse mencionado post, nós examinaremos a ideia de um “nível de confiança”, que desempenha um importante papel na interpretação dos resultados do teste A/B. Por exemplo, o resultado de um teste A/B pode dizer “a versão B ganhou, com um nível de confiança de 96%”. O que isto significa? E como este nível é estimado?

Vamos ver um exemplo. Vamos supor que há duas versões de um e-mail criativo que queremos testar. Vamos também supor que o nosso resultado desejado é o número de cliques. Nós então queremos identificar qual versão do e-mail gerou as maiores taxas de cliques, usando uma pequena lista (amostra), para selecionar a versão vencedora, que será enviada a toda a nossa lista, como parte da campanha.

Os resultados obtidos foram então os seguintes, de acordo com o teste A/B:

Tabela 1: Resultados do teste A/B

Entendendo o nivel de confianca do teste AB de emails

À primeira vista, a versão B parece ter obtido um melhor resultado. Entretanto, poderia este resultado ter sido devido ao acaso? Esta é sempre uma possibilidade, considerando haver um número muito maior de contatos de e-mail na base de dados, e o teste A/B foi feito apenas com uma pequena amostra deste número.

Nós precisamos verificar o nível de significância estatística para resolver esta questão. É preciso então fazer alguns cálculos, como veremos a seguir.

1. Conversão

No nosso exemplo, a conversão (P) é calculada da seguinte maneira:

P = Número de cliques / Número de e-mails enviados

Entendendo o nivel de confianca do teste AB de emails IComo foi mostrado na Tabela 1,

P(versão A) = 2,0% = 0,02

P(versão B) = 2,5% = 0,025

2. Erro padrão

O erro padrão (EP) representa a precisão estatística de uma estimativa (neste caso, das taxas de conversão calculadas).

A conversão calculada para cada versão acima descrita contém um erro padrão associado a ela, que é calculado de acordo com a seguinte fórmula:

O erro padrão é igual à raiz quadrada da taxa de conversão, multiplicada por (1 – taxa de conversão), dividida pelo tamanho da amostra.

O erro padrão é expresso pela seguinte fórmula matemática:

Entendendo o nivel de confianca do teste AB de emails II

No nosso caso, aplicando a fórmula acima para as versões A e B, fica assim:

EP(versão A) = raiz quadrada de {0,02 (0,98)} / 5000 = 0,00198

EP(versão B) = raiz quarada de {0,025 (0,975)} / 6000 = 0,002

Leia este artigo para obter mais informações sobre o Erro Padrão e os conceitos a ele relacionados.

Agora, nós vamos usar essas fórmulas em outra fórmula para obter um número importante.

3. Significância: a contagem Z

É um cálculo estatístico, usualmente chamado de “contagem Z”, que nos ajuda a determinar se as conversões nas duas versões são realmente diferentes porque há uma real diferença entre elas, e não porque há uma variação ao acaso. Ela é calculada de acordo com a seguinte fórmula: a contagem Z é igual a (conversão na versão B menos a conversão na versão A), dividida pela raiz quadrada do (erro padrão da versão A elevado ao quadrado, mais o erro padrão da versão B elevado ao quadrado):

Entendendo o nivel de confianca do teste AB de emails III
Usando o nosso exemplo anteriormente descrito, o cálculo fica assim:

Contagem Z = {0,025 – 0,02} / raiz quadrada de {0,0022 + 0,001982} = 1,77

Estimativa do Nível de Confiança

A contagem Z acima calculada pode ser explicada, a grosso modo, como sendo o número de desvios padrões existentes entre as conversões obtidas com a versão A e a versão B. Quanto maior for a contagem Z, maior será a confiança que as conversões calculadas pelas duas versões são realmente diferentes uma da outra.

Nós calculamos o intervalo de confiança de uma curva de distribuição normal (que pode ser usada nos casos em que o tamanho da amostra é 1.000 − um mil − ou maior). Veja a tabela de probabilidade de uma curva de distribuição normal e você pode ver que a probabilidade da contagem Z de 1,77 é 0,96. Isto significa que nós temos uma confiança de 96% que a conversão calculada para a versão B é realmente maior que a conversão calculada para a versão A. Outra forma de dizer isto é: há uma probabilidade de apenas 4% de que as conversões calculadas para as duas versões sejam realmente as mesmas, devido ao acaso.

Entendendo o nivel de confianca do teste AB de emails IV

Geralmente, no caso do teste A/B de e-mails, um nível de confiança de 95% ou maior é recomendado. Portanto, no nosso exemplo, nós podemos ter muita confiança que a versão B é melhor para produzir os resultados desejados (cliques) e, logo, nós podemos usa-la com confiança na nossa campanha.

Nós esperamos que esta visão geral tenha jogado alguma luz sobre o conceito de nível de confiança. Fique ligado no nosso blog sobre o teste A/B, para aprender como usar esta tática para melhorar o desempenho dos seus e=mails.

Sobre o autor: Joju Mangalam, Diretor de Desempenho de Marketing da Act-On, lidera as iniciativas de desempenho de marketing da empresa. A sua especialidade inclui análises e estratégia de marketing, marketing de lealdade e gerência de produtos para organizações que incluem eBay, Wells Fargo, e Kana. Ele tem um MBA pela Universidade de Chicago, um MS em engenharia pela Universidade de Washington e um BS em engenharia pelo Indian Institute of Technology.

Fonte: Act-On Software

Tradução e edição: Fernando B. T. Leite

Act-On agency partner logo® Copyright: A HyTrade é agência parceira da Act-On e todos os artigos são traduzidos e republicados com autorização.

Você também pode gostar desses artigos

Deixe um comentário

* Ao realizar este comentário você concorda com a nossa política de privacidade.

Utilizamos cookies próprios e de terceiros com fins analíticos e para lhe enviar informação relacionada com as suas preferências, segundo os seus hábitos e o seu perfil. Para mais informações, você pode visitar a nossa Política de Privacidade Ok Política de Privacidade