Por Joju Mangalam
O teste A/B de e-mails é geralmente usado para selecionar, entre duas versões diferentes de mensagens, qual foi a vencedora, que será enviada a toda a população da sua lista. O teste A/B é um assunto abrangente; nós iremos nos aprofundar neste tema num futuro blog post. Como preparação para esse mencionado post, nós examinaremos a ideia de um “nível de confiança”, que desempenha um importante papel na interpretação dos resultados do teste A/B. Por exemplo, o resultado de um teste A/B pode dizer “a versão B ganhou, com um nível de confiança de 96%”. O que isto significa? E como este nível é estimado?
Vamos ver um exemplo. Vamos supor que há duas versões de um e-mail criativo que queremos testar. Vamos também supor que o nosso resultado desejado é o número de cliques. Nós então queremos identificar qual versão do e-mail gerou as maiores taxas de cliques, usando uma pequena lista (amostra), para selecionar a versão vencedora, que será enviada a toda a nossa lista, como parte da campanha.
Os resultados obtidos foram então os seguintes, de acordo com o teste A/B:
Tabela 1: Resultados do teste A/B
À primeira vista, a versão B parece ter obtido um melhor resultado. Entretanto, poderia este resultado ter sido devido ao acaso? Esta é sempre uma possibilidade, considerando haver um número muito maior de contatos de e-mail na base de dados, e o teste A/B foi feito apenas com uma pequena amostra deste número.
Nós precisamos verificar o nível de significância estatística para resolver esta questão. É preciso então fazer alguns cálculos, como veremos a seguir.
1. Conversão
No nosso exemplo, a conversão (P) é calculada da seguinte maneira:
P = Número de cliques / Número de e-mails enviados
Como foi mostrado na Tabela 1,
P(versão A) = 2,0% = 0,02
P(versão B) = 2,5% = 0,025
2. Erro padrão
O erro padrão (EP) representa a precisão estatística de uma estimativa (neste caso, das taxas de conversão calculadas).
A conversão calculada para cada versão acima descrita contém um erro padrão associado a ela, que é calculado de acordo com a seguinte fórmula:
O erro padrão é igual à raiz quadrada da taxa de conversão, multiplicada por (1 – taxa de conversão), dividida pelo tamanho da amostra.
O erro padrão é expresso pela seguinte fórmula matemática:
No nosso caso, aplicando a fórmula acima para as versões A e B, fica assim:
EP(versão A) = raiz quadrada de {0,02 (0,98)} / 5000 = 0,00198
EP(versão B) = raiz quarada de {0,025 (0,975)} / 6000 = 0,002
Leia este artigo para obter mais informações sobre o Erro Padrão e os conceitos a ele relacionados.
Agora, nós vamos usar essas fórmulas em outra fórmula para obter um número importante.
3. Significância: a contagem Z
É um cálculo estatístico, usualmente chamado de “contagem Z”, que nos ajuda a determinar se as conversões nas duas versões são realmente diferentes porque há uma real diferença entre elas, e não porque há uma variação ao acaso. Ela é calculada de acordo com a seguinte fórmula: a contagem Z é igual a (conversão na versão B menos a conversão na versão A), dividida pela raiz quadrada do (erro padrão da versão A elevado ao quadrado, mais o erro padrão da versão B elevado ao quadrado):
Usando o nosso exemplo anteriormente descrito, o cálculo fica assim:
Contagem Z = {0,025 – 0,02} / raiz quadrada de {0,0022 + 0,001982} = 1,77
Estimativa do Nível de Confiança
A contagem Z acima calculada pode ser explicada, a grosso modo, como sendo o número de desvios padrões existentes entre as conversões obtidas com a versão A e a versão B. Quanto maior for a contagem Z, maior será a confiança que as conversões calculadas pelas duas versões são realmente diferentes uma da outra.
Nós calculamos o intervalo de confiança de uma curva de distribuição normal (que pode ser usada nos casos em que o tamanho da amostra é 1.000 − um mil − ou maior). Veja a tabela de probabilidade de uma curva de distribuição normal e você pode ver que a probabilidade da contagem Z de 1,77 é 0,96. Isto significa que nós temos uma confiança de 96% que a conversão calculada para a versão B é realmente maior que a conversão calculada para a versão A. Outra forma de dizer isto é: há uma probabilidade de apenas 4% de que as conversões calculadas para as duas versões sejam realmente as mesmas, devido ao acaso.
Geralmente, no caso do teste A/B de e-mails, um nível de confiança de 95% ou maior é recomendado. Portanto, no nosso exemplo, nós podemos ter muita confiança que a versão B é melhor para produzir os resultados desejados (cliques) e, logo, nós podemos usa-la com confiança na nossa campanha.
Nós esperamos que esta visão geral tenha jogado alguma luz sobre o conceito de nível de confiança. Fique ligado no nosso blog sobre o teste A/B, para aprender como usar esta tática para melhorar o desempenho dos seus e=mails.
Sobre o autor: Joju Mangalam, Diretor de Desempenho de Marketing da Act-On, lidera as iniciativas de desempenho de marketing da empresa. A sua especialidade inclui análises e estratégia de marketing, marketing de lealdade e gerência de produtos para organizações que incluem eBay, Wells Fargo, e Kana. Ele tem um MBA pela Universidade de Chicago, um MS em engenharia pela Universidade de Washington e um BS em engenharia pelo Indian Institute of Technology.
Fonte: Act-On Software
Tradução e edição: Fernando B. T. Leite
® Copyright: A HyTrade é agência parceira da Act-On e todos os artigos são traduzidos e republicados com autorização.