Você provavelmente está realizando testes A/B em excesso. Aqui está o que fazer em vez disso.

O teste A/B é o padrão ouro da experimentação. Ele tem como objetivo auxiliar as empresas a tomar decisões mais rápidas, melhores e baseadas em dados. No entanto, muitas vezes, ele tem o efeito contrário. A reunião começa com otimismo: uma nova ideia de preço, layout de anúncio ou tela de inscrição entra em um teste A/B. Após semanas de espera, os analistas retornam com valores p, limites de confiança de 95% e uma conclusão familiar: “Devemos aguardar mais dados. Ainda não temos evidências suficientes e não é estatisticamente significativo.” Aguardar por “dados suficientes” pode parecer seguro, mas consome tempo, engajamento e crescimento. Há uma razão para isso: os métodos estatísticos comuns, ou seja, os testes de significância, recompensam a inércia. Eles tratam cada decisão como se um falso positivo fosse catastrófico. Isso é adequado para testes de medicamentos, mas desastroso para equipes de produto. Nos negócios, o custo real raramente é o risco de cometer um pequeno erro: é a oportunidade perdida. Jeff Bezos foi direto ao ponto: “Se você espera por 90% das informações, provavelmente está sendo lento”. Na verdade, se você solicitou às suas equipes de análise de dados que realizassem testes A/B da maneira como provavelmente foram ensinadas, elas estão esperando por 95%. Não é de se surpreender que os testes A/B, que antes tinham como objetivo permitir melhores decisões, tenham transformado as equipes de análise em guardiãs percebidas como desconectadas da tomada de decisões estratégicas. Outras pesquisas documentam erros semelhantes e dispendiosos no mundo real em vários domínios, desde o design de sites e otimização de anúncios até programas de retenção e marketing direcionado por e-mail. Esses episódios estão impedindo as empresas de tomar melhores decisões baseadas em dados. O problema não são os dados: é a questão que estamos colocando a eles. Bezos afirmou: “Se você é bom em corrigir o rumo, errar pode ser menos dispendioso do que você imagina, enquanto ser lento certamente será caro”. Novas estruturas de decisão em marketing e estatística agora tornam a intuição de Bezos operacional: agir quando o valor supera o risco, não quando um “valor p” indica isso. Neste artigo, explicamos por que o antigo paradigma atrasa a tomada de decisões, descrevemos um manual prático de quatro etapas para executivos e líderes de análise e mostramos como adotar nosso manual imediatamente, sem reestruturar sua infraestrutura de dados ou redesenhar o fluxo de trabalho com o qual as equipes de analistas estão acostumadas. Por que os analistas continuam dizendo “espere” A tensão que você sente com sua equipe de análise é previsível. A maioria das organizações realiza testes A/B da mesma maneira. Elas estimam o quanto a nova campanha, o design do produto ou o recurso alterará um resultado comercial importante (por exemplo, o lucro por cliente). Os analistas então traduzem essa estimativa em um valor p e o comparam com um limite familiar de 0,05. Se houver evidência suficiente para apoiar o novo recurso, de forma que o efeito estimado ultrapasse o nível de significância de 5% (a mágica “barra do valor p”), você lança o produto. A lógica parece sólida. Observe, no entanto, que essa lógica se concentra exclusivamente em evitar um falso positivo (implementar uma mudança que não é realmente melhor). Ela pouco diz sobre ignorar uma mudança que teria proporcionado a compensação, ou seja, o custo de oportunidade de um falso negativo. Os analistas são treinados para minimizar os falsos positivos: eles são ensinados a responder à pergunta menos crítica do ponto de vista gerencial: “A probabilidade de estar errado é baixa o suficiente?” Essa estrutura otimiza para não estar errado, não para criar valor. Esse conservadorismo faz sentido em áreas como desenvolvimento de medicamentos ou segurança da aviação, onde erros podem ser catastróficos. No entanto, nos negócios, esse conservadorismo obscurece as compensações que interessam aos executivos. A barra do valor p não reflete como os executivos provavelmente pensam sobre as decisões comerciais. Em vez de otimizar para criar e melhorar o valor, ela otimiza para não errar, algo que os executivos provavelmente não têm em mente. Não ajuda o fato de que suas respostas chegam envoltas na linguagem dos valores p, e não em dólares ou KPIs. O resultado? Experiências extensas, lentas e dispendiosas, cujo objetivo é superar uma barreira estatística, e não estratégica — acompanhadas por uma recomendação padrão de “aguardar mais dados”, mesmo quando agir claramente criaria mais valor. A solução AMMR Uma abordagem mais eficaz, baseada em novas pesquisas de marketing e estatística, reformula completamente a discussão. Em vez de julgar se um resultado é significativo o suficiente, as equipes avaliam qual decisão minimiza a perda no pior cenário possível. Essencialmente, trata-se de uma simples mudança na pergunta feita às equipes de analistas, de “Isso é estatisticamente significativo?” para “Qual escolha minimiza o valor perdido no pior cenário possível?”. Acontece que, em muitos contextos de negócios, se o seu objetivo é melhorar uma métrica crítica de negócios, a resposta padrão correta é simples: dê sinal verde para a “nova ideia” sempre que o impacto estimado (“elevação”) for positivo, mesmo que não seja “estatisticamente significativo”. Essa orientação deriva de uma estrutura de decisão chamada arrependimento minimax assintótico (AMMR). Em linguagem simples, o AMMR foi projetado para minimizar a pior perda esperada resultante de uma decisão incorreta, medida nas mesmas unidades que os KPIs que realmente interessam à alta administração (dólares, conversões, rotatividade), e não em probabilidades abstratas. O AMMR mostra como agir usando testes A/B, mantendo o rigor estatístico esperado das equipes de analistas modernas e mantendo salvaguardas para casos em que a decisão executiva possa se revelar errada, limitando as perdas no pior cenário possível. O mito do tamanho da amostra Os executivos naturalmente se preocupam em evitar erros. No entanto, muitas equipes transformam essa cautela em um hábito dispendioso: coletar cada vez mais dados antes de tomar uma decisão. Se você aprova cegamente orçamentos informados por uma equipe de analistas conservadora, estará se comprometendo com experimentos extensos apenas para ultrapassar um limite arbitrário de valor p. A suposição é que “decisivo” significa “estatisticamente certo”. No entanto, isso não é verdade. A quantidade de experimentos necessários depende do quanto você está disposto a tolerar em termos de perda potencial caso esteja errado. A estrutura AMMR torna essa relação de troca explícita, traduzindo a incerteza nas mesmas unidades que os executivos já utilizam: receita, conversões, rotatividade. A ideia é medir o valor esperado que se perde ao tomar a decisão errada: probabilidade de erro × magnitude do erro. Essa fórmula simples captura a quantidade que interessa aos executivos: quanto de receita, lucro ou engajamento se perde com uma decisão errada, e não um valor p. O AMMR fornece então um procedimento simples para auxiliar você e sua equipe a decidir quanto de prejuízo podem aceitar e coletar apenas dados suficientes para manter as perdas dentro desse limite. Nos testes de significância tradicionais, devido aos retornos decrescentes, duplicar a quantidade de dados coletados não duplica a determinação; apenas reduz a perda no pior cenário em cerca de 29% (o erro padrão cai com 1/√n, onde n é o tamanho da amostra. 1/√2=29%). Atingir a mesma meta de perda nos testes de significância convencionais de 5% ou 1% pode exigir 24 ou até 55 vezes mais observações do que o AMMR com um limiar zero — uma maneira cara de obter confiança. Com o AMMR, atingir a mesma meta de risco pode exigir muito menos dados. Sua equipe de dados já sabe como calcular os dados para o AMMR: estimativa pontual e erro padrão do efeito (mostramos exemplos abaixo), mas aqui está a fórmula simples para a perda no pior caso (exemplos a seguir): A perda no pior caso é igual a 0,1700 × (erro padrão da sua estimativa do tamanho do efeito). O número 0,1700 é pré-tabulado, algo que uma equipe treinada em estatística pode calcular em segundos para qualquer teste A/B. Reduza a incerteza e sua perda no pior cenário diminuirá proporcionalmente. Como colocar o AMMR em prática Depois de interromper os testes para atingir um limite estatístico, a questão se torna simples: quando há evidências suficientes para agir? A estrutura AMMR oferece uma maneira prática de responder a essa pergunta. Veja como isso funciona em quatro etapas: 1. Faça a pergunta certa. Em sua essência, o AMMR reduz todas as decisões de teste a um único limite: lançar a nova ideia se o aumento estimado exceder o custo de implantação por cliente. Em outras palavras, “escolher o vencedor”. A lógica, há muito suspeitada por profissionais como Jeff Bezos, agora tem um respaldo rigoroso. Os executivos já pensam nesses termos econômicos unitários; o AMMR simplesmente os torna explícitos e adiciona salvaguardas, para que as equipes de dados possam trabalhar com os executivos, e não contra eles. Portanto, não peça à sua equipe para coletar evidências para que o valor p seja < 0,05. O AMMR reformula o teste como uma decisão de negócios: qual escolha provavelmente cria mais valor, considerando o que já sabemos? 2. Torne explícito o custo/benefício da alta administração (em termos por cliente). A maioria das decisões de implementação acarreta custos de implantação por cliente (ou por unidade) — por exemplo, US$ 1,7 por livro de cupons promocionais enviado, US$ 0,03 por chat de suporte adicional, US$ 0,015 de custo incremental de nuvem por usuário ativo após a ativação de um modelo de personalização ou 1,2% em taxas de processamento de pagamento ao trocar de gateway. Isso também inclui taxas de fornecedores, infraestrutura incremental, trabalho operacional e quaisquer mínimos contratuais rateados por usuário/cliente. O AMMR converte esses custos em um limite de decisão, ao mesmo tempo em que impõe disciplina: as equipes não podem recomendar lançamentos cuja economia unitária esperada não cubra seus próprios custos de implantação. Este é o limite de decisão: Lançar se o aumento estimado por cliente for ≥ ao custo de implantação unitário. Adiar se estiver abaixo. Considere o limite como um ponto de equilíbrio: quando a implantação acarreta um custo mensurável, o nível de decisão aumenta proporcionalmente. Se uma mudança deve gerar +$0,010 por usuário e o custo da implementação é de $0,006 por usuário, proceda com a mudança; se o custo por usuário for de $0,015, adie a mudança. Quando não há custo de implantação, o limite é simplesmente zero. Como o limite está nas mesmas unidades que seu KPI (dólares por usuário, conversões por sessão etc.), ele é imediatamente legível para a alta administração. 3. Insista em resultados em termos comerciais. Oriente sua equipe de análise a relatar três itens para cada teste A/B: Decisão (com base no AMMR): Enviar ou reter? Pior perda esperada se seguirmos essa decisão (em dólares/KPIs). Tamanho da amostra para limitar a perda a uma meta definida por você (por exemplo, “manter a perda de receita diária no pior cenário abaixo de US$ 10.000”). Por que isso funciona: a perda no pior cenário é proporcional ao erro padrão do ATE (e, portanto, cai na taxa de 1/√n à medida que as observações são adicionadas). Isso lhe dá uma alavanca clara: se o limite de perda atual for muito alto, você sabe exatamente quanto mais coleta de dados é necessária para reduzi-lo ao nível desejado, a fim de garantir que um possível erro não seja muito caro. 4. Feche o ciclo para o aprendizado estratégico. Como o AMMR expressa tudo no KPI que você gerencia, ele facilita o aprendizado pós-lançamento. Como tudo é medido no KPI que você gerencia (receita, conversão, retenção), é possível comparar as previsões com os resultados e refinar os limites futuros. Você pode se perguntar: a ação proporcionou o valor que esperávamos? Caso contrário, a variação foi maior do que pensávamos ou o efeito foi menor? Utilize essas respostas para refinar o limite de perda alvo e o plano de amostragem do seu próximo teste. Dessa forma, os testes se tornam não apenas mais seguros, mas também mais rápidos e inteligentes ao longo do tempo. . . . Ao reestruturar a análise como uma decisão compartilhada, em vez de um ritual técnico, os executivos e as equipes de dados podem finalmente se alinhar em torno da criação de valor. Na mesma carta de 2016, Bezos escreveu: “Às vezes, as equipes têm objetivos diferentes e visões fundamentalmente diferentes. Elas não estão alinhadas. Nenhuma quantidade de discussão, nenhum número de reuniões resolverá esse profundo desalinhamento”. A solução geralmente é simples: mudar a pergunta feita aos analistas. O futuro da análise não está em coletar mais dados, mas em alinhar os dados com a estratégia.

Você provavelmente está realizando testes A/B em excesso. Aqui está o que fazer em vez disso.

Resumo.

Partner Center