Nesta página
Uma campanha de teste hipotética tem 120 contatos elegíveis e duas linhas de assunto propostas. O gatilho é a decisão antes do lançamento. Cliques adicionais após dois dias extras não representam vitória.
A equipe quer saber se um assunto prático gera mais ativações de teste concluídas do que um assunto que desperta curiosidade. A pergunta é sobre ativações, não aberturas. O exemplo Marketing Analyst da xAI exige números com fonte e janelas equivalentes; use essa disciplina quando o Grok Bot redigir o plano. Não executamos essa conexão Grok Bot-Brevo em uma conta real.
Congele pergunta e público
Escreva uma frase antes de montar a campanha: «Entre contatos de teste elegíveis e inscritos, o assunto B altera as ativações concluídas em até sete dias do início programado e registrado da coorte comparado ao assunto A?». Mantenha iguais corpo, oferta, URL e horário do envio. Registre um único início programado para toda a coorte. Defina no sistema do produto o evento de ativação, a chave de identidade do contato e como tratar eventos atrasados. Se essa fonte não puder ser relacionada aos destinatários Brevo, o experimento pode medir cliques, mas não responder à pergunta de ativação.
Use registros atuais de inscrição e supressão, não participação no CRM ou domínio corporativo, para definir elegibilidade. Remova duplicatas, rejeições, descadastrados, contatos já ativados e participantes de teste incompatível. Congele os IDs elegíveis e atribua-os uma vez por método aleatório reproduzível e ID do experimento. Guarde o registro de atribuição antes de enviar. Reconfira consentimento e supressão imediatamente antes do envio. Registre quem deixou de ser elegível como desistência sem envio no grupo original; nunca o redistribua nem remova silenciosamente da análise principal.
Esse grupo hipotético poderia atribuir 48 pessoas a A, 48 a B e 24 a um grupo sem envio. São grupos propostos, não resultados nem recomendação de tamanho de amostra. Calcule antes do lançamento a amostra necessária para sua taxa de referência e efeito útil reais. Um teste pequeno pode só provar que a mensuração funciona. Consulte o guia de testes A/B para planejar a amostra.
| Registro | Campos necessários | Verificação determinística |
|---|---|---|
| Elegibilidade | ID contato, origem da inscrição, estado de supressão, horário do congelamento | Todo contato atribuído era elegível no congelamento |
| Atribuição | ID experimento, ID contato, grupo, horário de atribuição | Um grupo por contato; grupo sem envio não recebe email de teste |
| Resultado | ID evento, ID contato, horário do evento, fonte | Primeira ativação válida por contato na mesma janela de sete dias ancorada no início da coorte para todos os grupos |
Configure um envio que respeite a revisão
A campanha A/B nativa do Brevo testa dois assuntos ou versões de conteúdo em amostras iguais, escolhe a vencedora por aberturas ou cliques e a envia automaticamente ao restante. Isso só serve quando o envio automático ao restante foi aprovado antes de começar. Não há pausa para uma pessoa examinar o primeiro resultado.
Para este experimento, mapeie os grupos congelados para listas ou segmentos explícitos de destinatários Brevo por um operador aprovado e verificado. Crie dois rascunhos de campanha não programados, um para A e outro para B, com mesmo remetente, corpo, destino e janela prevista. Deixe o grupo sem envio fora de ambos. Confira cada lista ou segmento com o registro, reconfira supressões e garanta que o mapeamento não acione outra automação. Compare contagens reais de destinatários e prévias, depois autorize cada envio. Se o Brevo não comprovar o mapeamento, pare antes de enviar. O guia inicial de conexão explica por que servidor MCP limitado não restringe permissões por si só.
Defina previamente um limite de reclamações e interrompa envios pendentes se for ultrapassado. Preserve atribuição e entregas parciais; teste interrompido não é vitória do grupo enviado primeiro. Mostre descadastros e rejeições ao lado do resultado principal. Nosso guia de dupla confirmação explica o limite da inscrição.
Peça um relatório e decida o próximo experimento
Copie este prompt após fornecer o registro congelado e relatórios datados:
Analise só o ID do experimento e as fontes que eu fornecer. Reconcilie contatos elegíveis, atribuição A/B/grupo sem envio, destinatários reais, entregas, rejeições, descadastros e reclamações por grupo. Use o único início programado e registrado da coorte como dia zero para A, B e grupo sem envio; meça a mesma janela de sete dias e divida pelos contatos originalmente atribuídos a cada grupo. Elimine IDs de evento repetidos e então conte contatos distintos com sua primeira ativação válida no máximo uma vez cada, a partir da fonte de eventos do produto indicada. Mantenha desistências sem envio no grupo atribuído e marque taxas só de entregas como diagnóstico secundário. Distinga eventos ausentes de fonte indisponível. Mostre numeradores, denominadores originalmente atribuídos, desistências sem envio, desvios do protocolo e horários de consulta dos relatórios. Diga se amostra e regra de decisão previstas foram cumpridas. Não deduza vendas de cliques nem use aberturas como resultado principal. Não redistribua contatos, declare vencedora antes da hora, crie ou envie campanha nem altere contatos. Proponha um próximo experimento como rascunho, com hipótese e aprovação necessária.
Verificação: compare totais de entregas e reclamações do Brevo com o relatório da campanha no mesmo horário de consulta. Documente se os filtros de Apple Mail Privacy Protection e atividade de bots foram aplicados; o Brevo inclui essa atividade por padrão. O guia de métricas de email explica por que aberturas podem enganar. Relate separadamente a fase de teste e qualquer distribuição posterior.
Resultado válido nomeia público elegível, atribuição, exposição real, fonte do resultado, janela e incerteza. Se a regra de decisão predefinida não for cumprida, registre «inconclusivo» e rascunhe o próximo teste. Meça ativações distintas em sete dias por contato originalmente atribuído a A, B e grupo sem envio desde o mesmo início programado da coorte. Mostre entregas, reclamações e desistências sem envio separadamente. Taxas só de entregas são diagnósticos secundários, pois a entrega ocorre depois da atribuição aleatória. Sem atribuição aleatória válida ou fonte do resultado, a diferença é descritiva, não causal. A decisão deve ser reproduzível pelo registro. Compare com o processo de retorno de solicitações de produto.
Perguntas frequentes
O Grok Bot pode declarar uma campanha vencedora pelos cliques?
Só se cliques forem o resultado definido previamente e a comparação fixa tiver evidência suficiente. Cliques não comprovam vendas. Para vendas, use fonte de pedidos conectada com atribuição e janela explícitas; caso contrário, informe que as vendas estão indisponíveis.
O teste A/B nativo do Brevo espera minha revisão antes de enviar a versão vencedora?
Não. O Brevo envia automaticamente a versão escolhida ao restante do público após o período de teste. Use esse modo somente se versões, métrica e envio ao restante foram aprovados antes. Para revisão humana, use listas ou segmentos e campanhas separados, verificados e aprovados.
O que fazer se as reclamações aumentarem no teste?
Aplique o limite de segurança definido antes do lançamento, interrompa envios pendentes e preserve registros de atribuição e entrega. Confira a origem das reclamações. Não escolha uma vencedora em silêncio nem redistribua contatos após parar.