Na této stránce
Hypotetická zkušební kampaň má 120 způsobilých kontaktů a dva návrhy předmětu e-mailu. Rozhodující chvíle přichází před spuštěním. Další kliknutí o dva dny později sama o sobě neznamenají vítězství.
Tým chce zjistit, zda věcný předmět přinese více dokončených aktivací zkušební verze než předmět založený na zvědavosti. Otázka se týká aktivací, nikoli otevření. Příklad Marketing Analyst od xAI trvá na doložených číslech a shodných časových oknech; stejnou kázeň použijte, když Grok Bot připravuje plán testu. Toto propojení Grok Bot a Brevo jsme v živém účtu nevyzkoušeli.
Předem určete otázku a účastníky
Než vytvoříte kampaň, napište jednu větu: „Změní předmět B oproti předmětu A počet dokončených aktivací do sedmi dnů od zaznamenaného plánovaného začátku kohorty u způsobilých kontaktů se souhlasem k odběru e-mailů, které používají zkušební verzi?“ Tělo zprávy, nabídku, URL a čas odeslání ponechte stejné. Zaznamenejte jeden plánovaný začátek pro celou kohortu. Definujte aktivační událost v produktovém systému, identifikační klíč kontaktu a zpracování opožděných událostí. Pokud tento zdroj nelze propojit s příjemci v Brevo, experiment může měřit kliknutí, ale nemůže odpovědět na otázku aktivací.
Způsobilost určete podle aktuálních záznamů o souhlasu a potlačení, nikoli podle členství v CRM nebo firemní domény. Vyřaďte duplicity, nedoručitelné a odhlášené adresy, již aktivované kontakty a účastníky kolidujícího testu. Zmrazte identifikátory způsobilých kontaktů a každému jednou přiřaďte skupinu reprodukovatelnou náhodnou metodou s ID experimentu. Před odesláním uložte záznam o přiřazení. Bezprostředně před odesláním znovu ověřte souhlas a potlačení. Kontakt, který mezitím přestal být způsobilý, zaznamenejte jako neoslovený ve své původní skupině; nikdy jej nepřiřazujte jinam ani jej tiše neodstraňujte z hlavní analýzy.
Tato hypotetická skupina může rozdělit 48 kontaktů do A, 48 do B a 24 do kontrolní skupiny bez odeslání. Jde o navržené skupiny, ne výsledky ani doporučení velikosti vzorku. Před spuštěním vypočítejte potřebný vzorek podle skutečné výchozí hodnoty a účinku, který má pro Vás význam. Malý test může jen ověřit, že měření funguje. S plánováním vzorku pomůže průvodce A/B testováním.
| Záznam | Potřebná pole | Jednoznačná kontrola |
|---|---|---|
| Způsobilost | ID kontaktu, zdroj souhlasu, stav potlačení, čas zmrazení | Každý přiřazený kontakt byl při zmrazení způsobilý |
| Přiřazení | ID experimentu, ID kontaktu, skupina, čas přiřazení | Jeden kontakt patří do jedné skupiny; kontrolní skupina nedostane testovací zprávu |
| Výsledek | ID události, ID kontaktu, čas události, zdroj | První odpovídající aktivace na kontakt ve stejném sedmidenním okně od začátku kohorty pro všechny skupiny |
Nastavte odeslání, které umožní kontrolu před rozšířením
Nativní A/B kampaň Brevo zkouší dvě varianty předmětu nebo obsahu na stejně velkých testovacích vzorcích, vybírá vítěze podle otevření nebo kliknutí a pak jej automaticky odesílá zbývajícím příjemcům. To se hodí pouze tehdy, když je automatické rozšíření schváleno před spuštěním. Nenabízí pauzu, během níž by člověk zkontroloval první výsledek.
Pro tento experiment namapujte zmrazené skupiny na výslovně určené seznamy nebo segmenty příjemců v Brevo prostřednictvím schváleného a ověřeného pracovníka. Vytvořte dvě nenaplánované konceptové kampaně, jednu pro A a jednu pro B, se stejným odesílatelem, tělem, cílovou stránkou a plánovaným oknem. Kontrolní skupinu do žádné nezařazujte. Zkontrolujte každý seznam či segment proti záznamu o přiřazení, znovu ověřte potlačení a zajistěte, aby mapování nespustilo nesouvisející automatizaci. Porovnejte skutečné počty příjemců a náhledy, poté schvalte každé odeslání. Pokud Brevo nedokáže mapování prokázat, před odesláním se zastavte. Úvodní průvodce propojením vysvětluje, proč zaměřený server MCP sám o sobě neomezuje oprávnění.
Předem stanovte hranici pro stížnosti a po jejím překročení zastavte dosud neodeslané zprávy. Zachovejte přiřazení i záznamy o částečném doručení; zastavený test neznamená vítězství skupiny, která byla odeslána první. Vedle hlavního výsledku sledujte odhlášení a nedoručené zprávy. Náš průvodce dvojitým potvrzením popisuje hranici souhlasu.
Vyžádejte si zprávu a pak rozhodněte o dalším experimentu
Po předání zmrazeného záznamu o přiřazení a datovaných zpráv zkopírujte tento pokyn:
Analyzujte pouze ID experimentu a zdroje, které dodám. Srovnejte způsobilé kontakty, přiřazení A/B/kontrolní skupina, skutečné příjemce, doručení, nedoručené zprávy, odhlášení a stížnosti po skupinách. Jako den nula pro všechny kontakty v A, B i kontrolní skupině použijte jediný zaznamenaný plánovaný začátek kohorty; měřte stejné sedmidenní okno a dělte počtem původně přiřazených kontaktů v každé skupině. Odstraňte opakovaná ID událostí a pak započítejte každý jedinečný kontakt s první odpovídající aktivací z uvedeného zdroje produktových událostí nanejvýš jednou. Neoslovené kontakty ponechte v jejich původní skupině a míry pouze mezi doručenými zprávami označte jako vedlejší diagnostiku. Odlišujte chybějící událost od nedostupného zdroje. Uveďte čitatele, původní jmenovatele, neoslovené kontakty, odchylky od protokolu a časy načtení zpráv. Řekněte, zda byla splněna plánovaná velikost vzorku a rozhodovací pravidlo. Nevyvozujte prodeje z kliknutí a nepoužívejte otevření jako hlavní výsledek. Nepřiřazujte kontakty znovu, nevyhlašujte předčasného vítěze, nevytvářejte ani neodesílejte kampaň a neměňte kontakty. Navrhněte jeden další experiment jako koncept s hypotézou a potřebným schválením.
Kontrola: srovnejte počty doručených zpráv a stížností v Brevo se zprávou o kampani ve stejný čas načtení. Zaznamenejte, zda byly použity filtry aktivity Apple Mail Privacy Protection a botů; Brevo tuto aktivitu ve výchozím stavu zahrnuje. Průvodce e-mailovými metrikami vysvětluje, proč mohou otevření klamat. Testovací fázi a každé pozdější rozšíření vykazujte odděleně.
Platný výsledek uvádí způsobilou populaci, přiřazení, skutečné vystavení, zdroj výsledku, časové okno a nejistotu. Pokud předem stanovené rozhodovací pravidlo není splněno, zaznamenejte „neprůkazné“ a připravte další test. Měřte počet různých aktivovaných kontaktů do sedmi dnů na původně přiřazený kontakt v A, B a kontrolní skupině od stejného plánovaného začátku kohorty. Doručení, stížnosti a neoslovené kontakty uvádějte zvlášť. Míry jen mezi doručenými zprávami jsou vedlejší diagnostika, protože doručení nastává až po náhodném přiřazení. Bez platného náhodného přiřazení nebo zdroje výsledku je rozdíl popisný, nikoli příčinný. Rozhodnutí musí být reprodukovatelné ze záznamu o přiřazení. Srovnejte také samostatný postup pro následnou komunikaci k produktové zpětné vazbě.
Často Kladené Otázky
Může Grok Bot označit vítěznou kampaň Brevo jen podle kliknutí?
Pouze pokud byla kliknutí předem určeným výsledkem a pevně dané srovnání má dostatek důkazů. Kliknutí neprokazují prodej. Chcete-li odpovědět na otázku prodeje, použijte propojený zdroj objednávek s výslovnou metodou přiřazení a pozorovacím oknem; jinak označte prodeje jako nedostupné.
Počká nativní A/B test Brevo na mou kontrolu, než odešle vítěze?
Ne. Brevo popisuje automatické doručení vybrané vítězné varianty zbytku cílové skupiny po testovacím období. Tento režim použijte jen tehdy, pokud byly varianty, metrika a rozšíření schváleny předem. Potřebujete-li kontrolní bod, použijte samostatně schválené a ověřené seznamy či segmenty příjemců a kampaně.
Co dělat, když během testu přibývají stížnosti?
Použijte bezpečnostní hranici stanovenou před spuštěním, zastavte dosud neodeslané zprávy, zachovejte záznamy o přiřazení a doručení a prověřte zdroj stížností. Po zastavení potichu nevybírejte vítěze ani nepřiřazujte kontakty znovu.