На тази страница
Хипотетична пробна кампания има 120 допустими контакта и две предложения за тема на имейла. Решаващият момент е преди старта. Допълнителните кликвания два дни по-късно не означават победа.
Екипът иска да разбере дали практична тема води до повече завършени активации на пробния период от тема, която предизвиква любопитство. Въпросът е за активации, не за отваряния. Примерът Marketing Analyst на xAI изисква числа с посочен източник и еднакви периоди; прилагайте същата дисциплина, когато Grok Bot изготвя плана за теста. Не сме проверявали тази връзка между Grok Bot и Brevo в реален акаунт.
Определете въпроса и участниците предварително
Запишете едно изречение, преди да създадете кампания: „Сред допустимите контакти с абонамент за имейли, които използват пробен период, променя ли тема Б броя на завършените активации в седемте дни след записания планиран старт на кохортата спрямо тема А?“ Оставете съдържанието, офертата, URL адреса и часа на изпращане непроменени. Запишете един планиран начален час за цялата кохорта. Определете събитието за активация в продуктовата система, ключа за идентификация на контакта и начина на обработка на закъснели събития. Ако този източник не може да се свърже с получателите в Brevo, експериментът може да измери кликвания, но не може да отговори на въпроса за активациите.
Използвайте актуалните записи за абонамент и изключване, а не принадлежност към CRM или фирмен домейн, за да определите кой може да участва. Изключете дублиращи се контакти, адреси с недоставени имейли, отписали се, вече активирали се контакти и участници в противоречащ тест. Фиксирайте идентификаторите на допустимите контакти и ги разпределете веднъж чрез възпроизводим случаен метод и идентификатор на експеримента. Запазете регистъра на разпределението преди изпращането. Проверете отново съгласието и изключванията непосредствено преди изпращане. Отбележете всеки новоизключен контакт като участник без изпратено съобщение в първоначалната му група; никога не го преразпределяйте и не го премахвайте незабелязано от основния анализ.
Тази хипотетична група може да разпредели 48 контакта в А, 48 в Б и 24 в контролна група без изпращане. Това са примерни групи, не резултати или препоръка за размера на извадката. Изчислете необходимата извадка според действителното Ви изходно равнище и значимия за Вас ефект преди старта. Малък тест може да покаже само дали измерването работи. Вижте ръководството за A/B тестове за планиране на извадката.
| Запис | Необходими полета | Проверка по определено правило |
|---|---|---|
| Допустимост | Идентификатор на контакт, източник на абонамента, статус на изключване, час на фиксиране | Всеки разпределен контакт е бил допустим при фиксирането |
| Разпределение | Идентификатор на експеримента, идентификатор на контакт, група, час на разпределение | По една група на контакт; контролната група не получава тестово съобщение |
| Резултат | Идентификатор на събитие, идентификатор на контакт, час на събитие, източник | Първата допустима активация на контакт в един и същ седемдневен период от старта на кохортата за всички групи |
Настройте изпращането с възможност за преглед
Вграденият A/B тест на Brevo сравнява две теми или две версии на съдържанието върху равни тестови извадки, избира победител по отваряния или кликвания и автоматично го изпраща на останалите получатели. Това е подходящо само ако автоматичното разгръщане е одобрено преди старта. Няма пауза, през която човек да прегледа първите резултати.
За този експеримент съпоставете фиксираните групи с изрични списъци или сегменти от получатели в Brevo чрез одобрен и проверен оператор. Създайте две чернови на кампании без зададен час, по една за А и Б, с еднакви подател, съдържание, целева страница и времеви прозорец за изпращане. Не включвайте контролната група в нито една. Сравнете всеки списък или сегмент с регистъра, проверете изключванията отново и се уверете, че съпоставянето няма да задейства несвързана автоматизация. Сравнете действителния брой получатели и предварителните изгледи, след което одобрете всяко изпращане. Ако не можете да докажете съпоставянето в Brevo, спрете преди изпращане. Началното ръководство за свързване обяснява защо фокусираният MCP сървър сам по себе си не ограничава правата.
Определете предварително праг за оплаквания и спрете предстоящите изпращания, ако той бъде преминат. Запазете разпределението и данните за частично доставените съобщения; спреният тест не прави победител групата, изпратена първа. Отчитане на отписванията и недоставените съобщения е необходимо наред с основния резултат. Нашето ръководство за двойно потвърждаване разглежда границата на съгласието.
Поискайте отчет, после решете какъв да е следващият експеримент
Копирайте тази заявка, след като предоставите фиксирания регистър и отчетите с дати:
Анализирайте само идентификатора на експеримента и източниците, които предоставям. Съпоставете допустимите контакти, разпределението А/Б/контролна група, действителните получатели, доставянето, недоставените съобщения, отписванията и оплакванията по групи. Използвайте единствения записан планиран старт на кохортата като ден нула за всички контакти в А, Б и контролната група; измервайте един и същ седемдневен период и делете на броя първоначално разпределени контакти във всяка група. Премахнете повтарящите се идентификатори на събития, после пребройте отделните контакти с първата им допустима активация най-много веднъж от посочения източник на продуктови събития. Оставете участниците без изпращане в първоначално определената им група и обозначете процентите само сред получилите съобщение като вторични диагностични показатели. Разграничавайте липсващо събитие от недостъпен източник. Покажете числителите, първоначалните знаменатели, участниците без изпращане, отклоненията от протокола и часовете на извличане на отчетите. Посочете дали са изпълнени планираният размер на извадката и правилото за решение. Не извеждайте продажби от кликвания и не използвайте отварянията като основен резултат. Не преразпределяйте контакти, не обявявайте ранен победител, не създавайте и не изпращайте кампания и не променяйте контакти. Предложете следващ експеримент като чернова с хипотеза и необходимото одобрение.
Проверка: сравнете общия брой доставени съобщения и оплаквания в Brevo с отчета за кампанията към един и същ час на извличане. Документирайте дали са приложени филтрите за Apple Mail Privacy Protection и активност на ботове; Brevo включва тази активност по подразбиране. Ръководството за имейл показатели обяснява защо отварянията могат да заблуждават. Отчитайте отделно тестовата фаза и всяко последващо разгръщане.
Валидният резултат посочва допустимата група, разпределението, действителното излагане на кампанията, източника на резултата, периода и несигурността. Ако предварително определеното правило за решение не е изпълнено, отбележете „неубедително“ и подгответе следващ тест. Измервайте отделните активации за седем дни на първоначално разпределен контакт в А, Б и контролната група от един и същ планиран старт на кохортата. Показвайте доставянето, оплакванията и участниците без изпращане отделно. Процентите само сред получилите съобщение са вторична диагностика, защото доставянето става след случайното разпределение. Без валидно случайно разпределение или източник на резултата разликата е описателна, не причинна. Решението трябва да може да се възпроизведе от регистъра. Сравнете и отделния цикъл за последваща работа по продуктова обратна връзка.
Често Задавани Въпроси
Може ли Grok Bot да обяви победител в кампания на Brevo само по кликванията?
Само ако кликванията са предварително определен резултат и фиксираното сравнение има достатъчно данни. Кликванията не доказват продажби. За въпрос за продажби използвайте свързан източник на поръчки с изрично определени метод за приписване и период на наблюдение; иначе отбележете продажбите като недостъпни.
Изчаква ли вграденият A/B тест на Brevo моя преглед, преди да изпрати победителя?
Не. Според документацията на Brevo избраният победител се изпраща автоматично на останалата аудитория след тестовия период. Използвайте този режим само ако вариантите, показателят и разгръщането са одобрени предварително. За преглед преди разгръщане използвайте отделно одобрени и проверени списъци или сегменти и кампании.
Какво трябва да стане, ако оплакванията се увеличат по време на теста?
Приложете прага за безопасност, определен преди старта, спрете предстоящите изпращания, запазете записите за разпределението и доставянето и проверете източника на оплакванията. Не избирайте тихомълком победител и не преразпределяйте контакти след спирането.