На этой странице
У гипотетической кампании для пробного периода есть 120 подходящих контактов и две предлагаемые темы письма. Триггером работы служит решение до запуска. Дополнительные клики ещё через два дня не являются победой.
Команда хочет узнать, приводит ли практичная тема к большему числу завершённых активаций пробного периода, чем тема, вызывающая любопытство. Вопрос касается активации, а не открытия письма. Пример Marketing Analyst от xAI требует чисел с источниками и совпадающих сроков; придерживайтесь того же, когда Grok Bot готовит план теста. Мы не запускали это подключение Grok Bot к Brevo в рабочем аккаунте.
Зафиксируйте вопрос и участников
До создания кампании запишите одно предложение: «Среди подходящих подписчиков пробного периода меняет ли тема B число завершённых активаций за семь дней от записанного запланированного начала группы по сравнению с темой A?» Текст, предложение, URL и время отправки держите постоянными. Запишите одно запланированное время начала для всей группы. Определите событие активации в системе продукта, ключ идентификации контакта и способ обработки задержавшихся событий. Если этот источник нельзя связать с получателями Brevo, эксперимент может измерить клики, но не ответит на вопрос об активации.
Для определения участия используйте текущие записи подписки и блокировок, а не членство в CRM или домен компании. Уберите повторы, возвраты доставки, отписки, уже активировавшихся и участников несовместимого теста. Зафиксируйте ID подходящих людей и распределите их один раз воспроизводимым случайным методом с ID эксперимента. Сохраните журнал распределения до отправки. Прямо перед отправкой повторно проверьте согласие и блокировку. Тех, кто к этому моменту перестал подходить, запишите как не получивших письмо участников своей первоначальной группы; не перераспределяйте их и не исключайте незаметно из основного анализа.
В гипотетической группе можно распределить 48 человек в A, 48 в B и 24 в контрольную группу без письма. Это предлагаемые группы, а не результаты и не рекомендация по размеру выборки. Рассчитайте размер выборки для собственной базовой частоты и полезного эффекта до запуска. Небольшой тест может лишь показать, что измерение работает. Планирование выборки описано в руководстве по A/B-тестам.
| Запись | Нужные поля | Детерминированная проверка |
|---|---|---|
| Участие | ID контакта, источник подписки, блокировка, время фиксации | Все распределённые люди подходили в момент фиксации |
| Распределение | ID эксперимента, ID контакта, группа, время распределения | У каждого одна группа; контроль не получает тестовое письмо |
| Результат | ID события, ID контакта, время события, источник | Первая подходящая активация на человека в одинаковом семидневном окне от начала группы для всех групп |
Настройте отправку с обязательной проверкой
Штатная A/B-кампания Brevo проверяет две темы или два варианта содержания на равных тестовых группах, выбирает победителя по открытиям или кликам, затем автоматически отправляет его остальным. Это подходит только при заранее утверждённом автоматическом расширении. Паузы для проверки первого результата человеком нет.
В этом эксперименте утверждённый и проверенный оператор сопоставляет зафиксированные группы с явными списками или сегментами получателей Brevo. Создайте два незапланированных черновика кампаний, для A и B, с одинаковым отправителем, текстом, ссылкой и плановым периодом. Контрольную группу не включайте ни в один. Сверьте каждый список или сегмент с журналом, ещё раз проверьте блокировки и убедитесь, что сопоставление не запустит постороннюю автоматизацию. Сравните фактическое число получателей и предварительный просмотр, затем разрешите каждую отправку. Если в Brevo нельзя подтвердить сопоставление, остановитесь до отправки. Вводное руководство по подключению объясняет, почему узконаправленный сервер MCP сам по себе не ограничивает права.
Заранее установите порог жалоб и остановите ожидающие отправки, если он превышен. Сохраните распределение и частичную доставку; остановленный тест не означает победы группы, отправленной первой. Храните числа отписок и отказов доставки рядом с основным результатом. Руководство по двойному подтверждению объясняет границу подписки.
Запросите отчёт, затем решите, какой будет следующий эксперимент
Скопируйте промпт после предоставления фиксированного журнала и датированных отчётов:
Анализируйте только предоставленные мной ID эксперимента и источники. Сверьте по группам подходящие контакты, распределение A/B/контроль без письма, фактических получателей, доставки, возвраты, отписки и жалобы. Используйте одно записанное запланированное начало группы как нулевой день для всех участников A, B и контроля; измеряйте одинаковые семь дней и делите на число контактов, первоначально распределённых в каждую группу. Уберите повторяющиеся ID событий, затем считайте каждого уникального человека с его первой подходящей активацией максимум один раз из названного источника продуктовых событий. Оставьте участников без отправки в их первоначальной группе, а доли только среди получивших письмо обозначайте как вторичные диагностические показатели. Разделяйте недостающие события и недоступный источник. Покажите числители, исходные знаменатели распределения, участников без отправки, отклонения от протокола и время получения отчётов. Скажите, выполнены ли запланированный размер выборки и правило решения. Не выводите продажи из кликов и не используйте открытия как основной результат. Не перераспределяйте контакты, не объявляйте победителя преждевременно, не создавайте и не отправляйте кампанию, не меняйте контакты. Предложите черновик одного следующего эксперимента с гипотезой и нужным утверждением.
Проверка: сравните суммы доставок и жалоб Brevo с отчётом кампании на тот же момент получения. Укажите, применялись ли фильтры Apple Mail Privacy Protection и активности ботов; Brevo включает эту активность по умолчанию. Руководство по показателям email объясняет, почему открытия могут вводить в заблуждение. Отдельно отчитайтесь о тестовом этапе и последующем расширении.
Достоверный результат называет подходящую аудиторию, распределение, фактическое воздействие, источник результата, срок и неопределённость. Если заранее установленное правило решения не выполнено, запишите «вывод невозможен» и подготовьте следующий тест. Измерьте число разных людей с активацией за семь дней на первоначально распределённый контакт в A, B и контроле от одного запланированного начала группы. Показывайте отдельно доставки, жалобы и участников без отправки. Доли только среди доставленных служат вторичной диагностикой, поскольку доставка происходит после случайного распределения. Без правильного случайного распределения или источника результата различие носит описательный, а не причинный характер. Решение должно воспроизводиться из журнала. Сравните с отдельным циклом ответа на отзыв о продукте.
Часто Задаваемые Вопросы
Может ли Grok Bot объявить победителя кампании Brevo по кликам?
Лишь если клики были заранее выбранным результатом и фиксированное сравнение имеет достаточно доказательств. Клики не доказывают продажи. Для вопроса о продажах используйте связанный источник заказов с явной атрибуцией и периодом наблюдения; иначе сообщите, что данные о продажах недоступны.
Ждёт ли штатный A/B-тест Brevo проверки до отправки победителя?
Нет. Brevo документирует автоматическую отправку победителя остальной аудитории после теста. Используйте режим, только если варианты, показатель и расширение утверждены заранее. Для обязательной проверки используйте отдельно утверждённые и проверенные списки или сегменты и кампании.
Что делать, если во время теста растут жалобы?
Примените установленный до запуска порог безопасности, остановите ожидающие отправки, сохраните распределение и доставки и изучите источник жалоб. Не выбирайте победителя молча и не перераспределяйте контакты после остановки.