Grok Bot과 Brevo로 측정 가능한 캠페인 실험하기

가상의 체험 캠페인에 적격 연락처 120명과 제안된 제목 두 개가 있습니다. 일을 시작하는 계기는 출시 전 결정입니다. 이틀을 더 기다린 뒤 클릭이 늘어도 승리는 아닙니다.

팀은 실용적인 제목이 호기심을 유발하는 제목보다 체험 활성화 완료를 더 많이 만들어 내는지 알고 싶습니다. 질문은 열람이 아닌 활성화에 관한 것입니다. xAI의 Marketing Analyst 예시는 출처가 있는 숫자와 동일한 기간을 요구합니다. Grok Bot이 시험 계획을 만들 때도 같은 원칙을 적용합니다. 저희는 이 Grok Bot과 Brevo 연결을 실제 계정에서 실행하지 않았습니다.

질문과 사람을 고정합니다

캠페인을 만들기 전에 한 문장을 적습니다. “적격이며 구독 상태인 체험 연락처에서 제목 B가 제목 A에 비해 집단의 기록된 예약 시작 시각부터 7일 안의 활성화 완료를 바꾸는가?” 본문, 제안, URL, 발송 시간을 고정합니다. 전체 집단의 예약 시작 시각을 하나만 기록합니다. 제품 시스템의 활성화 이벤트, 연락처 식별 키, 늦게 도착하는 이벤트의 처리 방법을 정의합니다. 원본을 Brevo 수신자와 연결할 수 없으면 클릭은 측정할 수 있지만 활성화 질문에는 답할 수 없습니다.

대상 자격을 CRM 소속이나 회사 도메인이 아니라 현재의 구독 및 발송 제한 기록으로 정합니다. 중복, 반송, 수신 거부, 이미 활성화한 사람, 충돌하는 시험에 들어간 사람을 제외합니다. 적격 ID를 고정하고 재현 가능한 무작위 방법과 실험 ID로 한 번만 배정합니다. 발송 전에 배정 장부를 저장합니다. 발송 직전에 동의와 제한 상태를 다시 확인합니다. 새로 부적격이 된 사람은 원래 그룹의 미발송 탈락자로 기록하고 재배정하거나 주요 분석에서 조용히 제외하지 않습니다.

그 가상의 집단은 A에 48명, B에 48명, 미발송 대조군에 24명을 배정할 수 있습니다. 이는 제안된 그룹이지 결과나 표본 크기 권고가 아닙니다. 출시 전에 실제 기준선과 의미 있는 효과에 필요한 표본을 계산하세요. 작은 시험은 측정이 작동한다는 것만 보여 줄 수도 있습니다. 표본 계획은 A/B 테스트 가이드를 참고하세요.

기록	필요한 필드	결정적 확인
자격	연락처 ID, 구독 출처, 발송 제한 상태, 고정 시각	배정된 모두가 고정 시점에 적격이었는지
배정	실험 ID, 연락처 ID, 그룹, 배정 시각	사람당 그룹 하나이며 대조군에는 시험 메일이 없는지
결과	이벤트 ID, 연락처 ID, 이벤트 시각, 원본	모든 그룹에 같은 집단 시작 기준의 7일 기간을 적용하고 사람당 첫 적격 활성화만 세는지

검토 단계를 지키는 발송을 설정합니다

Brevo의 기본 A/B 캠페인은 동일한 크기의 시험 표본에서 제목 두 개 또는 내용 두 버전을 시험하고 열람 또는 클릭으로 승자를 고른 뒤 나머지 대상에게 자동 발송합니다. 자동 확대를 출시 전에 승인했을 때만 적절합니다. 첫 결과를 사람이 확인하도록 멈추는 단계는 없습니다.

이 실험에는 승인되고 검증된 운영자가 고정된 그룹을 명시적인 Brevo 수신자 목록 또는 세그먼트에 매핑합니다. A와 B용 예약하지 않은 캠페인 초안을 각각 만들고 발신자, 본문, 링크 대상, 예약 기간을 같게 합니다. 대조군은 둘 다 제외합니다. 각 목록이나 세그먼트를 장부와 비교하고 발송 제한을 재확인하며 매핑이 무관한 자동화를 실행하지 않는지 살핍니다. 실제 수신자 수와 미리보기를 비교하고 각 발송을 승인합니다. Brevo에서 매핑을 증명할 수 없다면 보내기 전에 중단합니다. 연결 시작 가이드는 목적이 좁은 MCP 서버만으로 권한이 제한되지 않는 이유를 설명합니다.

불만 기준을 사전에 정하고 넘으면 대기 중인 발송을 멈춥니다. 배정과 일부 전달 기록은 보존합니다. 중단된 시험을 먼저 보낸 그룹의 승리로 간주하지 않습니다. 수신 거부와 반송 수를 주요 성과와 함께 보관합니다. 이중 수신 동의 가이드는 구독 경계를 다룹니다.

보고서를 요청한 뒤 다음 실험을 결정합니다

고정된 장부와 날짜가 있는 보고서를 제공한 뒤 다음 프롬프트를 복사하세요.

제가 제공하는 실험 ID와 원본만 분석하세요. 적격 연락처, A/B/미발송 대조군 배정, 실제 수신자, 전달, 반송, 수신 거부, 불만을 그룹별로 대조하세요. 기록된 하나의 집단 예약 시작 시각을 A, B, 대조군 모든 사람의 0일째로 삼고 같은 7일 기간을 측정해 각 그룹의 최초 배정 연락처 수로 나누세요. 중복 이벤트 ID를 제거한 후 지정된 제품 이벤트 원본에서 사람당 첫 적격 활성화를 최대 한 번만 세세요. 미발송 탈락자를 원래 그룹에 남기고 전달된 사람만의 비율은 보조 진단 지표로 표시하세요. 누락된 이벤트와 원본 자체를 사용할 수 없는 상태를 구분하세요. 분자, 최초 배정 분모, 미발송 탈락자, 절차 이탈, 보고서 조회 시각을 표시하세요. 계획한 표본과 결정 규칙이 충족됐는지 말하세요. 클릭으로 판매를 추론하거나 열람을 주요 성과로 사용하지 마세요. 연락처를 재배정하거나 조기 승자를 선언하거나 캠페인을 만들거나 보내거나 연락처를 변경하지 마세요. 가설과 필요한 승인을 적어 다음 실험 하나를 초안으로 제안하세요.

확인: Brevo의 전달 및 불만 합계를 같은 조회 시각의 캠페인 보고서와 비교합니다. Apple Mail Privacy Protection과 봇 활동 필터를 적용했는지 기록합니다. Brevo는 기본적으로 그런 활동을 포함합니다. 이메일 지표 가이드는 열람이 오해를 부르는 이유를 설명합니다. 시험 단계와 이후 확대는 별도로 보고합니다.

유효한 결과에는 적격 대상, 배정, 실제 노출, 성과 원본, 기간, 불확실성이 명시됩니다. 사전 결정 규칙을 충족하지 못하면 ‘결론 불가’라고 기록하고 다음 시험을 초안으로 만듭니다. A, B, 대조군에서 같은 집단 예약 시작 시각부터 7일 안에 활성화한 서로 다른 사람 수를 최초 배정 인원으로 나누어 측정합니다. 전달, 불만, 미발송 탈락자는 별도로 표시합니다. 전달된 사람만의 비율은 전달이 무작위 배정 뒤에 일어나므로 보조 진단 지표입니다. 유효한 무작위 배정이나 성과 원본이 없다면 차이는 인과적이지 않고 서술적입니다. 결정은 장부에서 재현할 수 있어야 합니다. 별도 흐름인 제품 피드백 후속 조치와 비교해 보세요.