Grok BotとBrevoでキャンペーンを実験する

仮の試用キャンペーンに対象連絡先が120人、件名案が二つあるとします。起点は配信前に下す判断です。さらに2日経ってクリックが増えたとしても、それだけで勝ちにはなりません。

チームが知りたいのは、実用的な件名が、好奇心を引く件名より多くの試用利用開始を完了させるかです。問うのは利用開始であり、開封ではありません。xAIのMarketing Analystの例は出典のある数字と同じ測定期間を重視します。Grok Botがテスト計画を作るときも同じ規律を使います。このGrok BotとBrevoの接続を実アカウントで動かしたことはありません。

問いと対象者を固定する

キャンペーンを作る前に、一文を書きます。「対象の購読済み試用連絡先について、件名Bは件名Aに比べ、集団で記録した送信予定開始時刻から7日以内の利用開始完了を変えるか」。本文、オファー、URL、送信時刻は固定します。集団全体に一つの送信予定開始時刻を記録します。製品システム内の利用開始イベント、連絡先を結び付けるキー、遅延イベントの扱いを定めます。この元データをBrevo受信者と結び付けられなければ、クリックは測れますが、利用開始の問いには答えられません。

対象者はCRM所属や会社のドメインではなく、現在の購読と抑止の記録で定義します。重複、バウンス、配信停止、すでに利用開始した連絡先、競合するテストに入っている人を除きます。対象IDを固定し、再現可能な無作為方法と実験IDを使って一度だけ割り当てます。送信前に割り当て台帳を保存します。送信直前には同意と抑止を再確認します。その時点で対象外になった人は元の群で未送信の脱落者として記録し、再割り当てや主分析からの黙った除外をしません。

仮の集団はAに48人、Bに48人、未送信の対照群に24人を割り当てるかもしれません。これは提案する群であり、結果や必要標本数の推奨ではありません。実際の基準値と意味のある効果に必要な標本数を配信前に計算します。小さなテストでは測定が機能することしか示せない場合もあります。A/Bテストガイドは標本の計画に役立ちます。

記録	必要なフィールド	決定的な確認
対象資格	連絡先ID、購読元、抑止状態、固定時刻	割り当てられた全員が固定時点で対象だったか
割り当て	実験ID、連絡先ID、群、割り当て時刻	一人一群で、対照群にはテストメールを送らないか
成果	イベントID、連絡先ID、イベント時刻、元システム	全群に共通の集団起点の7日間で、一人につき最初の該当する利用開始のみか

確認の段階を守る配信を設定する

Brevoの標準A/Bキャンペーンは、二つの件名または本文版を同数のテスト集団に送り、開封またはクリックで勝者を選び、残りの人へ自動で送ります。この自動展開を配信前に承認している場合だけ適切です。最初の結果を人が調べるための一時停止はありません。

この実験では、承認され検証済みの担当者が、固定した群をBrevoの明示的な受信者リストまたはセグメントに対応付けます。A用とB用に、予約前のキャンペーン下書きを二つ作り、送信者、本文、リンク先、予定期間を同じにします。対照群はどちらにも入れません。各リストまたはセグメントを台帳と照合し、抑止を再確認し、対応付けが無関係な自動化を発火させないことを確かめます。実際の受信者数とプレビューを比べてから、それぞれの送信を承認します。Brevo上で対応関係を証明できなければ送信前に止めます。接続の入門ガイドは、特定用途のMCPサーバーだけでは権限を制限できない理由を説明します。

苦情のしきい値を事前に定め、超えたら未送信分を止めます。割り当てと一部の配信は保持します。止めたテストを、先に送った群の勝ちにしてはいけません。配信停止とバウンスの数も主な成果の横に残します。ダブルオプトインガイドは購読の境界を説明しています。

報告を求め、次の実験を決める

固定した台帳と日付付き報告を渡してから、このプロンプトをコピーしてください。

私が渡す実験IDと元データだけを分析してください。対象連絡先、A/B/未送信対照群への割り当て、実際の受信者、配信、バウンス、配信停止、苦情を群ごとに照合してください。記録した一つの集団共通の送信予定開始を、A、B、対照群の全員の0日目とし、同じ7日間を測り、各群で最初に割り当てた連絡先数で割ってください。重複イベントIDを除き、指定した製品イベント元から、一人につき最初の該当する利用開始を一回だけ数えます。未送信の脱落者は割り当てられた群に残し、配信者だけの率は補助的な診断指標と記してください。イベントが欠けたことと元データを取得できないことを区別してください。分子、元の割り当て分母、未送信脱落者、手順の逸脱、報告の取得時刻を示してください。予定した標本数と判断規則を満たしたか述べてください。クリックから売上を推測せず、開封を主な成果にしないでください。連絡先を再割り当てせず、早まって勝者を決めず、キャンペーンを作成または送信せず、連絡先を変更しないでください。仮説と必要な承認を添え、次の実験を一つ下書きとして提案してください。

**確認:**Brevoの配信と苦情の合計を、同じ取得時刻のキャンペーン報告と比べます。Apple Mail Privacy Protectionとボット活動のフィルターを適用したか記録してください。Brevoは既定でこの活動を含みます。メール指標ガイドは開封が誤解を招く理由を説明します。テスト段階と後の展開は別々に報告します。

有効な結果は、対象集団、割り当て、実際の接触、成果の元データ、期間、不確実性を明示します。事前の判断規則を満たさなければ「結論が出ない」と記録し、次のテストを下書きします。A、B、対照群のそれぞれで、同じ集団の予定開始時刻から7日以内に利用開始した異なる連絡先数を、最初に割り当てた人数で割ります。配信、苦情、未送信脱落者は別に示します。配信者だけの率は、配信が無作為化の後に起こるため補助的な診断指標です。有効な無作為割り当てや成果の元データがなければ、差は記述的であって因果効果ではありません。判断を台帳から再現できる必要があります。別の成果を測る製品フィードバックのフォローアップと比べてください。