Grok Bot dan Brevo: uji kampanye dengan kelompok tetap dan hasil nyata

Kampanye uji coba hipotetis mempunyai 120 kontak yang memenuhi syarat dan dua usulan baris subjek. Pemicunya adalah keputusan sebelum peluncuran. Klik tambahan setelah dua hari tambahan bukan kemenangan.

Tim ingin tahu apakah subjek yang praktis menghasilkan lebih banyak aktivasi uji coba yang selesai daripada subjek yang membangkitkan rasa ingin tahu. Pertanyaannya tentang aktivasi, bukan pembukaan email. Contoh Marketing Analyst dari xAI menuntut angka bersumber dan jendela waktu yang sama; gunakan disiplin itu saat Grok Bot menyusun rencana uji. Kami belum menjalankan koneksi Grok Bot dan Brevo ini dalam akun nyata.

Tetapkan pertanyaan dan pesertanya

Tulis satu kalimat sebelum membangun kampanye: “Di antara kontak uji coba yang memenuhi syarat dan berlangganan, apakah subjek B mengubah jumlah aktivasi selesai dalam tujuh hari sejak awal terjadwal kohor yang tercatat dibanding subjek A?” Pertahankan isi, penawaran, URL, dan waktu kirim yang sama. Catat satu waktu mulai terjadwal bagi seluruh kohor. Tentukan peristiwa aktivasi dalam sistem produk, kunci identitas kontak, dan cara menangani peristiwa terlambat. Jika sumber itu tidak dapat dicocokkan dengan penerima Brevo, eksperimen dapat mengukur klik, tetapi tidak dapat menjawab pertanyaan aktivasi.

Gunakan catatan langganan dan pemblokiran pengiriman terkini, bukan keanggotaan CRM atau domain perusahaan, untuk menentukan kelayakan. Keluarkan duplikat, pantulan, berhenti berlangganan, orang yang sudah aktif, dan peserta uji lain yang bertentangan. Tetapkan ID yang memenuhi syarat dan tugaskan sekali dengan metode acak yang dapat diulang serta ID eksperimen. Simpan ledger penugasan sebelum pengiriman. Periksa lagi persetujuan dan pemblokiran pengiriman tepat sebelum mengirim. Catat siapa pun yang baru tidak memenuhi syarat sebagai peserta tanpa kirim di kelompok asal; jangan pindahkan atau diam-diam hapus dari analisis utama.

Kelompok hipotetis itu bisa menugaskan 48 ke A, 48 ke B, dan 24 ke kelompok tanpa kirim. Itu kelompok usulan, bukan hasil atau saran ukuran sampel. Hitung sampel yang dibutuhkan berdasarkan tingkat dasar dan perubahan berguna yang nyata sebelum peluncuran. Uji kecil mungkin hanya membuktikan pengukuran berjalan. Lihat panduan uji A/B untuk merencanakan sampel.

Catatan	Bidang yang dibutuhkan	Pemeriksaan pasti
Kelayakan	ID kontak, sumber langganan, status pemblokiran pengiriman, waktu penetapan	Setiap kontak yang ditugaskan memenuhi syarat saat ditetapkan
Penugasan	ID eksperimen, ID kontak, kelompok, waktu penugasan	Satu kelompok per kontak; kelompok tanpa kirim tidak menerima pesan uji
Hasil	ID peristiwa, ID kontak, waktu peristiwa, sumber	Aktivasi memenuhi syarat pertama per kontak dalam jendela tujuh hari yang sama sejak awal kohor untuk semua kelompok

Atur pengiriman yang menghormati gerbang persetujuan

Kampanye A/B bawaan Brevo menguji dua subjek atau versi isi pada sampel yang sama besar, memilih pemenang berdasarkan pembukaan atau klik, lalu otomatis mengirimnya kepada sisanya. Ini berguna hanya jika peluncuran otomatis telah disetujui sebelum dimulai. Tidak ada jeda bagi manusia untuk memeriksa hasil pertama.

Untuk eksperimen ini, petakan kelompok tetap ke daftar atau segmen penerima Brevo yang eksplisit melalui operator yang disetujui dan terverifikasi. Buat dua draf kampanye belum terjadwal, A dan B, dengan pengirim, isi, tujuan, dan jendela terjadwal yang sama. Jangan masukkan kelompok tanpa kirim. Cocokkan setiap daftar atau segmen penerima dengan ledger, periksa pemblokiran pengiriman lagi, dan pastikan pemetaan tidak memicu otomasi lain. Bandingkan jumlah penerima nyata dan pratinjau, lalu izinkan setiap pengiriman. Jika Brevo tidak dapat membuktikan pemetaan, berhenti sebelum mengirim. Panduan koneksi awal menjelaskan mengapa server MCP khusus tidak membatasi izin dengan sendirinya.

Tetapkan ambang keluhan sebelum uji dan hentikan pengiriman yang menunggu jika terlampaui. Pertahankan penugasan dan penyampaian parsial; uji yang dihentikan bukan kemenangan kelompok yang kebetulan lebih dulu terkirim. Sajikan jumlah berhenti berlangganan dan pantulan bersama hasil utama. Panduan konfirmasi dua tahap membahas batas langganan.

Minta laporan, lalu putuskan eksperimen berikutnya

Salin prompt ini setelah menyediakan ledger tetap dan laporan bertanggal:

Analisis hanya ID eksperimen dan sumber yang saya berikan. Cocokkan kontak yang memenuhi syarat, penugasan A/B/tanpa kirim, penerima nyata, penyampaian, pantulan, berhenti berlangganan, dan keluhan per kelompok. Gunakan satu awal kohor terjadwal yang tercatat sebagai hari nol bagi semua kontak A, B, dan tanpa kirim; ukur jendela tujuh hari yang sama dan bagi dengan kontak yang mula-mula ditugaskan dalam tiap kelompok. Hapus peristiwa dengan ID berulang, lalu hitung kontak berbeda dengan aktivasi pertama yang memenuhi syarat paling banyak sekali per orang dari sumber peristiwa produk yang disebutkan. Pertahankan peserta tanpa kirim dalam kelompok asalnya dan beri label rasio berdasarkan pesan tersampaikan saja sebagai diagnosis sekunder. Bedakan peristiwa hilang dari sumber yang tidak tersedia. Tampilkan pembilang, penyebut penugasan awal, peserta tanpa kirim, penyimpangan protokol, dan waktu pengambilan laporan. Nyatakan apakah ukuran sampel dan aturan keputusan yang direncanakan terpenuhi. Jangan menyimpulkan penjualan dari klik atau memakai pembukaan sebagai hasil utama. Jangan menugaskan ulang kontak, menyatakan pemenang terlalu dini, membuat atau mengirim kampanye, atau mengubah kontak. Usulkan satu eksperimen berikutnya sebagai draf, dengan hipotesis dan persetujuan yang diperlukan.

Periksa: bandingkan jumlah penyampaian dan keluhan Brevo dengan laporan kampanye pada waktu pengambilan yang sama. Dokumentasikan apakah filter Apple Mail Privacy Protection dan aktivitas bot diterapkan; Brevo menyertakan aktivitas itu secara bawaan. Panduan metrik email menjelaskan mengapa pembukaan bisa menyesatkan. Laporkan fase uji dan peluncuran setelahnya secara terpisah.

Hasil sah menyebut populasi yang memenuhi syarat, penugasan, paparan nyata, sumber hasil, jendela, dan ketidakpastian. Jika aturan keputusan yang ditentukan sebelumnya tidak terpenuhi, catat “tidak meyakinkan” dan tulis uji berikutnya. Ukur aktivasi berbeda dalam tujuh hari per kontak yang mula-mula ditugaskan di A, B, dan kelompok tanpa kirim dari awal kohor terjadwal yang sama. Tampilkan penyampaian, keluhan, dan peserta tanpa kirim secara terpisah. Rasio berdasarkan pesan tersampaikan hanya diagnosis sekunder karena penyampaian terjadi setelah pengacakan. Tanpa penugasan acak yang sah atau sumber hasil, selisihnya deskriptif, bukan sebab akibat. Keputusan harus dapat diulang dari ledger. Bandingkan dengan alur terpisah tindak lanjut umpan balik produk.