В холодном аутриче часто спорят о темах писем и первых строках на уровне вкуса. A/B-тест нужен, чтобы заменить вкусовщину данными.
Но тест легко испортить: отправить варианты разным сегментам, поменять сразу тему и оффер, остановиться после первых двух ответов или смотреть только открытия.
Ниже — практичная схема тестирования холодных писем без лабораторной сложности.
Что можно тестировать
- Тему письма: конкретная против нейтральной.
- Первую строку: контекст сегмента против общего представления компании.
- Оффер: консультация, аудит, пример, короткий вопрос.
- CTA: просьба ответить, переслать ответственному или выбрать слот.
- Follow-up: напоминание, новый аргумент, мини-кейс, закрывающее письмо.
Одна гипотеза за раз
Если вариант A отличается от варианта B темой, первым абзацем, оффером и длиной письма, победителя нельзя объяснить. Вы увидите разницу в ответах, но не поймете, какой элемент сработал.
Лучше формулировать гипотезу заранее: например, «тема с ролью получателя даст больше ответов, чем тема с названием проблемы». Тогда результат можно использовать в следующей кампании.
Какие метрики смотреть
| Метрика | Что показывает | Ограничение |
|---|---|---|
| Open rate | Тема и доставляемость | Может искажаться почтовыми клиентами |
| Reply rate | Готовность отвечать | Нужно отделять автоответы |
| Positive replies | Коммерческий интерес | Требует ручной или полуавтоматической квалификации |
| Bounce | Качество базы | Не говорит о качестве текста |
Как не остановить тест слишком рано
Холодные кампании получают ответы неравномерно: часть людей отвечает на первый шаг, часть — после follow-up, часть возвращается через неделю. Если принять решение в первый день, можно выбрать вариант, который просто быстрее получил случайные ответы.
Смотрите на завершенный цикл: первый email плюс ключевые follow-up. В последовательностях удобно сравнивать не только первый шаг, но и то, где в цепочке возникает диалог.
Что делать после победы варианта
Победивший вариант не стоит бездумно копировать во все сегменты. Сначала проверьте, почему он сработал: роль, боль, формулировка оффера или формат CTA. Затем перенесите принцип, а не буквальный текст.
Пример хорошей гипотезы
Плохая гипотеза звучит так: «Проверим два письма». Хорошая гипотеза точнее: «Для руководителей продаж тема с операционной болью даст больше полезных ответов, чем тема с названием категории сервиса». В первом случае результат сложно интерпретировать. Во втором вы заранее понимаете, какую мысль проверяете.
То же правило работает для CTA. Можно сравнить «удобно обсудить на 15 минут?» и «подскажите, кто у вас отвечает за outbound?». Первый вариант сразу просит встречу, второй снижает трение и может принести ответ даже от неидеального контакта.
Что записывать после теста
- Сегмент и роль получателей.
- Что отличалось между вариантами.
- Сколько контактов дошло до каждого шага.
- Сколько было ответов, отказов, автоответов и positive replies.
- Какой вывод переносится в следующую кампанию.
Пошаговый план внедрения
На практике a b тест email стоит внедрять как короткий управляемый цикл, а не как разовую рассылку. Главный контекст здесь такой: A/B-тесты в холодном email-аутриче нужны не для бесконечной оптимизации слов, а для проверки конкретной коммерческой гипотезы. Поэтому сначала полезно ограничить сегмент, собрать понятную гипотезу и договориться, какие ответы считаются успехом.
Для первого теста лучше взять новые outbound-кампании, где команда выбирает между двумя офферами, CTA или первыми абзацами. Такой фокус помогает не смешивать разные боли и не делать общий вывод по аудитории, которая внутри себя слишком неоднородна.
- сформулируйте одну гипотезу в формате: для какого сегмента какой вариант должен дать больше полезных ответов и почему
- разделите базу случайно, но внутри одного ICP, чтобы вариант A и вариант B не получили разные по качеству списки
- не меняйте тему, первый абзац, оффер и CTA одновременно: результат такого теста невозможно интерпретировать
- после запуска разберите первые ответы вручную и выпишите причины, по которым люди согласились, отказались или попросили детали
- масштабируйте только тот вариант, где понятны сегмент, сообщение, метрика и следующий шаг для продаж
Метрики, которые стоит смотреть
Оценка результата должна быть ближе к продажам, чем к красивому отчету по отправкам. Для темы «A/B-тесты в холодном email-аутриче: что проверять в теме, письме и follow-up» особенно важно не останавливаться на общей активности: часть ответов не несет коммерческой ценности, а часть слабых на первый взгляд реакций можно развить в диалог через аккуратный follow-up.
| Метрика | Зачем смотреть | Что делать |
|---|---|---|
| Delivered | понимать реальный объем, дошедший до получателей | исключать bounce из выводов по тексту |
| positive reply rate и доля ответов, которые можно передать в продажи | оценивать качество разговоров | сравнивать по сегментам и цепочкам |
| Время реакции | не терять горячие ответы | назначить владельца входящих |
| Причины отказов | видеть проблему сегмента или оффера | менять одну гипотезу за тест |
Как использовать Opnly в таком сценарии
В Opnly можно вести несколько кампаний под одну гипотезу, сохранять версии шаблонов и анализировать ответы вместе с bounce, отправками и последующими касаниями
Для a b тест email особенно полезно вести не только отправку, но и всю обратную связь: какие компании ответили, какие контакты не подошли, где нужен повторный заход и какие формулировки стоит перенести в следующую кампанию.
- создайте отдельную кампанию под каждый ICP или гипотезу
- подключите отправителей с лимитами и прогревом, чтобы не масштабировать риск доставляемости
- следите за входящими ответами внутри кампании, а не в разрозненных почтовых ящиках
- избегайте главной ошибки: выбрать победителя по малому числу отправок или по открываемости, не посмотрев реальные ответы
FAQ
Начните с оффера и первого абзаца. Тема важна, но ответ чаще зависит от того, увидел ли человек понятную причину продолжать диалог.
Можно, но выводы будут мягкими. На маленькой базе тест полезен как быстрый сигнал, а не как статистически окончательное решение.
