Мультивариантный тест (A/B/n)

Мультивариантный тест — рассылка, в которой несколько (до 8) шаблонов сообщений отправляется части аудитории для сравнения их эффективности. После чего определяется шаблон-победитель, который отправляется остальной части аудитории. Рассылает по одному сообщению всем подписчикам из своего источника данных: тестовой части и основной - по заданному расписанию. Когда каждому из получателей будет отправлено одно сообщение, рассылка завершится так же, как броадкаст.

Чтобы создать новый мультивариантный тест, в главном меню выберите Рассылки → Мультивариантные тесты и нажмите кнопку + Создать. Или воспользуйтесь календарём рассылок.

Основные настройки

В основных настройках укажите название и описание новой рассылки, при необходимости установите группу доступа, теги и атрибуты для дополнительной группировки. Здесь же вы можете указать SUBID статистики для рассылок. В верхнем правом углу находится переключатель, активирующий рассылку:

Настройки рассылки

Настройки рассылки включают:

• канал, по которому она будет отправлена,
• получателей сообщений,
• контент нескольких шаблонов,
• размер аудитории для теста,
• режим определения шаблона-победителя.

Канал отправки

В первой вкладке выберите канал связи, по которому хотите отправить рассылку. Канал отправки должен быть доступен хотя бы в одном ресурсе подписок. Ресурс выбирается в следующей вкладке.

Получатели

Рассылки отправляются в рамках определённого ресурса: это может быть отдельный сайт, продукт, акция, или другое направление ваших коммуникаций с клиентами. Выберите ресурс из выпадающего меню. В ресурсе должен быть настроен выбранный на предыдущем шаге канал.

Далее выберите источник подписчиков. Получателями рассылки могут быть профили определенной базы данных или профили, состоящие в сегменте.

подсказка

При отправке сообщений рассылка использует подписки клиентов на выбранный ресурс. Убедитесь, что получатели в вашем источнике подписаны на него!

В разделе Выборка для тестирования рассылки установите часть аудитории, которой будет отправлено несколько вариантов контента для сравнения эффективности шаблонов.

Шаблоны

В этом блоке выберите контент, который хотите использовать для тестирования. Шаблоны сообщений объединяют контент для отправки по всем доступным каналам.

подсказка

Убедитесь, что контент для выбранного в рассылке канала присутствует в шаблоне!

Нажмите на кнопку Добавить и выберите подготовленные шаблоны.

MVT тест поддерживает до 8 шаблонов сообщений. Рассылка отправит каждому получателю по одному сообщению из выбранных в случайном порядке (в равных пропорциях).

По клику на миниатюру шаблона откроется предпросмотр. При нажатии на название шаблона он откроется в новой вкладке для редактирования:

Настройка тестирования

На вкладке Мультивариантный тест выберите подходящий вам режим определения шаблона-победителя:

• По количеству открытых сообщений;
• По количеству кликов в сообщениях;
• По решению пользователя – вручную по данным аналитических отчётов.

Выбор шаблона-победителя по открытиям/кликам

При автоматическом режиме выбора победителя установите время Старта рассылки. Старт рассылки — это время и дата запуска тестовой части рассылки.

Рассылка после запуска будет автоматически собирать статистику по общему количеству открытий или переходов по ссылкам в шаблонах. Время для сбора аналитики настраивается параметром Период выбора победителя.

После того как рассылка соберёт статистику открытий или кликов, наиболее эффективный по выбранному показателю шаблон сообщения будет отправлен основной части аудитории по заданному Расписанию рассылки:

подсказка

Расписание рассылок подробно описано в отдельной статье.

предупреждение

Если при настройке расписания вы выбираете часовой пояс, отличный от пояса аккаунта, то по этому часовому поясу отправится только рассылка с шаблоном-победителем. Тестовые сообщения отправятся по часовому поясу аккаунта.

Чтобы завершить настройку, нажмите Готово. Выбранные вами параметры будут отображаться в блоке Настройки рассылки. Кнопкой в правом верхнем углу блока вы можете отредактировать настройки:

Сохраните рассылку, чтобы активировать её.

Выбор шаблона-победителя вручную

При режиме выбора победителя По решению пользователя установите время Старта рассылки. Старт рассылки — это время и дата запуска тестовой части рассылки.

Затем задайте Расписание рассылки. По этому расписанию шаблон-победитель будет отправлен основной части аудитории.

Сохраните рассылку, чтобы активировать её. После того как рассылка отправит тестовые сообщения, она перейдёт в статус Активная (Ждёт вас).

На этом этапе вам необходимо проанализировать показатели каждого шаблона и выбрать шаблон-победитель. Для этого в окне редактирования рассылки нажмите на кнопку Принять решение:

Также шаблон-победитель можно выбрать в окне со списком рассылок, нажав на соответствующую кнопку в контекстном меню:

Откроется окно со статистикой по каждому шаблону:

• Отправки — количество отправленных сообщений.
• Доставки — количество доставленных сообщений.
• CTR контента — процент кликов в сообщении. Рассчитывается по формуле: (Количество кликов / Количество доставленных сообщений) * 100%.
• OR контента — процент открытий сообщения. Рассчитывается по формуле: (Количество открытий / Количество доставленных сообщений) * 100%.

Выберите шаблон, который посчитаете наиболее эффективным, и нажмите кнопку Выбрать. Этот шаблон будет отправлен основной части аудитории по заданному расписанию.

Если для выбора шаблона-победителя вам недостаточно предоставленных данных, вы можете воспользоваться Отчетом по каналам. Чтобы открыть отчёт, нажмите на иконку аналитики:

В отчёте выберите необходимые для оценки эффективности параметры. Это могут быть абсолютные или относительные значения (такие как Open Rate или CTR/CTOR). Можно оценить и негативную реакцию по количеству отписок или жалоб:

Мгновенный запуск рассылки (помимо расписания)

Чтобы запустить мультивариантный тест сразу же после создания, в самом низу страницы отметьте соответствующую опцию.

• Если лимиты не установлены — сообщения отправятся всем получателям.
• Если рассылка разбита на несколько частей — произойдёт запуск помимо расписания.

Политика отправки

Политика отправки ограничивает коммуникацию с одним подписчиком. Настраивается для рассылки в блоке Ограничения рассылки. По умолчанию рассылка будет использовать политику, выбранную глобально в аккаунте или в Ресурсе, от имени которого отправляется броадкаст.

Smart settings

Блок Smart-настройки объединяет следующие дополнительные настройки рассылки:

• Виртуальный сендер — позволяет выбрать для рассылки виртуальный сендер (набор правил для отправки сообщений с реальных сендеров платформы).
• Свои трекинг-домены — позволяет отслеживать действия с сообщениями рассылки, используя дополнительные трекинг-серверы. Каждый домен указывается на отдельной строке.
• Список email адресов для скрытой копии — BCC для отправляемых сообщений. Каждый адрес указывается на отдельной строке.
• Не проверять контактные данные на уникальность — отключает проверку на уникальность получателей рассылки по данным подписки.

предупреждение

Если вы не уверены, какие настройки необходимо выбрать, проконсультируйтесь с администратором платформы в вашей организации или со специалистами поддержки Altcraft.

Наблюдатели за рассылкой

Помимо этого, в умных настройках можно установить наблюдателей за рассылкой. Наблюдатели будут получать такие же сообщения, как и получатели рассылки. Для этого вам нужна будет база данных наблюдателей. Она создаётся так же, как и обычная база данных, только в Основных настройках необходимо отметить соответствующую опцию.

В Smart-настройках выберите БД наблюдателей и лимит отправки сообщений для каждого запуска рассылки:

Ограничение времени жизни сообщения (TTL)

Время жизни сообщения (TTL) — это период, в течение которого система пытается отправить сообщение из очереди. Если за это время сообщение не удалось доставить, отправка прекращается, а сообщение удаляется из очереди.

TTL стоит использовать для рассылок, которые актуальны только ограниченное время. Например, если сообщение связано с акцией, напоминанием о событии, одноразовым кодом или предложением, которое быстро теряет актуальность.

Чтобы настроить TTL, активируйте параметр Ограничить время жизни сообщений (TTL) и укажите время ожидания в днях, часах, минутах или секундах.

После истечения указанного времени система прекратит попытки доставки неотправленного сообщения и зарегистрирует событие недоставки.

Нюансы использования TTL для сообщений

• Значение TTL должно находиться в пределах, заданных конфигурационными параметрами MTA_MIN_TTL и MTA_MAX_TTL.
• Если TTL задан в нескольких местах, применяется значение с более высоким приоритетом: API-параметр expiration > значение в Smart-настройках > конфигурационный параметр MTA_TTL_DEFAULT.
• TTL отсчитывается отдельно для каждого сообщения с момента его постановки в очередь. Соответственно, даже в рамках одной рассылки у разных получателей может быть разный TTL сообщения.
• После истечения TTL система прекращает попытки доставки, даже если канал технически ещё может доставить сообщение.
• TTL не работает для каналов, которые не возвращают статусы отправки сообщений: Telegram, MAX и пользовательские каналы.