Мультивариантный тест (A/B/n)

Мультивариантный тест — кампания, в которой несколько (до 8) шаблонов сообщений отправляется части аудитории для сравнения их эффективности. После чего определяется шаблон-победитель, который отправляется остальной части аудитории. Рассылает по одному сообщению всем подписчикам из своего источника данных: тестовой части и основной - по заданному расписанию. Когда каждому из получателей будет отправлено одно сообщение, кампания завершится так же, как броадкаст.

Чтобы создать новый мультивариантный тест, в главном меню выберите Кампании → Мультивариантные тесты и нажмите кнопку + Создать. Или воспользуйтесь календарём кампаний.

Основные настройки

В основных настройках укажите название и описание новой кампании, при необходимости установите группу доступа и теги для дополнительной группировки. Здесь же вы можете указать SUBID статистики для кампании. В верхнем правом углу находится переключатель, активирующий кампанию:

Настройки кампании

Настройки кампании включают:

• канал, по которому она будет отправлена,
• получателей сообщений,
• контент нескольких шаблонов,
• размер аудитории для теста,
• режим определения шаблона-победителя.

Канал отправки

В первой вкладке выберите канал связи, по которому хотите отправить кампанию. Канал отправки должен быть доступен хотя бы в одном ресурсе подписок. Ресурс выбирается в следующей вкладке.

Получатели

Кампании отправляются в рамках определённого ресурса: это может быть отдельный сайт, продукт, акция, или другое направление ваших коммуникаций с клиентами. Выберите ресурс из выпадающего меню. В ресурсе должен быть настроен выбранный на предыдущем шаге канал.

Далее выберите источник подписчиков. Получателями рассылки могут быть профили определенной базы данных или профили, состоящие в сегменте.

подсказка

При отправке сообщений кампания использует подписки клиентов на выбранный ресурс. Убедитесь, что получатели в вашем источнике подписаны на него!

В разделе Выборка для тестирования кампании установите часть аудитории, которой будет отправлено несколько вариантов контента для сравнения эффективности шаблонов.

Шаблоны

В этом блоке выберите контент, который хотите использовать для тестирования. Шаблоны сообщений объединяют контент для отправки по всем доступным каналам.

подсказка

Убедитесь, что контент для выбранного в кампании канала присутствует в шаблоне!

Нажмите на кнопку Добавить и выберите подготовленные шаблоны.

MVT тест поддерживает до 8 шаблонов сообщений. Кампания отправит каждому получателю по одному сообщению из выбранных в случайном порядке (в равных пропорциях).

По клику на миниатюру шаблона откроется предпросмотр. При нажатии на название шаблона он откроется в новой вкладке для редактирования:

Настройка тестирования

На вкладке Мультивариантный тест выберите подходящий вам режим определения шаблона-победителя:

• По количеству открытых сообщений;
• По количеству кликов в сообщениях;
• По решению пользователя – вручную по данным аналитических отчётов.

Выбор шаблона-победителя по открытиям/кликам

При автоматическом режиме выбора победителя установите время Старта кампании. Старт кампании — это время и дата запуска тестовой части рассылки.

Кампания после запуска будет автоматически собирать статистику по общему количеству открытий или переходов по ссылкам в шаблонах. Время для сбора аналитики настраивается параметром Период выбора победителя.

После того как кампания соберёт статистику открытий или кликов, наиболее эффективный по выбранному показателю шаблон сообщения будет отправлен основной части аудитории по заданному Расписанию рассылки:

подсказка

Расписание кампаний подробно описано в отдельной статье.

предупреждение

Если при настройке расписания вы выбираете часовой пояс, отличный от пояса аккаунта, то по этому часовому поясу отправится только рассылка с шаблоном-победителем. Тестовые сообщения отправятся по часовому поясу аккаунта.

Чтобы завершить настройку, нажмите Готово. Выбранные вами параметры будут отображаться в блоке Настройки кампании. Кнопкой в правом верхнем углу блока вы можете отредактировать настройки:

Сохраните кампанию, чтобы активировать её.

Выбор шаблона-победителя вручную

При режиме выбора победителя По решению пользователя установите время Старта кампании. Старт кампании — это время и дата запуска тестовой части рассылки.

Затем задайте Расписание рассылки. По этому расписанию шаблон-победитель будет отправлен основной части аудитории.

Сохраните кампанию, чтобы активировать её. После того как кампания отправит тестовые сообщения, она перейдёт в статус Активная (Ждёт вас).

На этом этапе вам необходимо проанализировать показатели каждого шаблона и выбрать шаблон-победитель. Для этого в окне редактирования кампании нажмите на кнопку "Принять решение":

Также шаблон-победитель можно выбрать в окне со списком кампаний, нажав на соответствующую кнопку в контекстном меню:

Откроется окно со статистикой по каждому шаблону:

• Отправки — количество отправленных сообщений.
• Доставки — количество доставленных сообщений.
• CTR контента — процент кликов в сообщении. Рассчитывается по формуле: (Количество кликов / Количество доставленных сообщений) * 100%.
• OR контента — процент открытий сообщения. Рассчитывается по формуле: (Количество открытий / Количество доставленных сообщений) * 100%.

Выберите шаблон, который посчитаете наиболее эффективным, и нажмите кнопку "Выбрать". Этот шаблон будет отправлен основной части аудитории по заданному расписанию.

Если для выбора шаблона-победителя вам недостаточно предоставленных данных, вы можете воспользоваться Отчетом по каналам. Чтобы открыть отчёт, нажмите на иконку аналитики:

В отчёте выберите необходимые для оценки эффективности параметры. Это могут быть абсолютные или относительные значения (такие как Open Rate или CTR/CTOR). Можно оценить и негативную реакцию по количеству отписок или жалоб:

Мгновенный запуск кампании (помимо расписания)

Чтобы запустить мультивариантный тест сразу же после создания, в самом низу страницы отметьте соответствующую опцию.

• Если лимиты не установлены — сообщения отправятся всем получателям.
• Если кампания разбита на несколько частей — произойдёт запуск помимо расписания.

Политика отправки

Политика отправки ограничивает коммуникацию с одним подписчиком. Настраивается для кампании в блоке Ограничения рассылки. По умолчанию кампания будет использовать политику, выбранную глобально в аккаунте или в Ресурсе, от имени которого отправляется броадкаст.

Smart settings

Блок Smart settings (умные настройки) доступен в аккаунтах с активированной опцией "IS_SMART": true в файле конфигурации main.json. Он объединяет следующие дополнительные настройки кампании:

• Виртуальный сендер — позволяет выбрать для кампании виртуальный сендер (набор правил для отправки сообщений с реальных сендеров платформы).
• Свои трекинг-домены — позволяет отслеживать действия с сообщениями кампании, используя дополнительные трекинг-серверы. Домены укажите, разделяя переносом строки.
• Список email адресов для скрытой копии — BCC для отправляемых сообщений. Адреса укажите, разделяя переносом строки.
• Дополнительные опции — зависят от конфигурации вашей установки Altcraft Platform. Доступны такие опции, как отправка без учёта статуса подписки или без учёта уникальности данных при отправке.

предупреждение

Проконсультируйтесь с администратором платформы в вашей организации или со специалистами поддержки Altcraft, если не уверены, какие Smart настройки необходимо выбрать!

Наблюдатели за рассылкой

Помимо этого, в умных настройках можно установить наблюдателей за рассылкой. Наблюдатели будут получать такие же сообщения, как и получатели кампании. Для этого вам нужна будет база данных наблюдателей. Она создаётся так же, как и обычная база данных, только в Основных настройках необходимо отметить соответствующую опцию.

В Smart настройках выберите БД наблюдателей и лимит отправки сообщений для каждого запуска кампании: