Как проводить A/B-тестирование в интернет-маркетинге: принципы, алгоритм, примеры

Могут ли незначительные параметры, такие как размер кнопки на сайте или фон в рекламном объявлении, оказывать ощутимое влияние на количество продаж? Да, еще как!

У каждого объекта могут быть разные вариации. Чтобы сравнить, какой из двух вариантов одного и того же объекта приносит больше конверсий, необходимо провести эксперимент – показать оба определенному сегменту аудитории и замерить эффективность каждого. Такой метод поиска наилучших вариантов продвижения в интернет-маркетинге называется A/B-тестирование или сплит-тест. Как провести такие исследования грамотно и интерпретировать результаты экспериментов, рассказали специалисты digital-агентства Hope Group.

Содержание:

• Основные принципы
• Последовательность действий
• Примеры использования
• Резюме

Основные принципы

В первую очередь отметим, что поиск наилучших вариантов через тестирование характерен не только для маркетинга. Существуют общие для многих сфер принципы, позволяющие получать релевантные данные для принятия управленческих решений на основе экспериментов.

Репрезентативная выборка

Чтобы делать выводы о том, повлияло ли какое-то изменение на поведение пользователей в целом, необходимо, чтобы достаточное количество людей нужной категории его увидело и протестировало. Чтобы определить, сколько мнений и от каких именно людей вам нужно для чистоты эксперимента, обратимся к статистике.

Все пользователи, о поведении которых вам нужно сделать вывод, – это генеральная совокупность. Все они принять участие в эксперименте не смогут, поэтому для него нам потребуется выборка. Она будет репрезентативной, если будет отражать структуру генеральной совокупности: по полу, возрасту и другим критериям, важным для анализа.

Размер выборки можно рассчитать по формуле, учитывающей доверительную вероятность, объем генеральной совокупности и погрешность. Но мы живем в 21 веке, поэтому рекомендуем использовать онлайн-калькулятор, который все сделает сам: socioline.ru, abtasty.com или их аналоги.

Ключевая метрика

Целью любого эксперимента является изменение какого-то конкретного параметра. Поэтому, перед запуском тестов, нужно определить, на какую метрику мы хотим повлиять. Без этого сложно будет оценить результат эксперимента. Это может быть любой показатель, поддающийся количественной оценке.

Например, повышение эффективности в виде CTR в рекламных объявлениях. После изменения одного элемента в самом объявлении может измениться не только метрика CTR, но и что-то еще: процент отказов или продажи с сайта. Но важно помнить, что эксперимент проводился ради CTR, а не побочно возникших отклонений.

Одно изменение

Чтобы быть уверенными на 100 %, что именно привело к изменению поведения пользователей, необходимо вносить только одно изменение в элемент в рамках эксперимента.

Например, владелец интернет-магазина хочет понять, кнопка «Купить» должна быть овальной или квадратной, чтобы на нее чаще нажимали посетители сайта? Или форма не имеет значения? Чтобы это проверить, измеряется текущее значение кликов по кнопке за определенный период в сегменте аудитории. Определяется целевое значение этого же показателя. Репрезентативной выборке показывается только эти два варианта формы кнопки. При этом важно не вносить дополнительных изменений в элемент: не менять цвет, размер, расположение, текст призыва к действию. Иначе будет непонятно, что повлияло на метрику. А выводы должны быть однозначные.

Читайте также: 8 наглядных кейсов по таргету во ВКонтакте от профи.

Фиксированная длительность эксперимента

Важно не бросать эксперимент на середине, если к этому моменту уже прослеживается какая-то тенденция в изменении или сохранности значения метрики. Потому что в последний момент может произойти всплеск, влияющий на окончательное решение по тесту. Или вы так и будете не до конца уверены, правильные ли выводы были сделаны, и придется начинать сначала.

Длительность эксперимента рекомендуем рассчитывать, опираясь на объем выборки, позволяющей достичь репрезентативности. Тестируя все ту же кнопку на сайте, важно оценить, какой объем трафика бывает на странице. Сколько потребуется дней с текущим объемом трафика, чтобы достаточное количество людей увидели кнопки разной формы? Этот временной отрезок и нужно зафиксировать как границы эксперимента.

Бюджет

Для большей части А/Б-тестирований в маркетинге нужны деньги: на разработку нескольких вариантов страницы сайта, рекламного объявления, письма для рассылки. Сократить расходы на разработку текстов можно с помощью использования нейросетей, например, AI ассистента на базе ChatGPT в SMMplanner.

Также нужен человек или даже целая команда, которая будет следить за чистотой эксперимента, анализировать результаты и предоставлять понятные всем заинтересованным лицам отчеты. В некоторых случаях нужны специализированные сервисы для сбора и обработки данных.

При этом эксперименты – это риск. Поэтому бюджет на них нужно планировать отдельно от того, который направлен на стабильную лидогенерацию, если речь идет о тестировании сайта или интернет-рекламы. И ожидания от бюджета на тесты должны быть четко сформулированы: понять, влияет ли параметр объекта на метрику, если да, то как. Нельзя ставить целью эксперимента увеличение прибыли в моменте. Не все держатели бюджетов это понимают. Больше информации о планировании бюджета можно найти в блоге агентства Hope Group.

Последовательность действий

Чтобы пройти полный цикл от планирования до подведения итогов эксперимента, необходимо совершить последовательно 5 действий:

1. Определить цель эксперимента в формате гипотезы.
2. Создать 2 варианта объекта эксперимента.
3. Определить структуру выборки и рассчитать ее объем для обеспечения репрезентативности.
4. Запустить тест объекта в двух вариантах.
5. Проанализировать влияние изменения объекта на метрику из гипотезы.

Цель тестирования в интернет-маркетинге – определить изменение какого-либо объекта, которое приведет к позитивному изменению ключевой метрики. До проведения тестов исследователь не знает, как именно изменение объекта повлияет на метрику, но формулирует гипотезу. Это идея, подлежащая проверке с помощью эксперимента. Она формулируется по формуле: «Если …, то …, так как …» и содержит целевое значение ключевой метрики.

При создании вариантов объекта эксперимента руководствуемся принципом – одно изменение за раз. Даже незначительное дополнительное изменение может дискредитировать итоги тестирования. Например, протестировав изменение формы объекта, можно в следующей итерации проверять изменение размера или цвета. Последовательно изменяя объект, можно найти его максимально конверсионный для пользователя вариант.

Наличие четко сформулированного портрета целевой аудитории поможет быстрее определиться с параметрами выборки для эксперимента. Что касается сроков проведения, нужно в среднем 1-2 недели, чтобы охватить нужный для релевантности объем аудитории.

Определившись с параметрами и целями эксперимента, можно переходить к его запуску. Здесь процесс зависит непосредственно от объекта тестирования.

Эксперименты с объектами на сайте

Как проводить А/Б тестирование сайтов? Необходимо создать две версии страницы, отличающиеся только одним элементом. Разделить трафик так, чтобы каждый вариант посмотрели представители целевой аудитории. Сделать это можно с помощью сервиса Яндекс Аудитории в разделе создания экспериментов.

В настройках эксперимента можно указать его название и прописать, по какому счетчику Яндекс Метрики должна собираться статистика. Подтвердить равномерное распределение аудитории 50/50 между версиями страниц сайта с измененным элементом. И ждать, когда наберется достаточный объем пользователей, которые взаимодействовали со страницей. Затем с помощью подключенных сервисов аналитики оценить значение ключевой метрики из гипотезы.

Эксперименты с рекламными объявлениями

В рекламном объявлении, в зависимости от площадки, можно менять:

• размер текста на изображении и его содержание;
• сочетание цветов и элементов иллюстрации;
• текст, сопровождающий графическое изображение.

То есть экспериментировать с визуалом и смыслом. Если вы пользуетесь сервисом Яндекс Директ для продвижения товаров и услуг, здесь же можно проводить A/B-тестирование. Для этого достаточно создать копию рекламной кампании и внести в нее одно изменение.

Чтобы разделить трафик между объявлениями, можно также воспользоваться сервисом Яндекс Аудитории, как это было описано в предыдущем разделе с тестированием изменений на сайте.

С визуалом для рекламы и соцсетей удобно работать в простом и функциональном онлайн-редакторе Холст. В нем вы можете создать несколько вариантов креативов на базе готовых шаблонов или сохранить свой дизайн в редактируемом формате, чтобы позже быстро внести нужное изменение в визуал.

Эксперименты с e-mail рассылками

Рассылки продолжают оставаться эффективным методом лидогенерации, поэтому и в них проводятся A/B-тестирования. Менять можно разные элементы:

• заголовок;
• прехедер;
• тексты;
• изображения;
• кнопки;
• порядок блоков;
• день и время отправки писем.

Чтобы проверить, что лучше заходит подписчикам, можно равномерно разделить однородную базу в автоматизированном сервисе или в excel-таблице. Отправить письма, отличающиеся только одним элементом, и отследить метрику, на которую направлен эксперимент.

Это может быть:

• процент открываемости;
• процент кликабельности;
• процент отписок и жалоб на спам.

Эксперимент с любым объектом успешен, если значение метрики в конце обозначенного периода его проведения на репрезентативной выборке для одного из вариантов больше или равно гипотетическому.

Читайте также: Как продавать с помощью лид-магнита в блоге: тема, оформление, прогрев.

Примеры использования

Получилось много теории, пора перейти к практике. Какие управленческие решения в жизни реальных компаний были приняты на основе тестов с изменением лишь одного объекта в рекламных коммуникациях?

Первый кейс принадлежит бренду +size одежды для женщин, одними из инструментов продвижения которого являются РСЯ и товарные объявления. Каждый сезон компания обновляет фотографии, в том числе для рекламных креативов. В осеннем сезоне возник вопрос, какие фото использовать: имиджевые или каталожные. Можно обсудить выбор с командой, довериться чьей-то экспертизе или чутью. А можно запустить оба варианта и проверить, объявления с какими фотографиями приведут больше посетителей на сайт.

Эксперимент показал, что имиджевые фото в объявлениях приводят более готовую к покупке аудиторию. Вывод был сделан на основе анализа метрик на сайте компании. И объявления с таким стилем фотографий получили больший бюджет.

Второй кейс тоже от бренда одежды, в этот раз с позиционированием, основанном на производстве из натуральных материалов. Компания сделала акцент в продвижении на методике сотрудничества с блогерами. Аспект, который нуждался в тестировании, – тематика блогов: лайфстайл с аналогичными ценностями на натуральность и экологичность или инфлюенсеры, специализирующиеся на обзорах одежды.

Исследование подтвердило гипотезу о том, что профессиональные стилисты и обзорщики приносят наиболее активный отклик и переходы на страницу бренда. В то время как реклама у лайфстайл-блогеров влияла совсем на другой показатель – узнаваемость бренда, через охваты. Оба метода продвижения можно использовать, но цель по продажам лучше закроет первый.

Третий кейс демонстрирует результат тестирования изменений непосредственно на сайте компании. В рамках одного из экспериментов исследования к карточке каждого товара был добавлен блок с пятью преимуществами. Кнопки, расположение объектов, другие блоки остались на месте. Добавился только новый объект.

В каждом кейсе не первый по счету сплит-тест сразу приносил кратное увеличение значения метрики. К этому нужно быть готовым и продолжать искать, следуя методике.

Читайте также: Масштабирование рекламных кампаний в Яндекс Директе – как увеличить трафик и конверсии без потери рентабельности.

Резюме

Методика А/Б или сплит-тестирования – один из инструментов влияния на эффективность интернет-маркетинга. Последовательное сравнение элементов с одним единственным отличием показывает, на что больше откликается аудитории. Чтобы эффективно пользоваться данным инструментом, эксперты digital-агентства Hope Group предлагают делать 5 действий:

1. целеполагание;
2. создание двух объектов для экспериментов;
3. определение репрезентативной выборки;
4. сбор данных;
5. анализ результатов.

Таким образом можно найти оптимальные варианты интернет-продвижения товаров и услуг вашего бренда.