А/В тестирование: что это и как провести
Лучший способ узнать, что нужно потенциальному клиенту, — спросить у него самого. Для этого используют A/B тестирование в маркетинге. Оно помогает эффективно проверить гипотезы. Расскажем, что такое A/B тест и как его провести.
A/B тестирование (или сплит-тестирование) — это способ исследования, основанный на сравнении двух гипотез. Участников делят на две группы: контрольную и экспериментальную. Каждой дают разные варианты одного продукта. А затем оценивают, какой из них приняли лучше.
Эксперимент помогает выбрать оптимальный способ продвижения, вид креатива или более подходящий интерфейс сайта.
A/B тестированием занимаются в маркетинге, продуктовых исследованиях, IT и других сферах.
Кто проводит
Метод востребован в различных сферах бизнеса. Его конечная цель — понять, каким способом компания сможет заработать больше денег. С помощью A/B тестирования проверяют разные гипотезы.
Кто может быть инициатором:
- Маркетологи
A/B тестирование в маркетинге — одно из самых популярных исследований. Маркетологи проверяют рекламные креативы, офферы для клиентов, рекламные рассылки и т. д.
- Продуктовые менеджеры
Продуктовые исследования, в отличие от маркетинговых, обходятся дороже: нужно создавать две версии продукта, а не просто менять внешний вид лендинга. Так что их применяют реже.
- Аналитики
Зачастую именно они занимаются сплит-исследованиями даже в продуктовых и маркетинговых командах. Их цель — собирать метрики, выдвигать гипотезы и анализировать их эффективность на основе полученных данных.
- Дизайнеры и разработчики
A/B тестирование сайта или приложения — оптимальный способ оценить качество . Исследование помогает понять, есть ли смысл внедрять новую фичу и на какой интерфейс аудитория отреагирует лучше.
Зачем нужно сплит-тестирование
A/B тестирование требует отдельного бюджета: вместо одного варианта нужно сделать два или быть готовыми отказаться от новой версии, если окажется, что аудитория лучше принимают старую. Во многих сферах это исследование позволяет качественно улучшить показатели.
С чем помогает A/B тестирование:
- Выбрать лучший креатив
Допустим, вы хотите запустить имейл-рассылку, но не знаете, насколько хорошо пользователи ее воспримут. Если есть значительная база клиентов, можно быстро и недорого проверить ее качество.
Для этого выберите группу пользователей, поделите на две части и каждой отправьте один из двух креативов. Какой принесет больше конверсии, тот и эффективнее — его нужно рассылать всем клиентам.
Аналогично можно проверять лендинги, рекламные офферы, смс-рассылки и так далее.
- Проверить новый функционал
A/B тестирование сайта или приложения рекомендуют проводить при каждом значимом обновлении. Это позволит понять, есть ли смысл тратить ресурсы на внедрение новой функциональности и не ухудшит ли она показатели.
Создайте рабочий прототип новой версии (например, дизайн сайта) и проверьте на небольшом количестве пользователей. Если число заказов вырастет, есть смысл его менять. Если уменьшится, лучше оставить все как есть.
- Увидеть реакцию на продукт
Главный плюс A/B тестирования — максимальная репрезентативность. Можно получить конкретные метрики.
Стоимость тестов может быть очень высокой. Но с простыми опросами достигнуть того же результата не выйдет.
Виды
Сплит-тестирование бывает трех видов.
- Стандартный
Тестируют две версии, которые мало чем различаются. Например, одна посадочная страница, но с разным цветом кнопок.
Такие тесты самые эффективные, но подходят для небольших изменений или проверки рекламных гипотез, когда есть два креатива.
- Многовариантный
В нем трафик распределяют по нескольким исследуемым объектам. Каждый из них состоит из разных комбинаций дизайна. Это более эффективно, когда хотят внедрить масштабные изменения. Можно узнать, как аудитория отреагирует на несколько связок изменений, например, сочетание из разных кнопок, логотипов или цветов.
- A/B/n тест
Помогает узнать, как влияет на конверсию несколько изменений одного показателя. Например, можно проверить, как разные призывы к действию на одной и той же странице скажутся на конверсии.
Этапы
A/B тестирование обычно проводят по одному и тому же сценарию.
- Создание гипотезы
Этим фактически задают цель исследования. Гипотеза должна формулировать, как достичь лучшего результата. Например, «упрощенная форма регистрации повысит конверсию на сайте».
К основной гипотезе создают нулевую с противоположным утверждением. То есть «старая форма регистрации дает большую конверсию, чем новая упрощенная».
Это позволяет обозначить два варианта развития события и цель, которой нужно добиться, чтобы доказать подлинность.
- Установка метрик
A/B тестирование стоит на цифрах и измеримых показателях. Оценивать результаты исследования на глаз — неэффективно и бессмысленно.
Для тестов потребуются количественные метрики. Ими могут быть:
- Показатель вовлеченности — для проверки контента.
- Кликабельность — для креатива.
- Цена целевого действия — для объявления таргетированной рекламы.
- Пожизненная ценность клиента — для сферы с продолжительным циклом продаж или допродаж.
Важно выбрать максимально репрезентативную метрику для вашей ситуации.
- Настройка выборки
Для чистоты эксперимента нужно правильно определить целевую аудиторию. От этого зависит качество исследования.
Можно ошибиться и отобрать слишком мало пользователей или привлечь к исследованию аудиторию из сегментированной базы. Для вычисления размера выборки есть специальный калькулятор.
В среднем для проведения тестов придется задействовать от 5% до 30% базы пользователей, в зависимости от их фактического количества.
- Определение сроков
В них важно не ошибиться. В противном случае результаты могут оказаться случайными. Если речь об A/B тестировании сайта, необходимо проводить эксперимент не менее двух недель.
Также важно обеспечить параллельность процессов — не стоит проверять гипотезы по очереди. В этом случае результат может «загрязниться» из-за любых внешних событий.
- Проведение тестов
Большую часть маркетинговых гипотез можно проверить вручную. Для этого в большинстве сервисов есть встроенные инструменты. Например, в «Яндекс Директе» можно проверить любую посадочную страницу или объявления.
В социальных сетях можно протестировать гипотезы вручную, просто показывая разные объявления или креативы по очереди.
Аналогично можно действовать и при запуске почтовых рассылок, как самостоятельно, так и через специальные сервисы.
Другой способ — воспользоваться отдельным ПО, о нем поговорим ниже.
- Работа с результатами
Нужно сравнить два показателя друг с другом и проверить разницу на прохождение порога статистической значимости. Для этого используют метод матстатистики, например, критерий хи-квадрата Пирсона.
В специальных сервисах это можно сделать автоматически.
Если исследования не показали статистически значимого результата, с данными все равно можно работать. Например, сравнить другие показатели или сегментировать аудиторию.
Может оказаться, что изменения на сайте привели к значимому росту конверсии у одной из категорий пользователей.
Сервисы и инструменты
Выделили пять популярных сервисов:
- Google Optimize. Удобный инструмент для тестирования отдельных модулей сайта. Позволяет сравнить эффективность двух страниц, проверить все элементы и отследить реакцию на разные офферы для клиентов. Работает бесплатно на основе Google Analytics.
- Битрикс24. Работает на основе CMS «1С-Битрикс: Управление Сайтом». Есть только в платной версии, лицензия стоит от 40 900 рублей. Позволяет тестировать сайты по встроенным сценариям, проверять отдельные страницы, лендинги, карточки товаров и т. д.
- Visual Website Optimizer. Сервис с гибкими настройками. Работает в связке с Google Analytics. Цена — от 99 долларов, есть пробная версия на месяц.
- UX Rocket. Российский сервис с функциями сбора поведенческой аналитики. Есть встроенный помощник, который самостоятельно рассчитает сроки. Цена — от 2 500 рублей.
- Optimizely. Громоздкое корпоративное решение для больших компаний. Позволяет тестировать компоненты сайта или рекламных инструментов, таргетировать аудиторию по многим критериям и персонализировать контент. Цена — от 100 долларов.
Мечтаете о своем бизнесе? Совкомбанк дает до 50 млн рублей на старт или развитие.
Для вас гибкие условия: «Легкий кредит», «Овердрафт», «Кредитная линия» и другие решения. Быстрое одобрение — минимум формальностей. Льготные программы для ИП и ООО.
Оценивайте свои финансовые возможности и риски. Изучите все условия в разделе «Бизнесу»/«Кредиты» на сайте банка sovcombank.ru
Заключение
A/B тестирование — простой и эффективный способ проверки гипотез. Можно сравнить два варианта и выбрать лучший, основываясь на количественных показателях.
Перед запуском необходимо сформулировать гипотезу, отобрать пользователей, определить метрики и проанализировать результаты.
Проводить маркетинговые A/B тесты можно на разных рекламных площадках — у большинства есть соответствующий функционал. Также можно воспользоваться специальными сервисами.
Вся информация о ценах актуальна на момент публикации статьи.
Для тех, кто ценит свое время
Подпишитесь на еженедельную email-рассылку и узнавайте о самых интересных публикациях.
Лучшие статьи у вас под рукой!
А еще интерактивы и мемы — просто подпишитесь на наши соцсети
Делать нужно то, что любишь. Я люблю деньги, поэтому пишу о них, личном бюджете и экономике.
Комментарии
Комментарии пользователей проходят модерацию, поэтому появляются не сразу
