Чтобы управлять трафиком в ходе А/Б-теста, используют различные инструменты сплит-тестирования. Если трафик идет к вам через платную рекламу или поисковики, можно пользоваться веб-аналитикой. Например, проведите A/B-тестирование с Google Analytics — если их счетчики установлены у https://deveducation.com/ вас на сайте. В Google Analytics есть отдельный функционал, целиком посвященный сплит-тестированию страниц — Google Optimize. Перед началом проведения сплит-теста стоит проверить, подходит ли он вам.
Статистическая значимость теста
При изменении нескольких показателей будет сложно определить, что именно повлияло на результаты. При емэйл-рассылках пользователям отправляется два варианта письма, и таким образом, маркетинговая команда узнает, какое письмо дало больший эффект с точки зрения прочтения и кликабельности. Прежний вариант «Расчет Разработка программного обеспечения цены» меняете на «Бесплатная консультация».
Распространенные ошибки в проведении исследования
Чтобы получить достоверные результаты, сайт должен иметь стабильный поток посетителей, регулярные конверсии, настроенные системы аналитики. Если это новый ресурс, то выборка может быть недостаточно репрезентативной. Поэтому лучше проводить тест именно на тех сайтах, у которых уже есть что такое аб тестирование сайта поток посетителей — как новых, так и постоянных. А/Б-тестирование — это инструмент, который поможет найти самые эффективные варианты для продвижения вашего сайта.
Как расставлять приоритеты гипотез при A/B-тестировании
Звучит сложно, поэтому давайте разберем терминологию и ее значение подробнее. Для сплит-тестирования делим трафик поровну между вариантом Б и исходной страницей А. Формулируем свое видение об одном, максимум двух изменениях, которые улучшат коэффициент конверсии страницы и ее производительность.
Никаких абстрактных «увеличить продажи» или «остановить падение количества регистраций». Смотрите на показатели страницы и думаете, в какую сторону их нужно менять. Поэтому хостинг-провайдеры сообщают на своих сайтах о крупных партнерах, а разработчики приложений хвалятся тем, что их продукт используют в условной Apple или в другой популярной корпорации.
При A/B тестировании основная нулевая гипотеза будет заключаться в том, что новая версия не лучше или даже хуже старой. Для нашего примера это утверждение, что новый коэффициент кликабельности (CTR) меньше или равен старому. Магазин теряет своих пользователей по мере того, как они проходят этапы этой воронки. Затем проводится A/B-тестирование, чтобы опробовать изменения, которые, как мы надеемся, повысят коэффициент конверсии от одного этапа к другому. Как правило, при A/B тестировании вариант, который дает более высокую конверсию, является выигрышным, т.е. Этот вариант может помочь вам оптимизировать ваш сайт для получения более высоких результатов.
Метод часто используется в веб-дизайне, типичные применения — исследование влияния цветовой схемы, расположения и размера элементов интерфейса на конверсию сайта[5]. В веб-дизайне часто тестируются две очень похожие веб-страницы (страница А и страница В), которые различаются лишь одним элементом или несколькими элементами (тогда метод называют A/B/n-тестированием). Страницы А и В показываются различным пользователям в равных пропорциях, при этом посетители, как правило, не знают об этом. По прошествии определённого времени или при достижении достаточно большого числа показов, сравниваются числовые показатели цели и определяется наиболее подходящий вариант страницы. Преимуществом метода является использование при проектировании объективных данных[4]. A/B-тестирование (англ. A/B testing, Split testing) — метод маркетингового исследования, позволяющий на основе статистики оценить влияние изменения на метрики продукта.
По увеличенному количеству кликов мы поймем, что изменение пошло на пользу. Например, мы хотим изменить цвет кнопки призыва к действию с красного на зеленый или переместить ссылку на правила возврата товаров из футера в боковое меню. Если вы хотите, чтобы сайт приводил вам клиентов и продавал, вам придется регулярно его обновлять. А еще нужно постоянно проверять, как контент воспринимают посетители и улучшать его, чтобы получить максимальную отдачу. Некоторые пользователи создают лендинг с помощью сервисов наподобие Unbounce. В такие сервисы часто встраивают функцию под названием Smart Traffic («Умный трафик»).
Как мы уже рекомендовали ранее, добавьте отслеживание дополнительных значений — их изменения тоже можно использовать в отчете и для составления дальнейших гипотез. В ходе оценки измеряют, как влияет изменение одного параметра на эффективность — дочитывания, время пользователя на сайте, использование форм обратной связи и так далее. Перевод статьи подготовлен в преддверии старта курса “Промышленный ML на больших данных”.
- Перевод статьи подготовлен в преддверии старта курса “Промышленный ML на больших данных”.
- Аналитика часто дает представление о том, что вы можете попробовать усовершенствовать.
- Сервис поддерживает проведение сплит-тестов, мультивариантных исследований, интеграцию с GA, имеет 7 критериев настройки таргетинга.
- Проверка гипотез в статистике — это способ проверить результаты исследования, чтобы понять, есть ли у вас какие-либо существенные результаты.
- Сыграть важную роль в повышении конверсии за счет описания может не только контент, но и его оформление.
Считается, что продолжительность набора статистики по каждому варианту должна составлять не менее 7-10 дней. Только тогда можно с уверенностью говорить, что полученные данные — не результат случайности или влияния каких-то внешних факторов. Предположим, изменение цвета приведет к тому, что кнопка будет больше бросаться в глаза и по ней начнут чаще кликать.
Анализируем все компоненты сайта, влияющие на получение этой выгоды. То есть надо решить, какое изменение будет тестироваться и по какой причине. А для этого сначала надо собрать статистику о текущем состоянии страницы, от чего отталкиваться и к чему стремиться.
Пример классического A/B-тестирования — тестирование страницы на сайте с разными кнопками призыва к действию. Если вариантов страниц больше, процесс называют A/B/N-тестированием. Если аудитория не растет, а замена кнопок не помогает, то стоит задуматься об изменении условий пользования. Один из трюков, которые применяют маркетологи, – триал, то есть пробный период.
В нашем примере это утверждение о том, что новый CTR будет больше старого. Проверка гипотез в статистике — это способ проверить результаты исследования, чтобы понять, есть ли у вас какие-либо существенные результаты. Наиболее важные и запутанные аспекты проверки гипотез — это определение нулевой и альтернативной гипотез. Затем выбираются метрики для измерения уровня вовлеченности пользователей. В нашем примере метрикой будет служить кликабельность кнопки «Buy Now».
Для начала решите, какую информацию вы сможете собирать и анализировать. Мы не просто предполагаем, а используем соответствующие аналитические инструменты, чтобы в первую очередь удостовериться, что у вас действительно есть проблема, и определить, где именно она находится. Компании самых разных масштабов от стартапов до крупных высокотехнологичных предприятий прибегают к А/В тестированию, чтобы сделать более осознанный выбор. Даже самое простое тестирование может помочь в принятии важных решений. А/В тестирование используется для определения наиболее эффективной версии продукта на рынке. Так что при проведении А/Б-теста важно выбирать правильное время и не прекращать исследование раньше срока.
Пробуйте разное количество вхождений ключевых слов и проверяйте, какая из стратегий написаний текстов работает лучше. Если еще задаетесь вопросом, нужно ли вам A/B-тестирование, то спросите себя, должен ли ваш сайт приносить больше прибыли. Если ответ положительный, то и ответ на этот вопрос будет положительным. В постановке целей добавляют основную метрику, изменения которой будут отслеживаться.