Сплит-тестирование от а до ю. A b тестирование или сплит тест — что это такое

В этой статье я расскажу о семи эффективных сервисах для сплит тестирования лендинга . Сплит тестирование или А/Б тестирование это способ улучшить конверсию лендинг пейдж, сплит тестирование позволяет выявить наиболее эффективные элементы продающей страницы и в следствии этого повысить конверсия, для этой цели можно использовать специальные сервисы А/Б тестирования которые упрощают эту задачу.

Для начала рассмотрим, что такое сплит тестирования лендинга , метод очень простой, тестируются отдельные элементы, такие как заголовок, призыв к действию, кнопка купить и т.д. в некоторых случаях тестируют расположение элементов лендинга или разные лендинги, которые сравнивают с первоначальным образцом.

Какое влияние сплит тестирование оказывает на конверсию?

Заранее сказать какой будет конверсия продающей страницы очень сложно, все требует проверки на практике через тестирование, в некоторых случаях после например замены кнопки купить на другой вариант, конверсия возрастает в разы, по сути тестирование отдельных элементов лендинга позволяет проанализировать поведение пользователей и понять что лучше всего способствует покупке. Тестировать разные варианты лендингов, когда сразу изменяется много элементов не целесообразно вы не поймете что конкретно повысило конверсию. Протестировав различные элементы лендинга можно выйти на новый уровень конверсии, перед запуском сплит тестирования вам необходимо определиться какие элементы будут подвергаться тестированию.

Этот сервис представляет собою продвинутый онлайн редактор, в котором вы можете изменять те элементы которые вы решили протестировать. Доступны разные режимы тестирования: А/Б тестирование, многофакторное тестирование… вариантов тестирования много, есть демо доступ на 15 дней.

Минимальная стоимость 29$ в месяц

  1. LPgenerator

Представляет собой конструктор лендинг пейдж с возможностью сплит тестирования, но протестировать свой лендинг нельзя.

  1. Optimizely

Один из самых продвинутых сервисов для А/Б и многофакторного тестирования.

Позволяет проводить тест для различных платформ.

Также присутствует возможность тестировать цели и ЦА.

В режиме реального времени можно наблюдать результаты тестирования. Есть бесплатный тариф с ограниченным функционалом.

Этот сервис предоставляет массу возможностей для тестирования лендинга с русским интерфейсом, есть онлайн редактор.

Доступные виды тестирования: многостраничные и многовариантные тестирования и т. д.

Позволяет отслеживать огромное количество показателей. Цены зависят от трафика посадочной страницы: 5000 посетителей -39$, 40000 – 140$, 200000 – 390$

Это очередной сервис с расширенным функционалом для сплит тестирования лендинга, доступна настройка целей, выбор различных версия для компьютера или мобильного устройства. Присутствует онлайн редактор посадочных страниц.

Результаты отслеживания результатов тестирования в виде наглядных графиков.

Также сервис предоставляет готовые шаблоны для тестирования с заданными настройками и целями, также сервис выдает идеи и подсказки после анализа вашего лендинга.

По ценам: бесплатный пробный период 30 дней, что довольно неплохо.

Цена зависит от количества трафика, как и предыдущем сервисе, 1000 – 59$, от 30000$ до 300000 155$ – 875$

6. Clickthroo

Сервис для А/Б тестирования, из продвинутых настроек это таргетинг по ГЕО и аналитика, также присутствует онлайн редактор.

По ценам: пробный доступ 14 дней, но после соответствующего запроса в техническую поддержку. Цены зависят от количества проектов и трафика по ним от 95$ до 1195$ с безлимитом по проектам.

В общем этот сервис это зарубежный аналог LPgenerator с аналогичными функциями.

На этом список сервисов для сплит тестирования лендингов закончен, однако таких сервисов намного больше, в принципе по функционалу они мало отличаются чем отличаются, принципиальное различие только в том, что одни сервисы позволяют тестировать лендинг пейдж на собственном хостинге, а другие представляют из себя онлайн редакторы для создания лендинг пейдж со встроенными возможностями для сплит тестирования.

Отличие А/Б тестирования от многофакторного в том что при А/Б проверяется один только элемент, а в случае с многофакторным для тестирования выбирается несколько элементов лендинга, например цвет кнопки купить, призыв к действию и т.д.

Конечно семью сервисами весь список сервисов для тестирования лендинга не исчерпывается, их наверное не семь, а все 77. Единственный недостаток, на мой взгляд это то что все они платные, а большинство из них не позволяют протестировать лендинг на собственном хостинге.

Существуют и другие варианты тестирования посадочных страниц, эти возможности будут рассмотрены в следующих статьях. В видео к статье я рассмотрю вариант создания и А/Б тестирования лендинг пейдж применительно к платформе Вордпресс с помощью плагина для создания продающих страниц, этот способ бесплатен и без привязки к онлайн платформе, сплит тестирование лендинга можно очень просто и удобно выполнить на базе вордпресс.

Ошибки при проведении сплит тестирования

  1. Короткая продолжительность тестирования, это как правило менее 100 кликов в день и меньше двух недель на тест. Результаты тестирования статистически незначительны и могут быть сделаны неверные выводы о конверсии.
  2. Тестирование всего подряд, без какой либо стратегии.
  3. Еще вариант: сделать абы как 3-5 лендингов и смотреть что выстрелит, может не выстрелить не один.

Что еще важно знать о сплит тестировании

Конверсия это относительный показатель! Это необходимо учитывать.

Необходимо составить план теста.

Тестировать только один элемент лендинга.

Не делать коротких тестов, дать тесту время набрать статистику.

Видео на тему статьи .

Вам также может быть интересно

В интернет-маркетинге только и разговоров, что о сплит тестах и A/B тестированиях. Особой популярностью пользуются «шокирующие» результаты сравнительных анализов «синенькой» и «красненькой» кнопочки. Еще можно тестировать влияние разных заголовков на конверсию, фон страницы на время просмотра, сложность формы на количество подписок, фазы луны на удой коров.
Тестировать действительно нужно, особенно когда в команде возникают противоречия, или заказчик не соглашается с предложенным решением.

Сегодня мы рассмотрим простой, мощный и бесплатный инструмент для проведение сплит тестов. В статье вы найдете пошаговую инструкцию по запуску A/B тестирования с помощью Google Analytics.
Почему именно Google Analytics, а не встроенные инструменты сервисов для создания целевых страниц? Скорее всего, потому что от количества маркетинговых инструментов можно сойти с ума. Лучше раскрыть функционал того, чем и так пользуешься.

Как всегда запускать сплит тест будем на живых страницах. Очень удобно, когда и работу делаешь, и полезные посты пишешь. Рекомендуем.

Что нам потребуется?

  • Веб-мастер: 1 шт.
  • Объекты для теста: 2 шт. и более
  • Представление в Google Analytics с настроенной целью: 1 шт.

Наши подопытные

Тестировать мы будем страничку очередного нашего мероприятия.
Точнее 2 формы для подписки с разными призывами к действию. Выяснить мы хотим: насколько оправдывает себя «лидогенерирующий мухлеж», когда подписка на рассылку не называется подпиской.

Далее нажимаем кнопку «Далее»

На практике запуск сплит тестирования в Google Analytics не сложнее заказа пиццы в ресторане.

    1. Заходим в наше представление Google Analytics.
    2. Выбираем раздел отчетов
    3. В отчетах выбираем «Поведение»
    4. Жмем «Эксперименты».

Даем название нашему эксперименту, выбираем цель эксперимента (у нас это подписка на рассылку). Также на этом шаге можно настроить процент трафика, который будет задействован в тесте, в дополнительных настройках можно задать степень достоверности и минимальное время проведения эксперимента.

На втором шаге настройки мы указываем URL тестируемых страниц и их названия, по которым можно будет отличить одну от другой в отчетах. Желательно поставить галочку, как показано на картинке ниже. Это позволит во всех остальных отчетах Google Analytics считать тестируемые страницы за одну, в отчете A/B тестирования по-прежнему это будут две разные страницы.

Третий шаг настройки генерирует нам код, который необходимо установить после открывающего тегана всех страницах, участвующих в сплит тесте. Не знаете как это выполнить самостоятельно — не беда. Заботливый Гугль реализовал у себя отправку кода по электронной почте, отправьте код своему веб-мастеру.

Последний шаг настройки — проверка наличия счетчика Google Analytics на тестируемых страницах. Нам экран проверки выдает ошибку, т.к. мы используем Google Tag Manager. Тем не менее, статистика собираться будет. Поэтому не обращаем внимания, жмем «Начать эксперимент».

Вот и все, эксперимент запущен. Проверять результаты запущенного сплит тестирования можно в этом же разделе Google Analytics.

Ждите от нас статьи: «Шокирующий результаты А/Б теста, как текст в форме влияет на Лидогенерацию!»

Маркетинговые исследования постоянно развиваются. Ежегодно интернет коммерция набирает обороты. Владельцы сайтов, хотя получать точные аналитические данные, которые бы помогли им понять эффективность . Это способствует увеличению конверсии. Поэтому разрабатываются новые технологии для проведения различных исследований. Сплит тестирование один из таких эффективных методов, который позволяет владельцу сайта или интернет магазина получить всю необходимую информацию о своём ресурсе.

Что это такое

АБ тест для оценки различных параметров интернет ресурса. Данный метод был разработан маркетологами для оценки эффективности того или иного ресурса. С помощью данного метода, можно определить, насколько эффективна данная внедряемая в сайт технология.

Интернет коммерция направлена на продажу товаров или предоставления определённых услуг пользователю. Если, к примеру, посетитель находится в интернет магазине, то он должен либо добавить понравившейся ему товар, либо приобрести его.

Если этого не происходит, или если на одной из страниц сайта упали продажи, тогда необходимо провести оценку эффективности данного ресурса. Для этого используются различные маркетинговые инструменты. Одним из более современных и популярных сегодня считается ab тестирование.

При использовании данной технологии проведения оценки определённых частей сайты, можно повысить покупательную способность и привлечь больше клиентов на конкретный ресурс или страницу.

Для чего проводится

Проводить подобный метод тестирования данных на своём сайте или странице, а также интернет магазине нужно всем владельцам порталов. Оценка проводимого тестирования позволяет оценить эффективность заложенной технологии продаж или подачи информации для пользователя.

Первое для чего в основном проводится такой метод оценки, это определение слабых сторон в конкретном ресурсе. Технология тестирования позволяет вычислить насколько ресурс или конкретная страница эффективна.

Второе назначение проводимых анализов, это подбор эффективной замены на ресурсе. Предположим ситуацию, при проведении анализа было определено, что конкретный участок на сайте, имеет низкую конверсию, либо посетители данной страницы не задерживаются на ней, хотя информация постоянно обновляется.

Разработчикам для выявления слабой стороны ресурса необходимо будет провести оценку, а также подключить метод сравнения с новыми разработками, чтобы определить, лучше ли новые внедрения, либо они несут ещё более отрицательные показатели.

После проведённой такой оценки и получения статистических данных за определённое время сессии, выделенной для тестирования, можно будет понять, какой метод для улучшения лучше внедрить из тех что были подвержены анализу.

Как проводится

В интернете, аб тестирование преследует цель выявления положительных и отрицательных сторон на определённом портале. Данный метод достаточно многогранен. Его технология применения позволяет определить с высокой точностью, насколько эффективен, тот или иной внедряемый тип данных или информации.

В основном технология применяется к следующим видам информации:

  • графическая. Данная группа очень обширна. Она содержит в себе большое количество такой информации для проверки. Это может быть как полностью оформления страницы или всего сайта, так и отдельные графические элементы, в виде рамок и кнопок перехода или покупок;
  • название статей. Заголовки и подзаголовки и то на что обращает внимание пользователь после графического оформления на посещаемом ресурсе. Они должны привлекать внимание читателя и приглашать его ознакомиться с представленным материалом;
  • размеры. Этот пункт относиться больше к параметрам страниц, нежели к информативности. Размеры оформляемых объектов внутри ресурса очень важны, так как они должны быть гармонично подобран, чтобы не раздражать и не отвлекать посетителя ресурса;
  • объёмы. Также как и предыдущий, является параметром. Объёмы нужны для того чтобы грамотно расположить текстовые и графические элементы. Это необходимо для предотвращения перенасыщения страницы объектами;
  • цены, предложения, акции. Тут необходимо грамотно подбирать предложения для посетителей портал, чтобы они были заинтересованы в приобретении конкретного товара и оформлении услуги.

На примере технология проверки через сплит тестирование выглядит следующим образом:

Есть интернет магазин, на котором расположено порядка 50 страниц с товарами. Каждая такая страница имеет неплохую конверсию, и покупки совершаются довольно часто. Однако есть одна страница с товаром, на которую пользователи внимание практически не обращают. Назовём эту страницу «А».

Для того чтобы определить насколько эффективна данная страница с продукцией, и определить её слабую сторону, необходимо провести её анализ. Для этого следует создать клон страницы с доработанным дизайном и подзаголовками. И настроить алгоритм посещений так, чтобы половина пользователей, переходя на данный товар, попадали на страницу «А», а другая половина, на разработанную страницу с доработками «Б».

После этого определяется промежуток времени, для замера поступающего траффика пользователей. Определим эти рамки 24 часами. После этого производим контрольный замер, по результатам которого определяем на какую из страниц «А» или «Б», было больше уделено внимание пользователя, и где больше совершались продажи товаров. Та страница, на которой больше процент активности пользователей и будет считаться более востребованной.

Поступающий траффик людей распределяется в случайном порядке на каждую из страниц. Это означает, что определённый алгоритм не нацелен на пропускную способность потока, на конкретную страницу. Все посетители попадают на ресурс благодаря случайному распределению.

Если после проведения тестирования оказывается, что вариант «Б» по рентабельности ниже. Тогда, все действия начинают повторяться вновь. Интересно в данном способе определения эффективности то, что с помощью его, банальным перебором возможных более подходящих вариантов, можно найти конкретный объект, который нужно заменить для улучшения спроса на информацию либо товар предоставляемом на самом сайте.

Люди, посещая ресурс своим выбором, как бы голосуют за конкретный образец по тому или иному виду. Изучая его, аналитики и маркетологи могут понять, насколько эффективен внедряемый метод. Чтобы ускорить данный процесс и не тестировать каждый определённый блок. Можно воспользоваться системой комплексного проведения анализа. По нему можно выставить сразу несколько параметров необходимых для оценки проведённых действий.

Эффективность метода

Проведение обширных анализов эффективности конкретного модуля определяют уровень интереса пользователей на конкретном ресурсе. Тест а б, достаточно эффективный метод по этой оценке.

По сути, он лишь заключается в том, чтобы распределить между объектами «А» И «Б» входящий трафик пользователей. Пользователи самостоятельно определяю для себя более эффективный метод путём своего повышенного спроса к нему.

Данная технология построена на формировании пользовательского спроса. По нему каждый из участников, сам того не подозревая вносит свой голос общую систему оценки действия определённого блока на странице. Именно эти показатели от каждого такого уникального посетителя и формируют общий спрос.

Изучив такую модель проведения анализа по типу тестирования АБ можно сделать вывод, что данная технология достаточно эффективна при определённых видах деятельности, основным из которых является интернет коммерция. Полезность проведения подобных действий заключается и в общей оценки рентабельности того или иного сайта.

Современные технологии проведения данного метода определения лучшей из представленных конструкций, также даёт возможность не просто сравнивать отдельные элементы на ресурсах или его страницы, но и целые сайты. Общая оценка эффективности даёт понять, насколько пользуется спросом данное предложение на интернет рынке.

Руководствуясь полученными статистическими данными, можно понять для себя, какие продукты на рынке более выгодны по одному из заложенных при тестировании понятий. Комплексное принятие подобных мер помогает всесторонне провести оценку эффективности заложенной информации на конкретном сайте.

Если видно, что информация становиться не востребованной и уровень уникальных посетителей начинает снижаться аб тест позволит изучить все характеристики и условия, из-за которых возникли подобные отрицательные изменения и поможет улучшить результат, вернув пользователей на конкретную страницу.

Как провести самостоятельно тестирование

Данный вид исследований можно провести и самостоятельно. Главное следовать определённому алгоритму действий и придерживаться основных правил, чтобы получить точные статистические данные по конкретному объекту.

Для начала определиться с самим объектом исследования, чтобы выделить основную цель для тестирования. Следует понимать, из-за каких возможных факторов произошло снижение конверсии. Для этого нужно отметить точный момент, когда спрос стал снижаться. От этой точки следует провести параллель к тому объекту, который ближе всего по дате снижения спроса был изменён.

После того как объект будет найден, следует отметить срок проведения проверки данных. Слишком большие сроки не желательно устанавливать, так как общая оценка эффективности от этого будет более размытой.

Так-же сплит текст можно использовать в . Чтоб этому научиться - можете посетить и научиться пользоваться сервисами и для анализа данных.

Сплит-тестирование заслуженно считается самым надежным инструментом оптимизации конверсии. Любое изменение на сайте, лендинге необходимо проверить. Интуитивно понять, каким будет результат ваших правок, невозможно. При этом необходимо учесть ряд важных моментов: какие элементы тестировать, сколько времени, на каком трафике.

В этой статье вы узнаете ответы на 10 часто задаваемых вопросах о сплит-тестировании.

Когда необходим тест?

Как правило, у маркетолога несколько версий заголовков, тематического изображения, лид-формы, цвета кнопки CTA и т.д. Это только основные варианты, а на практике целевая страница подобна пазлу с сотнями вариантов сборки. Тесты необходимы всегда. Конечно, если вы заинтересованы в повышении конверсии.

Нет предела совершенству, и с текущего показателя 1% можно спокойно «прыгнуть» до 10%. Лидеры рынка берут планку в 20-25%. При том, что ничем сверхъестественным они не занимаются. Просто тестируют. Постоянно.

Безусловно, в начале следует четко поставить цель — что вы хотите изменить и какого результата добиться. Что это даст посетителям страницы, как облегчит совершение целевого действия? Помните правило арифметики: «От перестановки мест слагаемых сумма не меняется». Поэтому тестируемые изменения должны быть значимыми.

Сколько элементов следует тестировать?

Предположим, у вас роится в голове куча идей: и оффер надо изменить, и поле с телефоном в форме захвата убрать, и отзывы добавить, и... еще много чего. Однако, торопиться не стоит. Сравнивайте последовательно по одному элементу. Например, 2 дизайна лид-формы. Затем протестируйте заголовок и так далее.

Дело в том, что у вас должна быть полная ясность: как изменение конкретного блока повлияло на конверсию. При тесте двух и более элементов это невозможно.

Сколько версий страницы запускать одновременно?

Еще один количественный вопрос: у вас есть 4 версии заголовка, как их тестировать? Опубликуйте одновременно 2 варианта, затем еще 2 и в конце сравните победителей каждой пары. Как на чемпионате мира — игра на выбывание.

Но если у вас достаточное количество трафика и времени на эксперимент, можно запустить мультитестинг. Сразу 4 версии и более. Важно, чтобы они отличались только по одному параметру.

Какой трафик необходим для достоверных результатов?

Большинство экспертов рекомендуют 2,5-3 000 конверсий на каждую из версий. Для многих бизнесов это абсурдно, потому что придется ждать результатов полгода, а, может, и больше. Сплошь и рядом лендинги со 100 целевыми действиями в месяц. Представляете, сколько времени им потребуется на 3 000?

Дело даже не в количестве трафика, а в статистической значимости теста. Когда вероятность превосходства одного варианта над другим свыше 95%.

Мы уже рассматривали проблему . Напомним, что сервис Yagla позволяет определить победителя уже при 20 достижениях цели благодаря методике «жадного» A/B тестинга.

Как A/B тест влияет на SEO?

Расхожее мнение о дурном влиянии сплит-тестирования на позиции в поисковиках совершенно беспочвенно. Поисковые роботы не воспринимают 2 версии страницы как дублированный контент. В конце концов у того же Google есть инструмент для экспериментов Website Optimizer.

Если уж совсем боитесь, закройте контент одной из версий тегом «noindex».

Когда останавливать тест?

Обычно инструменты A/B тестинга автоматически сигнализируют о достижении статистической значимости, которая является «финишной чертой». Ни в к коем случае не делайте выводов после 3-4 дней эксперимента.

Дело в том, что еще спустя еще несколько дней показатели могут выровняться. В конечном итоге нужно убедиться в четкой взаимосвязи результата с внесенными изменениями.

Что нужно тестировать?

В 95% случаев существенное повышение конверсии приносят правки следующих элементов:

  • Заголовок страницы. Это оффер, суть вашего торгового предложения. Его следует тестировать в первую очередь, потому что посетители решают исследовать страницу именно по заголовку.
  • Изображения. Особенно изображение на первом экране. Очень часто картинка является статичным элементом, вписанным в дизайн «на века». При том, что новый формат способен увеличить конверсию на 100% и более. Особенно в случае замены стокового изображения на уникальное фото (да еще с учетом психологии целевой аудитории).
  • Лид-форма. Оффер может быть сумасшедшим, картинка на заглядение, а форма захвата отталкивающей. На проверку - превью (короткий текст, поясняющий цель заполнения) и количество полей.
  • Призыв к действию. Call-to-action является частью лид-формы, но он один составляет половину ее успеха. Избегайте скучных формулировок «Скачайте», «Оставьте заявку», «Зарегистрируйтесь» и т.д. В идеале у пользователей «глаза горят» от вашего призыва. Для этого действие должно быть легким и обещать желаемый результат, конечную выгоду клиента.

Также значимы: объем текстовых блоков; наличие или отсутствие видео; наличие и качество отзывов, и прочих социальных доказательств.

Что еще проверить с помощью сплит-тестов, кроме целевой страницы?

Вы можете проверить:

  • Email-рассылку: Тема письма, вводный абзац, коммерческое предложение.
  • Рекламное объявление: Заголовок и основной текст.

Таким образом, тестирование касается двух стратегий маркетинга:

  • Pre-click , к которой относятся рассылка, объявления, медиа-баннеры;
  • Post-click . Это сайт или целевая страница: место, куда ведут рекламные ссылки после клика.

С помощью каких сервисов проводится сплит-тест?

Мы рекомендуем тестирование с помощью нашего сервиса для тех, у кого настроена контекстная реклама. Он позволяет определить наиболее конверсионный вариант и при малом трафике, а изменение элементов происходит на одной и той же странице.

Также маркетологи используют Эксперименты Google Analytics, Optimizely, ABTest.ru, VisualWebsiteOptimizer.

Как поделить тестовый трафик 50/50?

Для достоверности необходимо, чтобы каждый из вариантов получил одинаковое количество переходов. Тестовая платформа может поделить трафик поровну, а, может, и нет. В частности, через контекстную рекламу идет очень неоднородный трафик. Так что, добиться нужной пропорции практически невозможно.

И здесь помогает Yagla: после минимальной статистики (от 20 конверсий) она прогнозирует победителя. В результате более эффективные варианты получают большее количество переходов.

Узнайте как оптимизация главной страницы увеличивает конверсию сайта

Вместо заключения

Почему наш материал назван «Сплит-тестирование от А до Ю»? Тестирование - это целая наука. Причем, практическая наука с ежедневными изменениями. Даже в самом объемном материале невозможно предусмотреть все нюансы. Поэтому мы оставили последнюю букву алфавита для ваших собственных открытий.

Высоких вам продаж!

Сергей Гудков , специалист по разработке и продвижению сайтов (более 160 сайтов и 250 сплит-тестов), руководитель Сonversion42

Андрей Осипов , сертифицированный тренер Google, практикующий веб-аналитик, автор блога «Веб-аналитика и результат»

Мы часто получаем запросы на тексты для А/В-тестирования. Для каких целей есть смысл его проводить?

А/В-тест можно проводить практически для любых изменений на сайте. Ведь тест – это возможность достоверно узнать, насколько они эффективны.

Если у вас страница с описанием услуги, то основной продающий контент – это именно текст. Посетители на основании текста принимают решение оставить заявку или нет. В данном случае текст является основным объектом тестирования:

  • какие характеристики указывать в тексте, а какие нет;
  • какие призывы использовать в тексте;
  • в каком стиле должен быть написан текст и т.д.

Запрос «текст для А/В-тестирования» звучит не очень. Лучше заказывать просто новый, более продающий текст. А измерять продающие характеристики текста можно с помощью тестирования.

A/B-тестирование для сайтов: нужно тестировать текст, дизайн, страницу в целом, «продающесть» текста или страницы?

Тестировать можно что угодно.

Если вы думаете, что кнопка «Купить» незаметна, тестируйте только изменение кнопки. Если вы сделали новый дизайн страницы, можно протестировать разницу между двумя дизайнами.

Иногда в тесте сравнивают два сайта. Это очень спорное занятие – если вам интересно, предлагаем обсудить этот вопрос на вебинаре более конкретно.

Можно тестировать и по одному элементу за раз, и сразу целые страницы. От чего это зависит? Всё очень просто. Если у вас есть 10/30/100 мелких изменений, и вы уверены, что каждое из них увеличит конверсию, совмещайте это всё в один тест. Если запускать их по отдельности, то делать даже 30 тестов – это может быть очень долго и не слишком эффективно. И наоборот. Если есть одно важное изменение, и вы сомневаетесь насчет реакции посетителей сайта на него, запускайте один тест на одно изменение.

Какие данные (максимум) можно получить при А/В-тестировании?

Смысл А/В-тестов крайне прост: делим посетителей на две группы – одной из них показываем вариант А, другой – вариант В.

Основным результатом теста считается разница между поведением пользователей. Например, мы хотим узнать, как изменится конверсия интернет-магазина.

Также при интеграции А/В-теста с системами веб-аналитики, в частности с Google Analytics, можно увидеть разницу в поведении по всем параметрам: глубина и время посещения, посещение конкретных страниц, показатели отказов, достижение всех целей и т.д.

Какие сервисы могут помочь правильно провести A/B-тест?

Правильность запуска всегда зависит от вас. Сервисы – это инструмент. Как молоток. Если вы умеете им пользоваться, то у вас всё получится. ☺

Самые распространённые сервисы для запуска А/В-тестов:

  • Google Analytics (бесплатный);
  • VWO (платный, https://vwo.com/ );
  • Optimizely (платный, https://www.optimizely.com/ ).

Для большинства потребностей хватает Google Analytics. Мы сами его часто используем и вам рекомендуем.

Сколько элементов можно тестировать за один раз? Правильно ли сравнивать 2 текста, в которых отличается более 1–2 элементов?

Да, можно. Самое главное, нужно понимать, как эти элементы повлияют на конверсию и почему. У вас должна быть рабочая гипотеза.

Когда вы проводите очень-очень много тестов, бывают моменты, когда идей и гипотез нет. Такой себе провал. В такие моменты можно тестировать по принципу «А давайте сделаем и поглядим… Интересно же». ☺

В А/В-тестировании самое ценное – это время и объем трафика. Иными словами, вы можете провести ограниченное количество тестов в ограниченное время. Поэтому простой сайта без теста – это растрата бесценного ресурса.

Какие условия должны соблюдаться для правильного А/В-тестирования? Какой минимум просмотров/визитов/уников?

Чтобы тест получился хорошим, должно соблюдаться достаточно много условий. Назовем основные из них:

  1. Должен быть целевой показатель, например, общая конверсия интернет-магазина или лендинга, показатель отказов какой-то группы страниц, кликабельность кнопки «Купить» и т.д.
  2. Тест должен завершиться победой одного из вариантов со статистической достоверностью. Это означает, что данный вариант с очень большой вероятностью действительно лучше.
  3. Тест должен продолжаться ~2 цикла принятия решения о покупке. Например, известно, что девушки выбирают украшения около недели. Значит, минимальный срок теста составит 2 недели. В целом мы рекомендуем держать тесты от 1 до 3 недель.

Вопрос «А сколько надо трафика?» не совсем корректный. Длительность теста зависит от количества трафика и дельты целевого показателя. Например, тест с увеличением конверсии с 1% до 2% завершится быстрее, чем тест, где рост будет с 1% до 1,2%. Также тест на сайте с посещаемостью 1000 человек в сутки будет идти дольше, чем на сайте с 5000 посетителей.

Как интерпретировать полученные результаты для дальнейшей проверки гипотез?

Интерпретация результатов довольно проста. Выигравший вариант надо внедрить. ☺

В любом случае, независимо от результатов теста, вы обязаны оценить поведение людей на новом варианте. Это даст вам новые идеи для новых гипотез.

Какие главные ошибки допускаются при А/В-тестировании?

Ошибок много. ТОП-3 из них:

  1. Тесты заканчивают раньше достижения статистической достоверности. Это может очень дорого стоить бизнесу. Внедряя изменения после таких тестов, вы не знаете, сделали вы лучше или хуже.
  2. Тестируются необоснованные идеи, подсказанные уборщицей из соседнего офиса. По сути, впустую тратятся бесценное время сайта и ресурсы компании на подготовку и реализацию теста.
  3. Не отслеживаются показатели во время теста. Часто бывает, что при запуске программисты ошиблись, и одна вариация работает с ошибкой. Если не контролировать тест, то узнать об этом можно через недели 2–3. Это пустая трата времени и ресурсов.