Учебники

Результаты измерений

В этой главе мы обсудим, как измерить результаты и упростить статистику тестирования, проведенного на веб-сайте.

Понимание статистики

Исследователи могут или не могут понять статистику. Но инструмент A / B-тестирования оказывается более спасительным, упрощая эту статистику. Таким образом, много расчетов можно избежать. Большинство инструментов тестирования последовательны в использовании 95% критериев в качестве успешного достижения цели.

Это означает, что из 10 вы становитесь победителем на 9. Давайте рассмотрим пример. Ваш отчет по инструменту тестирования выглядит следующим образом:

вариации Коэффициент конверсии
Контрольная страница 1,91%
1 2,39%
2 2.16%
3 3,10%

В этом отчете прогнозируется более или менее .20% отклонения коэффициента конверсии с интервалом 95%. По статистике, диапазон целей составляет от 1,76 до 2,06.

Получение Insights

При планировании теста я учитываю две цели. Во-первых, это увеличение доходов, а другое – понимание того, что привело к повышению рентабельности инвестиций.

Например, в тематическом исследовании мы получаем, что переадресация трафика на страницу продукта, а не на страницу категории или домашнюю страницу, повышает коэффициент конверсии или нет. Мы взяли три варианта, в одном из которых мы направляли трафик на домашнюю страницу, загруженную категориями и подкатегориями, направляя дальше на страницу продукта. Во втором мы направили трафик на страницу добавления фильтров. В-третьих, мы направили его прямо на страницу с описанием товара с кнопкой покупки.

К моему удивлению, третий вариант выиграл. Это просто информация, требуемая покупателем о товаре. Это позволяет нам узнать, как повышение коэффициента конверсии и постоянные улучшения могут помочь нам увеличить число потенциальных клиентов

Несомненно, добавление множества вариантов и идей в тесты дало нам редизайн сайта.

Понимание результатов

Позвольте мне прояснить это. НЕ ВСЕ ТЕСТЫ ВЫИГРЫВАЮТ. Да, это больно, но это правда.

Есть тесты, которые дают вам результаты в полете цветов. Есть и другие, которые после стольких попыток тоже будут безрезультатными. Но если вы планируете тестирование с использованием сегментации вождения, у вас может появиться новая гипотеза для проверки. Не все тесты помогают вам повысить доход.

Возьмите пример, чтобы понять. Есть три кампании с разными коэффициентами конверсии.

Кампания А 8,2%
Кампания Б 19,1%
Кампания С 5,2%

Любой, кто слепо скажет: «Кампания Б» – супер исполнитель. Но давайте копать еще немного.

просмотров операции Коэффициент конверсии
Кампания А 1820 150 8,2%
Кампания Б 20 4 19,1%
Кампания С 780 41 5,2%

Посмотрите внимательно, «Кампания B» слишком мала, чтобы быть статистически значимой. Кампания B с 1 транзакцией за одно посещение даст 100-процентный коэффициент конверсии. «Кампания А» выполняется над «Кампанией С». Подводя итоги, необходимо учитывать несколько факторов, которые могут каждый раз отличаться. Именно вам нужно посмотреть на все идеи и решить результаты.