В этой главе мы обсудим, как измерить результаты и упростить статистику тестирования, проведенного на веб-сайте.
Понимание статистики
Исследователи могут или не могут понять статистику. Но инструмент A / B-тестирования оказывается более спасительным, упрощая эту статистику. Таким образом, много расчетов можно избежать. Большинство инструментов тестирования последовательны в использовании 95% критериев в качестве успешного достижения цели.
Это означает, что из 10 вы становитесь победителем на 9. Давайте рассмотрим пример. Ваш отчет по инструменту тестирования выглядит следующим образом:
| вариации | Коэффициент конверсии |
|---|---|
| Контрольная страница | 1,91% |
| 1 | 2,39% |
| 2 | 2.16% |
| 3 | 3,10% |
В этом отчете прогнозируется более или менее .20% отклонения коэффициента конверсии с интервалом 95%. По статистике, диапазон целей составляет от 1,76 до 2,06.
Получение Insights
При планировании теста я учитываю две цели. Во-первых, это увеличение доходов, а другое — понимание того, что привело к повышению рентабельности инвестиций.
Например, в тематическом исследовании мы получаем, что переадресация трафика на страницу продукта, а не на страницу категории или домашнюю страницу, повышает коэффициент конверсии или нет. Мы взяли три варианта, в одном из которых мы направляли трафик на домашнюю страницу, загруженную категориями и подкатегориями, направляя дальше на страницу продукта. Во втором мы направили трафик на страницу добавления фильтров. В-третьих, мы направили его прямо на страницу с описанием товара с кнопкой покупки.
К моему удивлению, третий вариант выиграл. Это просто информация, требуемая покупателем о товаре. Это позволяет нам узнать, как повышение коэффициента конверсии и постоянные улучшения могут помочь нам увеличить число потенциальных клиентов
Несомненно, добавление множества вариантов и идей в тесты дало нам редизайн сайта.
Понимание результатов
Позвольте мне прояснить это. НЕ ВСЕ ТЕСТЫ ВЫИГРЫВАЮТ. Да, это больно, но это правда.
Есть тесты, которые дают вам результаты в полете цветов. Есть и другие, которые после стольких попыток тоже будут безрезультатными. Но если вы планируете тестирование с использованием сегментации вождения, у вас может появиться новая гипотеза для проверки. Не все тесты помогают вам повысить доход.
Возьмите пример, чтобы понять. Есть три кампании с разными коэффициентами конверсии.
| Кампания А | 8,2% |
| Кампания Б | 19,1% |
| Кампания С | 5,2% |
Любой, кто слепо скажет: «Кампания Б» — супер исполнитель. Но давайте копать еще немного.
| просмотров | операции | Коэффициент конверсии | |
|---|---|---|---|
| Кампания А | 1820 | 150 | 8,2% |
| Кампания Б | 20 | 4 | 19,1% |
| Кампания С | 780 | 41 | 5,2% |
Посмотрите внимательно, «Кампания B» слишком мала, чтобы быть статистически значимой. Кампания B с 1 транзакцией за одно посещение даст 100-процентный коэффициент конверсии. «Кампания А» выполняется над «Кампанией С». Подводя итоги, необходимо учитывать несколько факторов, которые могут каждый раз отличаться. Именно вам нужно посмотреть на все идеи и решить результаты.