Вы можете отслеживать действия посетителя, используя статистику и анализ, чтобы определить версию, которая дает более высокий коэффициент конверсии. Результаты тестирования А / Б обычно даются в причудливых математических и статистических терминах , но смысл чисел на самом деле довольно прост. Существует два важных метода, с помощью которых вы можете проверить коэффициент конверсии с помощью A / B-тестирования.
- Выборка данных
- Доверительные интервалы
Давайте обсудим эти два метода в деталях.
Выборка данных
Количество образцов зависит от количества проведенных испытаний. Подсчет коэффициента конверсии называется выборкой, а процесс сбора этих выборок называется выборкой.
пример
Допустим, у вас есть два продукта A и B, вы хотите собирать выборочные данные в соответствии с их спросом на рынке. Вы можете попросить нескольких человек выбрать из продуктов A и B, а затем попросить их принять участие в опросе. По мере увеличения числа участников, он начнет показывать реалистичный коэффициент конверсии .
Существуют различные инструменты, которые можно использовать для определения правильного количества выборки. Один из таких бесплатных инструментов —
Доверительные интервалы в А / Б тестировании
Доверительный интервал — это измерение отклонения от среднего по множественному количеству выборок. Предположим, что 22% людей предпочитают продукт А в вышеприведенном примере с ± 2% доверительного интервала. Этот интервал указывает верхний и нижний предел людей, которые выбирают продукт А, и также называется пределом погрешности. Для достижения наилучших результатов в этом среднем опросе допустимая погрешность должна быть как можно меньше .
пример
Предположим, что в Продукте B мы добавили незначительное изменение, а затем провели A / B-тестирование этих двух продуктов. Доверительный интервал произведения А и В составляет 10% с ± 1% и 20% с ± 2% соответственно. Таким образом, это показывает, что незначительное изменение увеличило коэффициент конверсии. Если мы игнорируем предел погрешности, коэффициент конверсии для тестового варианта A составляет 10%, а коэффициент конверсии для тестового варианта B составляет 20%, то есть увеличение тестового варианта на 10%.
Теперь, если мы разделим разницу на коэффициент вариации управления 10% ÷ 10% = 1,0 = 100%, это показывает улучшение на 100%. Следовательно, мы можем сказать, что A / B-тестирование — это метод, основанный на математических методах и анализе. Существуют различные онлайн-инструменты, которые можно использовать для расчета значимости A / B.