Учебники

A / B тестирование — вопросы интервью

A / B-тестирование (также называемое сплит-тестированием) определяет способ сравнения двух версий приложения или веб-страницы, позволяющий определить, какая из них работает лучше. A / B-тестирование — это один из самых простых способов, когда вы можете изменить приложение или веб-страницу для создания новой версии, а затем сравнить обе эти версии, чтобы определить коэффициент конверсии. Это также позволяет нам узнать, кто из них лучше .

Количество образцов зависит от количества проведенных испытаний. Подсчет коэффициента конверсии называется выборкой, а процесс сбора этих выборок называется выборкой.

Доверительный интервал называется измерением отклонения от среднего по множественному количеству выборок. Предположим, что 22% людей предпочитают продукт А с доверительным интервалом +/- 2%. Этот интервал указывает верхний и нижний предел людей, которые выбирают продукт А, и также называется пределом погрешности . Для достижения наилучших результатов в этом среднем опросе допустимая погрешность должна быть как можно меньше.

Всегда выполняйте A / B-тестирование, если есть вероятность превзойти исходное отклонение на > 5%. Тест должен выполняться в течение значительного периода времени, чтобы у вас было достаточно выборочных данных для выполнения статистики и анализа . A / B-тестирование также позволяет максимально использовать существующий трафик на веб-странице.

Стоимость увеличения ваших конверсий минимальна по сравнению со стоимостью настройки трафика на вашем сайте. ROI (возврат инвестиций) при A / B-тестировании огромен, так как несколько незначительных изменений на веб-сайте могут привести к значительному увеличению коэффициента конверсии.

Как и A / B-тестирование, многовариантное тестирование основано на том же механизме, но сравнивает большее количество переменных и предоставляет больше информации о поведении этих переменных. В A / B-тестировании трафик страницы распределяется между различными версиями дизайна. Многомерное тестирование используется для измерения эффективности каждого проекта .

Проблема с тестированием нескольких переменных одновременно заключается в том, что было бы трудно точно определить, какая из этих переменных имеет значение. Хотя вы можете сказать, что одна страница работает лучше, чем другая, если в каждой есть три или четыре переменные, вы не можете быть уверены в том, почему одна из этих переменных на самом деле наносит ущерб странице, и при этом вы не можете копировать хорошие элементы. на других страницах.

Вот несколько вариантов A / B-тестирования, которые можно применить на веб-странице. Список включает в себя: заголовки, подзаголовки, изображения, тексты, текст и кнопки CTA, ссылки, значки, упоминания в СМИ, упоминания в социальных сетях, рекламные акции и предложения, структура цен, варианты доставки, варианты оплаты, навигация по сайту и пользовательский интерфейс.

Фоновое исследование — Первый шаг в A / B-тестировании — определить уровень отказов на вашем сайте. Это можно сделать с помощью любого инструмента, такого как Google Analytics.

Сбор данных — данные из Google Analytics могут помочь вам найти поведение посетителей . Всегда желательно собрать достаточно данных с сайта. Попытайтесь найти страницы с низким коэффициентом конверсии или высоким коэффициентом возврата, которые можно улучшить.

Установить бизнес-цели — Следующий шаг — установить цели конверсии. Найдите метрики, которые определяют, является ли вариант более успешным, чем исходная версия.

Построение гипотезы. После того, как цель и показатели были установлены для A / B-тестирования, следует найти идеи для улучшения исходной версии и того, как они будут лучше текущей версии. Когда у вас есть список идей, расставьте приоритеты с точки зрения ожидаемого воздействия и сложности реализации.

Создание вариаций / гипотез. На рынке имеется множество инструментов A / B-тестирования, в которых есть визуальный редактор для эффективного внесения этих изменений. Ключевым решением для успешного проведения A / B-тестирования является выбор правильного инструмента .

Запуск вариантов — представьте все варианты вашего веб-сайта или приложения посетителям, и их действия отслеживаются для каждого варианта. Взаимодействие посетителей для каждого варианта измеряется и сравнивается, чтобы определить, как работает этот вариант.

Анализировать данные. После завершения эксперимента следует проанализировать результаты . Инструмент A / B-тестирования представит данные эксперимента и расскажет вам разницу между различными вариантами веб-страницы. Также, если есть существенная разница между вариациями с помощью математических методов и статистики.

Наиболее распространенный тип инструментов сбора данных включает в себя инструмент аналитики, инструменты воспроизведения, инструменты опроса, чат и электронную почту.

Инструменты воспроизведения используются для лучшего понимания действий пользователя на вашем сайте. Это также позволяет вам нажимать на карты и тепловые карты кликов пользователя и проверять, как далеко пользователь просматривает сайт. Инструменты воспроизведения, такие как Mouse Flow, позволяют просматривать сеанс посетителя так, как вы его посещаете.

Инструменты для воспроизведения видео дают более глубокое представление о том, как будет выглядеть посещение различных страниц на вашем сайте. Наиболее часто используемыми инструментами являются Mouse Flow и Crazyegg .

Инструменты опроса используются для сбора качественных отзывов с сайта. Это включает в себя задание возвращающимся посетителям некоторых вопросов опроса. Опрос задает им общие вопросы, а также позволяет им вводить свои взгляды или выбирать из предложенных вариантов.

Вы можете уменьшить количество отказов, добавив больше изображений в нижней части. Вы можете добавить ссылки на социальные сайты для дальнейшего повышения коэффициента конверсии.

Существуют различные типы вариаций, которые можно применять к объекту, такие как использование маркеров, изменение нумерации ключевых элементов, изменение шрифта и цвета и т. Д. На рынке имеется множество инструментов A / B-тестирования, в которых есть визуальный редактор эти изменения эффективно. Ключевым решением для успешного проведения A / B-тестирования является выбор правильного инструмента .

Наиболее распространенными инструментами являются визуальный оптимизатор веб-сайтов, эксперименты с контентом Google и Optimizely.

Visual Website Optimizer или VWO позволяет тестировать несколько версий одной и той же страницы. Он также содержит редактор «что видишь, то и получаешь» (WYSIWYG), который позволяет вносить изменения и запускать тесты без изменения HTML-кода страницы. Вы можете обновить заголовки, нумерацию элементов и запустить тест, не внося изменений в ИТ-ресурсы.

Чтобы создать варианты в VWO для A / B-тестирования, откройте свою веб-страницу в редакторе WYSIWYG, и вы сможете применить множество изменений к любой веб-странице. К ним относятся «Изменить текст», «Изменить URL», «Редактировать / редактировать HTML», «Изменить порядок» и «Переместить».

Visual Website Optimizer также предоставляет возможность многовариантного тестирования и содержит другое количество инструментов для выполнения поведенческого таргетинга, тепловых карт, юзабилити-тестирования и т. Д.

Эти тесты могут быть применимы и в нескольких других местах, таких как электронная почта, мобильные приложения, PPC и CTA.

Как только эксперимент завершен, следующим является анализ результатов . Инструмент A / B-тестирования представит данные эксперимента и расскажет вам разницу между различными вариантами этой веб-страницы. Он также покажет, есть ли существенная разница между вариациями с использованием математических методов и статистики.

Чтобы интегрировать Optimizely в Universal Google Analytics, сначала нажмите кнопку ON на боковой панели. Затем у вас должен быть доступный пользовательский элемент для заполнения данными эксперимента Optimizely .

Универсальный код отслеживания Google Analytics должен быть размещен в нижней части раздела <head> ваших страниц. Интеграция с Google Analytics не будет работать должным образом, если только фрагмент Optimizely не находится над фрагментом Analytics.

В Google Analytics есть два варианта анализа данных: универсальная аналитика и классическая Google Analytics. Новые функции Universal Analytics позволяют использовать 20 одновременных A / B-тестов для отправки данных в Google Analytics, однако в классической версии допускается только до пяти.

Это миф о том, что A / B-тестирование вредит ранжированию в поисковых системах, поскольку его можно классифицировать как дублированный контент. Следующие четыре способа могут быть применены, чтобы гарантировать, что вы не потеряете потенциальную ценность SEO при выполнении A / B-тестов.

Не маскируйте — маскировка — это когда вы показываете одну версию своей страницы агенту Googlebot, а другую — посетителям вашего сайта.

Используйте «rel = canonical» — если у вас есть A / B-тесты с несколькими URL, вы можете добавить «rel = canonical» на веб-страницу, чтобы указать Google, какой URL вы хотите проиндексировать. Google предлагает использовать канонический элемент, а не тег noindex, поскольку он более соответствует его намерению.

Используйте 302 перенаправления, а не 301 — Google рекомендует использовать метод временного направления — 302 вместо постоянного 301 перенаправления.

Не проводите эксперименты в течение более длительного периода времени. Обратите внимание, что после завершения A / B-теста вам следует как можно скорее удалить варианты, внести изменения в свою веб-страницу и начать использовать выигрышную конверсию.