A / B Тестирование — Обзор

A / B-тестирование (также называемое сплит-тестированием ) определяет способ сравнения двух версий приложения или веб-страницы, позволяющий определить, какая из них работает лучше. Это один из самых простых способов проанализировать приложение или веб-страницу для создания новой версии. После этого обе эти версии можно сравнить, чтобы найти коэффициент конверсии , что также помогает найти более высокую производительность этих двух.

пример

Предположим, что есть веб-страница, и весь трафик направляется на эту страницу. Теперь, как часть A / B-тестирования, вы внесли некоторые незначительные изменения, такие как заголовки, нумерация и т. Д. На той же странице, и половина трафика направляется на модифицированную версию этой веб-страницы. Теперь у вас есть версия A и версия B одной и той же веб-страницы, и вы можете отслеживать действия посетителя, используя статистику и анализ, чтобы определить версию, которая дает более высокий коэффициент конверсии.

Коэффициент конверсии определяется как случай, когда любой посетитель на вашем сайте выполняет желаемое действие. A / B-тестирование позволяет вам определить лучшую маркетинговую стратегию онлайн для вашего бизнеса. Посмотрите на следующую иллюстрацию. Это показывает, что версия A дает коэффициент конверсии 15%, а версия B дает коэффициент конверсии 22%.

A / B-тестирование — как это работает

Вы можете отслеживать действия посетителя, используя статистику и анализ, чтобы определить версию, которая дает более высокий коэффициент конверсии. Результаты тестирования А / Б обычно даются в причудливых математических и статистических терминах , но смысл чисел на самом деле довольно прост. Существует два важных метода, с помощью которых вы можете проверить коэффициент конверсии с помощью A / B-тестирования.

• Выборка данных
• Доверительные интервалы

Давайте обсудим эти два метода в деталях.

Выборка данных

Количество образцов зависит от количества проведенных испытаний. Подсчет коэффициента конверсии называется выборкой, а процесс сбора этих выборок называется выборкой.

пример

Допустим, у вас есть два продукта A и B, вы хотите собирать выборочные данные в соответствии с их спросом на рынке. Вы можете попросить нескольких человек выбрать из продуктов A и B, а затем попросить их принять участие в опросе. По мере увеличения числа участников, он начнет показывать реалистичный коэффициент конверсии .

Существуют различные инструменты, которые можно использовать для определения правильного количества выборки. Один из таких бесплатных инструментов —

http://www.evanmiller.org

Доверительные интервалы в А / Б тестировании

Доверительный интервал — это измерение отклонения от среднего по множественному количеству выборок. Предположим, что 22% людей предпочитают продукт А в вышеприведенном примере с ± 2% доверительного интервала. Этот интервал указывает верхний и нижний предел людей, которые выбирают продукт А, и также называется пределом погрешности. Для достижения наилучших результатов в этом среднем опросе допустимая погрешность должна быть как можно меньше .

пример

Предположим, что в Продукте B мы добавили незначительное изменение, а затем провели A / B-тестирование этих двух продуктов. Доверительный интервал произведения А и В составляет 10% с ± 1% и 20% с ± 2% соответственно. Таким образом, это показывает, что незначительное изменение увеличило коэффициент конверсии. Если мы игнорируем предел погрешности, коэффициент конверсии для тестового варианта A составляет 10%, а коэффициент конверсии для тестового варианта B составляет 20%, то есть увеличение тестового варианта на 10%.

Теперь, если мы разделим разницу на коэффициент вариации управления 10% ÷ 10% = 1,0 = 100%, это показывает улучшение на 100%. Следовательно, мы можем сказать, что A / B-тестирование — это метод, основанный на математических методах и анализе. Существуют различные онлайн-инструменты, которые можно использовать для расчета значимости A / B.

http://getdatadriven.com

A / B-тестирование — зачем использовать?

A / B-тестирование используется для принятия бизнес-решений на основе результатов, полученных на основе данных, а не просто для прогнозирования. Это позволяет вам создавать варианты вашего веб-сайта или приложения, а затем помогает вам подтвердить или отменить ваше решение о внесении изменений.

Это тестирование позволяет оптимизировать ваш сайт или приложение таким образом, чтобы повысить коэффициент конверсии. Более высокий коэффициент конверсии означает, что вы получаете больше пользы от существующих пользователей, а не платите больше за приобретение трафика. A / B-тестирование также может помочь вам изменить другие факторы в бизнесе, такие как изменение рабочей культуры и т. Д. Это поможет вам использовать математические данные и статистику, чтобы определить направление изменений вашего продукта.

Являясь ли вы дизайнером, бизнес-аналитиком или разработчиком, A / B-тестирование предоставляет простой способ использования возможностей данных и статистики для снижения рисков, улучшения результатов и повышения управляемости данными в вашей работе.

Чтобы запустить A / B тест, вы должны рассмотреть следующие пункты —

• Всегда выполняйте A / B-тестирование, если есть вероятность превзойти исходное отклонение на> 5%.

• Тест должен выполняться в течение значительного периода времени, чтобы у вас было достаточно выборочных данных для выполнения статистики и анализа.

Всегда выполняйте A / B-тестирование, если есть вероятность превзойти исходное отклонение на> 5%.

Тест должен выполняться в течение значительного периода времени, чтобы у вас было достаточно выборочных данных для выполнения статистики и анализа.

A / B-тестирование также позволяет максимально использовать существующий трафик на веб-странице. Стоимость увеличения вашей конверсии минимальна по сравнению со стоимостью настройки трафика на вашем сайте. ROI (возврат инвестиций) при A / B-тестировании огромен, так как несколько незначительных изменений на веб-сайте могут привести к значительному увеличению коэффициента конверсии.

A / B тестирование — что тестировать?

A / B-тестирование — это создание нескольких вариантов приложения или веб-сайта, а затем сравнение всех этих версий с использованием примеров для определения наилучшего варианта с максимальным коэффициентом конверсии. Существуют различные типы вариаций, которые могут быть применены к веб-странице или приложению. A / B-тестирование не ограничивается только приложением или веб-страницей, так как вы можете создавать варианты и для других продуктов. Все, что находится на веб-странице и может повлиять на поведение посетителя при просмотре сайта, можно проверить с помощью A / B-тестирования.

Вот список вариантов A / B-тестирования, которые можно применить на веб-странице.

• Последние новости
• Подзаголовки
• Изображений
• тексты
• CTA текст и кнопка
• связи
• Значки
• СМИ упоминают
• Социальное упоминание
• Акции и предложения по продажам
• Ценовая структура
• Варианты доставки
• Варианты оплаты
• Навигация по сайту и пользовательский интерфейс

Существуют различные инструменты, которые можно использовать для создания вариантов, которые вы подробно прочитаете позже в этом руководстве.

A / B Тестирование — Процесс

A / B-тестирование состоит из набора процессов, которым необходимо следовать последовательно, чтобы прийти к реалистичному выводу . В этой главе мы подробно обсудим шаги процесса A / B-тестирования, которые вы можете использовать для запуска тестов на любой веб-странице —

Фундаментальные исследования

Фоновые исследования играют важную роль в A / B-тестировании. Первый шаг — выяснить показатель отказов на сайте. Это можно сделать с помощью нескольких широко доступных инструментов фоновых исследований, таких как Google Analytics и другие.

Собирать информацию

Данные из Google Analytics могут помочь вам найти поведение посетителей на веб-сайтах. Всегда желательно собрать достаточно данных с сайта. Попробуйте найти страницы с низким коэффициентом конверсии или высоким коэффициентом возврата, которые можно еще улучшить. Также рассчитайте количество посетителей в день, необходимое для запуска этого теста на сайте.

Установить бизнес-цели

Следующим шагом является установление целей вашего бизнеса или конверсии, что поможет понять, в чем заключается цель. Как только это будет сделано, вы сможете найти метрики, определяющие, является ли новая версия более успешной, чем ее оригинальная версия.

Построить гипотезу

После того, как цель и метрики были установлены для A / B-тестирования. Следующий шаг — найти идеи о том, как улучшить оригинальную версию и как сделать ее лучше текущей. Когда у вас есть список идей, расставьте приоритеты с точки зрения ожидаемого воздействия и сложности реализации.

Например, одним из наиболее эффективных способов является добавление изображений на сайт, что поможет в некоторой степени снизить показатель отказов.

Создать Вариации / Гипотеза

На рынке есть много инструментов A / B-тестирования, которые имеют визуальный редактор для эффективного внесения этих изменений. Ключевым решением для успешного проведения A / B-тестирования является выбор правильного инструмента. Некоторые из наиболее доступных инструментов —

• Визуальный оптимизатор веб-сайта (VWO)
• Эксперименты по контенту Google
• Optimizely

Существуют различные типы вариаций, которые можно применить к объекту, такие как использование маркеров, изменение нумерации ключевых элементов, изменение шрифта и цвета и т. Д.

Запуск вариаций

Представьте посетителям все варианты вашего сайта или приложения. Их действия будут контролироваться для каждого варианта. Кроме того, это взаимодействие посетителей для каждого варианта измеряется и сравнивается, чтобы определить, как работает конкретный вариант.

Анализировать данные

Как только этот эксперимент будет завершен, следующим шагом будет анализ результатов. Инструмент A / B Testing представит данные эксперимента и расскажет вам разницу между производительностью и эффективностью различных версий веб-страницы. Он также покажет, есть ли существенная разница между вариациями с помощью математических методов и статистики.

Например, если изображения на веб-странице снизили показатель отказов, вы можете добавить больше изображений, чтобы увеличить конверсию. Если вы не видите изменений в уровне отказов из-за этого, вернитесь к предыдущему шагу, чтобы создать новую гипотезу / вариант для проведения нового теста.

A / B-тестирование — сбор данных

Данные из Google Analytics могут помочь вам найти поведение посетителей. Всегда желательно собрать достаточно данных с сайта. Попробуйте найти страницы с низким коэффициентом конверсии или высоким коэффициентом возврата, которые можно улучшить. В этой главе мы обсудим несколько инструментов, которые можно использовать для сбора данных для A / B-тестирования.

Google Analytics / Mix Panel (Инструмент аналитики)

На большинстве веб-сайтов установлена ​​Google Analytics, чтобы понять, как посетители взаимодействуют с сайтом. Если у вас не установлена ​​Google Analytics для мониторинга трафика, вы можете установить ее из Интернета. Google Analytics является одним из лучших аналитических инструментов, доступных бесплатно.

Чтобы установить Google Analytics на свой веб-сайт, вы можете просто скопировать код и развернуть его на своем сайте, и вы получите достаточное количество данных для работы. Вы также можете применить настройку инструмента для достижения ваших бизнес-целей.

Mouse Flow / Crazy Egg (Инструменты воспроизведения)

Инструменты воспроизведения используются для лучшего понимания действий пользователя на вашем сайте. Это также позволяет вам нажимать карты и тепловые карты кликов пользователей, чтобы проверить, как далеко пользователи просматривают сайт.

Инструменты воспроизведения, такие как Mouse Flow, позволяют просматривать сеанс посетителя таким образом, как если бы вы были с самим посетителем. Инструменты для воспроизведения видео дают более глубокое представление о том, как будет выглядеть посещение различных страниц на вашем сайте.

WebEngage (Инструменты опроса)

Инструменты опроса используются для сбора качественных отзывов с сайта. Это включает в себя задание возвращающимся посетителям некоторых вопросов опроса. Этот опрос задает им общие вопросы, а также позволяет им вводить свои взгляды или выбирать из предложенных вариантов.

Другие инструменты — чат, электронная почта

Онлайн чат позволяет посетителю получать быстрые ответы от службы поддержки клиентов и помогает быстрее разрешить ситуацию. Это также поможет вам получить общие вопросы от посетителей и собрать данные для тестирования.

A / B-тестирование — определение целей

Следующий шаг — установить цели конверсии. Найдите метрики, которые определяют, является ли вариант более успешным, чем исходная версия. Цели исходят из ваших бизнес-целей, поэтому, например, если вам нужно увеличить продажи одежды с точки зрения целей, это может быть как —

• Очистить изображения продукта.
• Увеличить посещаемость сайта.
• Уменьшить частоту выпадения корзины покупок

Далее следует определить показатели, которые соответствуют вашим бизнес-целям. Метрика становится KPI (ключевым показателем эффективности) только тогда, когда она измеряет что-то, связанное с вашими целями.

Пример 1

Бизнес-цель вашего магазина одежды — продавать одежду, поэтому KPI этой бизнес-цели может быть количеством одежды, продаваемой в Интернете. Вам необходимо четко определить цели вашего бизнеса, иначе вы не сможете определить свои ключевые показатели эффективности. Если вы правильно установите KPI и будете периодически измерять их, вы будете придерживаться своей стратегии, чтобы создавать варианты и проводить A / B-тестирование. Далее нужно найти целевые показатели для ваших бизнес-целей.

Пример 2

Ваш магазин одежды продал 100 товаров на прошлой неделе. Это нормально или плохо? Чтобы ваши KPI что-то значили для вас, им нужны целевые показатели. Определите цель для каждого KPI, который важен для вас. После того, как вы определите бизнес-цели и целевые показатели, у вас будет структура, которая поможет определить, соответствует ли работа, которую вы будете выполнять, целям вашего бизнеса или нет.

A / B-тестирование — создание гипотезы

После определения ваших бизнес-целей следующим шагом будет создание идей A / B-тестирования и гипотезы о том, почему вы думаете, что они будут лучше, чем текущая версия. Создайте список всех гипотез, которые, по вашему мнению, вы можете создать, расставьте приоритеты для всех вариантов с точки зрения ожидаемого воздействия и способов их реализации с использованием различных инструментов.

пример

Вы можете уменьшить показатель отказов, добавив больше изображений внизу. Вы можете добавить ссылки на различные социальные сайты, чтобы увеличить коэффициент конверсии.

A / B-тестирование — создание вариантов

Поскольку A / B Testing — это создание новых версий приложения или веб-страницы, а затем сравнение всех версий, чтобы увидеть коэффициент конверсии. Вы можете улучшить коэффициент конверсии, проанализировав статистику, чтобы проверить новые варианты.

Существуют различные типы вариаций, которые можно применять к объекту, такие как использование маркеров, изменение нумерации ключевых элементов, изменение шрифта и цвета и т. Д. На рынке имеется множество инструментов A / B-тестирования, в которых есть визуальный редактор эти изменения эффективно. Ключевым решением для успешного проведения A / B-тестирования является выбор правильного инструмента. Некоторые из наиболее доступных инструментов —

• Визуальный оптимизатор веб-сайта (VWO)
• Эксперименты по контенту Google
• Optimizely

Визуальный оптимизатор веб-сайтов (VWO)

Визуальный оптимизатор веб-сайта позволяет тестировать несколько версий одной страницы. Он также содержит редактор «что видишь, то и получаешь» (WYSIWYG), который позволяет вносить изменения и запускать тесты без изменения HTML-кода страницы. Вы можете обновить заголовки, нумерацию элементов и запустить тест, не внося изменений в ИТ-ресурсы.

Чтобы создать варианты в VWO для A / B-тестирования, откройте свою веб-страницу в редакторе WYSIWYG, а затем примените следующие изменения к веб-странице:

• Изменить текст
• Изменить URL
• Редактировать / Редактировать HTML
• перестраивать
• Переехать
• Изменение размера
• Спрятать
• Удалить
• Изменить CSS

Эксперименты по контенту Google

Это позволяет создавать до пяти вариантов любой веб-страницы, а затем загружать все страницы в Google Analytics для проведения A / B-тестирования. Google Content Experiment используется для измерения результатов всех вариантов и определения варианта с максимальным коэффициентом конверсии. Основным преимуществом использования Google Content Experiment является то, что это бесплатная программа от Google, но вы должны загрузить варианты в Google Analytics, чтобы выполнить тест.

Optimizely

Optimizely — это инструмент, используемый для проведения A / B-тестирования, многомерного тестирования на веб-странице или в мобильном приложении, который позволяет сравнивать различные версии веб-страницы или приложения, чтобы определить, какой вариант обеспечивает лучший коэффициент конверсии для вашего бизнеса. ,

Это программное обеспечение может работать на вашей веб-странице, выполняя однострочный фрагмент JavaScript. Фрагмент кода определяется как однострочный код, который будет загружать Optimizely на ваш сайт и изменять восприятие посетителей на вашем сайте.

Чтобы протестировать мобильное приложение с помощью Optimizely, оно запускается с помощью Software Development Kit для iOS и / или Android. Оптимальный запуск на вашей веб-странице собирает данные о посетителях сайта и коэффициентах конверсии и запускает их в Stats Engine, чтобы определить, какой вариант является победителем или проигравшим. Как только эти статистические данные сравниваются с целевыми целями и устанавливают метрики, они помогают вам принимать решения относительно варианта, который будет применен на веб-сайте.

Оптимизировать позволяет выполнять эти тесты —

• A / B тест, который сравнивает разные URL.
• A / B тест, который проходит через несколько страниц, потоков и т. Д.
• Запустите разные варианты для разных аудиторий.
• Чтобы установить исправления на веб-странице для всех посетителей.

A / B Тестирование — Эксперимент

Он включает в себя представление всех вариантов вашего веб-сайта или приложения посетителям, и их действия контролируются для каждого варианта. Взаимодействие посетителей для каждого варианта измеряется и сравнивается, чтобы определить, как работает этот вариант.

Как обсуждалось в предыдущей главе, существуют различные инструменты, которые могут быть использованы для создания гипотезы и запуска вариантов —

• Визуальный оптимизатор веб-сайта (VWO)
• Эксперименты по контенту Google
• Optimizely

Визуальный Оптимизатор Веб-сайта

Существуют различные инструменты A / B-тестирования, которые позволяют специалистам по маркетингу создавать различные варианты своих веб-страниц с помощью редактора «укажи и щелкни». Он не требует никаких знаний HTML, и вы можете проверить, какая версия обеспечивает максимальный коэффициент конверсии или продаж.

Запуск программного обеспечения VWO для сплит-тестирования очень прост, поскольку вам просто нужно скопировать вставить фрагмент кода на свой веб-сайт, и вы можете легко сделать его доступным для посетителей. Visual Website Optimizer также предоставляет возможность многовариантного тестирования и содержит другое количество инструментов для выполнения поведенческого таргетинга, тепловых карт, юзабилити-тестирования и т. Д.

В VWO есть несколько функций, которые обеспечивают все ваши действия по оптимизации коэффициента конверсии. Многие предприятия и небольшие интернет-магазины используют программное обеспечение A / B Testing VWO для оптимизации целевых страниц, а также для увеличения продаж своих веб-сайтов и повышения коэффициентов конверсии.

Компания также предоставляет 30-дневную пробную версию, которую можно бесплатно загрузить с — https://vwo.com/ .

Вот некоторые из ключевых особенностей VWO:

• Тестирование и Эксперимент
• Визуальный редактор
• Анализ и отчетность
• Тепловые карты и Карты кликов
• Платформы и интеграции

Как это устроено?

Оптимизированный запуск на вашей веб-странице собирает данные о посетителях сайта, коэффициентах конверсии и запускает их в Stats Engine, чтобы определить, какой вариант является победителем, а какой — проигравшим. После того, как эта статистика будет сопоставлена ​​с целевыми целями и установленными показателями, она поможет вам принять решение относительно варианта, который будет применен на веб-сайте.

Эксперименты по контенту Google

Это позволяет создать до пяти вариантов веб-страницы, а затем загрузить все эти страницы в Google Analytics для проведения A / B-тестирования.

Чтобы начать с Google Analytics, вам нужно иметь учетную запись Google Analytics и код отслеживания, который будет установлен на вашем веб-сайте. Если у вас нет учетной записи, вы можете зарегистрироваться, используя следующий инструмент — http://www.google.com/analytics/

Добавление кода отслеживания прямо на сайт

Чтобы завершить этот процесс, у вас должен быть доступ к исходному коду вашего веб-сайта, вам также должно быть удобно редактировать HTML (или иметь веб-мастера / разработчика, который может помочь вам в этом), также у вас должны быть уже настроены учетная запись Google Analytics и свойство вверх.

Чтобы установить код отслеживания на вашей веб-странице

• Найдите фрагмент кода отслеживания, войдите в свою учетную запись Google Analytics и выберите вкладку «Администратор» вверху.

• Перейдите на вкладку АККАУНТ и ИМУЩЕСТВО, выберите свойство, с которым вы работаете. Нажмите Информация отслеживания → Код отслеживания. Изображение того, где вы найдете свой код отслеживания в своей учетной записи Google Analytics → Нажмите, чтобы развернуть это изображение и увидеть, где эти параметры отображаются в интерфейсе.

• Найдите свой фрагмент кода отслеживания. Он в коробке с несколькими строками JavaScript. Все в этом поле — ваш фрагмент кода отслеживания. Он начинается с <script> и заканчивается </ script>.

• Код отслеживания содержит уникальный идентификатор, соответствующий каждому свойству Google Analytics. Не путайте фрагменты кода отслеживания из разных свойств и не используйте один и тот же фрагмент кода отслеживания в нескольких доменах.

• Скопируйте фрагмент и вставьте в каждую веб-страницу, которую вы хотите отслеживать. Вставьте его непосредственно перед закрывающим тегом </ head>.

• Если вы используете шаблоны для динамического создания страниц для своего сайта, вы можете вставить фрагмент кода отслеживания в его собственный файл, а затем включить его в заголовок страницы.

Найдите фрагмент кода отслеживания, войдите в свою учетную запись Google Analytics и выберите вкладку «Администратор» вверху.

Перейдите на вкладку АККАУНТ и ИМУЩЕСТВО, выберите свойство, с которым вы работаете. Нажмите Информация отслеживания → Код отслеживания. Изображение того, где вы найдете свой код отслеживания в своей учетной записи Google Analytics → Нажмите, чтобы развернуть это изображение и увидеть, где эти параметры отображаются в интерфейсе.

Найдите свой фрагмент кода отслеживания. Он в коробке с несколькими строками JavaScript. Все в этом поле — ваш фрагмент кода отслеживания. Он начинается с <script> и заканчивается </ script>.

Код отслеживания содержит уникальный идентификатор, соответствующий каждому свойству Google Analytics. Не путайте фрагменты кода отслеживания из разных свойств и не используйте один и тот же фрагмент кода отслеживания в нескольких доменах.

Скопируйте фрагмент и вставьте в каждую веб-страницу, которую вы хотите отслеживать. Вставьте его непосредственно перед закрывающим тегом </ head>.

Если вы используете шаблоны для динамического создания страниц для своего сайта, вы можете вставить фрагмент кода отслеживания в его собственный файл, а затем включить его в заголовок страницы.

Убедитесь, что код отслеживания работает

Вы можете проверить, работает ли код отслеживания, проверить отчеты в реальном времени, вы также можете отслеживать активность пользователей, как это происходит. Если вы видите данные в этих отчетах, это означает, что ваш код отслеживания в настоящее время собирает данные.

Содержание Экспериментов

Эксперименты с контентом — это один из самых быстрых методов тестирования веб-страниц — целевых страниц, домашней страницы, страниц категорий, и он требует меньше реализаций кода. Его можно использовать для создания A / B-тестов в Google Analytics.

Некоторые из наиболее распространенных особенностей контент-экспериментов —

• Вам нужно использовать оригинальный скрипт страницы для запуска тестов, стандартный код отслеживания Google Analytics будет использоваться для измерения целей и изменений.

• Целевые цели, определенные в Google Analytics, могут использоваться в качестве цели эксперимента, включая доход от AdSense.

• Построитель сегментов Google Analytics можно использовать для сегментирования результатов на основе любых критериев сегментации.

• Это позволяет вам устанавливать тесты, срок действия которых автоматически истекает через 3 месяца, чтобы предотвратить запуск тестов, если они вряд ли будут иметь статистически значимый победитель.

Вам нужно использовать оригинальный скрипт страницы для запуска тестов, стандартный код отслеживания Google Analytics будет использоваться для измерения целей и изменений.

Целевые цели, определенные в Google Analytics, могут использоваться в качестве цели эксперимента, включая доход от AdSense.

Построитель сегментов Google Analytics можно использовать для сегментирования результатов на основе любых критериев сегментации.

Это позволяет вам устанавливать тесты, срок действия которых автоматически истекает через 3 месяца, чтобы предотвратить запуск тестов, если они вряд ли будут иметь статистически значимый победитель.

Как использовать контент эксперименты для создания A / B тестов?

Перейдите в раздел «Поведение» и нажмите на ссылку «Эксперименты». Он также покажет вам таблицу со всеми существующими экспериментами. Нажмите на «Создать эксперимент» в верхней части этой таблицы.

Enter → Название эксперимента, цель эксперимента, процент посещаемости сайта для участия, любое почтовое уведомление о важных изменениях, распределение трафика по всем вариантам, настройка времени проведения эксперимента, а также пороговые значения.

Вы можете добавить URL-адреса исходной страницы и все варианты, которые вы хотите создать, и нажмите на следующую кнопку. Выберите метод реализации и нажмите следующую кнопку → Нажмите на проверку (если у вас есть один реализованный код, он будет проверяться. Если кода нет, будет отображаться сообщение об ошибке) → Начать эксперимент.

После запуска этого эксперимента вы увидите следующие параметры:

• Коэффициент конверсии

• Стоп Эксперимент

• Re-Validate

• Отключить вариацию

• Сегментация — позволяет увидеть, как каждая вариация была выполнена для каждого сегмента посетителей на вашей веб-странице.

Коэффициент конверсии

Стоп Эксперимент

Re-Validate

Отключить вариацию

Сегментация — позволяет увидеть, как каждая вариация была выполнена для каждого сегмента посетителей на вашей веб-странице.

A / B-тестирование — анализ результатов

После завершения эксперимента следующим шагом будет анализ результатов. Инструмент A / B Testing представит данные эксперимента и расскажет вам разницу между тем, как работают различные варианты на веб-странице, а также, если есть значительные различия между вариантами, с помощью математических методов и статистики.

пример

Если изображения на веб-странице снизили показатель отказов, вы можете решить, будет ли у них хорошая конверсия или нет, как только вы загрузите больше изображений на веб-страницу. Если вы не видите изменений в уровне отказов из-за этого, вернитесь к предыдущему шагу и создайте новую гипотезу / вариант, чтобы выполнить новый тест.

Такие инструменты, как VWO и Optimizely, используются для запуска тестов, но Google Analytics лучше всего подходит для проведения анализа после тестирования. Этот анализ используется, чтобы решить, как двигаться дальше. Инструменты A / B тестирования сообщают о результатах теста, но также необходимо выполнить пост-анализ. Для проведения пост-анализа вам необходимо интегрировать каждый тест с Google Analytics.

И VWO, и Optimizely предоставляют встроенную возможность интеграции с Google Analytics. Данные для каждого теста от обоих этих инструментов должны быть отправлены в Google Analytics. Делая это, он расширяет ваши возможности анализа и обеспечивает тестирование данных. Существует вероятность того, что ваш инструмент тестирования может записывать данные неправильно, и если у вас нет другого источника для ваших тестовых данных, вы никогда не сможете быть уверены, доверять им или нет.

A / B Тестирование — Инструменты

Существуют различные инструменты, которые могут быть использованы для создания гипотезы и запуска вариантов, в том числе —

• Визуальный оптимизатор веб-сайта (VWO)
• Эксперименты по контенту Google
• Optimizely

Все эти инструменты способны выполнять A / B-тесты и находить победителя, но для проведения пост-анализа эти инструменты должны быть интегрированы с Google Analytics.

A / B-тестирование — Google Analytics

В Google Analytics есть два варианта анализа данных:

• Универсальная аналитика
• Классическая Google Analytics

Новая функция Universal Analytics позволяет использовать 20 одновременных A / B-тестов для отправки данных в Google Analytics, однако в классической версии допускается только до пяти.

Оптимизация интеграции с Google Universal Analytics

Чтобы интегрировать Optimizely в Universal Google Analytics, сначала нажмите кнопку ON на боковой панели. Затем у вас должен быть доступный пользовательский элемент для заполнения данными эксперимента Optimizely. Затем код отслеживания должен быть размещен внизу раздела <head> ваших страниц. Интеграция с Google Analytics не будет работать должным образом, если фрагмент кода Optimizely не находится над этим фрагментом Analytics.

Шаги конфигурации

Optimizely использует «Пользовательские измерения» Universal Google Analytics, чтобы пометить своих посетителей экспериментами и вариантами, к которым они были добавлены. Настройка Optimizely, чтобы начать отправку этой информации в Universal Analytics, состоит из четырех шагов:

Шаг 1

Добавьте следующий код JavaScript на свой сайт, где бы ни был код Universal Analytics, после запуска функции ga (‘create’ …) и до запуска функции ga (‘send’, ‘viewview’) Universal Analytics и выполнения вызова отслеживания (подробности см. в следующем разделе) —

// Optimizely Universal Analytics Integration
window.optimizely = window.optimizely || [];
window.optimizely.push("activateUniversalAnalytics");

Шаг 2

В редакторе Optimizely выберите «Параметры» → «Интеграции», затем установите флажок «Universal Analytics», чтобы включить интеграцию.

Шаг 3

Выберите пользовательское измерение, которое вы хотите использовать Optimizely. Вы должны убедиться, что пользовательское измерение уже не используется какой-либо другой частью вашего сайта или другим текущим экспериментом Optimizely.

Шаг 4

Выберите пользовательский трекер, если вы используете нестандартный трекер событий, отличный от используемого по умолчанию. Это изменит интеграционный вызов Optimizely для использования пользовательского трекера, а не по умолчанию.

пример

Допустим, ваш сайт использует следующий звонок —

ga('tracker3.send', 'pageview');

В этом случае вы будете вводить tracker3 при указании настраиваемого поля трекера, и Optimizely будет интегрироваться с tracker3 вместо трекера по умолчанию.

Создание пользовательского отчета с использованием Google Analytics

Первый шаг — войти в свою учетную запись Universal Analytics и перейти на вкладку «Настройка» вверху. Вы должны увидеть список пользовательских отчетов.

Далее следует настроить пользовательский отчет для каждого эксперимента, с которым вы интегрировали Universal Analytics.

• Нажмите Новый пользовательский отчет → Введите заголовок отчета и добавьте группы метрик, которые вы хотите просмотреть в отчете.

• Чтобы отфильтровать этот отчет только для эксперимента Optimizely, выберите настраиваемое измерение, которое вы настроили ранее, в качестве одной из развернутых разверток измерения.

• Добавьте это измерение в раздел «Фильтры» и используйте совпадение с регулярным выражением в идентификаторе эксперимента для эксперимента, который вы хотите отфильтровать.

• Нажмите на Сохранить.

Нажмите Новый пользовательский отчет → Введите заголовок отчета и добавьте группы метрик, которые вы хотите просмотреть в отчете.

Чтобы отфильтровать этот отчет только для эксперимента Optimizely, выберите настраиваемое измерение, которое вы настроили ранее, в качестве одной из развернутых разверток измерения.

Добавьте это измерение в раздел «Фильтры» и используйте совпадение с регулярным выражением в идентификаторе эксперимента для эксперимента, который вы хотите отфильтровать.

Нажмите на Сохранить.

A / B-тестирование — многовариантное

Как и A / B-тестирование, многовариантное тестирование основано на том же механизме, но сравнивает большее количество переменных и предоставляет больше информации о том, как эти переменные ведут себя. В A / B-тестировании трафик страницы распределяется между различными версиями дизайна. Многофакторное тестирование используется для измерения эффективности каждого проекта.

пример

Допустим, есть веб-страница, которая получила достаточно трафика для запуска теста. Теперь данные каждого варианта сравниваются, чтобы проверить наиболее успешный вариант, но он также включает элементы, которые оказывают максимальное положительное или отрицательное влияние на взаимодействие посетителя.

Преимущества использования Multivariate

Многофакторное тестирование — это эффективный инструмент, который поможет вам нацелить, а также изменить дизайн элементов вашей страницы и показать области, которые будут иметь наибольшее влияние. Многовариантный метод полезен для создания кампаний на целевых страницах.

пример

Данные о влиянии дизайна определенного элемента могут быть применены к будущим кампаниям, даже если контекст элемента изменился.

Ограничения

Ограничения многовариантного тестирования — это трафик, необходимый для завершения теста. Поскольку все эксперименты полностью факториальны, слишком много сменных элементов одновременно могут быстро составить очень большое количество возможных комбинаций, которые необходимо протестировать. Даже у сайта с достаточно высоким трафиком могут возникнуть проблемы с прохождением теста с более чем 25 комбинациями за приемлемое количество времени.

Разница между многовариантным и A / B-тестированием

A / B-тестирование, также известное как Сплит-тестирование, представляет собой метод оптимизации веб-сайта, где вы сравниваете коэффициенты конверсии двух версий страницы, а именно, A и B. Все посетители делятся на одну версию или другую. Когда посетители посещают любую из этих версий (A или B), они нажимают на различные кнопки или даже подписываются на рассылку. Это позволяет вам определить, какая версия страницы более эффективна.

A / B Тестирование — SEO

SEO — это метод отображения вашего сайта в верхней части страницы, когда выполняется поиск по этим релевантным элементам. Он включает информацию, которую ваш веб-сайт предлагает посетителям, и то, почему контент веб-страницы важен для того, чтобы занимать первое место в результатах поиска. Многие потенциальные клиенты считают, что A / B-тестирование или многовариантное тестирование повлияет на их рейтинг в поисковых системах.

Существует четыре способа, позволяющих вам проводить A / B-тесты, не беспокоясь о возможной потере SEO.

Не плачь

Cloaking вызывается, когда вы показываете одну версию своей страницы агенту Googlebot, а другую — посетителям вашего сайта. Google говорит, что вы не должны скрывать, и очень строги с этим. Это может даже привести к тому, что ваш сайт будет исключен из результатов поиска или понижен в рейтинге SEO. Вы должны убедиться, что вы не делите своих посетителей между различными версиями вашего A / B теста на основе пользовательского агента. Google не волнует, видит ли их бот ту или иную версию, он просто заботится о том, чтобы его бот имел такой же пользовательский опыт, что и случайный посетитель.

Используйте ‘rel = canonical’

Если у вас есть A / B-тесты с несколькими URL, вы можете добавить «rel = canonical» на веб-страницу, чтобы указать Google, какой URL вы хотите проиндексировать. Google предлагает использовать канонический элемент, и это тег noindex, поскольку он больше соответствует его намерениям. Вы только указываете, какой контент является оригинальным. Таким образом, Google может группировать и индексировать страницы соответственно.

Примечание. Если невозможно использовать canonical, необходимо убедиться, что в заголовке HTML или HTTP есть тег noindex, если нет, убедитесь, что он по крайней мере имеет файл robots.txt.

Используйте 302 перенаправления, а не 301

Google рекомендует использовать метод временного направления — 302 вместо постоянного перенаправления 301. Как и в любом A / B тесте, это не постоянное перемещение, а только временное. Всегда желательно использовать 302 редирект, так как это уведомление о временном перенаправлении. Поэтому, если вы используете перенаправление для A / B-тестирования, убедитесь, что вы используете заголовок 302.

Наиболее важный момент, который следует учитывать для SEO, заключается в том, что вы должны дать понять поисковым системам, что они не должны удалять ваш исходный URL из своего индекса и просто временно приостанавливать его. Когда пауки возвращаются для следующей индексации, они снова проверяют, применимо ли перенаправление, и если нет, старый URL будет восстановлен снова.

Не проводите эксперименты в течение более длительного периода времени

Обратите внимание, что после завершения А / Б-теста вы должны как можно скорее удалить варианты, внести изменения в свою веб-страницу и начать использовать выигрышную конверсию. Вы должны убедиться, что вы удалили все элементы тестов, такие как альтернативные URL-адреса и тестовые сценарии.

Если вы запустите тестирование на более длительный период, Google примет это как способ обмануть поисковые системы. Это может произойти, когда вы показываете тестовый вариант большому количеству посетителей в течение более длительного периода времени.

A / B тестирование — вопросы интервью

A / B-тестирование (также называемое сплит-тестированием) определяет способ сравнения двух версий приложения или веб-страницы, позволяющий определить, какая из них работает лучше. A / B-тестирование — это один из самых простых способов, когда вы можете изменить приложение или веб-страницу для создания новой версии, а затем сравнить обе эти версии, чтобы определить коэффициент конверсии. Это также позволяет нам узнать, кто из них лучше .

Количество образцов зависит от количества проведенных испытаний. Подсчет коэффициента конверсии называется выборкой, а процесс сбора этих выборок называется выборкой.

Доверительный интервал называется измерением отклонения от среднего по множественному количеству выборок. Предположим, что 22% людей предпочитают продукт А с доверительным интервалом +/- 2%. Этот интервал указывает верхний и нижний предел людей, которые выбирают продукт А, и также называется пределом погрешности . Для достижения наилучших результатов в этом среднем опросе допустимая погрешность должна быть как можно меньше.

Всегда выполняйте A / B-тестирование, если есть вероятность превзойти исходное отклонение на > 5%. Тест должен выполняться в течение значительного периода времени, чтобы у вас было достаточно выборочных данных для выполнения статистики и анализа . A / B-тестирование также позволяет максимально использовать существующий трафик на веб-странице.

Стоимость увеличения ваших конверсий минимальна по сравнению со стоимостью настройки трафика на вашем сайте. ROI (возврат инвестиций) при A / B-тестировании огромен, так как несколько незначительных изменений на веб-сайте могут привести к значительному увеличению коэффициента конверсии.

Как и A / B-тестирование, многовариантное тестирование основано на том же механизме, но сравнивает большее количество переменных и предоставляет больше информации о поведении этих переменных. В A / B-тестировании трафик страницы распределяется между различными версиями дизайна. Многомерное тестирование используется для измерения эффективности каждого проекта .

Проблема с тестированием нескольких переменных одновременно заключается в том, что было бы трудно точно определить, какая из этих переменных имеет значение. Хотя вы можете сказать, что одна страница работает лучше, чем другая, если в каждой есть три или четыре переменные, вы не можете быть уверены в том, почему одна из этих переменных на самом деле наносит ущерб странице, и при этом вы не можете копировать хорошие элементы. на других страницах.

Вот несколько вариантов A / B-тестирования, которые можно применить на веб-странице. Список включает в себя: заголовки, подзаголовки, изображения, тексты, текст и кнопки CTA, ссылки, значки, упоминания в СМИ, упоминания в социальных сетях, рекламные акции и предложения, структура цен, варианты доставки, варианты оплаты, навигация по сайту и пользовательский интерфейс.

Фоновое исследование — Первый шаг в A / B-тестировании — определить уровень отказов на вашем сайте. Это можно сделать с помощью любого инструмента, такого как Google Analytics.

Сбор данных — данные из Google Analytics могут помочь вам найти поведение посетителей . Всегда желательно собрать достаточно данных с сайта. Попытайтесь найти страницы с низким коэффициентом конверсии или высоким коэффициентом возврата, которые можно улучшить.

Установить бизнес-цели — Следующий шаг — установить цели конверсии. Найдите метрики, которые определяют, является ли вариант более успешным, чем исходная версия.

Построение гипотезы. После того, как цель и показатели были установлены для A / B-тестирования, следует найти идеи для улучшения исходной версии и того, как они будут лучше текущей версии. Когда у вас есть список идей, расставьте приоритеты с точки зрения ожидаемого воздействия и сложности реализации.

Создание вариаций / гипотез. На рынке имеется множество инструментов A / B-тестирования, в которых есть визуальный редактор для эффективного внесения этих изменений. Ключевым решением для успешного проведения A / B-тестирования является выбор правильного инструмента .

Запуск вариантов — представьте все варианты вашего веб-сайта или приложения посетителям, и их действия отслеживаются для каждого варианта. Взаимодействие посетителей для каждого варианта измеряется и сравнивается, чтобы определить, как работает этот вариант.

Анализировать данные. После завершения эксперимента следует проанализировать результаты . Инструмент A / B-тестирования представит данные эксперимента и расскажет вам разницу между различными вариантами веб-страницы. Также, если есть существенная разница между вариациями с помощью математических методов и статистики.

Наиболее распространенный тип инструментов сбора данных включает в себя инструмент аналитики, инструменты воспроизведения, инструменты опроса, чат и электронную почту.

Инструменты воспроизведения используются для лучшего понимания действий пользователя на вашем сайте. Это также позволяет вам нажимать на карты и тепловые карты кликов пользователя и проверять, как далеко пользователь просматривает сайт. Инструменты воспроизведения, такие как Mouse Flow, позволяют просматривать сеанс посетителя так, как вы его посещаете.

Инструменты для воспроизведения видео дают более глубокое представление о том, как будет выглядеть посещение различных страниц на вашем сайте. Наиболее часто используемыми инструментами являются Mouse Flow и Crazyegg .

Инструменты опроса используются для сбора качественных отзывов с сайта. Это включает в себя задание возвращающимся посетителям некоторых вопросов опроса. Опрос задает им общие вопросы, а также позволяет им вводить свои взгляды или выбирать из предложенных вариантов.

Вы можете уменьшить количество отказов, добавив больше изображений в нижней части. Вы можете добавить ссылки на социальные сайты для дальнейшего повышения коэффициента конверсии.

Существуют различные типы вариаций, которые можно применять к объекту, такие как использование маркеров, изменение нумерации ключевых элементов, изменение шрифта и цвета и т. Д. На рынке имеется множество инструментов A / B-тестирования, в которых есть визуальный редактор эти изменения эффективно. Ключевым решением для успешного проведения A / B-тестирования является выбор правильного инструмента .

Наиболее распространенными инструментами являются визуальный оптимизатор веб-сайтов, эксперименты с контентом Google и Optimizely.

Visual Website Optimizer или VWO позволяет тестировать несколько версий одной и той же страницы. Он также содержит редактор «что видишь, то и получаешь» (WYSIWYG), который позволяет вносить изменения и запускать тесты без изменения HTML-кода страницы. Вы можете обновить заголовки, нумерацию элементов и запустить тест, не внося изменений в ИТ-ресурсы.

Чтобы создать варианты в VWO для A / B-тестирования, откройте свою веб-страницу в редакторе WYSIWYG, и вы сможете применить множество изменений к любой веб-странице. К ним относятся «Изменить текст», «Изменить URL», «Редактировать / редактировать HTML», «Изменить порядок» и «Переместить».

Visual Website Optimizer также предоставляет возможность многовариантного тестирования и содержит другое количество инструментов для выполнения поведенческого таргетинга, тепловых карт, юзабилити-тестирования и т. Д.

Эти тесты могут быть применимы и в нескольких других местах, таких как электронная почта, мобильные приложения, PPC и CTA.

Как только эксперимент завершен, следующим является анализ результатов . Инструмент A / B-тестирования представит данные эксперимента и расскажет вам разницу между различными вариантами этой веб-страницы. Он также покажет, есть ли существенная разница между вариациями с использованием математических методов и статистики.

Чтобы интегрировать Optimizely в Universal Google Analytics, сначала нажмите кнопку ON на боковой панели. Затем у вас должен быть доступный пользовательский элемент для заполнения данными эксперимента Optimizely .

Универсальный код отслеживания Google Analytics должен быть размещен в нижней части раздела <head> ваших страниц. Интеграция с Google Analytics не будет работать должным образом, если только фрагмент Optimizely не находится над фрагментом Analytics.

В Google Analytics есть два варианта анализа данных: универсальная аналитика и классическая Google Analytics. Новые функции Universal Analytics позволяют использовать 20 одновременных A / B-тестов для отправки данных в Google Analytics, однако в классической версии допускается только до пяти.

Это миф о том, что A / B-тестирование вредит ранжированию в поисковых системах, поскольку его можно классифицировать как дублированный контент. Следующие четыре способа могут быть применены, чтобы гарантировать, что вы не потеряете потенциальную ценность SEO при выполнении A / B-тестов.

Не маскируйте — маскировка — это когда вы показываете одну версию своей страницы агенту Googlebot, а другую — посетителям вашего сайта.

Используйте «rel = canonical» — если у вас есть A / B-тесты с несколькими URL, вы можете добавить «rel = canonical» на веб-страницу, чтобы указать Google, какой URL вы хотите проиндексировать. Google предлагает использовать канонический элемент, а не тег noindex, поскольку он более соответствует его намерению.

Используйте 302 перенаправления, а не 301 — Google рекомендует использовать метод временного направления — 302 вместо постоянного 301 перенаправления.

Не проводите эксперименты в течение более длительного периода времени. Обратите внимание, что после завершения A / B-теста вам следует как можно скорее удалить варианты, внести изменения в свою веб-страницу и начать использовать выигрышную конверсию.