Фото: fw42
Как владельцы сайтов, дизайнеры и разработчики, мы часто недооцениваем ценность нашей интуиции.
Мы отдаем предпочтение решениям, основанным на данных, а не на инстинкте, когда речь идет практически обо всем: от оптимизации наших стратегий монетизации до стилей кнопок на наших веб-сайтах. Тем не менее, мы часто достигаем лучших результатов, если научимся дополнять, а не подменять наше внутреннее чувство тестами и данными.
Способность сочетать интуицию и мышление, основанное на данных, имеет решающее значение для многомерного тестирования (MVT). Хотя тестирование сайта рассматривается как «механический» процесс, мы часто придумываем чисто интуитивные идеи при выборе функций и элементов дизайна для дальнейших испытаний.
Типичная процедура MVT включает в себя основные этапы научного метода: вопрос, исследование, гипотеза, эксперимент и устранение неполадок, анализ данных и внедрение. Вы можете повысить ценность своих идей, используя эти этапы в качестве основы для своего эксперимента.
Запуск юзабилити-тестов, чтобы задать правильные вопросы
Начните свой эксперимент MVT с правильного вопроса. В большинстве случаев задавать себе вопрос, что именно вы можете улучшить, является хорошей отправной точкой.
Как правило, наша интуиция заставляет нас визуализировать десятки полезных настроек, но мы должны сосредоточиться на функциях, которые приводят к существенным улучшениям. Запуск юзабилити-теста перед экспериментом MVT — это жизнеспособный способ подкрепить интуицию конкретными данными. В зависимости от вашего бюджета у вас есть несколько вариантов на выбор:
- Найм экспертов для эвристической оценки вашего сайта;
- Присоединение к краудсорсинговой платформе для тестирования, такой как Peek, FiveSecondTest или Concept Feedback, для проверки конечного пользователя вашего сайта;
- Творчество с нестандартными услугами тестирования UX, такими как «Пользователь пьян» или «Пользователь — моя мама» от Ричарда Литтауэра.
Давайте посмотрим на пример:
При запуске нативной рекламы на своих веб-сайтах издатели часто выбирают полноразмерные рекламные блоки, имитирующие структуру их публикаций. Таким образом, реклама становится более заметной.
Однако иногда реклама кажется слишком большой, и это больше, чем просто эстетическая проблема. Рекламные объявления такого типа, имеющие слишком большой размер, могут ухудшить пользовательский опыт и привести к снижению рейтинга кликов (CTR).
Проведение исследования юзабилити, скорее всего, подтвердит нашу догадку — негабаритные рекламные объявления, как правило, являются первыми замечаниями пользователей, связанными с UX. Очевидное решение этой проблемы — тестирование небольших рекламных блоков.
Использование анализа конкурентов для фоновых исследований
Проведите предварительное исследование, чтобы обеспечить значимый результат ваших тестов. На этом этапе у вас есть веская причина использовать анализ конкурентов. Этот тип исследования часто сводится к краткому обзору сайтов-конкурентов с высоким рейтингом поиска, который не занимает много времени.
Изучение ваших конкурентов поможет вам лучше понять, какие решения UX работают для подобных веб-сайтов. Позже вы определите, работают ли ваши собственные идеи лучше этих решений.
Если это так, вы получите конкурентное преимущество над аналогичными онлайн-ресурсами. Если нет, вы все равно поймете, что лучше всего подходит для подобных сайтов.
Анализ конкурентов также внесет ясность в приведенный выше пример. Легко видеть, что наиболее распространенной альтернативой для рекламы в фиде является компактный предварительный просмотр того же фирменного поста. Эти предварительные просмотры обычно отображаются рядом с рекомендуемым контентом и имеют аналогичный стиль, за исключением незначительных различий. Вот как могла бы выглядеть обычная нативная реклама этого типа в разделе «последние статьи»:
В ряде случаев издатели прямо упоминают рекламодателя:
Построение правильной гипотезы
Гипотеза — это идея, которую вы будете проверять. На самом деле, вполне вероятно, что ваше внутреннее чувство даст вам несколько достойных идей.
В этом случае вам необходимо выяснить, какие из них имеют наиболее практические преимущества по сравнению с функциями ваших конкурентов. Чтобы выбрать правильные предметы, уделите должное внимание этим трем пунктам:
- Попробуйте предсказать, как ваша аудитория отреагирует на ваше решение. Существует много информации о психологии различных цветовых моделей, форм и макетов, чтобы помочь вам сделать точные прогнозы.
- Узнайте, соответствуют ли ваши идеи современным тенденциям и / или позволяют ли вы использовать новые технологии.
- Убедитесь, что параметры, которые вы тестируете, подходят для вашего сайта с точки зрения дизайна.
Посмотрим, как эти точки совпадают с приведенным выше примером. Цвет фона помогает выделиться рекламе, но это может привести к тому, что некоторые пользователи ошибочно примут фирменный пост за баннер. Чтобы избежать путаницы, стоит либо выбрать менее контрастный фон, либо полностью удалить его:
Чтобы выяснить, какой вариант подходит нам лучше, мы можем применить три критерия сверху:
- Хотя фон менее яркий, реклама все равно напоминает баннер. Это может сбить с толку посетителей, потому что баннеры и нативная реклама вызывают совершенно разные типы впечатлений.
- Практика выделения собственных фонов рекламы берет свое начало из старого дизайна платных результатов поиска. Этот шаблон дизайна в настоящее время считается устаревшим для крупных издателей.
- Хотя оба варианта вписываются в общий дизайн веб-сайта, объявление без фона сделает раздел «последние статьи» визуально четким.
Следовательно, версия «без фона» подходит нам лучше.
Оптимизация процедуры испытаний
Включите ваше текущее решение, решения самых распространенных конкурентов, а также вашу собственную идею в тест. Большинство экспериментов MVT предполагают равное распределение трафика между несколькими образцами. Этот подход требует большого объема трафика, поэтому вам нужно будет поддерживать минимальное количество тестовых образцов:
Другой метод, который использует команда Epom Ad Server, состоит в том, чтобы исключить выигрышную комбинацию, как только она значительно опережает другие варианты (например, на 20%). После исключения лучшей комбинации мы перераспределяем оставшийся трафик между другими образцами. Это позволяет нам получить более подробное сравнение отдельных функций за тот же период времени.
Если образец 4 становится очевидным победителем до запланированного окончания теста, мы можем перераспределить его трафик между примерами 2 и 3. Это позволяет нам увидеть, действительно ли упоминание рекламодателя имеет какое-либо значение:
Хотя существуют и другие способы распределения трафика, в двух описанных выше методах используется прямой расчет, а не использование приблизительных цифр. Чтобы еще больше повысить степень точности и устранить наиболее распространенные причины для устранения неполадок, заранее оптимизируйте аналитику своего сайта, предварительно просмотрите все образцы и определите оптимальную продолжительность вашего эксперимента.
Анализ и интерпретация данных
Многофакторные тесты довольно легко анализировать и интерпретировать: наиболее эффективная выборка является победителем. Однако в некоторых случаях наша интуиция говорит нам, что что-то не так с результатами. Чаще, чем нет, таких сомнений гораздо больше, чем интуиции.
В Sitepoint есть статья, в которой утверждается, что большинство победных результатов A / B-тестов вводят в заблуждение . Можно с уверенностью предположить, что у MVT есть похожие проблемы. Ключевыми причинами неверно истолкованных тестов A / B и MVT являются недостаточная продолжительность эксперимента и объем трафика, а также непонимание аудитории. Кроме того, вам необходимо учитывать несколько факторов, чтобы гарантировать правильную интерпретацию ваших данных:
- Убедитесь, что вы правильно определили ключевые показатели эффективности (KPI) для своей кампании тестирования. Например, CTR является оптимальной метрикой для нативной рекламы из приведенных выше примеров, так как нас интересует количество пользователей, желающих прочесть полный фирменный пост.
- Убедитесь, что разница между результатами теста достаточно велика, чтобы вы могли сделать надежные выводы. В этом примере это также относится к образцам 2 и 3, потому что мы должны убедиться, что включение рекламодателя является разумным решением.
Суть
Интуиция жизненно важна для многих аспектов разработки веб-сайтов и цифрового маркетинга, включая такие «механические» процедуры, как многомерное тестирование. Возможность задействовать вашу интуицию поможет вам создать уникальный, ценный онлайн-опыт для вашей аудитории. Идеи, которые мы выдвигаем, часто имеют большой потенциал, и многомерное тестирование является отличным инструментом для обоснования этих идей.
Следуйте этапам научного метода и проведите дополнительные исследования, чтобы убедиться, что ваши тесты возвращают значимые данные. Юзабилити-тестирование и анализ конкурентов помогают вам еще больше повысить точность процедуры MVT, что делает их незаменимыми для хорошо спланированного выполнения эксперимента.