Определение размера образца для вашего сплит теста

[1] «Процентная доля обнаруженного эффекта времени: 68,72%»

Я сделал удар в темноте и попробовал 10х образцов. Это приблизило нас к обнаружению изменений в 95% случаев, но мы еще не совсем там. Обратите внимание, насколько нематематичен этот подход? Это основной способ использования симуляции для выполнения сложного анализа. Вместо того, чтобы искать формулу или инструмент в Интернете и просто доверять им, мы можем подкрепить решение проверяемым способом.

Мы находимся на ~ 67% с 10 000 образцов. Давайте утроим размер выборки и посмотрим, поможет ли это нам обнаружить эффект 2% хотя бы в 95% случаев.

В работе [76]:

%%R
number_of_samples <- 30000
effect_size <- 1.02

simulation_results <- mapply(function(x){
    control <- rlnorm(number_of_samples, mean=purchase.log_mean, sd=purchase.log_stdev)
    improved_variation <- rlnorm(number_of_samples, mean=purchase.log_mean, sd=purchase.log_stdev)*effect_size
    results <- t.test(improved_variation, control, alternative='greater')
    .05 >= results[3]$p.value
}, seq(0,2000, by=1))

percent_of_time_equivalent <- length(simulation_results[simulation_results==TRUE]) / length(simulation_results)
print(paste(c("Percentage of time effect detected: ", round(percent_of_time_equivalent*100, digits=2), "%"), collapse=''))

[1] «Процентная доля обнаруженного эффекта времени: 97,55%»

Отлично! 98%. Мы немного переиграли нашу цель, так что теперь я в порядке. Опять же, это несовершенный процесс.

Позже я объясню, чем именно статистический тест коэффициента конверсии отличается от суммы покупки.

Давайте продолжим наш процесс угадывания и проверки. 98% больше уверенности, чем мы хотим для этого теста. Давайте посмотрим, сможем ли мы уменьшить наш размер выборки (и риск!) Еще немного, и все еще оставаться на уровне ~ 95%.

В работе [78]:

%%R
number_of_samples <- 24000
effect_size <- 1.02

simulation_results <- mapply(function(x){
    control <- rlnorm(number_of_samples, mean=purchase.log_mean, sd=purchase.log_stdev)
    improved_variation <- rlnorm(number_of_samples, mean=purchase.log_mean, sd=purchase.log_stdev)*effect_size
    results <- t.test(improved_variation, control, alternative='greater')
    .05 >= results[3]$p.value
}, seq(0,2000, by=1))

percent_of_time_equivalent <- length(simulation_results[simulation_results==TRUE]) / length(simulation_results)
print(paste(c("Percentage of time effect detected: ", round(percent_of_time_equivalent*100, digits=2), "%"), collapse=''))

[1] «Процент обнаруженного временного эффекта: 95,55%»

Изменение размера выборки до 24 000 отразило нас примерно на 95%. Вуаля! Мы нашли ответ на наш вопрос:

Чтобы измерить как минимум 2% -ное влияние на сумму покупок в 95% случаев, нам нужен размер выборки около 24 000 покупок на вариант.

Теперь, очевидно, если бы мне пришлось проходить этот процесс для каждого теста, который мы сделали, у меня было бы МНОГО работы. Вместо этого я просто создал ОГРОМНЫЕ таблицы, в которых предварительно вычислил некоторые общие значения, а затем отфильтровал электронные таблицы в Excel на основе ограничений, которые у меня есть для данного теста.

Изменение ограничений для меньшего размера выборки

Ах, вот где это становится действительно интересным! Что если мы решим, что не хотим затрагивать более 7000 клиентов (или произвольное число)? Можем ли мы по-прежнему использовать эту технику? Абсолютно. Давайте пройдемся по этому, используя те же суммы покупки, которые мы уже смоделировали, и посмотрим, как все изменится. Давайте сформулируем наш вопрос более формально:

Чтобы ограничить наш тест до 7000 клиентов на вариант, каков максимальный размер эффекта и уровень достоверности, при котором мы можем проверить суммы покупки? Давайте начнем с дикой догадки и посмотрим, какую уверенность мы получаем при измерении 2% -ного сдвига в клиенте:

В работе [79]:

%%R
number_of_samples <- 7000
effect_size <- 1.02

simulation_results <- mapply(function(x){
    control <- rlnorm(number_of_samples, mean=purchase.log_mean, sd=purchase.log_stdev)
    improved_variation <- rlnorm(number_of_samples, mean=purchase.log_mean, sd=purchase.log_stdev)*effect_size
    results <- t.test(improved_variation, control, alternative='greater')
    .05 >= results[3]$p.value
}, seq(0,2000, by=1))

percent_of_time_equivalent <- length(simulation_results[simulation_results==TRUE]) / length(simulation_results)
print(paste(c("Percentage of time effect detected: ", round(percent_of_time_equivalent*100, digits=2), "%"), collapse=''))

[1] «Процент обнаруженного эффекта времени: 54,22%»

Мы можем измерить истинный сдвиг в 2% ~ 54-57% времени! Вроде ужасно. Итак, давайте попробуем изменить вещи. Что если мы скажем, что у нас все в порядке с обнаружением изменений 3% и более?

В работе [80]:

%%R
number_of_samples <- 7000
effect_size <- 1.03

simulation_results <- mapply(function(x){
    control <- rlnorm(number_of_samples, mean=purchase.log_mean, sd=purchase.log_stdev)
    improved_variation <- rlnorm(number_of_samples, mean=purchase.log_mean, sd=purchase.log_stdev)*effect_size
    results <- t.test(improved_variation, control, alternative='greater')
    .05 >= results[3]$p.value
}, seq(0,2000, by=1))

percent_of_time_equivalent <- length(simulation_results[simulation_results==TRUE]) / length(simulation_results)
print(paste(c("Percentage of time effect detected: ", round(percent_of_time_equivalent*100, digits=2), "%"), collapse=''))

[1] «Процент обнаруженного эффекта времени: 84,31%»

ХОРОШО. Теперь мы обнаружили, что мы можем правильно определить изменение средней суммы покупки на 3% в ~ 84-87% времени, влияя только на 7 000 клиентов на вариант. Давайте получим статистическую мощность как минимум до 90%. Это означает, что нам нужно увеличить размер сдвига, который мы можем измерить. Давайте попробуем 3,4%.

В работе [81]:

%%R
number_of_samples <- 7000
effect_size <- 1.034

simulation_results <- mapply(function(x){
    control <- rlnorm(number_of_samples, mean=purchase.log_mean, sd=purchase.log_stdev)
    improved_variation <- rlnorm(number_of_samples, mean=purchase.log_mean, sd=purchase.log_stdev)*effect_size
    results <- t.test(improved_variation, control, alternative='greater')
    .05 >= results[3]$p.value
}, seq(0,2000, by=1))

percent_of_time_equivalent <- length(simulation_results[simulation_results==TRUE]) / length(simulation_results)
print(paste(c("Percentage of time effect detected: ", round(percent_of_time_equivalent*100, digits=2), "%"), collapse=''))

[1] «Процентная доля обнаруженного временного эффекта: 90,05%»

Да, я обманул выше. Сначала мне пришлось попробовать 3,5%, 3,1%, 3,2% и 3,3%. Наконец, я попробовал 3,4%, и это дало мне самое близкое значение. Вот почему создание таблицы было так полезно. Это позволило мне просто посмотреть на возможности для данного ограничения. Вернемся к проблеме под рукой.

Вот формальный ответ на наш вопрос: чтобы повлиять только на 7 000 клиентов на вариант, мы должны проверить изменение средней суммы наших покупок на 3,4% с уверенностью результата ~ 90%.

Тестирование метрик, таких как коэффициент конверсии

Теперь мы рассмотрели, как проверить наши гипотетические суммы покупок, которые обычно следуют так называемому логарифмически нормальному распределению. Другое распределение, которое мы видим довольно часто, — это биномиальное распределение. В частности, мы видим это в коэффициентах конверсии. Давайте рассмотрим аналогичный пример и найдем размер выборки, который нам нужен, чтобы протестировать повышение конверсии на 3%. ПРИМЕЧАНИЕ. Это действительно означает повышение коэффициента конверсии, скажем, с 8% до 8,25%. Также предположим, что мы хотим измерить этот сдвиг в 95% случаев.

Коэффициенты конверсии следуют биномиальному, а не логарифмически нормальному распределению. Это связано с тем, что каждая точка данных является либо успешной, либо неудачной. Сравните это с нашими логарифмически нормальными данными, число которых было больше нуля до бесконечности. Симуляция это немного по-другому, но так же прямо вперед.

В качестве аргумента, скажем, коэффициент конверсии, который мы хотим протестировать, обычно составляет около 8%. Мы можем создать дистрибутив следующим образом:

В работе [83]:

%%R
number_of_samples <- 1000
control_conversion_rate <- 0.08

successes <- factor(rbinom(number_of_samples, 1, control_conversion_rate) == T)
control_distribution <- data.frame(success = successes)
p <- ggplot(control_distribution, aes(x=success)) + 
    geom_histogram(binwidth=1) + 
    xlab("Purchased?") +
    ylab("# of visitors") + 
    ggtitle("Proportion Of visitors purchasing vs not") + 
    theme(axis.title.y = element_text(angle = 0))
print(p)

Это сильно отличается от нашего распределения суммы покупки. Вот переподготовка, чтобы вы могли сравнить:

В работе [84]:

%%R 
sales <- read.csv('~/Documents/Notebooks/raw_data/sales_data.csv', header=F, col.names=c('purchase_amount'))

p <- ggplot(sales, aes(x=purchase_amount)) + 
    geom_histogram(binwidth=.5) + 
    xlim(0, 150) + 
    xlab("Customer amount spent (in $)") +
    ylab("# of customers") + 
    ggtitle("Amounts spent by individual consumers") + 
    theme(axis.title.y = element_text(angle = 0))
print(p)

Эти распределения радикально отличаются. Для моделирования покупок клиентов мне понадобилось среднее значение и стандартное отклонение. Я могу получить среднее значение здесь, но я не могу получить стандартное отклонение. Что бы это даже значило в случае успеха или неудачи? В связи с этим нам необходимо использовать другой статистический тест для измерения наших результатов. Этот тест известен как биноминальный тест. Как и в случае с покупками, я собираюсь начать с моделирования теста между двумя эквивалентными дистрибутивами. Никаких изменений ни того, ни другого пока нет. В этом случае оба распределения являются «биномиальными».

В работе [85]:

%%R
number_of_samples <- 7000
control_conversion_rate <- .08

simulation_results <- mapply(function(x){
    control <- factor(rbinom(number_of_samples, 1, control_conversion_rate) == T)
    results <- binom.test(length(control[control == T]), number_of_samples, control_conversion_rate, alternative='greater')
    .05 >= results[3]$p.value
}, seq(0, 2000, by=1))

percent_of_time_equivalent <- length(simulation_results[simulation_results==TRUE]) / length(simulation_results)
print(paste(c("Percentage of time effect detected: ", round(percent_of_time_equivalent*100, digits=2), "%"), collapse=''))

[1] «Процент обнаруженного эффекта времени: 5,65%»

Опять же, мы находим существенное изменение только ~ 5% времени, что соответствует нашему 95% достоверному статистическому тесту. Теперь давайте применим размер эффекта, который мы хотим протестировать, и начнем искать точку, в которой мы достигаем 95% уверенности в нашем сплит-тесте.

В работе [86]:

%%R
number_of_samples <- 11000
effect_to_measure <- 1.03

simulation_results <- mapply(function(x){
    control <- factor(rbinom(number_of_samples, 1, control_conversion_rate*effect_to_measure) == T)
    results <- binom.test(length(control[control == T]), number_of_samples, control_conversion_rate, alternative='greater')
    .05 >= results[3]$p.value
}, seq(0, 2000, by=1))

percent_of_time_equivalent <- length(simulation_results[simulation_results==TRUE]) / length(simulation_results)
print(paste(c("Percentage of time effect detected: ", round(percent_of_time_equivalent*100, digits=2), "%"), collapse=''))

[1] «Процент обнаруженного эффекта времени: 23,74%»

Ух ты. Так что даже не близко. Давайте угадаем и проверим, пока не доберемся до 95%.

В работе [91]:

%%R
number_of_samples <- 145000
effect_to_measure <- 1.03

simulation_results <- mapply(function(x){
    control <- factor(rbinom(number_of_samples, 1, control_conversion_rate*effect_to_measure) == T)
    results <- binom.test(length(control[control == T]), number_of_samples, control_conversion_rate, alternative='greater')
    .05 >= results[3]$p.value
}, seq(0, 2000, by=1))

percent_of_time_equivalent <- length(simulation_results[simulation_results==TRUE]) / length(simulation_results)
print(paste(c("Percentage of time effect detected: ", round(percent_of_time_equivalent*100, digits=2), "%"), collapse=''))

[1] «Процентная доля обнаруженного временного эффекта: 95,35%»

После долгих предположений и проверок я, наконец, нашел размер выборки, который приближает нас к возможности надежного измерения сдвига в 3%. Это много, правда? Однако важно помнить, что, поскольку это коэффициент конверсии, нам нужно только такое количество посетителей, независимо от того, заказывают они или нет. Тем не менее, по сравнению с нашими суммами покупки, это совсем другой сценарий. Или это?

Понимаете, чтобы получить 24 000 покупок, чтобы мы могли запустить наш статистический тест, нам нужно было бы также привлечь достаточно посетителей нашего веб-сайта. Поскольку 92% из них не заказывают (поскольку наш коэффициент конверсии составляет 8%), это означает, что мы должны показать наш эксперимент гораздо большему количеству посетителей, чем мы могли ожидать.

Учитывая, что 8% наших посетителей обращаются к клиентам, и если нам нужно 24 000 клиентов, чтобы измерить 2% -ную значимость при увеличении суммы покупки, то нам потребуется около 300 000 посетителей нашего веб-сайта в нашем эксперименте для каждого варианта, чтобы гарантировать, что мы получим достаточно клиентов. Нам нужно всего лишь 145 000 посетителей в нашем эксперименте, чтобы измерить 3% значимости нашего коэффициента конверсии. По крайней мере, мы убили бы двух зайцев одним выстрелом.

Нормальный, логарифмический, биномиальный … Какой смысл?

Дело в том, что форма распределения так же важна для размера выборки, как и размер эффекта, который мы ищем, и чувствительность к нему. С чисто математическим решением нам нужна была бы другая формула для каждого распределения и любых других, с которыми мы сталкивались. Здесь мы используем симуляцию, так как один размер подходит для всех решений.

Для дальнейшего чтения об этих дистрибутивах вы можете обратиться к википедии:

• Обычные дистрибутивы: http://en.wikipedia.org/wiki/Normal_distribution
• Лог-нормальные распределения: http://en.wikipedia.org/wiki/Log-normal
• Биномиальные распределения: http://en.wikipedia.org/wiki/Binomial_distribution
• Экспоненциальные распределения: http://en.wikipedia.org/wiki/Exponential_distribution

Дело о грубой силе

Не нужно слишком углубляться в математическую теорию, мы использовали моделирование, чтобы помочь нам провести статистический анализ мощности и определить довольно точное приближение количества выборок, которое нам нужно в каждом варианте, чтобы определить 2% -ое изменение среднего значения нашего суммы покупки! Затем мы смогли жестко ограничить размер выборки нашего теста и вместо этого поиграть с изменением статистической мощности теста, а также величины эффекта, который мы измеряем.

Это несовершенный метод, но мы можем получить больше точности. Все, что нам нужно сделать, это настроить наш алгоритм для запуска более симулированных сплит-тестов. Это требует дополнительного компьютерного времени, но это НАМНОГО дешевле, чем человеческое время.

Эта статья описывает это лучше всего:

«Увеличение вычислительной мощности расширило анализ мощности во многих новых областях, и способность R запускать многократные стохастические симуляции является большой помощью. Как это ни парадоксально, математическая трудность получения формул мощности является большим уравнителем: поскольку даже статистики-исследователи обычно используют симуляции для оценки мощности, теперь можно (изучая симуляцию, которая проще, чем изучение расширенной математической статистики), работать на равных с равными передовые исследователи ». http://ms.mcmaster.ca/~bolker/emdbook/chap5A.pdf

А вот статья от компании, которая производит SAS (огромное статистическое программное обеспечение) для запуска стохастического моделирования для проведения аналогичного анализа мощности: http://blogs.sas.com/content/iml/2013/05/30/simulation -сила/

(Примечание: эта статья и высказанные мнения являются исключительно моими собственными и не отражают точку зрения моего работодателя.)