Тонкости A/B тестирования: проблема подглядывания

В погоне за более быстрой проверкой продуктовых гипотез легко допустить серию ошибок в организации A/B тестов. Если мы очень торопимся провести эксперимент и готовы завершить его при первой же возможности, будьте готовы, что увеличивается риск ложного срабатывания. Как этого избежать?  Обсудим на вебинаре. ● Поэкспериментировать с симуляцией A/B теста и проблемой подглядывания в Jupyter Notebook: ● Поиграть с калькулятором для размера выборки: ● Посмотреть, как исследования без чёткого плана могут приводить к неверным интерпретациям на примере большой научной работы, проведённой в Дании и показавшей, что маски не очень-то и защищают от коронавируса: ● Прочесть комментарий Data Scientist’а Алексея Чернобровова, чтобы понять, что с ним [исследованием] не так: