Александр Сахнов — Почему вам не стоит использовать байесовское A/B-тестирование

Ближайшая конференция I’ML: #imlconf #ml #mlops #IT #conference #jugrugroup Наблюдается хайп, связанный с байесовскими A/B-тестами. Рассмотрим популярные мифы о байесовском A/B-тестировании. Сравним подход с классическим. Подкреплю свои аргументы не словами, а реальными экспериментами. Рассмотрим все шаги A/B-тестирования, а именно: до начала A/B-теста, во время проведения и после его окончания. Затрону такие темы, как расчет дизайна эксперимента, ранняя остановка, работа с метриками отношений и повышение чувствительности тестов. Приведу примеры, когда можно применить байесовское A/B-тестирование. Скачать презентацию с сайта —