Евгений Ключников | Как делать масштабируемые A/B эксперименты
ML in Marketing track
Телеграм-канал
Спикер: Евгений Ключников, Data Engineer at GetYourGuide
Мы активно используем а/б тестирование для оценки новых продуктов и идей; в некоторые дни у нас запущено до 70 экспериментов от разных команд одновременно. В докладе я расскажу, как мы организовали такую систему технически, где секрет её масштабируемости, что ломается чаще всего и почему не все всегда ею довольны. Затронем тему документации, обучения, неправильного дизайна, расскажу, как сломать эксперимент так, что этого никто и не заметит.
Что было в докладе:
00:00 начало видео
03:07 что такое А/Б эксперимент
06:07 для чего мы проводим А/Б эксперименты
10:24 когда надо начинать проводить А/Б эксперименты
12:10 где проводить А/Б эксперименты
15:50 пример эксперимента
20:15 уровень значимости в экспериментах
25:29 расчет объема выборки для эксперимента
27:43 дизайн эксперимента
29:37 этапы проведения эксперимента
31:29 дашборд и отслеживание экспериментов
35:30 частые ошибки
QNA сессия доступна в комментариях посту в тг канале
Ссылка на презентацию:
Соцсети Data Fest:
7 views
145
44
4 weeks ago 00:04:57 5
Обзор каркасного дома Барн 8х12,5 м
4 weeks ago 00:25:37 90
КЛЮЧИ К ЗДОРОВЬЮ #3 Психолог Евгений Лотос
1 month ago 00:01:02 382
Анонс. Документальной фильм студии “Отечество“ - “Училище героев“.
1 month ago 01:02:24 1.6K
Училище героев
1 month ago 00:01:58 15
[КЛЮЧИ] A-THIS, OBLADAET – ROOF
1 month ago 00:01:58 65.6K
A-THIS, OBLADAET – ROOF
1 month ago 00:46:05 243
Актер дубляжа Евгений Рыбов работает стеклодувом | На твоем месте – обмен профессиями
1 month ago 00:03:58 1K
ТНЛ51 & Татьяна Буланова «Тебя люблю» (BACKSTAGE)
1 month ago 00:02:22 135
Одноэтажный дом для большой семьи 90 кв.м в ипотеку
1 month ago 00:12:36 10
Авто из Кореи от 2млн рублей до России под ключ. Осень 2024.
1 month ago 00:03:28 13K
ТНЛ51 & Татьяна Буланова «Тебя люблю»
1 month ago 00:02:16 203
Уютный энергосберегающий одноэтажный дом 56 кв. м в ипотеку
1 month ago 00:02:38 144
Энергосберегающий дом 8х11 м для круглогодичного проживания
2 months ago 00:02:07 6.1K
Вручили ключи Алексею от дома по проекту БД-106
2 months ago 00:07:50 10
Авто из Кореи до 2.5млн до России под ключ. Осень 2024.
2 months ago 00:14:08 3.9K
“Цели СВО должны быть оформлены в правовом ключе“ - Евгений Федоров
2 months ago 00:14:08 30
_Цели СВО должны быть оформлены в правовом ключе_ - Евгений Федоров.mp4
2 months ago 00:17:46 25
Запись второго ключа для Мерседеса — Быстрый урок в реальном времени
2 months ago 00:02:30 205
Популярный полутораэтажный энергосберегащий каркасник 106 кв. м с просторной террасой
2 months ago 00:05:46 1
Авто из Кореи XM3 1.3 TCe RE обзор с ценами под ключ октябрь 2024
2 months ago 00:00:05 1
Отзыв о бане из бруса в Турейке
2 months ago 00:02:56 3
Обзор бани с 3 комнатами для проживания
2 months ago 00:02:59 1
Регистрация и активация ключа на сайте
2 months ago 00:06:39 1
5-МИНУТКА Пробуждения. № 16. Ключ для входа в пророчества.