Никита Маршалкин: A/B-тесты сложнее, чем кажется | Интервью |

Симулятор A/B-тестов: У нас гостях Никита Маршалкин, Data Scientist Вконтакте. Мы обсудили, как устроены A/B-тесты в компании, а именно: ● как работают системы сплитования; ● работают ли обычные статистические тесты на Big Data и какие подводные камни там есть; ● особенности A/B-тестов в социальных сетях; ● где научиться мастерски проводить A/B-тестирование. А/Б-тесты, подборка от Никиты: 1. Бомбическая книжка: 2. Кладезь информации про А/Б в индустрии: 3. Practitioner’s Guide to Statistical Tests: @vktech/practitioners-guide-to-statistical-tests-ed2d580ef04f 4. Пуассоновский бутстрап и бакетизация: 5. Эксперименты в соцсетях: 6. Заметки с саммита по экспериментам на KDD’19: 7. Туториал по построению оптимизации в b2c продуктах: Учитесь Data Science с нами: 00:00 Что такое A/B-тесты 03:02 Системы сплитования 12:55 Экосистема A/B-тестов ВКонтакте 16:50 Тонкости тестирования на проде 18:55 Проверка гипотез на Big Data 23:25 Bootstrap 27:34 A/B-тесты без A/B-тестов 30:10 Ухудшающие A/B-тесты 31:55 Можно ли принимать решения без A/B-тестов ? 33:38 Кто те люди, которые занимаются A/B-тестами? 34:55 Материалы и знания, которых нигде нет!