#ЦМФ BIG DATA: Amazon | Yandex | Google | Hadoop | MapReduce | 3V | Вопросы на собеседованиях | 2016

Илья Езепов, Data Scientist и Software Engineer, преподаватель и выпускник ЦМФ — лекция по большим данным на программе «Количественная аналитика» ЦМФ (2016 год) Лекция Ильи не стала менее замечательной, несмотря на то, что с момента выступления (в феврале 2016 года) многое изменилось и стало неактуально, как говорилось в фильме 1939 года: ‘it is no more than a dream remembered, a Civilization gone with the wind...’ 0:39 ’Big data is like teenage sex’ 2:03 План выступления 3:25 История про Амазон: “что стало их жемчужиной“ 6:12 “Это компьютер“ 6:58 “Попробуем посчитать интернет“ 9:22 “Как работает дата-центр“ 11:56 “Если у Вас 10 тыс. серверов в дата центре, то Вы имеете 10 падений компьютеров в день“ 13:43 Как хранить данные? Распределённые файловые системы: GFS (Google File System) и Hadoop (Hadoop Distributed File System) 19:10 Уязвимые места в распределённых файловых системах 21:50 NameNode 23:08 Сортировка массива (практика и задача на собеседовании) 26:25 MapReduce — самое важное в презентации (возможный вопрос на собеседовании) 27:05 Философское отступление про Google, TenzorFlow и нейронные сети 27:46 “MapReduce состоит из двух шагов: Map и Reduce“ (вопрос на собеседовании) 31:03 Пример работы MapReduce: расчёт выручки международной сети магазинов, продающей потребительские товары 35:12 Ещё примеры 40:18 WordCount (вопрос на собеседовании) 43:43 Сколько в интернете слов: комбайнеры (вопрос на собеседовании) 49:28 Как работает Hadoop 51:08 Про падения (вопрос на собеседовании) 53:39 История биг даты: почему возникла 54:21 3V: Volume, Variety, Velocity 58:43 Про пиво и подгузники: КОРРЕЛЯЦИИ 1:00:12 Беременность и машинное обучение 1:01:03 Как бигдата изменила работу с данными 1:02:05 Хорошие книги по BIG DATA: чтобы познакомиться и подготовиться к собеседованиям (на 2016 год) 1:04:12 Что посмотреть (на 2016 год) 1:05:08 ’A real Data Scientist [...] doesn’t exist‘ Подкаст с Ильёй: Первая часть: Вторая часть: Студенческие проекты ЦМФ 2021: Регистрация на программы «Количественная аналитика» и «Анализ данных» и «Web3: DeFi & NFT-разработка»: @cmf_russia-cmf-2022 #BIGDATA #BIG_DATA #бигдата #биг_дата #Большие_данные #дата_центр #Хранение_данных #Amazon #Yandex #Google #Амазон #Яндекс #Гугл #MapReduce #Map #Reduce #3V #Вопросы_на_собеседованиях #WordCount #TenzorFlow #нейронные_сети #корреляции #Volume #Variety #Velocity #Центр_математических_финансов #ЦМФ #Финансовая_эконометрика #Финансовая_математика #Случайные_процессы #Количественная_аналитика #Data_Science #Анализ_данных #1_уровень #2_уровень #проекты #Риск_менеджмент #Финансовая_аналитика #Факультет_финансов #УNVRSTY #YNVRSTY