#ЦМФ #Нейронные_сети from 0 to HERO | Поражение Каспарова | Разоблачение Перцептрона | Магия DNN

Илья Езепов, Data Scientist и Software Engineer, преподаватель и выпускник ЦМФ — лекция по нейронным сетям на программе «Количественная аналитика» ЦМФ (2016 год) Лекция Ильи не стала менее интересной, несмотря на то, что с момента выступления (в марте 2016 года) многое изменилось и стало неактуально, как говорилось в фильме 1939 года: ‘it is no more than a dream remembered, a Civilization gone with the wind...’ 0:35 План лекции 1:36 Белые начинают и выигрывают! 2:50 Как машины победили людей в настольные игры (шашки, шахматы, го) 4:33 DeepMind (за 2 дня до победы AlphaGo в го над Ли Седолом) 5:30 Как машины победили людей: 1. Линейные модели 6:46 Типы задач машинного обучения: регрессия, как метод классификации (сигмойд), детектирования и ранжирования 8:58 Как тренировать модель 10:01 Функции потерь 11:05 МНК 11:40 500 миллионов наблюдений и 130 миллионов фичей 12:20 Градиентный спуск 15:56 Стохастический градиентный спуск 20:42 XOR problem 21:35 Перцептрон 24:30 ReLU 25:30 Как тренировать перцептрон: сложная производная (но не очень сложная) 27:45 Теорема Розенблата: перцептрон может решить любую задачу классификации 30:28 Разоблачение перцептрона! 32:25 Распознование лица 33:33 Как тренировать несколько слоёв 34:26 Цепное правило (дифференцирования сложной функции) 37:35 Современная визуализация слоёв нейронных сетей 39:16 Эминем не боится выпуклых функций (Ян Лекун: почему много слоёв — хорошо) 43:05 Deep Learning: причём здесь видео игры (hint: GPU) 46:46 Тщетные попытки улучшить ReLU 47:47 Когда сигмойд лучше ReLU 50:25 Распознавание образов: как человек распознаёт образы (тестируем на студентах) 52:28 Запоминание пикселей 56:01 Свёртка! 1:08:03 Сокращение размерности свёрток: пулинг 1:13:03 Типичная DNN 1:18:50 Свёртка 1x1 1:22:00 Мнемоническое правило для обучения нейронных сетей (кошки!) 1:23:20 Как бороться с переобучением 1:24:28 Dropout — самое красивое, что было в нейронных сетях в 2016 году 1:27:40 Связка бананов свисает с потолка 1:29:29 Как улучшить SGD 1:33:25 Нейронки — это Лего 1:34:00 Когда использовать нейронные сети 1:35:35 Как дальше изучать нейронки (в 2016 году) Подкаст с Ильёй: Лекция Ильи по Big Data: Студенческие проекты ЦМФ 2021: Регистрация на программы «Количественная аналитика», «Анализ данных» и «Web3: DeFi & NFT-разработка»: @cmf_russia-cmf-2022 #Нейронныйсети #нейронки #DeepMind #Шахматы #Каспаров #Гарри_Каспаров #Kasparov #Garry_Kasparov #Го #BIGDATA #BIG_DATA #бигдата #биг_дата #Большие_данные #дата_центр #Хранение_данных #Amazon #Yandex #Google #Амазон #Яндекс #Гугл #MapReduce #Map #Reduce #3V #Вопросы_на_собеседованиях #WordCount #TenzorFlow #нейронные_сети #корреляции #Volume #Variety #Velocity #DeepMind #Yandex #Google #Dropout #Дропаут #Сигмойд #DNN #XOR_problem #Перцептрон #ReLU #Центр_математических_финансов #ЦМФ #Финансовая_эконометрика #Финансовая_математика #Случайные_процессы #Количественная_аналитика #Data_Science #Анализ_данных #1_уровень #2_уровень #проекты #Риск_менеджмент #Финансовая_аналитика #Факультет_информатики #Факультет_финансов #УNVRSTY #YNVRSTY