Глубокое обучение. Лекция 10. Тонкости обучения и масштабирования нейронных сетей (2019-2020)

В рамках лекции рассмотрены следующие способы повышения точности глубоких нейронных сетей: - Обучение со стохастической глубиной; - Линейное масштабирование коэффициента обучения; - Learning Rate Warm-up; - Cosine Learning Rate Decay; - Нулевое значение гаммы в Batch Normalization; - Недобавление смещений в Weight Deay; - Label Smoothing; - Mixup Data Augmentation. Помимо этого рассматривается метод масштабирования нейронных сетей EfficientNet. Евгений Разинков -- к.ф.-м.н., директор по науке компании Pr3vision Technologies, основатель парфюмерного AI-проекта , руководитель отдела машинного обучения и компьютерного зрения Группы компаний FIX. Tailor-made AI solutions for unique challenges: Информация о лекциях: Телеграм-канал с анонсами лекций и материалами по машинному обучению: