Автоматическое дифференцирование или метод обратного распространения ошибки. Лекция А. Гасникова

На уроке пойдёт речь об очень важной составляющей современного обучения глубоких нейронных сетей — методе обратного распространения ошибки. А именно, будет показано, как при весьма естественных предположениях о нейросети можно вычислять градиент (производные) целевой функции. В нашем случае — суммы квадратных невязок выходов сети и того, что она должна выдавать на заданных входах практически за то же время, что и вычисление самой функции. Вычисление градиента является ключевым местом в организации процедуры обучения посредством стохастического градиентного спуска. Нас можно найти: ВК: Телеграм-канал: