Распознавание образов и машинное обучение. Чтение 32. Жёсткое (свёрточное) и мягкое разделение весов

Продолжаем борьбу за учёт инвариантов в исходных данных. На этот раз учитываем инварианты в архитектуре самой сети. Разбираем устройство свёрточных нейросетей, которые, вероятно, можно считать исходной точкой взрывного развития технологии многослойных нейронных сетей. Обобщаем идею разделения весов, раскладывая их по кучкам, которые описывает смесь нормальных распределений (естественно, каждой кучке соответствует своё слагаемое в этой смеси). Используем такое представление распределения весов для построения регуляризатора функции ошибки. Вычисляем получившийся градиент, включающий теперь параметры смешанного распределения, даём получившимся компонентам градиента (частным производным по параметрам смеси) “физическую“ интерпретацию. Довольно интересный метод, который я не встречал в нейросетевой промышленности. #теорвер и #machinelerning, #иммуроран и современный #матан 1P.S. Я не успел подготовится к этому чтению, поэтому с запинками