Подстройка весов скрытого слоя. Рассмотрим

Подстройка весов скрытого слоя. Рассмотрим один нейрон в скрытом слое, предшествующем выходному слою. При проходе вперед этот нейрон передает свой выходной сигнал нейронам в выходном слое через соединяющие их веса. Во время обучения эти веса функционируют в обратном порядке, пропуская величину δ от выходного слоя назад к скрытому слою. Каждый из этих весов умножается на величину δ нейрона, к которому он присоединен в выходном слое. Величина δ, необходимая для нейрона скрытого слоя, получается суммированием всех таких произведений и умножением на производную сжимающей функции: (см. рис. 3.6). Когда значение δ получено, веса, питающие первый скрытый уровень, могут быть подкорректированы с помощью уравнений (3.5) и (3.6), где индексы модифицируются в соответствии со слоем. Рис. 3.6. Настройка веса в скрытом слое

.Для каждого нейрона в данном скрытом слое должно быть вычислено δ и подстроены все веса, ассоциированные с этим слоем. Этот процесс повторяется слой за слоем по направлению к входу, пока все веса не будут подкорректированы. С помощью векторных обозначений операция обратного распространения ошибки может быть записана значительно компактнее. Обозначим множество величин δ выходного слоя через D_k и множество весов выходного слоя как массив W_k. Чтобы получить D_j, δ-вектор выходного слоя, достаточно следующих двух операций: Умножить о-вектор выходного слоя D_k на транспонированную матрицу весов W’_k, соединяющую скрытый уровень с выходным уровнем. Умножить каждую компоненту полученного произведения на производную сжимающей функции соответствующего нейрона в скрытом слое. В символьной записи D_j = D_kW’_k $[0_j $(I – 0_j)], (3.8) где оператор $ в данной книге обозначает покомпонентное произведение векторов, О_j – выходной вектор слоя j и I – вектор, все компоненты которого равны 1. Содержание раздела

---