Во многих случаях желательно наделять

Добавление нейронного смещения. Во многих случаях желательно наделять каждый нейрон обучаемым смещением. Это позволяет сдвигать начало отсчета логистической функции, давая эффект, аналогичный подстройке порога персептронного нейрона, и приводит к ускорению процесса обучения. Эта возможность может быть легко введена в обучающий алгоритм с помощью добавляемого к каждому нейрону веса, присоединенного к +1. Этот вес обучается так же, как и все остальные веса, за исключением того, что подаваемый на него сигнал всегда равен +1, а не выходу нейрона предыдущего слоя. Импульс. В работе [7] описан метод ускорения обучения для алгоритма обратного распространения, увеличивающий также устойчивость процесса. Этот метод, названный импульсом, заключается в добавлении к коррекции веса члена, пропорционального величине предыдущего изменения веса. Как только происходит коррекция, она «запоминается» и служит для модификации всех последующих коррекций. Уравнения коррекции модифицируются следующим образом:

Δw_pq_,_k(n+1)= η δ_q_,_k OUT_p_,_j + aΔw_pq_,_k(n) (3.9) w_pq_,_k(n+1) = w_pq_,_k(n) + Δw_pq_,_k(n+1) (3.10) где (a – коэффициент импульса, обычно устанавливается около 0,9. Используя метод импульса, сеть стремится идти по дну узких оврагов поверхности ошибки (если таковые имеются), а не двигаться от склона к склону. Этот метод, по-видимому, хорошо работает на некоторых задачах, но дает слабый или даже отрицательный эффект на других. В работе [8] описан сходный метод, основанный на экспоненциальном сглаживании, который может иметь преимущество в ряде приложений. Δw_pq_,_k(n+1)= (1-a) δ_q_,_k OUT_p_,_j + aΔw_pq_,_k(n) (3.9) Затем вычисляется изменение веса w_pq_,_k(n+1) = w_pq_,_k(n) + ηΔw_pq_,_k(n+1), (3.10) где a коэффициент сглаживания, варьируемый и диапазоне от 0,0 до 1,0. Если a равен 1,0, то новая коррекция игнорируется и повторяется предыдущая. В области между 0 и 1 коррекция веса сглаживается величиной, пропорциональной a. По-прежнему, η является коэффициентом скорости обучения, служащим для управления средней величиной изменения веса. Содержание раздела