Опубликован: 13.09.2006 | Уровень: специалист | Доступ: платный | ВУЗ: Новосибирский Государственный Университет
Лекция 9:

Радиальные нейронные сети

< Лекция 8 || Лекция 9: 123 || Лекция 10 >

Радиальная нейронная сеть

Использование в разложении p базисных функций, где p - это количество обучающих выборок, недопустимо также и с практической точки зрения, поскольку обычно количество этих выборок очень велико, и в результате вычислительная сложность обучающего алгоритма становится чрезмерной. Решение системы уравнений (1) размерностью p \times
p при больших значениях p становится затруднительным. Так же, как и для многослойных сетей, необходимо редуцировать количество весов, что в этом случае сводится к уменьшению количества базисных функций. Поэтому отыскивается субоптимальное решение в пространстве меньшей размерности, которое с достаточной точностью аппроксимирует точное решение. Если ограничиться K базисными функциями, то аппроксимирующее решение можно представить в виде

\begin{equation}
F(x)=f_1+f_2+, \ldots, +f_K ,
\end{equation} ( 3)

где f_i=w_i \varphi (\|x-c_i\|), K < p, а c_i, i=1,2, \ldots,
K - множество центров, которые необходимо определить. В особом случае, если принять K=p, можно получить точное решение c_i=x_i.

Чаще всего в качестве радиальной функции применяется функция Гаусса. При размещении ее центра в точке c_i она может быть определена в сокращенной форме как

\begin{equation}
 \varphi(x)= \varphi(\|x-c_i\|)= \exp(-\|x-c_i\|^2/2\sigma_i^2).
\end{equation} ( 4)

В этом выражении \sigma_i - параметр, от значения которого зависит ширина функции.

Полученное решение, представляющее аппроксимирующую функцию в многомерном пространстве в виде взвешенной суммы локальных базисных радиальных функций (выражение (3)), может быть интерпретировано радиальной нейронной сетью, представленной на рис. 2 (для упрощения эта сеть имеет только один выход), в которой i определяется зависимостью (4). Это сеть с двухслойной структурой, в которой только скрытый слой выполняет нелинейное отображение, реализуемое нейронами с базисными радиальными функциями. Выходной нейрон, как правило, линеен, а его роль сводится к взвешенному суммированию сигналов, поступающих от нейронов скрытого слоя. Вес w_0, как и при использовании сигмоидальных функций, представляет поляризацию (порог), вводящую показатель постоянного смещения функции.

Обобщенная структура радиальной сети

Рис. 2. Обобщенная структура радиальной сети

Полученная архитектура радиальных сетей имеет структуру, аналогичную многослойной структуре сигмоидальных сетей с одним скрытым слоем. Роль скрытых нейронов в ней играют базисные радиальные функции, отличающиеся своей формой от сигмоидальных функций. Несмотря на отмеченное сходство, сети этих типов принципиально отличаются друг от друга. Радиальная сеть имеет фиксированную структуру с одним скрытым слоем и линейными выходными нейронами, тогда как сигмоидальная сеть может содержать различное количество слоев, а выходные нейроны бывают как линейными, так и нелинейными. У используемых радиальных функций может быть весьма разнообразная структура. Нелинейная радиальная функция каждого скрытого нейрона имеет свои значения параметров c_i и \sigma_i, тогда как в сигмоидальной сети применяются, как правило, стандартные функции активации с одним и тем же для всех нейронов параметром \beta. Аргументом радиальной функции является эвклидово расстояние образца x от центра c_i, а в сигмоидальной сети - это скалярное произведение векторов w^Tx.

< Лекция 8 || Лекция 9: 123 || Лекция 10 >
Ирина Ткаченко
Ирина Ткаченко
Россия, Москва
Николай Ткаченко
Николай Ткаченко
Россия