НОУ ИНТУИТ | Математические методы распознавания образов. Лекция 5: Нелинейный классификатор. Многослойный персептрон

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Твой путь к знаниям!

Московский государственный университет имени М.В.Ломоносова

Опубликован: 30.04.2008 | Доступ: свободный | Студентов: 1614 / 251 | Оценка: 4.24 / 3.92 | Длительность: 14:56:00

Специальности: Математик

Теги: beta, IWR, recognition, алгоритмы, базисными векторами, выпуклая оболочка, выходной нейрон, направляющий вектор, обучение, поиск, полиэдр, пространство признаков, процедуры, разработка, сложность, собственный вектор, теория, эмпирический риск

|

Вам нравится? Нравится 22 студентам

| Поделиться |

Поддержать курс

| Скачать электронную книгу

5.4. Построение нейронной сети

Существует два подхода к задаче построения нейронной сети-классификатора. Первый подход заключается в построении сети, варьируя архитектуру. Данный метод основан на точной классификации прецедентов. Второй подход состоит в подборке параметров (весов и порогов) для сети с заданной архитектурой.

5.4.1 Алгоритм, основанный на точной классификации множества прецедентов. Опишем общую идею метода. За основу берется один нейрон. Далее наращиваем нейрон, пока не получим правильную классификацию всех прецедентов.

Рассмотрим более подробно алгоритм. Начинаем с одного нейрона n(X) , называемого мастером. После его тренировки получаем разделение множества на X^+ и X^- . Если X^+ содержит вектора из двух классов, то вводим новый узел n(X^+) , называемый последователем.

Таким образом, на первом слое нейронов находится один мастер и несколько последователей. Никакие вектора из разных классов не имеют одинакового выхода из первого слоя.

$X_1=\{y:y=f_1(x),x\in X\},$

где

– отображение, задаваемое первым слоем.

Аналогичным образом строим второй слой, третий слой и т.д.

Утверждение. При правильном выборе весов каждый очередной слой правильно классифицирует все вектора, которые правильно классифицировал мастер и еще хотя бы один вектор.

Таким образом, получаем архитектуру, имеющую конечное число слоев, правильно классифицирующие все прецеденты.

Нейроны первого слоя – это биссекторы, разделяющие пары. Второй слой – нейроны and , определяющие полиэдры. Третий слой – нейроны , определяющие классы.

Основным недостатком данного метода является слишком большое количество нейронов.

5.4.2. Алгоритм, основанный на подборе весов для сети с заданной архитектурой. Идея данного метода состоит в том, чтобы ввести критерий в виде функции стоимости, которую необходимо минимизировать.

Пусть

– число слоев в сети;
– число нейронов в слое , где $r=1,2,\ldots,L$ ;
– число выходных нейронов;
– размер входа;
$x(i)=(x_1(i),x_2(i),\ldots,x_{k_0}(i))$ – входной вектор признаков;
$y(i)=(y_1(i),y_2(i),\ldots,y_{k_L}(i))$ a – выходной вектор, который должен быть правильно классифицирован.

Текущем состоянии сеть при обучении дает результат $\widehat{y}(i)$ не совпадающий с y(i) . Обозначим:

$J=\sum_{i=1}^N\varepsilon(i)$

где

– число прецедентов; $\varepsilon(i)$ – ошибка на

-ом прецеденте;

$\varepsilon(i)=\frac12\sum_{m=1}^{k_L}e_m^2(i)=\frac12\sum_{m=1}^{k_L}(y_m(i)-\widehat{y}_m(i))^2,$

где $i=1,2,\ldots,N$ .

– функция всех синоптических весов и порогов. Таким образом, целью обучения является решение оптимизационной задачи:

$J(W)\rightarrow\min,$

где

– множество синоптических весов.

Пусть $y_k^{r-1}$ – выход -ого нейрона (r-1) -ого слоя; W-j^r – весовой вектор (включая порог) -ого нейрона в -ом слое, т.е. $W-j^r=(W_{j0}^r,W_{j1}^r,\ldots,W_{jk_{r-1}}^r)$ , где $k_{r-1}$ а – число нейронов в (r-1) -ом слое. Таким образом, – разрывная функция переменных, где