Новосибирский Государственный Университет
Опубликован: 13.09.2006 | Доступ: свободный | Студентов: 2198 / 512 | Оценка: 4.52 / 4.28 | Длительность: 12:23:00
ISBN: 978-5-9556-0063-5
Специальности: Программист
Лекция 3:

Задача линейного разделения двух классов

< Лекция 2 || Лекция 3: 123 || Лекция 4 >
Аннотация: Рассматриваются: решение задачи линейного разделения двух классов методом центров масс, алгоритм обучения персептрона, виды обучения, геометрическая интерпретация задачи разделения двух классов.

Линейное разделение классов

состоит в построении линейного решающего правила, т.е. такого вектора w = (w_0, \ldots, w_n), где w_0 — порог, что при wx > 0 вектор x относится к первому классу, а при wx \le   0 — ко второму.

Разделение центров масс - простейший способ построения решающего правила. Суть этого способа заключается в вычислении вектора весов персептрона по следующей формуле

\begin{align*}
 w = ( \sum_{i=1}^{n}X^i - \sum_{j=1}^{m}Y^j)/(n+m),
\end{align*}

где X^i, i=1, \ldots, n относятся к первому классу, а Y^j, j=1, \ldots, m - ко второму.

Линейные решающие правила, построенные на основании разделения центров масс, могут ошибаться на примерах из обучающей выборки даже в тех случаях, когда существует и безошибочное линейное разделение. Однако метод центров масс полезен как средство определения начального значения вектора весов для алгоритма обучения персептрона.

Алгоритм обучения персептрона по отдельным примерам

1. При изначально заданных значениях весов w_i на вход нейрона подается обучающий вектор x и рассчитывается значение выходного сигнала y. По результатам сравнения y с d уточняются значения весов.

2. Если y = d, то w_i, i=1, \ldots, N не изменяются.

3. Если y = 0, а d = 1, то значения весов уточняются по формуле

\begin{align*}
 w_i(t+1) = w_i(t) +  \alpha x_i, \alpha\in (0,1),
\end{align*}

где \alpha — коэффициент обучения, t — номер предыдущего цикла.

4. Если y = 1, а d = 0, то значения весов уточняются по формуле

\begin{align*}
 w_i(t+1) = w_i(t) - \alpha x_i.
\end{align*}

В обобщенной форме обучение персептрона на векторе x выражается формулой

\begin{align*}
 w_i(t+1) = w_i(t) + \alpha (d - y)x_i, i=1, \ldots, N.
\end{align*}

По завершении уточнения весовых коэффициентов представляются очередной обучающий вектор x и связанное с ним ожидаемое значение d, и значения весов уточняются заново. Этот процесс многократно повторяется на всей обучающей выборке, пока не будут ликвидированы различия между всеми значениями y и соответствующими им ожидаемыми значениями d.

< Лекция 2 || Лекция 3: 123 || Лекция 4 >