Московский государственный университет имени М.В.Ломоносова
Опубликован: 30.04.2008 | Доступ: свободный | Студентов: 1613 / 248 | Оценка: 4.24 / 3.92 | Длительность: 14:56:00
Специальности: Математик
Лекция 3:

Линейный классификатор. Алгоритм персептрона

< Лекция 2 || Лекция 3: 123 || Лекция 4 >
Аннотация: Предметом данной лекции является рассмотрение линейного классификатора и алгоритма персептрона. Приведены основные определения и теоремы, а также практические примеры

3.1. Линейная дискриминантная функция

Рассмотрим задачу построения линейной разделяющей гиперповерхности. Главным достоинством линейного классификатора является его простота и вычислительная эффективность.

Рассмотрим линейную дискриминантную функцию: g(x)=W^T x+W_0, где W^T=(W_1,W_2,\ldots,W_l)^T – весовой вектор, W_0 – порог. Поведение решения задается уравнением g(x)=0. Пусть X_1 и X_2 – два конечных множества векторов признаков в евклидовом пространстве, относящихся к классу \Omega_1 и \Omega_2 соответственно, т.е X_1 принадлежит классу \Omega_1 при g(x)>0, а X_2 принадлежит классу \Omega_2 при g(x)<0.

Задача состоит в том, чтобы:

  • установить разделимость этих множеств;
  • найти разделяющую гиперплоскость.

Рассмотрим сначала в качестве примера двумерную задачу, когда образы представляются точками на плоскости.

Определение. Множество, содержащее отрезок, соединяющий две произвольные внутренние точки, называется выпуклым.

Определение. Выпуклая оболочка – это минимальное выпуклое множество, содержащее данное.

Утверждение 3.1. Два множества на плоскости линейно разделимы тогда и только тогда, когда их выпуклые оболочки не пересекаются.

Из этого утверждения получаем следующее правило проверки разделимости множеств на плоскости:

  1. Построить выпуклые оболочки.
  2. Проверить пересечение выпуклых оболочек. Если они не пересекаются, то множества разделимы.

Очевидно и правило, по которому можно найти разделяющую прямую:

  1. Найти ближайшую пару точек в выпуклых оболочках обоих множеств.
  2. Построить срединный перпендикуляр к отрезку, соединяющему эти точки. Этот перпендикуляр и будет разделяющей прямой.

Пусть размерность вектора признаков X и вектора коэффициентов W равна l. Рассмотрим "пополненные" вектора X', W' следующего вида: (W')^T=(W^T,W_0) – пополненный весовой вектор, (X')^T=(X^T,1) – пополненный вектор признаков. Рассмотрим также в (l+1) -мерном пространстве однородную линейную функцию g'(x)=\left((W')^T,(X')^T\right)=\sum_{i=0}^l W_i\cdot x_i.

Очевидно следующее

Утверждение 3.2. Множества X_1 и X_2 линейно разделимы в пространстве R^l дискриминантной функцией g(x)=W^T x+W_0 тогда и только тогда, когда они разделимы в пополненном пространстве R^l+1 однородной дискриминантной функцией g'(x)=\left((W')^T,(X')^T\right)=\sum_{i=0}^l W_i\cdot x_i.

Далее будем рассматривать дискриминантные функции и вектора в пополненном пространстве.

Определение. Множество \overline{X}=-X называется симметричным множеством к множеству X.

Утверждение 3.3. Два замкнутых множества X_1 и X_2 разделимы тогда и только тогда, когда выпуклая оболочка множества X_1\bigcup\overline{X}_2 не содержит начала координат.

Доказательство. Пусть множества X_1 и X_2 разделимы. Тогда существует линейная функция g(x) такая, что g(x)>0 при x\in X_1 и g(x)<0 при x\in X_2. Рассмотрим множество X=X_1\bigcup\overline{X}_2, тогда g(x)>0 при x\in X. Следовательно, g(x)>0 для выпуклой линейной комбинации из X, а это означает, что O\notin convX, т.к. X – замкнутое. Здесь O обозначает начало координат.

Пусть O\notin convX, и пусть \widetilde{x} – ближайшая к началу координат O точка из convX. Плоскость (W,x)=0 с направляющим вектором W=\widetilde{x} не пересекает convX, а, значит, (W,x)>0 на x\in X. Следовательно, (W,x)<0 на x\in X_2.

< Лекция 2 || Лекция 3: 123 || Лекция 4 >