НОУ ИНТУИТ | Математические методы распознавания образов. Лекция 6: Метод потенциальных функций

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Твой путь к знаниям!

Московский государственный университет имени М.В.Ломоносова

Опубликован: 30.04.2008 | Доступ: свободный | Студентов: 1614 / 251 | Оценка: 4.24 / 3.92 | Длительность: 14:56:00

Специальности: Математик

Теги: beta, IWR, recognition, алгоритмы, базисными векторами, выпуклая оболочка, выходной нейрон, направляющий вектор, обучение, поиск, полиэдр, пространство признаков, процедуры, разработка, сложность, собственный вектор, теория, эмпирический риск

|

Вам нравится? Нравится 22 студентам

| Поделиться |

Поддержать курс

| Скачать электронную книгу

6.2. Выбор системы функций

$\{\varphi_i(x)\}$ . Система функций $\{\varphi_i(x)\}$ задается априорно. Обычно используют некую полную систему функций, например, на конечном отрезке можно взять систему тригонометрических функций. Эта система к тому же ортогональна.

Утверждение. Если задана полная ортогональная система функций одной переменной, то можно построить полную ортогональную систему функций любого числа переменных.

Доказательство. Пусть $\{\varphi_i(x)\}$ – полная ортогональная система функций на конечном интервале . Рассмотрим систему

$\left\{ \varphi_{i_1,\ldots,i_m}(x_1,\ldots,x_m)=\varphi_{i_1}(x_1),\ldots,\varphi_{i_m}(x_m) \right\} ,\;i_1,\ldots,i_m=0,1,2,\ldots$

Эта система полна и ортогональна на декартовом произведении экземпляров , то есть на $\underbrace{I\times I\times\ldots\times I}_{m\text{ раз}}$ ..

Проверим ортогональность. В скалярном произведении двух различных функций $\varphi_{i_1,\ldots,i_m}$ и $\varphi_{j_1,\ldots,j_m}$ :

$\int\limits_I\ldots\int\limits_I(\varphi_{i_1,\ldots,i_m},\varphi_{j_1,\ldots,j_m})dx_1\ldots dx_m$

всегда найдется такое

, что $\varphi_{i_k}(x_k)\neq\varphi_{j_k}(x_k)$ и, в силу ортогональности системы $\{\varphi_i(x)\}$ , имеем:

$\int\limits_I(\varphi_{i_k}(x_k),\varphi_{j_k}(x_k))dx_k=0$

Далее, пусть $F(x_1,\ldots,x_m)$ – произвольная функция переменных. Фиксируем все переменные, кроме x_1 , и получаем разложение функции :

$F=\sum_{i_1}c_{i_1}(x_2,\ldots,x_m)\varphi_{i_1}$

Повторяем это рассуждение для $c_{i_{`1}}$ последовательности m-1 раз:

$F(x_1,\ldots,x_m)=\sum_{i_1,\ldots,i_m} c_{i_1\ldots i_m}\varphi_{i_1}(x_1)\ldots\varphi_{i_m}(x_m),$

что и доказывает полноту системы

$\{\varphi_{i_1,\ldots,i_m}(x_1,\ldots,i_m)\},\; i_1,\ldots,i_m=0,1,2,\ldots$

6.3. Сходимость общей рекуррентной процедуры

Предположим, что обучающая последовательность есть выборка конечного объема из пространства $\widetilde{X}$ ( $\widetilde{X}$ – пространство признаков). Тогда последовательность $\{\Phi_n(x)\}$ есть последовательность случайных функций, и последовательность c_i – последовательность случайных чисел. Поэтому будем говорить о сходимости $\{\Phi_n(x)\}$ в вероятностном смысле, то есть либо по вероятности, либо с вероятностью равной 1, либо в среднем.

Пусть – случайные величины из $\widetilde{X}$ , а $X, \overline{X}$ – выборка для конечного объекта.

Теорема. Пусть заданы два множества и $\overline{X}$ и выполнены следующие условия.

Существует функция $\Phi(x)$ такая, что $\Phi(x)\geq\varepsilon$ , при $x\in X$ , $\Phi(x)\leq-\varepsilon$ при $x\in\overline{X}$ , где константа $\varepsilon>0$ .
Задана система функций $\{\varphi_i(x)\},\; i=1,2,\ldots$ такая, что $\Phi(x)=\sum_i c_i\varphi_i(x)$ , $K(x,y)=\sum_i\lambda_i^2\varphi_i(x)\varphi_i(y)$ , $\sum_i\left(\frac{c_i}{\lambda_i}\right)^2<\infty$
Точки из обучающей последовательности независимые случайные величины, с одной и той же плотностью . Тогда общая рекуррентная процедура, определяемая формулой $\Phi_{n+1}=q_n\Phi_n+r_n K(x,x_{n+1})$ , где $\Phi_1(x)=0,\;q_n=1$ и
$r_n= \left\{ \begin{aligned} & 0,\textit{ если }\Phi_n(x_{n+1})>0\textit{ и }x_{n+1}\in X \\ & 0,\textit{ если }\Phi_n(x_{n+1})<0\textit{ и }x_{n+1}\in \overline{X} \\ & 1,\textit{ если }\Phi_n(x_{n+1})<0\textit{ и }x_{n+1}\in X \\ & -1,\textit{ если }\Phi_n(x_{n+1})>0\textit{ и }x_{n+1}\in \overline{X} \\ \end{aligned} \right.$
сходится в следующем смысле: $\texttt{E}\left[|sign\Phi(x)-sign\Phi_n(x)|\right]\rightarrow 0$ , при $n\rightarrow \infty$ .

Теорема. Пусть выполнены все условия предыдущей теоремы. Пусть также на каждом -ом шаге работы общей рекуррентной процедуры существует строго положительная вероятность исправления ошибки, если функция $\Phi_n(x)$ к -ому шагу еще не разделила классы K_1 и K_2 . Пусть с вероятностью единица для каждой реализации процедуры существует конечное число такое, что

$\Phi_l(x)$ – правильно разделяет и $\overline{X}$ ,

– конечный интервал на прямой $(Z\in R^1)$ ,

$\{\varphi_i(x)\}$ – полная ортогональная система функций, $\varphi_1(x)\rightarrow R^1$ ,

$\int\limits_Z \varphi_i(x)\varphi_j(x)dx=0$ при $i \neq j$ .

Тогда система функций $\{\varphi_{i_1,\ldots,i_m}(x_1,\ldots,x_m)=\varphi_{i_1}(x_1)*\ldots*\varphi_{i_m}(x_m)\}$ полна и ортогональна на пространстве $\underbrace{Z\times\ldots\times Z}_{m\text{ раз}}$ .

Доказательство. Ортогональность очевидна. Докажем полноту. Пусть $F(x_1,\ldots,x_m))$ – произвольная функция в Z^m такая, что $Z^m\rightarrow R^1$ . Фиксируем переменные начиная с x_2 , тогда

$F=F(x_1)=\sum_{i=1}^{\infty}c_i(x_1,\ldots,x_m)\cdot\varphi_i(x_1), \text{ где }c_1(x_2,\ldots,x_m)=\sum_{i=1}^{\infty}c_i(x_3,\ldots,x_m)\cdot\varphi_i(x_l).$