Основы теории нейронных сетей
[+]
Опубликован: 27.07.2006 | Доступ: свободный | Студентов: 6123 / 1491 | Оценка: 4.37 / 4.06 | Длительность: 13:49:00
ISBN: 978-5-9556-0049-9
Тема: Искусственный интеллект и робототехника
Специальности: Программист
Теги: .net, алгоритмы, АРТ, выходной слой, искусственная жизнь, искусственные нейронные сети, исследования, когнитрон, компоненты, локальные минимумы, нейронные сети, обучение, персептрон, поиск, процедуры, сеть хопфилда, синапс, сходимость, фотографии, целевая функция
Лекция 3:

Персептроны. Обучение персептрона
A
|
версия для печати
< Лекция 2 || Лекция 3: 1234 || Лекция 4 >

Целочисленность весов персептронов

Для ответа на вопрос о количественных характеристиках вектора w рассмотрим следующую теорему.

Теорема. Любой персептрон можно заменить другим персептроном того же вида с целыми весами связей.

Доказательство.Обозначим множество примеров одного класса (правильный ответ равен 0) через X_0, а другого (правильный ответ равен 1) — через X_1. Вычислим максимальное и минимальное значения суммы в правой части (1):

s_0=\max_{x\in X_0}\sum_i w_ix_i, \quad s_1=\min_{x\in X_1}\sum_i w_ix_i.

Определим допуск s как минимум из s_0 и s_1. Положим \delta=s/(m+1), где m — число слагаемых в (1). Поскольку персептрон (1) решает поставленную задачу классификации и множество примеров в обучающей выборке конечно, то \delta>0. Из теории чисел известна теорема о том, что любое действительное число можно сколь угодно точно приблизить рациональными числами. Заменим веса w_i на рациональные числа так, чтобы выполнялись следующие неравенства: |w_i- w_i'|<\delta.

Из этих неравенств следует, что при использовании весов w_i' персептрон будет работать с теми же результатами, что и первоначальный персептрон. Действительно, если правильным ответом примера является 0, имеем \sum_i w_ix_i\le -s.

Подставив новые веса, получим:

\sum_i w_i' x_i=\sum_i(w_i'-w_i)x_i+\sum_i w_ix_i\le \sum_i|w_i'- w_i|x_i-s\le\\ \le \sum_i|w_i'-w_i|-s<(m+1)\delta-s=0.

Откуда следует необходимое неравенство

\sum_i w_i'x_i<0. ( 2)

Аналогично, в случае правильного ответа равного 1, имеем \sum_i w_ix_i<s, откуда, подставив новые веса и порог, получим:

\sum_i w_i' x_i = \sum_i (w_i'-w_i)x_i+\sum_i w_i x_i\ge s-\sum_i|w_i'- w_i|x_i\ge\\ \ge s-\sum_i|w_i'-w_i|>s-(m+1)\delta=0.

Отсюда следует выполнение неравенства

\sum_i w_i' x_i>0. ( 3)

Неравенства (2) и (3) доказывают возможность замены всех весов и порога любого персептрона рациональными числами. Очевидно также, что при умножении всех весов и порога на одно и то же ненулевое число персептрон не изменится. Поскольку любое рациональное число можно представить в виде отношения целого числа к натуральному числу, получим

\psi=\Bigl[\sum_{i=1}^m w_i x_i>0\Bigr]= \Bigl[\sum_{i=1}^m w_i' x_i>0\Bigr]= \Bigl[\sum_{i=1}^m \frac{w_i''}{r_i} x_i>0\Bigr], ( 4)

где w_i'' — целые числа. Обозначим через r произведение всех знаменателей: r=\prod_{i=0}^m r_i. Умножим все веса и порог на r. Получим веса целочисленные w'''=rw''. Из (2), (3) и (4) получаем

\psi=\Bigl[\sum_{i=1}^m w_i x_i>0\Bigr]= \Bigl[\sum_{i=1}^m w_i' x_i>0\Bigr]= \Bigl[\sum_{i=1}^m \frac{w_i''}{r_i} x_i>0\Bigr]= \Bigl[\sum_{i=1}^m w_i''' x_i>0\Bigr],

что и завершает доказательство теоремы.

Поскольку из доказанной теоремы следует, что веса персептрона являются целыми числами, то вопрос о выборе шага при применении правил обучения решается просто: веса и порог следует увеличивать (уменьшать) на единицу.

Дальше >>
< Лекция 2 || Лекция 3: 1234 || Лекция 4 >

Вопросы и ответы

вопросов: 0