НОУ ИНТУИТ | Нейрокомпьютерные системы. Лекция 2: Модели нейронов

Учитесь и получайте официальные документы БЕСПЛАТНО. Вы можете поддержать наш проект.

Регистрация Вход

Твой путь к знаниям!

Новосибирский Государственный Университет

Опубликован: 13.09.2006 | Доступ: свободный | Студентов: 2204 / 519 | Оценка: 4.52 / 4.28 | Длительность: 12:23:00

ISBN: 978-5-9556-0063-5

Тема: Искусственный интеллект и робототехника

Специальности: Программист

|

Вам нравится? Нравится 19 студентам

| Поделиться |

Поддержать курс

| Скачать электронную книгу

Аппроксимация функций

Нейрон типа "адалайн"

В нейроне типа "адалайн" (ADAptive LInear Neuron - адаптивный линейный нейрон) адаптивный подбор весовых коэффициентов осуществляется в процессе минимизации квадратичной ошибки, определяемой как

$E(w)=e^{2}/2 =[d-(\sum_{i=0}^{N} w_{i} x_{i})]^{2}/2.$

В связи с выполнением условия дифференцируемости целевой функции стало возможным применение алгоритма градиентного обучения. Значения весовых коэффициентов уточняются следующим способом

$w_{i}(t+1) = w_{i}(t) + \alpha ex_{i}.$

Паде-нейрон

Паде-нейрон вычисляет произвольную дробно-линейную функцию вектора . Так же, как и для адаптивного сумматора, числитель и знаменатель можно сделать линейными функциями :

$Ux/Lx,\quad Ux = \sum_{i=0}^{N} U_{i}x_{i},\quad Lx = \sum_{i=0}^{N} L_{i}x_{i}.$

Паде-нейрон может использоваться как обобщение нейрона типа "адалайн" в тех случаях, когда линейных функций становится недостаточно, в частности, в задачах интерполяции эмпирических зависимостей.

В случае Паде-нейрона квадратичная ошибка определяется как

и значения весовых коэффициентов уточняются по следующим формулам

$\begin{align*} U_{i}(t+1) &= U_{i}(t) + \alpha ex_{i}/ \sum_{j=0}^{N}L_{j}x_{j},\\ L_{i}(t+1) &= L_{i}(t) - \alpha ex_{i}\sum_{j=0}^{N}U_{j}x_{j}/(\sum_{j=0}^{N}L_{j}x_{j})^2. \end{align*}$

Нейрон с квадратичным сумматором

Квадратичный сумматор может вычислять произвольный полином второго порядка от вектора входных сигналов

$Q(x) = \sum_{i,j}q_{ij}x_{i}x_{j} + \sum_{i} p_{i}x_{i}+r.$

Для многомерных нормальных распределений нейрон с квадратичным сумматором является наилучшим классификатором. Минимум вероятности ошибки дает квадратичная разделяющая поверхность:

если Q(x) > 0 , то объект принадлежит первому классу;