Опубликован: 03.04.2013 | Доступ: свободный | Студентов: 310 / 11 | Длительность: 34:17:00
Специальности: Разработчик аппаратуры
Лекция 5:

Нейрофизиологический и формально-логический базис нейроподобных вычислений

4.4. Перцептрон Ф. Розенблатта и теория распознавания образов

В модели формального нейрона Мак-Каллока - Питтса отражены практически все известные на тот момент структурно-функциональные особенности работы реальных нейронов. Исключение составляет только зависящий от многих внешних факторов цифро-аналоговый механизм диффузии медиатора через синаптическую щель. В результате на основе формальных нейронов Мак-Каллока - Питтса удалось исследовать функциональную устойчивость по отношению к "случайным" флуктуациям порогов нейронов, составляющих сеть. Согласно [71] такой подход относится к монотипному, когда свойства образующих нервную сеть элементов полностью заданы как системой аксиом, так и топологией сети. В рамках генотипного подхода полностью заданными считаются только свойства составляющих элементов (в данном случае нейронов), но структура сети определена только частично с помощью ограничений на функции распределения вероятностей. Поэтому в рамках генотипного подхода можно исследовать только классы систем, а не отдельных представителей этого класса, а исследуемыми являются свойства, вытекающие из заданных законов организации, а не отдельные функции, реализуемые конкретной системой.

Второе существенное отличие монотипных и генотипных моделей нервной системы состоит в методе определения функциональных характеристик: в первом случае функциональные свойства постулируются и используются в качестве исходных данных, а во втором случае исходной является физическая система, представленная статистическими свойствами класса, а ее функциональные свойства являются конечной целью исследований. Именно второй подход адекватен условиям психофизиологических исследований, когда на первый план выходят не индивидуальные особенности нервной системы особи, а общие закономерности адаптации и обучения, свойственные классам таких особей, которые репродуцированы генетическими методами, подверженными вариационным изменениям. Здесь, так же как и при переходе от механизмов локальной деполяризации к возбуждению всего нейрона, проявляется структурно-функциональный полиморфизм, но уже при переходе с физиологического на психологический уровень исследования живых систем.

При создании перцептрона как генотипной модели реальных нейронов и сетей Ф. Розенблатт исходил из более поздних достижений не только нейрофизиологии, но и психологии [71]:

  1. В теории нейронов и нервных импульсах, где уже имелись достаточные основания представлять нервные сети системой из большого числа импульсных генераторов с одним и более выходами каждый, которые осуществляют импульсно-кодовую модуляцию на основе принятия решений, зависящих от серий сигналов, поступающих на каждый из входных синапсов, и от собственного внутреннего состояния.
  2. В представлениях о структуре сети, где стало ясно, что в нервной системе сочетаются возможности узкоспециализированных и потому строго упорядоченных топологий со слабо упорядоченными, ассоциативно управляемыми образованиями. Топология первых, как правило, строго коррелированна со структурой управляемого объекта, как это имеет место в зрительных, слуховых и моторных трактах. Топология вторых задается направленными градиентами, преимущественными направлениями и статистическими распределениями длин волокон для различных типов клеток, что типично для коры больших полушарий и ретикулярной формации.
  3. В представлениях о локализации функций, благодаря которым удалось выделить в нервной системе сенсорную (чувствительную), моторную (двигательную) и ассоциативную составляющие. На тот период наиболее достоверно функциональная организация была установлена для сенсорных и моторных каналов с характерными локусами в коре, коррелирующими с "восприятием" сигналов рецептивного поля и управлением определенными группами мышц соответственно.
  4. В представлениях о врожденных вычислительных механизмах, которые на инстинктивном уровне координируют восприятие и двигательную активность, что позволяло говорить об узкоспециализированных замкнутых контурах управления, работающих на принципах сервомеханизмов, препятствуя повышению уровня активности при эпилептических припадках или снижая уровень чувствительности при болевых шоках и т. п.
  5. В представлениях об обучении и забывании, которые напрямую зависят от организации памяти живых систем, ответственной за тесно переплетенные между собой функции, с одной стороны, хранения и воспроизводства накопленного опыта, а с другой стороны - его модификации в процессе обучения.
  6. В представлениях о роли "полевых" эффектов в восприятии, где был найден компромисс между сторонниками атомистического и гештальт-подхода. В результате было признано, что любое чувственное восприятие зависит не только от свойств стимула или распознаваемого образа, но и от структуры сенсорного поля, в котором реализуется данное восприятие.
  7. В представлениях о механизмах выбора в восприятии и поведении, которые предполагают многоальтернативность решения стоящей задачи, а значит, и основанный на психологической "установке" избирательный характер восприятия. Сама психологическая "установка" на тот период времени уже связывалась с волнами в нервной системе, регулирующими подпороговые уровни возбуждения и торможения.
  8. В представлениях о механизмах формирования сложных последовательностей актов поведения, которые невозможно реализовать без однозначных "программ", которые на тот момент реализовывались через последовательности избирательных установок или предпочтений в сложных иерархических структурах, где операции нижнего уровня выполняются под управлением установки, сформированной на более высоком уровне.

Для формализации такой психофизиологической модели нервной системы Ф. Розенблатт использовал следующие определения [71]. При этом определения, задающие правила функционирования составляющих перцептрон элементов и генерируемых ими сигналов, были распределены по группам:

  1. Сигналы и передающие сети:

    Определение 1. Под сигналом понимается любая измеримая переменная величина (напряжение, интенсивность светового потока, концентрация химических реагентов и т. п.), измеряемыми параметрами которой являются как минимум амплитуда, время и местоположение.

    Определение 2. Генератором сигнала считается любой элемент или устройство u_{i} произвольной физико-химической, нейрохимической или молекулярно-биологической природы, которые способны производить выходные сигналы u*.

    Определение 3. Производящей функцией сигнала является любая функция, которая определяет закон изменения амплитуды сигнала, производимого генератором сигнала.

    Определение 4. Связью (соединением) является канал произвольной физико-химической, нейрохимической или молекулярно-биологической природы, с помощью которого сигнал от одного генератора сигналов (начальный элемент или вход) может быть передан другому генератору (конечный элемент или выход). Связь c_{ij} характеризуется своими начальными u_{i} и конечными u_{j} элементами и передающей функцией, которая определяет амплитуду сигнала c ^{*}_{ij} (t), поступившего на конечный элемент (выход), как функцию амплитуды и момента появления сигнала, генерируемого начальным элементом (входом).

    Определение 5. Передающая сеть представляет собой систему соединенных в сеть генераторов сигнала.

  2. Простейшие элементы, сигналы и состояния перцептрона:

    Определение 6. Сенсорным элементом ( S -элементом) является любой чувствительный элемент, который вырабатывает сигнал являющийся функцией входной энергии (света, звука, давления, тепла, электричества и т. п.). Входной сигнал S -элемента s, который поступил из внешней среды W в момент времени t, обозначается c ^{*}_{W(t)}(t) ; сигнал, который вырабатывается элементом s_i в момент времени t - s^{*}_{i}(t).

    Определение 7. Простым S -элементом считается тот, который выдает выходной сигнал s^*_i = +1, если входной сигнал c*_{W} \ge \chi_{i}, и s^*_i = 0 в противном случае, где \chi_{i} - порог срабатывания S -элемента s_{i}.

    Определение 8. Ассоциативным элементом ( A -элементом) называется генератор сигнала (обычно логический элемент решающего типа) с входными и выходными связями c_{ij}, по которым поступают сигналы c^*_{ij}. Сигнал, вырабатываемый A -элементом a_{j}, обозначается a^{*}_{j}(t).

    Определение 9. Простым A -элементом называется логический решающий элемент, который выдает выходной сигнал a ^{*} = +1, когда алгебраическая сумма его входных сигналов а_i  \ge \chi_{i} > 0, и a^*_i = 0 в противном случае. Если a ^{*}_i = +1, то говорят, что A -элемент является активным.

    Определение 10. Реагирующим элементом ( R -элементом) называется генератор сигнала, имеющий входные связи и выдающий сигнал, который поступает во внешнюю сеть (окружающую среду или другую систему). Сигнал, вырабатываемый r_{i} -элементом, обозначают r ^{*}_{i}.

    Определение 11. R -элемент является простым, если он выдает сигнал r _{i}^* = +1, когда сумма его входных сигналов является строго положительной, и сигнал r _{i}^* = -1, когда сумма его входных сигналов является строго отрицательной. Если сумма входных сигналов равна нулю, выход R -элемента можно считать либо нулевым, либо неопределенным (в частности, колеблющимся возле нулевого уровня).

    Определение 12. Передающие функции связей в перцептроне зависят от двух параметров: времени передачи импульса по каналам связи \tau_{ij} _{} и коэффициента (веса) связи v_{ij}. Передающая функция связи c_{ij} от элемента u_{i} к элементу u_{j} имеет вид:

    c^{*}_{ij}(t)=f [v_{ij}(t), u^{*}_{i}(t-\tau_{ij})],

    а веса могут быть постоянными или переменными (зависящими от времени), когда вес является функцией памяти.

    Определение 13. Активное состояние сети в момент t определяется совокупностью сигналов u^{*}_{i}, выдаваемых всеми генераторами сигналов в этот момент t.

    Определение 14. Состояние памяти сети характеризуется конфигурацией весов всех связей с переменным весом в определенный момент времени.

    Определение 15. Фазовым пространством сети называется пространство всех возможных состояний памяти данной сети. Состоянию памяти системы в каждый момент времени соответствует точка в фазовом пространстве, а траектория этой точки в фазовом пространстве описывает историю системы. Фазовое пространство является N -мерным эвклидовым, если сеть имеет N связей с переменным весом и каждой связи соответствует своя координата.

    Определение 16. Коэффициенты соединения (веса) v_{ij} для всех пар элементов u_{i} и u_{j} образуют матрицу ||V|| взаимодействия сети, состоящей из S -, A - и R -элементов. Если связь от элемента u_{i} к элементу u_{j} отсутствует, считается v_{ij} = 0. Задание матрицы взаимодействия эквивалентно заданию точки в фазовом пространстве.

  3. Перцептроны и их классификация:

    Определение 17. Перцептрон представляет собой сеть, состоящую из S -, A - и R -элементов, с переменной матрицей ||V||, определяемой последовательностью прошлых активностей сети.

    Определение 18. Логическое расстояние от элемента u_{i} до элемента u_{j } равно наименьшему числу связей, с помощью которых сигнал от элемента u_{i} можно передать элементу u_{j}.

    Определение 19. Перцептроном с последовательными связями называется система, в которой все связи, начинающиеся от элементов с логическим расстоянием d от ближайшего S -элемента, оканчиваются на элементах с логическим расстоянием d+1 от ближайшего S -элемента.

    Определение 20. Перцептроном с перекрестными связями называется система, в которой некоторые связи соединяют друг с другом элементы одного типа ( S, A или R ), находящиеся на одинаковом логическом расстоянии от S -элементов, причем все остальные связи - последовательного типа.

    Определение 21. Перцептроном с обратной связью называется система, в которой по крайней мере один элемент A или R, находящийся на расстоянии d от ближайшего S -элемента, является исходным в цепи обратной связи к S -элементу или A -элементу, расстояние которого до ближайшего S -элемента d_2 < d_1, то есть обратная связь соединяет выход элемента, расположенного ближе к выходу сети, с входом элемента, расположенного ближе к ее входам.

    Определение 22. Простым перцептроном называется любая система, удовлетворяющая следующим условиям:

    1. В системе имеется один R -элемент, который связан со всеми A -элементами.
    2. Система представляет собой перцептрон с последовательными связями, идущими только от S -элементов к A -элементам и от A -элементов к R -элементам.
    3. Веса всех связей от S -элементов к A -элементам являются фиксированными (не изменяются во времени).
    4. Время передачи каждой связи равно либо нулю, либо фиксированной постоянной величине ?.
    5. Все передающие функции S -, A - и R -элементов имеют вид u^{*}_{i} (t) = f (\alpha_{i}(t)), где \alpha_{i}(t) - алгебраическая сумма всех сигналов, поступающих одновременно на вход элемента.

    Определение 23. Перцептрон называется элементарным, если он является простым, содержит простые R - и A -элементы, а его передающая функция имеет вид:

    c^*_{ij}(t) = u^*_i(t- \tau)v_{ij}(t). ( t))
  4. Стимулы и внешняя среда:

    Определение 24. Стимул представляет собой любое непустое множество входных сигналов c ^{*}_{W(i)}(t), поступающих на S -элементы в момент времени t. Если сенсорное поле (в частности, сетчатка) имеет N_s сенсорных элементов, то стимул представляет собой N_s -мерный вектор, каждой компоненте которого соответствует сигнал на входе соответствующего S -элемента. Стимул отсутствует, если все входные сигналы равны нулю и если не оговорены другие условия.

    Определение 25. Пространством стимулов (внешней средой W_n с числом различных стимулов n ) называется любое множество стимулов, определенное для данной системы S -элементов.

    Определение 26. Пространство последовательностей стимулов представляет собой множество всевозможных последовательностей стимулов, каждое из которых содержит упорядоченный ряд стимулов из множества W_{n}.

  5. Реакция и решения:

    Определение 27. Реакцией называется любое соответствие между входными сигналами R -элемента и стимулами из множества W_{n}. Для простого перцептрона реакция R(W_{n}) представляет собой n -мерный вектор ( R_{1}, R_{2}, …, R_{n} ), компонентами которого являются значения реакции элемента на действие каждого стимула ( S_{1}, S_{2}, …, S_{n} ) внешней среды.

    Определение 28. Классификацией называется выделение класса эквивалентных реакций. Две реакции считаются эквивалентными, если соответственные компоненты совпадают по знаку. Для любого перцептрона с единственным простым R-элементом классификация C(W_{n}) разделяет множество W_{n} на два класса: положительный класс, включающий в себя все стимулы, для которых r^{*} = +1, и отрицательный класс, состоящий из стимулов, для которых r^{*} = -1.

    Определение 29. Последовательность реакций представляет собой соответствие последовательности выходных сигналов R -элемента последовательностям стимулов из пространства этих последовательностей.

    Определение 30. Для данного перцептрона решение относительно реакции (классификации) существует, если в его фазовом пространстве имеется такая точка, что при предъявлении стимула S_{i} будет иметь место реакция R_{i} (определяемая реакцией R(W_{n}) ) для всех S_{i}, входящих в W_{n}.

  6. Система подкрепления:

    Определение 31. Системой подкрепления называется любой набор правил, с помощью которых изменяется с течением времени матрица взаимодействия (состояние памяти) перцептрона.

    Определение 32. Система управления подкреплением - это любая внешняя по отношению к перцептрону система, которая осуществляет изменения его матрицы взаимодействия в соответствии с правилами принятой системы подкрепления.

    Определение 33. Положительное подкрепление - это такой процесс подкрепления, при котором вес связи, начинающейся на активном элементе u_{i} и оканчивающейся на элементе u_{j}, изменяется на величину \Delta v_{ij}(t) (или со скоростью dv_{ij} /dt ), знак которой совпадает со знаком сигнала u^{*}_{j}(t).

    Определение 34. Отрицательное подкрепление - это такой процесс подкрепления, при котором вес связи, начинающейся на активном элементе u_{i} и оканчивающейся на элементе u_{j}, изменяется на величину \Delta v_{ij}(t) (или со скоростью dv_{ij} /dt ), знак которой противоположен знаку сигнала u^{*}_{j}(t) .

    Определение 35. Система подкрепления относится к монополярному типу, если веса всех связей, оканчивающихся на элементе u_{j}, остаются неизменными в течение всего отрезка времени t до тех пор, пока u^*(t ) не станет строго положительной.

    Определение 36. Система подкрепления относится к биполярному типу, если веса связей изменяются независимо от знака входного сигнала элемента, на котором они заканчиваются.

    Определение 37. Система подкрепления относится к а -типу, а перцептрон является а-перцептроном, если веса всех активных связей, которые заканчиваются на элементе u_{j} (связи, для которых u^*_i(t-\tau)\ne 0 ), изменяются на одинаковую величину \Delta v_{ij}(t)=\eta или с постоянной скоростью в течение всего времени действия подкрепления, причем веса неактивных связей (u^{*}_{i}(t-\tau)=0) за это время остаются неизменными.

    Определение 38. Система подкрепления относится ку-типу, а перцептрон является \gamma -перцептроном, если веса всех активных связей сначала изменяются на равную величину, а затем из весов всех связей вычитается величина, равная полному изменению весов всех активных связей, деленному на число всех связей (взвешенное изменение активности). \gamma -Система подкрепления консервативна относительно весов, так как в ней полная сумма весов всех связей не может ни возрастать, ни убывать. Изменение v_{ij} при этом определяется:

    \Delta v_{ij}(t) = \left [ w_{ij}(t) - \cfrac{\sum_i{w_{ij}(t)}}{N_j} \right ] \eta, 
\text{ где }  
w_{ij} =\begin{cases}
1, & \text{ если } u_i^*(t-\tau)\ne 0, \\
0, & \text{ в противном случае }\\
\end{cases}

    Здесь N - число связей, оканчивающихся на элементе , \eta - величина сигнала подкрепления (обычно \pm 1 или 0 ).

    Определение 39. Подкрепление называется дискретным, если величина изменения веса фиксирована ( |\Delta v| = |\eta | ), и непрерывным, если эта величина может принимать произвольное значение.

    Определение 40. Система подкрепления с управлением по реакции ( R -управляемая система) представляет собой такой метод обучения, при котором величина сигнала подкрепления \eta постоянна, а его знак полностью определяется текущим значением реакции r^{*} независимо от конкретного действующего стимула S.

    Определение 41. Система подкрепления с управлением по стимулам ( S -управляемая система) представляет собой такой метод обучения, при котором величина сигнала подкрепления \eta постоянна, а его знак полностью определяется текущим значением стимула или, что одно и то же, значением C(W_n). В этом случае текущее значение реакции перцептрона не оказывает влияния ни на знак, ни на величину сигнала подкрепления \eta.

    Определение 42. Система подкрепления с коррекцией ошибок представляет собой такой метод обучения, при котором величина сигнала подкрепления \eta равна 0 до тех пор, пока текущая реакция перцептрона остается правильной. При появлении неправильной реакции знак ? определяется знаком ошибки. В такой системе подкрепление равно нулю для правильной реакции и отрицательно для неправильной: \eta = f(R^{*}-r^{*}), где R^{*} - желательная реакция, r^{*} - полученная реакция и f - знакоопре-деленная монотонная функция, такая, что f(0) = 0.

  7. Экспериментальные системы:

    Определение 43. Экспериментальная система - это система, состоящая из перцептрона, пространства стимулов W_{n} и системы управления подкреплением.

    Эксперимент предполагает наличие экспериментальной системы, метода обучения и метода испытания перцептрона или, что одно и то же, измерения его характеристик. В простейшем случае (рис. 4.17) методы обучения и испытания перцептрона возложены на человека, который корректирует систему подкрепления с использованием информации, полученной на основе анализа экспериментальных характеристик перцептрона. В этой схеме перцептрон является "пассивным" объектом обучения, и чтобы его сделать "активным", необходимо задействовать глобальную обратную связь с выхода элементов R -типа на внешнюю среду (рис. 4.18).

    Экспериментальная система с простым перцептроном [71]

    Рис. 4.17. Экспериментальная система с простым перцептроном [71]

При этом следует иметь в виду, что в R -управляемой системе информационный канал от внешней среды ( W_{n} ) к системе управления подкреплением не является функциональным, в то время как в S -управляемой системе нефункциональным уже является канал от элементов R -типа к системе подкрепления. В системе с коррекцией ошибок функциональными являются оба канала.

Виктор Бузмаков
Виктор Бузмаков
Россия, г. Москва
Юрий Самков
Юрий Самков
Россия