Активные нейронные модели (А-сети)

Простые ассоциации по времени (предвидение).

В нейронной модели, обладающей свойством активности, должны происходить процессы предактивации нейронных структур, основанные на предвидении. В гипотетической полной иерархической многоуровневой модели предвидение может основываться на моделировании процессов в среде и процессов взаимодействия организма (автомата) со средой. В одноуровневой трехслойной сети предвидение, т. е. предактивация вторичных нейронных сетей, должно основываться в первую очередь на ассоциациях по смежности во времени поступления информационных воздействий.

В упрощенной системе, когда рассматривается только один уровень нейронной сети, эти ассоциации строятся на возбуждающих и тормозящих взаимодействиях между активируемыми в повторяющихся последовательностях вторичными сетями (ансамблями). В прямом направлении времени возбуждающие связи между ансамблями нейронов увеличиваются, а тормозящие - уменьшаются. В обратном направлении времени, наоборот, возбуждающие связи между ансамблями нейронов уменьшаются, а тормозящие - увеличиваются.

В режиме "покоя", при отсутствии внешних информационных воздействий в сети, подверженной равномерному случайному внешнему воздействию, если уровень возбудимости нейронов достаточно высок, должен идти процесс поочередной активации вторичных сетей (ансамблей), направленный на поддержание оптимального функционального состояния нейронов. На необученной сети последовательность активации ансамблей случайна. После обучения, при котором на сеть подавались регулярные последовательности входных информационных воздействий, при отсутствии внешних воздействий процесс становится не случайным - возникает тенденция возбуждения вторичных сетей в последовательности, определяемой обучением.

Описываемая модель активной нейронной сети ( -сети) имеет общие черты с моделью Хебба [20]. В качественной модели Хебба постулируется, что одновременно возбуждающиеся нейроны связываются в функциональные структуры - нейронные ансамбли. Последовательно возбуждающиеся структуры связываются в "фазовые последовательности". Эти процессы основываются на изменении связей между нейронами. Как спонтанная активация нейронного ансамбля или "фазовой последовательности", так и их активация внешним стимулом вызывают соответствующий образ или ощущение.

Все это может быть отнесено и к -сетям, но есть и важные принципиальные отличия. Нейроны в -сетях - это неустойчивые элементы, у которых изменяется функциональное состояние, а соответственно и возбудимость, в зависимости от интенсивности срабатываний. Это свойство нейронов является определяющим. Все, что происходит в -сетях, как на стадии обучения, т. е. в процессе изменения связей между нейронами, формирования нейронных ансамблей, формирования связей между ансамблями и т. д., так и на стадии работы, включающей воспроизведение результатов обучения, - все это должно подчиняться одному критерию - оптимизации функционального состояния нейронной сети. Из этого вытекают важнейшие свойства нейронной сети - синергичность и активность.

Логическая емкость приведенной выше схемы ассоциативных временных взаимодействий невысока, поскольку в этой схеме учитываются только смежные парные взаимодействия. Например, если входные информационные воздействия соответствуют буквам алфавита и система обучается путем подачи на вход последовательностей букв из разных текстов, то очень быстро зафиксируются почти все возможные парные сочетания и временных ассоциаций практически не будет. И тем не менее парные ассоциации по смежности во времени могут играть свою важную роль для предвидения повторяющихся в определенной фиксированной последовательности событий или ситуаций.

В гипотетической полной нейронной модели среды должны быть уровни иерархии. Предполагается, что на каждом уровне иерархии должны строиться укрупнения и обобщения объектов (ситуаций), представленных в виде нейронных ансамблей более низкого (более конкретного) уровня. На каждом уровне укрупнения нейронной модели помимо объектов и ситуаций в виде нейронных ансамблей должны представляться также и действия, определяющие переходы между ситуациями. Действия, как и объекты, должны иметь иерархически организованные степени обобщения и укрупнения.

Предполагается, что возбуждения, приходящие на нейроны каждого уровня иерархии, порождаются другими нейронами этого уровня, либо объектами другого уровня, либо информацией, поступающей от сенсорного входа. Принципиальных отличий между нейронами и структурой сети разных уровней иерархии быть не должно, хотя, конечно, могут быть и, скорее всего, должны быть различия в количественных характеристиках предполагаемых свойств и функциональных зависимостей.

Следует отметить, что входной слой любого уровня иерархии не отождествляется с рецепторным, например, с сетчаткой глаза, хотя в частном случае такое отождествление возможно. В общем случае точки на входном слое какого-то уровня иерархии возбуждаются при активации информационных элементов другого уровня иерархии. Например, в такой модели кроме уровня букв будет и уровень слогов, уровень слов, а возможно, и/ или другие уровни иерархии, отражающие семантику проблемной среды.

Экстраполяция регулярных временных последовательностей в иерархической модели среды, содержащей уровни различной степени укрупнения, должна быть значительно лучше, чем в отдельном конкретном уровне, поскольку, поднимаясь в модели по иерархии часть-целое, чаще можно приходить к эффективным парным ассоциациям. Так, если временные ассоциации между почти любыми парами входящих в слова букв приблизительно равновероятны, то временные ассоциации между парами разных слов, тем более с учетом синтаксиса, а может быть, и семантики более высокого уровня, чаще всего сильно отличаются.

Однако в каких-то случаях парные ассоциации по смежности во времени даже в многоуровневой модели среды могут быть недостаточны.

Все формальные модели нейронных сетей - модель Мак-Каллока и Питтса, перцептрон Розенблатта, признаковые распознающие нейронные сети и рассмотренные модели активной нейронной сети - обладают общим свойством: задержки при передаче возбуждающих и тормозящих сигналов по связям отсутствуют. Точнее, задержки по всем связям одинаковы и равны одному такту. Такое свойство нейронных моделей плохо согласуется с данными нейрофизиологии.

В реальных нейронных сетях время передачи сигналов по связям варьируется в широких пределах. Скорость передачи сигналов по различным нервным волокнам может составлять от 1 до 100 метров в секунду. Точно так же широко варьируются и длины связей. Естественно предположить, что время учитывается в логике работы нейронной сети. Более того, можно полагать, что на временном аспекте строится логика работы некоторых нейронных механизмов.

Схема распознавания и воспроизведения временных последовательностей, обладающая существенно большими возможностями, чем связь по смежности во времени появления между парами событий, рассматривается в следующей лекции. В основе схемы лежит включение в логику работы сети временных задержек при передаче сигнала. Задержки используются как при обучении, так и при формировании опережающего возбуждения, т. е. предвидения, в зависимости от временной предыстории внешних воздействий.

Выводы

Рассмотренные в лекции "активные" нейронные сети имеют в основном иллюстративный смысл. Иллюстрируют они возможность построения активных синергичных "живых" моделей нейронных механизмов мозга. Эта возможность возникает, во-первых, в результате введения в модели свойства накопления неустойчивости, выражающегося в ухудшении функционального состояния и изменении порога возбудимости у несрабатывающего нейрона. Во-вторых, свойства нейронов и связей между ними выбираются так, чтобы обеспечивать оптимизацию функциональных состояний отдельных нейронов во взаимосодействии и, как следствие, оптимизацию функционального состояния сети в целом.

Все остальные постулаты о структуре сети, конкретных свойствах нейронов и связей между нейронами не имеют обязательного характера. Варьируя эти постулаты и зависимости, можно получить другие и, может быть, гораздо более интересные экспериментальные результаты.

В сетях с изменяющимся функциональным состоянием нейронов были экспериментально получены и некоторые не рассмотренные нами иллюстративные режимы. Это, например, модель режима образования и разрушения "сонных веретен" электроэнцефалограммы млекопитающих и модель режима управляемой залповой авторитмической активности.