Опубликован: 27.07.2006 | Уровень: специалист | Доступ: платный
Лекция 11:

Адаптивная резонансная теория. Архитектура

< Лекция 10 || Лекция 11: 1234 || Лекция 12 >
Аннотация: В лекции рассматривается проблема стабильности—пластичности при распознавании образов. Изучаются нейросетевые архитектуры AРT.

Мозг человека выполняет трудную задачу обработки непрерывного потока сенсорной информации, получаемой из окружающего мира. Из моря тривиальной информации он должен выделить жизненно важную, обработать ее и, возможно, зарегистрировать в "долговременном регистре". Однако новые образы запоминаются в такой форме, что ранее запомненные не модифицируются и не забываются. Понимание сути этого процесса представляет собой серьезную задачу для исследователей: каким образом память остается пластичной, способной к восприятию новых образов, и в то же время сохраняет стабильность, гарантирующую, что образы не уничтожатся и не разрушатся в процессе функционирования?

Проблема стабильности - пластичности является одной из самых сложных и трудно решаемых задач при построении искусственных систем, моделирующих восприятие. Способ восприятия внешнего мира живыми организмами (и, прежде всего, человеком) состоит в постоянной оценке: является ли некоторый образ "новой" информацией и, следовательно, реакция на него должна быть поисково-познавательной, с сохранением этого образа в памяти, либо этот образ является вариантом "старой", уже знакомой картины и в этом случае реакция организма должна соответствовать ранее накопленному опыту, а специальное запоминание образа в последнем случае не требуется. Таким образом, восприятие одновременно пластично, адаптировано к новой информации, и при этом оно стабильно, то есть не разрушает память о старых образах.

Традиционные искусственные нейронные сети оказались не в состоянии решить проблему стабильности - пластичности. Очень часто обучение новому образу уничтожает или изменяет результаты предшествующего обучения. В некоторых случаях это не существенно. Если имеется только фиксированный набор обучающих векторов, они могут предъявляться при обучении циклически. Рассмотренные на предыдущих лекциях нейронные системы не адаптированы к решению этой задачи. Так, например, многослойный персептрон, обучающийся по методу обратного распространения, запоминает весь пакет обучающей информации, при этом образы обучающей выборки предъявляются в процессе обучения многократно. Попытки затем обучить персептрон новому образу приведут к модификации синаптических связей с неконтролируемым разрушением структуры памяти о предыдущих образах. Таким образом, персептрон не способен к запоминанию новой информации, и необходимо полное переобучение сети.

Аналогичная ситуация имеет место и в сетях Кохонена и Хемминга, обучающихся на основе самоорганизации. Данные сети всегда выдают положительный результат при классификации. Тем самым, эти нейронные сети не в состоянии отделить новые образы от искаженных или зашумленных версий старых образов. В реальной ситуации сеть будет подвергаться постоянно изменяющимся воздействиям; она может никогда не увидеть один и тот же обучающий вектор дважды. При таких обстоятельствах сеть, скорее всего, не будет обучаться; она будет непрерывно изменять свои веса, не достигая удовлетворительных результатов.

Более того, приведены примеры сети, в которой только четыре обучающих вектора, предъявляемых циклически, заставляют веса сети изменяться непрерывно, никогда не сходясь. Такая временная нестабильность явилась одним из главных факторов, заставивших Гроссберга и его сотрудников исследовать радикально отличные конфигурации. Адаптивная резонансная теория (APT) является одним из результатов исследования этой проблемы.

Сети и алгоритмы APT сохраняют пластичность, необходимую для изучения новых образов и предотвращения изменений ранее запомненных образов. Открытие этой способности A_1' вызвало большой интерес к APT, но многие исследователи нашли теорию трудной для понимания. Математическое описание APT является сложным, но основные идеи и принципы реализации достаточно просты для понимания. Мы сконцентрируемся далее на общем описании APT. Нашей целью является изложение конкретной информации, чтобы слушатель мог понять основные идеи и возможности этого важного вида сетей.

< Лекция 10 || Лекция 11: 1234 || Лекция 12 >
Дмитрий Степаненко
Дмитрий Степаненко
Россия
Фанис Галимянов
Фанис Галимянов
Россия, Казань, Татарский государственный гуманетарно-педагогический уневерситет, 2009