Опубликован: 14.12.2009 | Доступ: свободный | Студентов: 1880 / 368 | Оценка: 4.28 / 4.12 | Длительность: 17:36:00
ISBN: 978-5-9963-0249-9
Лекция 14:

Автомат для запоминания и воспроизведения временных последовательностей

< Лекция 13 || Лекция 14: 12 || Лекция 15 >
Аннотация: В этой лекции рассматриваются результаты исследования одной из возможных формальных логических схем распознавания и воспроизведения временных последовательностей.

Иногда применительно к мозгу или каким-то моделям говорят об ассоциациях по смежности во времени. Смежность во времени относится к двум событиям и предполагает появление этих событий последовательно и непосредственно одного за другим. В частности, ассоциации по смежности во времени, так называемые "фазовые последовательности", рассматриваются в модели Хебба [20]. Такого же рода ассоциации происходят в описанной выше А -сети. Об определенной логической ограниченности и в то же время безусловной полезности парных ассоциаций по времени уже говорилось.

В дальнейшем рассматривается другая схема, когда возникает несколько событий и каждое из них в качестве одной из характеристик имеет время своего появления. Задачей является распознавание и "экстраполяция" во времени совокупности таких событий с учетом информации о времени их появления. Ниже приводится упрощенный вариант, соответствующий часто встречающемуся случаю, при котором события появляются одно за другим равномерно во времени. Этот вариант соответствует, например, случаю, когда на входе системы появляются и должны распознаваться состоящие из произносимых фонем слова.

Рассматривается также возможность реализации этой схемы в двухслойной нейронной А -сети. В дальнейшем говорится об одноуровневых временных последовательностях, поскольку описывается процесс, основанный на взаимодействии между элементами только одного любого уровня иерархической модели, например, уровня букв (фонем), уровня слогов или уровня слов. Такое упрощение позволяет сделать некоторые количественные оценки, которые могут оказаться полезными при переходе к более сложной многоуровневой схеме. Кроме того, возможно, что некоторые результаты могут иметь самостоятельное значение. Приводимые ниже результаты относятся к некоторому формальному автомату, логическая связь которого с описанными процессами в моделируемых нейронных А -сетях будет рассмотрена ниже.

Задача

Пусть имеется алфавит \{а\} с конечным числом символов а_1,а_2,\ldots a_n. В экспериментах использовались буквы русского алфавита и цифры. Однако это не принципиально - алфавит может включать любые символы.

При обучении на вход автомата последовательно подаются символы алфавита из произвольных фиксированных выборок. Это могут быть как отрывки текстов, так и случайные последовательности символов. После обучения на вход автомата последовательно подаются эти же или другие выборки символов. Автомат в каждый момент должен предсказывать, какой символ появится на его входе, т. е. оценивать вероятности появления на входе различных символов.

Вероятность "предсказания" автоматом появления на его входе символа а_i должна находиться в прямой зависимости от того, насколько близко совпадает текущая предыстория работы автомата и предыстория его работы, предшествовавшая появлению символа а_i в обучающей последовательности. Например, если в обучающей последовательности выделить отрезок в несколько символов, после которого следует обычно символ а_i и подать этот отрезок на вход обученного автомата, то вероятность "вспомнить" символ а_i в автомате должна быть больше, чем вероятность вспомнить любой другой символ.

Ниже описывается логическая схема такого автомата, даются оценки соответствующих вероятностей и приводятся результаты некоторых экспериментов.

Конечно, поставленную задачу можно более или менее просто решать на вычислительной машине "в лоб" - запомнить все обучающие последовательности и сравнивать путем перебора текущий отрезок входной последовательности со всеми аналогичными отрезками обучающих выборок. Например, если речь идет о словах, можно, используя словарь, предсказывать варианты окончания слова по его началу. Такое предсказание может оказаться полезным в распознающем читающем автомате. Однако подобная схема нас не устраивает по двум причинам. Во-первых, не хочется формулировать какие-либо обязательные требования к точности совпадения предыстории. Во-вторых, во многом определяющей является возможность реализации автомата в нейронной модели.

Схема автомата

На вход автомата могут подаваться символы из алфавита я а_1,а_2,\ldots a_n. Автомат имеет n элементов по числу символов алфавита b_1,b_2,\ldots b_n. Все изменения в автомате происходят в дискретные моменты времени - такты. Интервал между тактами равен постоянной величине задержки между подачей на вход автомата смежных символов входного алфавита. Элементы b_i могут находиться в одном из двух состояний - возбужденном и невозбужденном. В каждом такте в возбужденном состоянии может находиться только один элемент. Между символами а_i и элементами b_i имеется однозначное соответствие.

Элемент автомата b_i возбуждается в двух случаях: если на вход автомата подан соответствующий символ входного алфавита а_i либо тогда, когда на входе автомата нет символов и некоторая величина \sum g_i у элемента b_i больше, чем аналогичные величины у других элементов. Если несколько элементов имеют равные максимальные значения величины \sum g то возбуждается один из них случайным выбором.

От каждого элемента b_i на каждый b_j в том числе и на себя (i = j), имеется по m связей с задержками S_{ij1}, S_{ij2},\ldots S_{ijm} (рис. 14.1). Величина времени задержки связи в тактах t_k равна номеру связи. Каждая связь имеет свой вес q Возможны два варианта задания весов связей. В основном рассматриваемом ниже варианте вес каждой связи может принимать только два значения - 0 и 1. Во втором варианте веса связей могут изменяться от О до q_{max}. Первый вариант будем в дальнейшем называть детерминированным, второй - вероятностным.

Схема автомата приведена на рисунке 14.1.


Рис. 14.1.

Обучение и воспроизведение опыта

Рассмотрим обучение автомата при детерминированном способе задания весов связей. При обучении на вход автомата подается обучающая последовательность символов. При появлении на входе автомата символа а_i в момент t_i возбуждается элемент b_i. Связи, идущие от элемента b_i возбуждаются в моменты t_1 + t_k,\:\: k=1,2 \ldots m. Поскольку за m тактов на входе автомата появляется m символов и возбуждается m элементов, от каждого из которых отходит n связей, в каждый момент t_1 + t_k в автомате возбуждается nm связей. До обучения веса всех связей равны нулю. При обучении вес связи q_{ijk} становится равным единице, если в момент ее возбуждения (с учетом задержки) на входе автомата появился символ а_j и возбудился элемент b_j на который идет связь. Таким образом, опыт автомата отражается в распределении весов связей. Поскольку величина максимальной задержки связи равняется m тактам, этой величиной ограничивается длина отражающейся в опыте автомата предыстории его возбуждений.

Воспроизведение запомненного при обучении происходит следующим образом. На вход автомата подается часть обучающей последовательности, под действием которой возбуждаются элементы, соответствующие символам на входе, и связи, идущие от этих элементов. В каждом такте для каждого элемента производится суммирование весов приходящих на него и возбужденных в этом такте связей. В такте, следующем за предъявлением последнего входного символа, т. е. тогда, когда на входе автомата символов нет, возбуждается тот элемент b_i для которого сумма весов приходящих на него возбужденных в этом такте связей \sum g_i максимальна.

Начиная с этого момента дальнейшее возбуждение элементов автомата происходит при отсутствии входных символов. Теперь при правильном воспроизведении последовательность возбуждений элементов автомата соответствует части обучающей последовательности входных символов. Обучающая последовательность может быть воспроизведена с любого места. Этот процесс может быть условно назван процессом ассоциаций по смежности во времени. Первая ассоциация является внешней и зависит от запускающей последовательности символов на входе автомата. Дальнейшие ассоциации внутренние, зависящие от воспроизведения, т. е. от хода процесса в самом автомате.

Очевидно, что максимальная длина предыстории, влияющая на возбуждение элементов в ассоциативном режиме равна т, т. е. времени максимальной задержки по связи, и в конечном счете определяется числом связей между элементами и величинами временных задержек.

Заметим, что человек более или менее успешно запоминает последовательности из 6 - 7 символов. При попытках запоминания и воспроизведения более длительных последовательностей чаще всего возникают проблемы.

Описанный процесс воспроизведения опыта может быть назван ассоциациями по времени появления входных элементов (символов) на фиксированном временном отрезке. Возможен случай, когда поданная на вход автомата последовательность входных элементов не совпадает в точности ни с одним отрезком обучающей последовательности. В этом случае максимальное значение величины \sum g_i будет у того выходного элемента, который обучался наиболее похожей последовательности. Процесс, происходящий в этом случае, может быть назван ассоциацией по сходству временных последовательностей.

< Лекция 13 || Лекция 14: 12 || Лекция 15 >
Владислав Нагорный
Владислав Нагорный

Подскажите, пожалуйста, планируете ли вы возобновление программ высшего образования? Если да, есть ли какие-то примерные сроки?

Спасибо!

Лариса Парфенова
Лариса Парфенова

1) Можно ли экстерном получить второе высшее образование "Программная инженерия" ?

2) Трудоустраиваете ли Вы выпускников?

3) Можно ли с Вашим дипломом поступить в аспирантуру?