Системотехнические аспекты перспективных компьютерных технологий

Наличие в программах цифровых вычислителей операторов условных и безусловных переходов делает потоки инструкций, а вместе с ними и потоки промежуточных данных частично упорядоченными и зависимыми от содержимого последних:

1. 1 В скалярных фон-неймановских ЭВМ и ОКМД-вычислителях взаимосвязь потоков инструкций и данных является опосредованной и реализуется через нелинейную адресную арифметику, где скачки адреса инициализируемых инструкций происходят в операторах условных и безусловных переходов.
2. В ВС, управляемых потоками данных [226], взаимосвязь между частично упорядоченными потоками инструкций и данных остается опосредованной, но проявляется не только в операторах условных переходов, а гораздо чаще, так как отдельные слов- и поток-инструкции в таких системах инициализируются в "случайные" моменты времени по мере готовности обрабатываемых слов- и поток-операндов.
3. В ассоциативных ЗУ [46] одни потоки данных инициализируются содержимым других потоков данных ( AD- ассоциативность ), и при включении таких ЗУ в состав ВС, управляемых потоками данных, интенсивность взаимосвязи между потоками инструкций и данных может достичь предельных значений и проявиться в каждом цикле выполнения слов- или поток-инструкции.
4. В многопроцессорных ВС [70, 227] часть функций нелинейной адресной арифметики реализуется за счет "гальванических" сетей коммутации. Например: побитный циклический сдвиг адреса - в сетях совершенной тасовки, поразрядная инверсия адреса - в сетях обменной перестановки и т. п. В (сверх)многопроцессорных систолических вычислителях [70, 142-144] потоки данных распространяются в виде волн по целочисленному пространству, задаваемому сетью "элементарных" процессоров с фиксированным временем задержки в каждом. Поэтому в систолических сетях коммутации используются не только гальванические связи, но и дополнительные элементы задержки, поддерживающие фазовые соотношения в плоских или линейных волновых фронтах потоков данных.
5. В МКМД-бит-потоковых субпроцессорных трактах [138-141], как и в аналоговых вычислителях, поток бит-инструкций пространственно фиксирован на время выполнения активной поток-инструкции. Поэтому в реальном времени происходит управление только пространственно-временной структурой потоков данных, которая реконфигурируется в ходе вычислений и может иметь произвольный вид, включая и "вихри".

Из приведенных данных видно:

1. В традиционных (сверх)параллельных ВС ассоциативное взаимодействие потоков инструкций и данных ( PD- ассоциативность ) существует объективно, используется с разной степенью интенсивности и реализуется через "шинную" и/или "сетевую" адресную арифметику, обеспечивающую подстановку инструкций-потомков на место инструкций-предков, что требует как минимум высокодинамичных распределенных средств инициализации (от процессорного элемента до ОЗУ) и доставки (в обратном направлении) релевантного условиям решения задачи частично упорядоченного по времени и пространству потока активизированных инструкций.
2. Адекватное квантовым системам прямое ассоциативное порождение инструкций-потомков за счет дуального взаимодействия потоков данных с инструкциями-предками может быть осуществлено каждым членом коллектива вычислителей, а подстановочная схема рассылки инструкций в этом случае необходима только для задания начального состояния гиперпараллельных нанометровых вычислителей. В этих условиях реализация подстановочной схемы требует эффективных средств блокады полимодальных взаимодействий, часть из которых являются паразитными только на время "программирования" или, что одно и то же, на время выведения нанометрового коллектива вычислителей в исходную точку программы пользователя.

В нейрокомпьютерах "сетевая" адресная арифметика по промежуточным потокам данных является неотъемлемым атрибутом, а вся проблематика взаимодействия с внешними потоками данных и высокодинамичного формирования и управления потоками инструкций обычно замалчивается. Поэтому к утверждениям сторонников нейрокомпьютерных технологий о том, что в них обеспечиваются наиболее высокие показатели "производительность - стоимость" [87], следует относиться достаточно осторожно.

К неоспоримым преимуществам нейрокомпьютерных технологий [88] можно отнести:

1. Формирование потока "инструкций" или, что одно и то же, карты весовых коэффициентов , порогов и ориентированного графа связности ФН "дочерней" нейросети не требует аналитической формы записи решаемой задачи и осуществляется на основе обучающих выборок и обучающих алгоритмов. Но это только изменяет и, возможно, снижает интеллектуальный уровень формы представления знаний о предметной области, но не отменяет сами знания о ней (рис. 7.27).
2. Как и при кремниевой компиляции заказных СБИС или УБИС, "материнская" нейро-ЭВМ реализует прямое отображение решаемой задачи на аппаратуру "дочерней" нейросети, что исключает трудоемкий этап программирования и формирования загрузочных модулей. Но из-за отсутствия аналитической формы записи решаемой задачи, неполноты и недостоверности обучающей выборки остается открытым вопрос об отказоустойчивости и отказобезопасности синтезированной нейросети.

Здесь - -мерный вектор весовых коэффициентов -го ФН , а - его пороговый вектор размерности ; ; - количество вершин ориентированного графа связности ФН, из которых "пустых" вершин служат источниками входных переменных всей нейросети, а - количество ребер, объединяемых одной вершиной ( ).

Рис. 7.27. Структурная схема сети из формальных нейронов

К очевидным ограничениям существующих нейрокомпьютерных технологий можно отнести:

1. Задача формирования потока, инструкций в них неотделима от задачи получения загрузочных (исполняемых) "программных" модулей для "дочерней" нейросети, и по уровню интеллектуальной сложности и размерности она не уступает задаче параллельной компиляции в современных ВС.
2. При прочих равных условиях размерность потока "инструкций", распределенных по "материнской" и "дочерней" нейросети, гораздо выше, чем у МКМД-бит-потоковых субпроцессоров. Объясняется это тем, что функция отдельного ФН задается не одной многоразрядной бит-инструкцией, определяющей код бит-операции и направления приема-передачи обрабатываемых и транзитных данных [138-141], а совокупностью и многоразрядных весовых коэффициентов и порогов, из которых формируются индивидуальные весовые и пороговые вектора для каждого ФН. Схема коммутации ФН сети разнообразнее двунаправленных ортогональных связей с ближайшими соседями бит-матриц, что требует больших аппаратно-временных затрат на явное указание не только номеров входов-выходов, но и топологических адресов в переменном списке связей каждого ФН сети . Системотехнические последствия этих ограничений таковы, что в

современных нейрокомпьютерных технологиях наиболее инерционными и аппаратно емкими являются средства формирования, распределения и оперативного управления потоками "инструкций", которые не обеспечивают в темпе РВ:

• адаптацию "дочерних" нейросетей, ведущих обработку сигналов и изображений в "сложной" и быстро меняющейся помеховой обстановке, требующей оперативных дополнений и изменений в граф-потоке алгоритма;
• парирование карт отказов через перекомпоновку графа связности нейросети с "малой" (некратной) аппаратурной избыточностью, что также может потребовать оперативных дополнений и изменений граф-потока алгоритма, возможно, и ухудшающих качество обработки данных, но обеспечивающих плавную деградацию вычислительных характеристик нейрокомпьютера по мере роста карты отказов. Объясняется это тем, что для оперативного порождения отвечающих

текущим внешним и внутренним условиям карт весовых коэффициентов, порогов и графов связности "дочерней" нейросети необходимо решить в темпе РВ многоэтапную задачу многокритериальной оптимизации [88].

По актуальности и сложности проблем формирования, распределения и оперативного управления потоками инструкций наиболее близко к нейро-сетям примыкают МКМД-бит-процессорные [138-141] и произвольно ком-

мутируемые через голографическую память оптоэлектронные вентильные матрицы [228], в которых вычисления уже приближены к нейроподобным.

Как и в КК, вопрос о разработке операционных систем для нейрокомпьютеров ( НК ) не стоит. Это обусловлено тем, что из-за высокой инерционности систем обучения НК наиболее интенсивно исследуется проблемно- и алгоритмически ориентированный субпроцессорный режим использования НК, где сейчас доминирует широкий спектр СБИС цифровой обработки сигналов и изображений, обеспечивающих сопряжение ядра (Б)ВС с контуром реального времени.

Функциональное ядро инструментальных кросс-средств НК составляют обучающие системы и программно-аппаратные симуляторы.

Возрождение интереса к НК на Западе произошло во многом благодаря успехам алгоритма Хопфилда - Танка [70], где используется только условие останова алгоритма обучения и не используется эталонная парадигма обучения.

Отечественные исследования обучающих алгоритмов не прекращались с 60-х годов прошлого столетия. При этом сама задача обучения ставилась и решалась как задача многокритериальной многопараметрической оптимизации с большим числом варьируемых параметров (10³-10⁴ сейчас и в ближайшей перспективе 10⁶-10⁸).

Главные вычислительные требования к алгоритмам обучения НК - это ограничения на память, возможность распараллеливания и возможность выполнения на нейросети. Последнее требование приводит к схемам взаимного обучения "материнского" и "дочернего" НК с различной степенью их отчуждения. В отечественных исследованиях выделено четыре уровня отчуждения "дочернего" НК от обучающего "материнского" (А.Н. Горбань [88]):

1. Нулевой уровень, когда "дочерний" и "материнский" НК совмещены не только аппаратно, но и функционально, то есть процесс обучения не прекращается после включения "дочернего" НК в контур реального времени.
2. Первый уровень допускает доучивание "дочернего" НК в контуре реального времени с резко сокращенным набором обучающих выборок и на основе одного структурно полного обучающего алгоритма, что резко снижает аппаратно-временные затраты на адаптацию НК.
3. Второй уровень допускает доучивание "дочернего" НК на основе одиночных обучающих выборок и нескольких шагов одного алгоритма обучения.
4. Третий уровень - это полное отчуждение "дочернего" НК от "материнского". В этом случае допускается только прямое функционирование "дочернего" НК без обучения, но с максимально простой аппаратурной реализацией.

Главные отличия алгоритмов обучения НК от обучающих задач многокритериальной оптимизации:

• качественный скачок в числе варьируемых и разночувствительных параметров, что автоматически приводит к "проклятию" размерности в задаче оптимизации;
• необходимо найти не точку общего минимума большого числа функций, а целую область, в которой значения всех исследуемых функций близки минимальным.

Главные отличия технологии программирования обычных ЭВМ от технологии обучения НК:

1. Программный продукт имеет достаточно ясную логическую структуру, а синаптическая и пороговая нейросетевые карты трудно интерпретируемы, то есть на их основе практически невозможна понятийная интерпретация действий НК. В результате остается открытым вопрос о корректности алгоритмов и полноте средств диагностики НК.
2. Уровень адекватности вычислительных и аналитических алгоритмов, представляющих математические модели предметной области в обычных компьютерах, еще поддается оценке, а ограниченность обучающих выборок для НК оставляет этот вопрос открытым. Такое положение крайне опасно как с позиций обеспечения отказобезопасности технотронных комплексов двойного назначения, так и с позиций полноты проведения приемо-сдаточных испытаний.

Для снижения негативного влияния неинтерпретируемости синап-тических и пороговых нейросетевых карт в алгоритмы обучения (оптимизации) НК вводится самостоятельный этап контрастирования, цель которого - обратить в ноль максимально возможное число варьируемых параметров без значимых потерь в качестве работы "дочерних" НК.

Обращают на себя внимание два факта:

1. Практически все алгоритмы обучения не учитывают взаимосвязи чувствительности (значности) и размерности используемой синап-тической карты, от правильного выбора которых зависит функциональное разнообразие реализуемых нейросетью ограниченного размера отображений типа "вход-выход".
2. Практически все алгоритмы обучения априори исходят из реализуемости требуемого отображения нейросетью ограниченного размера и поэтому не содержат этапа и алгоритмов предварительной оценки реализуемости, что может превратить обучение в вековой процесс.

Из приведенных данных можно заключить:

1. При переходе от технологии программирования к технологии обучения снижение трудозатрат на формирование загрузочных модулей оплачивается ростом неопределенности в оценке управляемости технотронных комплексов двойного назначения, как в нормальных условиях функционирования, так и при наличии сбоев и отказов в аппаратуре.
2. С точки зрения парирования отказов "дочерние" НК должны работать на втором уровне отчуждения, который допускает как доучивание нейросети с учетом изменений во внешней среде и в ее топологии, так и перекомпоновку синаптической карты толерантно действующей карте отказов.
3. Совмещение промышленных нанотехнологий и информационных НК- технологий обусловлено объективным совпадением областей применения НК и компьютеров нанометрового диапазона, а также сходством технических проблем, требующих своего решения. В отечественных условиях это прежде всего связано с необходимостью компенсации отставания в области СТМ-технологий за счет более эффективного использования процессов самосборки протяженных каналов обмена FIFO- регистрового типа, адекватных по принципам работы разветвленной сети аксонно-коллатеральных связей реальных нейросистем.
4. В ближней перспективе НК будут комплектоваться нейрочипами, изготовленными по традиционной твердотельной технологии, а в средней перспективе по SET- технологии. Поэтому они смогут конкурировать с СБИС или УБИС цифровой обработки сигналов и изображений в основном за счет более высоких коэффициентов распараллеливания вычислений, более высокой структурно-функциональной адаптивности и замены трудоемкой технологии программирования на технологию обучения.

   В дальней перспективе прорыв НК- технологий в область КК станет возможным, если работу нейросетей описать в "криптографическом" базисе, основу которого составляют подстановочные операции и факторизация.
5. Прорыв НК- технологий в технотронные комплексы двойного назначения обусловлен качественным скачком в области обучающих систем, где динамика (пере)обучения должна быть ускорена на 5-6 порядков и доведена до десятков миллисекунд, по крайней мере в режиме парирования аппаратных отказов.
6. С позиций отказобезопасности технотронных комплексов двойного назначения в НК- технологиях предпочтение приходится отдавать методам и алгоритмам обучения, которые используют близость к эталонной выборке в качестве условия останова. Условие останова, которое опирается на некоторый критерий оптимума, опасно тем, что психофизиологические эксперименты показали, как реальные нейросети способны находить "закономерности управления" даже в псевдослучайных выборках сигналов, моделирующих кривые обучения (опыт Бейвелса [229]).

Из проведенного анализа можно заключить, что в области фундаментальных исследований нейрокомпьютеров, нанотехнологий и квантовых компьютеров отечественная наука еще сохраняет свои приоритеты, которые на практике в основном используются за рубежом. Поэтому на современном этапе в большей мере требуются фундаментальные и прикладные исследования координационного характера с тем, чтобы получить законченные промышленные технологии, объединяющие в единый производственный цикл НК- технологии обучения и отечественные технологии производства элементной базы субмикронного и нанометрового диапазонов. При этом в ближайшей перспективе необходимо:

• решить задачу комплектации современной элементной базой в основном отечественного производства в жизненно важных для систем двойного назначения областях: боевое применение высокоточного оружия, радиоэлектронная и аэрокосмическая разведка, защита от несанкционированного доступа;
• в качестве такой элементной базы выбрать отечественные программируемые логические схемы западного производства, технология использования которых во многом совпадает с нейрокомпьютерной технологией, а принципы организации вычислений отвечают требованиям правильной работы SET-вентилей и КК.