Опубликован: 03.04.2013 | Доступ: свободный | Студентов: 310 / 11 | Длительность: 34:17:00
Специальности: Разработчик аппаратуры
Лекция 7:

Современные вычислительные технологии и их аппаратные платформы

< Лекция 6 || Лекция 7: 123456 || Лекция 8 >

6.4. Роль и место нейроподобных вычислительных систем в технотронных комплексах двойного назначения

Как и любая вычислительная математика, современная нейромате-матика развивается в двух направлениях:

  • совершенствование методов и алгоритмов "обучения" нейросетей, что соответствует развитию системных программных платформ традиционной вычислительной техники;
  • повышение эффективности использования нейросетевых алгоритмов (в том числе управления и адаптации нейросетей) при решении задач предметной области.

Если выбраны множество обучающих выборок и способы вычисления суммарной оценки, то задача обучения нейросети превращается в задачу многомерной оптимизации, где отечественная наука имеет достаточно высокие приоритеты перед зарубежной.

Однако зарубежные ученые имеют несопоставимое преимущество в получении индустриальными методами экспериментальных обучающих выборок и полунатурной имитации процессов предметной области за счет широкого спектра доступных им интеллектуальных мини-супер-ЭВМ и рабочих станций с быстро модифицируемыми устройствами сопряжения с объектом. В результате можно ожидать, что отечественные нейрокомпьютеры будут выигрывать у зарубежных по скорости сходимости алгоритмов обучения, но проигрывать по уровню адекватности и/или достоверности принимаемых решений.

Отличительная особенность задач обучения нейросетей состоит в том, что их оптимизация базируется на поисковых методах и алгоритмах, которые хорошо поддаются распараллеливанию, как по многомерному аргументу, так и по частным критериям качества. Поэтому зарубежные исследователи имеют более широкие возможности в компенсации низкой скорости сходимости алгоритмов и поиска векторов настройки нейросетей за счет более высокого коэффициента распараллеливания вычислений.

Современные исследования нейроматематики в военной области сконцентрированы на плохо формализуемых задачах эксплуатации и боевого применения ВВТ. Плохо формализуемыми считаются задачи подавления естественных и искусственных помех, учета маскирующего влияния местности и т. п. Для них характерна высокая зависимость законов управления от возмущающих факторов при фиксированных начальных и конечных состояниях объекта управления и "некорректность" системы ограничений на ресурсы управления, что достаточно типично для военной робототехники, систем вооружений, систем "слепого" захода на посадку на подвижное основание и т. д.

Таблица 6.1. Нейронные сети для решения задач на борту летательных аппаратов
Название Разработчик Год разработки Применение Ограничения Примечание
Теория адаптивного резонанса G.Carpenter S.Grossberg 1986-1987 Распознавание сложных и непривычных для людей образов (распечатки радиолокатора или сонара) Чувствительна к искажениям и изменению масштаба Очень сложная, применима для ограниченного круга задач
Avalanch S.Grossberg 1967 Распознавание речи, обучение рук робота управляющим командам Точное воспроизведение моторных последовательностей, поэтому трудно менять скорость и интерполировать движения Совокупность сетей - ни одна отдельная сеть не может выполнить все перечисленные задачи
Back propagation P.Werbos D.Parker D.Rumelhart 1974-1985 Синтез речи и текста, адаптивное управление Только контролируемое обучение, необходимость в наличии большого количества обучающих примеров Самая популярная сеть, хорошо работает, не вызывает затруднений при ее освоении
Двунаправленная ассоциативная память B.Kosko 1985 Ассоциативная память Низкая плотность размещения информации в памяти, данные должны быть правильно закодированы Самая простая сеть, хорошее средство обучения, ассоциирует фрагментарные пары объектов с целыми парами
Машины Больцмана и Коши J.Hinton T.Sejnowsky J.Hopkins H.Szu 1985-1986 Распознавание образов для радиолокаторов, сонаров и т. п. Машины Больцмана требуют много времени для обучения. Машины Коши генерируют шум в правильном статистическом распределении Простые сети, в которых функция шума используется для нахождения глобального минимума
Brain State in a Box J.Anderson 1977 Извлечение знаний из баз данных Однократное принятие решения - без итеративного рассуждения Аналог двунаправленной ассоциативной памяти при дополнении фрагментарной входной информации
Cerebellatron D.Mar J.AIbus A.Pillionez 1969-1982 Управление моторной функцией рук робота Требует сложного управления Аналогична Avalanch, может использовать несколько последовательностей команд с различными весами для гладкой интерполяции движений
Counter propagation R.Hecht-Nielsen 1986 Сжатие изображения, статический анализ Для высокой точности требуется большое количество обрабатываемых элементов Действует как самопрограммируемая просмотровая таблица, аналогична Back propagation, но проще и менее производительна
Hopfield J.Hopfield 1982 Восстановление полной информации и образов по фрагментам Не обучается, и веса должны быть установлены заранее Возможна реализация сети большой размерности
Madaline B.Widrow 1960-1962 Адаптивное реагирование на активные помехи РЛС (адаптивные модемы и эквалайзеры) Предполагает линейное соотношение между входом и выходом
Неокогнитрон K.Fukushima 1978-1984 Распознавание написанных от руки знаков Требует очень большого количества обрабатываемых элементов и соединений Самая сложная из разработанных сетей, невосприимчива к различиям в масштабе, поворотам, способна распознавать сложные буквы
Персептрон F.Rosenblatt 1957 Распознавание печатных знаков Не может распознавать сложные знаки, чувствительна к различиям в масштабе, искажениям Самая старая, аппаратные средства на ее основе практически не используются
Самоорганизующаяся проекция T.Kohonen 1980 Проецирует одну геометрическую область на другую (прямоугольную сетку на самолет) Требует продолжительного обучения Более эффективна, чем многие алгоритмические способы для расчета аэродинамического потока
Таблица 6.2. Нейрокомпьютеры в разработках военной техники США
Тип и название нейросетевой системы Назначение Комментарий
Нейросетевые алгоритмы, адекватные сети Хопфилда (программа фирмы Локхид) Управление лазерным оружием В нейрочипе находятся 256 нейронов с реализуемыми внутри кристаллов переключаемыми резисторами в диапазоне от 8 до 256 (8, 16, 32, 64, 128, 256 Ком). Нейрочип управляется с частотой 90 КГц. Изменение сопротивления от нейрочипа к нейрочипу 4 %, внутри нейрочипа 2 %. На плате размещаются 16 нейрочипов, реализующих 128 изменяющихся весовых коэффициентов. Находится в стадии разработки
SIANN (Satellite Image Analysis using Neural Network) Обработка информации со спутников (распознавание классов поверхностей) Число итераций нейросети и время настройки при программировании алгоритма на ЭВМ VAX Station 3540:
Обучающее множество Число признаков Число итераций Время настройки
1 4 1790 5.6 мин
2 5 2278 7.8 мин
3 6 711 2.7 мин
4 7 351 1.5 мин
5 8 316 1.3 мин
6 9 456 2.1 мин
Зависимость вероятности ошибки от числа признаков, выбираемых для обучения нейросети при распознавании изображения
Размер локального окна m Р/а t: Вероятность правильного распознавания
2*2 0.5 0.9 96.0
0.6 0.9 94.7
0.8 0.9 96.7
0.6 0.5 96.0
0.6 1.0 96.7
3*3 0.5 0.9 99.3
0.6 0.9 100
0.8 0.9 99.3
0.6 0.5 99.3
0.6 1.0 100
4*4 0.5 0.9 95.3
0.6 0.9 95.3
0.8 0.9 95.3
0.6 0.5 96.0
0.6 1.0 95.3
5*5 0.5 0.9 90.7
0.6 0.9 94.7
0.8 0.9 94.0
0.6 0.5 94.0
0.6 1.0 94.0
Р/о. - отношение коэффициентов в итерационных процедурах: порогов и весовых коэффициентов нейронной сети m - длина волны (микроны)
GRASS (Geographic Resurces Analysis Support System) Обработка изображений со спутников в интересах картографических систем Нейросетевой эмулятор - DYNA QBR
ICARE (Image Cartography Expert) Обработка сложной географической информации, основанная на стандартной географической информации и экспертных знаниях Включает в себя нейросетевую систему для ускорения вычислений
Нейросетевые алгоритмы распознавания типов облаков Распознавание классов облаков Используется пакет программ Professional 2 softwеre package фирмы Neural Ware, Inc
Вероятность правильного распознавания: процент используемого архива изображений для обучения
Номер обучающей выборки 10 % 20 %
1 80 92.67
2 84 93.30
3 82.67 94.00
4 81.33 94.67
5 81.33 94.00
6 82.69 94.00
ТМАР (Teleoperated Mobile All-purpose Platform) Нейросистема управления наземным подвижным средством Разработана фирмой Martin Marietta Aero & Naval System
SNAP-1 Многопроцессорная нейросистема управления воздушным движением Вероятность правильного распознавания - 80 %
Многослойная нейронная сеть типа персептрон лаборатории Air Force Wright Aeronautical Lab Система распознавания типа цели В качестве пространства признаков используются моменты Зернике или дискриминанты Фишера:
Поле признаков Число нейронов Общее число итераций Вероятность правильного распознавания
Слой: 1 2
Моменты Зернике 22 20 060 26 650 86.4
Дискреты Фишера 4 100 300 3110 59.1
FFNNP (Feed-Forward Neural Network Pipeline) Распознавание танков Лаборатория Sanada Nat Labs, СНА. Время распознавания 4с, точность 91 %, 2.5 млрд. соединений в секунду
IPF (Interpolative Probability Field) Нейросетевая система сопровождения многих целей Фирма TRW.

Достигнутые к концу прошлого столетия результаты исследований нейрокомпьютерной техники в военной области сведены в табл. 6.1 и 6.2 [84], из которых видно:

  1. Прикладная военная нейроматематика является естественным продолжением дискретной математики систем цифровой обработки сигналов и изображений, причем она расширяет не столько спектр решаемых задач, что определяется "сценариями" эксплуатации и боевого применения ВВТ, сколько сами условия эксплуатации и боевого применения технотронных комплексов ВВТ, поведение которых описывается нестационарными случайными процессами и существенно нелинейными алгоритмами решения задач управления и оценки ситуации.
  2. Пока не преодолена высокая проблемная и алгоритмическая ориентированность нейросетей даже внутри одного класса задач эксплуатации и боевого применения ВВТ.
  3. При оценке пропускной способности нейрокомпьютеров для систем реального времени необходимо учитывать не только временные издержки этапа обучения, но и составляющие единицы минут временные издержки на (пере)настройку нейросети, что приводит к нелинейному перераспределению затрат в пространстве "аппаратура - время" в задачах с итеративным использованием нейросетей.
  4. Для повышения вероятности принятия правильных решений в ней-росети, как правило, требуется еще и предобработка потоков входных данных, приводящая входную информацию к "масштабам" и "углам зрения", соответствующим условиям получения обучающей выборки.
  5. С середины 80-х годов прошлого столетия США сконцентрировали свои усилия на исследовании нейрокомпьютерных технологий для аэрокосмических комплексов наблюдения за земной поверхностью, сопровождения и распознавания целей, а также управления лазерным оружием. В совокупности с роботизированными системами "поля боя" это позволит им в ближайшей перспективе создать первые комплексные беспилотные системы ВВТ, оперативное управление которыми ведется из удаленных центров.

Аппаратные платформы нейрокомпьютерных технологий развиваются менее интенсивно по сравнению с нейроматематикой [169], что видно из данных табл. 6.3 [170, 171].

Таблица 6.3. Характеристики цифровых нейрочипов
Фирма, тип Конфигурация CPS CPSPW CPPS CUPS Patterns/s
Nuralogix, NLX-420 32-16, 8 bit mode 10M 20K 640M na 20K
Hecht-Nielson, 100NAP 4 chips, 2 M wts,16 bit mantissa 250M 125 256G 64M na
Hitachi, WSI 576 neuron Hopfield 138M 3.7 9.9G na na
Inova, N64000 64-64-1, 8 bit mode 871M 3.4K 128K wts 55.7G 220M 100K
IBM, ZISC036 64 8 bit elements input vectors na na na na 250K
MCE, MT19003 4-4-1 32 MHz 32M 32M 6.8G na 140K
Micro Devices, MD-1220 8-8 819M 1.1M 142M na 139K
Nestor/ Intel 256 5 bit elements input vectors na na na na 40K
Philips, Lneuro-1 1 chips, 8 bit mode 26M 26K 1.6G 32M na
Siemens, MA-16 1 chips, 25 MHz 400M 15M 103G na 40K
RC Module NM 6403 8 bit mode, 50 MHz 1200M 150M 76.8G na na

Современные нейрочипы используют достаточно широкий спектр моделей формальных нейронов ( ФН), изготавливаются по субмикронным нормам, и их работа характеризуется достаточно специфической системой параметров, ориентированной на оценку коммутационных возможностей и возможностей взвешенного суммирования входных возбуждений, как по показателям точности, так и по показателям быстродействия (табл. 6.3):

  • количеством соединений в секунду ( CPS ), измеряемых количеством умножений с накоплением в секунду;
  • взвешенным на один синапс количеством соединений в секунду ( CPSPW = CPS/N_{w}, где N_{w} - количество синапсов ФН);
  • количеством соединений примитивов в секунду ( CPPS = CPS*B_{w}*B_{s}, где B_{w} и B_{s} - разрядность весов и синапсов);
  • количеством модификаций в секунду ( CUPS ), которое характеризует возможности подсистемы ввода-вывода нейрочипа.

Из данных табл. 6.3 следует:

  1. Количество ФН на одном чипе находится в пределах десятков и сотен, а количество входов у каждого - в пределах десятков.
  2. Тактовая частота далеко не рекордная (25-50 МГц), но физическая производительность ( CPS ) - на порядок выше за счет коэффициентов распараллеливания и составляет 108-109 операций/с.
  3. Однокристальный отечественный нейроэмулятор NM6403 на основе 32-разрядного RISC -ядра и 64-разрядного векторного сопроцессора с программируемой (расщепляемой) разрядностью обеспечивает максимальную из приведенных физическую производительность. Отсутствие данных о двух его подсистемах ввода-вывода не позволяет судить о его реальной пропускной способности и ее зависимости от топологии нейросети.

Технические расчеты [172] показывают, что наибольший уровень функциональной интеграции достигается в сетях на ассоциативных ФН, которые при 0,2 мкм топологических нормах позволяют создать в одном чипе ~104 ФН с числом входов ~102 у каждого. При использовании вертикально интегрированных вентилей и 0,1 мкм технологии можно создать на одном чипе сеть из ~106 ассоциативных ФН с ~102 входов у каждого.

Однако реальный прирост уровня функциональной интеграции ассоциативных ФН по отношению к обычным ФН можно оценить только после сравнения функционального разнообразия, достигаемого в каждой сети. Это можно объяснить следующими причинами:

  1. Обучающие алгоритмы "материнской" нейро-ЭВМ хорошо эмулируются на ЦПОС - и RISC -процессорах, что показывает опыт использования нейрочипа отечественной разработки RC Module NM 6403 [171]. Это нейрочип по существу является спаренным процессором цифровой обработки сигналов, и тем не менее при решении задач "материнской" нейро-ЭВМ он получил высокую оценку не только у нас в стране, но и за рубежом, что не характерно для отечественной микроэлектроники и вычислительной техники.
  2. Произвольно коммутируемые нейросети Мак-Каллока - Питтса и персептронные сети Ф. Розенблатта требуют разветвленной системы связей, которая реализуема средствами оптоэлектроники, а в микроэлектронном исполнении здесь возникают серьезные проблемы устойчивого обмена информацией через гальванические шины произвольной конфигурации, особенно в диапазоне гигагерцовых частот и выше. Однако оптоэлектронные вентили на 2-3 порядка пока еще превосходят микроэлектронные вентили по потребляемой мощности, а смешанные опто- и микроэлектронные технологии находятся еще в стадии лабораторных исследований.

Из приведенных данных можно заключить:

  1. Инерционность этапов обучения и настройки нейрокомпьютеров еще такова, что они способны решать в основном плохо формализуемые задачи на этапах планирования и подготовки боевых действий. Такой скорости обучения (порядка единиц часов) достаточно для оперативной адаптации космических средств разведки к сезонным, погодным и климатическим условиям района боевых действий, а роботизированных комплексов "поля боя" еще и "сценариям" ведения боевых действий при наличии стратегической и оперативно-тактической инициативы по отношению к "противнику".
  2. Нейрокомпьютерные технологии в ближайшей перспективе не выйдут за рамки задач эксплуатации и боевого применения, возлагаемые на современные системы цифровой обработки сигналов и изображений [173, 174]. При этом переход к нейроподобным вычислительным технологиям способен повысить уровень адаптации алгоритмов к плохо прогнозируемым и формализуемым погодным и климатическим условиям и увеличить на 1-2 порядка темп обработки в реальном времени потоков данных за счет сверхвысоких (~106-109) коэффициентов распараллеливания вычислений, что труднодостижимо на основе ЦПОС.
  3. Высокий допустимый уровень распараллеливания алгоритмов обучения нейрокомпьютеров обуславливает создание если и не самообучающихся, то по крайней мере взаимно обучающихся нейросетей.

Такой нейроподобный самообучающийся комплекс должен содержать 3 нейро-ЭВМ, одна из которых является обучаемой, а две другие осуществляют адаптивную генерацию обучающих выборок и оценку адекватности реакции обучаемой нейросети.

< Лекция 6 || Лекция 7: 123456 || Лекция 8 >
Виктор Бузмаков
Виктор Бузмаков
Россия, г. Москва
Юрий Самков
Юрий Самков
Россия