Россия, Москва |
Контрастирование (редукция) нейронной сети
Сокращение числа выходов в адаптивном линейном сумматоре (путь "снизу вверх")
Рассмотрим адаптивный линейный сумматор, вычисляющий линейную функцию .
Решим задачу о сокращении числа выходных сигналов. Рассмотрим определение значимости по изменению выходного сигнала. Заметим, что:
Уничтожить -й выходной сигнал можно двумя способами:
- заменой параметра на 0;
- заменой на постоянную величину не зависящую от .
В последнем случае получаем новую функцию
Такое преобразование означает, что одновременно с уничтожением -й выходной связи приобретает новое значение:
При этом можно добиться меньшего изменения , чем просто при приравнивании к нулю. Поэтому остановимся на замене -го выходного сигнала на постоянную величину . Значение этой постоянной определим исходя из минимизации изменения . Минимизация этого изменения, вычисленного в евклидовой норме, дает:
Таким образом, оптимальной является замена на его среднее значение по исходной выборке. В обозначениях теории вероятностей:
где - среднеквадратичное отклонение от на выборке .
Значимость замены оценивается как
При исключении сигналов по одному, они сортируются в соответствии со значениями и отбрасываются (заменяются средним) сначала те, что соответствуют меньшим . Заметим, что поэтому путь "снизу вверх" универсален, но не оптимален. В частности, для сумматоров и других элементов, линейных по параметрам (например, квадратичных сумматоров), существует учитывающий все корреляции путь исключения "сверху вниз" с ортогонализацией. Далее ограничимся оценкой значимости по изменению выходного сигнала.