Контрастирование (редукция) нейронной сети
Сокращение описания "сверху вниз" - набор достаточного семейства наиболее значимых параметров
Метод исключения параметров "сверху вниз" с ортогонализацией применим не ко всяким функциям , а только к таким, которые имеют вид:
Достоинство метода - автоматический учет корреляции между . Рассмотрим устройства, вычисляющие функции
К ним относятся линейные сумматоры, квадратичные сумматоры и др.
Пусть заданы векторы данных:
Поставим задачу сокращения описания следующим образом: так определить некоторое наименьшее возможное множество индексов и набор чисел , чтобы норма отклонения , где , не превышала некоторой наперед заданной величины. Все функции рассматриваются на конечном множестве . Для любой функции евклидова норма:
С каждой функцией связан -мерный вектор с компонентами . Вектор с координатами является линейной комбинацией векторов с координатами . Линейную оболочку семейства векторов обозначим . Построим в пространстве ортонормированный базис с помощью последовательной ортогонализации векторов . Каждый следующий шаг ортогонализации выполним так, чтобы величина проекции на новый вектор базиса была максимальной из возможных. Процесс ортогонализации продолжим, пока , где - проекция на построенную ортогональную систему. По окончании процесса полагаем .