Опубликован: 03.04.2013 | Уровень: для всех | Доступ: платный
Лекция 5:

Нейрофизиологический и формально-логический базис нейроподобных вычислений

4.6. Входное преобразование формального нейрона как генератор кратных транспозиций в лексикографически упорядоченной последовательности значений свертки

Выделив в (4.5) в качестве доминирующей составляющей \mu(M) = \beta_2*\psi и используя аппарат индексных зон, А.Т. Бахарев показал [80, 81]:

  1. Задачи 1 и 2 абстрактного синтеза (М)ПМ можно решать по критериям \mu(k, n) = \max\psi(F) и \mu(F_a) = \min\psi(M) соответственно и как чисто дискретные на множестве перестановок индексов s, не ограничив при этом непрерывные вариации \{\delta w_i\} на этапе физического синтеза или настройки (М)ПМ.
  2. При решении задачи 3 критерий (4.7) можно дополнить максимумом функциональной устойчивости (М)ПМ при фиксированной системе решающих правил, что соответствует выбору \{w_i\}, лежащих на медианах (гипер)пирамид, отобранных по критерию \min\psi(M), что гарантирует устойчивую реализацию F_{a}|(X^{s}_{n}) при максимальном разбросе реальных физических величин \{\pm \Delta x_{i}\} и \{\pm\Delta w_i\}.

Точное решение модифицированной таким образом задачи оптимального синтеза (М)ПМ удалось найти [80, 81] для n \le 5, а квазиоптимальное решение для 6 \le n \le 10, что было вызвано как ограничениями метода случайного поиска, так и уровнем использованных вычислительных средств. Для сравнения, японские ученые, проводившие достаточно интенсивные исследования в этой области, в тот же период времени смогли достичь показателей q = 3, n \le 3 [82, 83].

В современных условиях актуальными стали исследования формальных нейронов, у которых число входов исчисляется десятками [84], а незнание структуры индексных зон имеет два негативных последствия:

  1. При завышенной точности \{\pm\Delta w_i\} и неудачной стратегии сканирования в векторном пространстве W_n увеличивается время поиска \{w_{i} \}, удовлетворяющих \min\psi(M), за счет многократного и дорогостоящего анализа эквивалентных ситуаций в одной и той же индексной зоне.
  2. При заниженной точности сканирования можно пропустить часть индексных зон, что приводит к недоиспользованию функциональных возможностей элементов сети и, как следствие, к падению коэффициента использования оборудования.

Преодоление или хотя бы ослабление указанных проблем может приблизить нас к более эффективному управлению ресурсами (супер) нейрокомпьютеров, в которых по предварительным оценкам количество формальных нейронов может быть порядка 10^{5}-10^{6}, а количество входов у каждого из них - порядка 10^{2}-10^{3}.

Введем комбинаторную схему прямого порождения транспозиций значений свертки на скалярной оси L и дадим точную оценку количества таких транспозиций [85].

Чтобы получить все множество перестановок индексов s, генерируемых оператором линейной свертки, требуется еще процедура отбора комбинаций совместных транспозиций.

Комбинаторная схема порождения транспозиций значений свертки на скалярной оси L базируется на двух известных утверждениях:

Утверждение 4.1. При сложении двух и более неравенств, одно из

которых противоположного знака ( w_2 > w_1 и w_3 > w_4 ), результирующее неравенство ( w_2  + w_3 > < w_1 + w_4 ) может быть произвольного знака ( аддитивный источник транспозиции - А -источник и А -транспозиция соответственно). Утверждение 4.2. При умножении двух и более неравенств, одно из которых противоположного знака ( x _{1} > x _{2} и w_1 < w_2 ), результирующее неравенство (x_1*w_1  > < x_2*w_2 ) может быть произвольного знака (мультипликативный источник транспозиции - М -источник и М -транспозиция соответственно).

Схему порождения транспозиций сначала построим для классов БФ, где задействован только А -источник, а затем обобщим ее на случай k -значных ЛФ, где срабатывают еще М -источник и АМ -источник.

В качестве образующей комбинаторной схемы порождения транспозиций выберем систему неравенств:

w_n >  w_{n-1} > … > w _{2} > w _{1} > 0, ( 4.10))

считая, что w_i удовлетворяют условию линейной независимости:

w_i\ne\sum_{i\ne j}{d_j w_j}, i=\overline{1,n}; 1\le j\le n ( 4.11))

где d_{j}\in \{0, \pm 1, \pm 2, …, \pm q_m -1\}, q_{m} = max (q_{n} , q_{n- 1}, …, q _{1}).

Тогда l_{s(1)}   >   <   l_{s(2)}, если X_n^{s(1)}\ne X_n^{s(2)}, а реализуемое оператором линейной свертки отображение L(X^{s}_{n}, W_{n}):X^{s}_{n}\to l_{s} - изоморфно и обеспечивает строгий порядок следования (по s ) l на скалярной оси L . В частности, отвечающее (4.10) и (4.11) каноническое правило присвоения значений компонентам весового вектора w _{1} = 1, W_i = w_{i-1}*q_{i-1} (i = 2,n) обеспечивает лексикографический порядок следования l_{s} на оси L.

Для булевых входных векторов с x_{i}^{s} \in \{0,1\}:

  1. Каноническое правило имеет вид: w_i =2^{i-1}, i = \overline{1,n}.
  2. Соотношение (4.11) говорит о том, что любую компоненту весового вектора нельзя представить в виде суммы произвольного числа компонент этого вектора с меньшими значениями индексов из (4.10).
  3. Суммирование в (4.4) выполняется на одно-, двух-, трех-, …, n -элементных подмножествах из (4.10) в зависимости от количества x^s_i в X^{s}_{n}, удовлетворяющих условию х_i^s = 1, то есть
  4. Отношение порядка между произвольными l_{s(1)}  и l_{s(2)}   ( l_{s(1)}   > < l_{s(2)} ) зависит от состава \{w_i\}_{s(1)} и \{w_i\}_{s(2)}, участвующих в суммировании в (4.4), что задается булевыми векторами X_n^{s(1)} и X_n^{s(2)}.
  5. Числа \varepsilon(1) = |\{w_i\}_{s(1)}     | и \varepsilon(2) = |\{w_i\}_{s(2)}     | специфицируют тип участвующих в транспозиции l_{s(1)}   > < l_{s(2)} значений свертки, указывая только количество w_i, формирующих l_{s(1)}  и l_{s(2)}:
\varepsilon(1)=\overline{1,(n-2)}; \varepsilon(2)=\overline{2,(n-1)}; 
\varepsilon=\varepsilon(1) + \varepsilon(2)\le n, ( 4.12)

где взятые в скобки цифры (1) и (2) задают принадлежность индексируемого объекта к левой и правой части неоднозначного неравенства l_{s(1)}   > < l_{s(2)}.

Для (4.10) справедливы:

Утверждение 4.3. Сумма любого количества ( \varеpsilon(2) ) w_i с младшими значениями индексов i может быть как меньше, так и больше любого w_i ( \varеpsilon(1)=1 ) со старшим значением индекса i.

Утверждение 4.4. Для любой комбинации значений е(1) и е(2), удовлетворяющих (4.12), всегда найдется хотя бы одна пара l_{s(1)} и l_{s (2)} с взаимно исключающими индексами i ( i(s(1))\ne i(s(2)) ), для которых l_{s(1)}   > < l_{s(2)}.

Утверждение 4.4 исходит из того, что при любых ( \varepsilon(1), \varepsilon (2) \ge 2 ) всегда найдутся \{w_{i} \}_{s(1)} и \{w_{i} \}_{s(2)} c взаимно исключающими индексами i, которые можно разбить на непересекающиеся подмножества \{w^{'}_i\}_{s(1)}, \{w^{''}_i\}_{s(1)},
\{w^{'}_i\}_{s(2)}, \{w^{''}_i\}_{s(2)}, такие, что l^'_{s(1)} < l^'_{s(2)}, а l^{''}_{s(1)} > l^{''}_{s(2)}, то есть l_{s(1)} = l^'_{s(1)} + l^{''}_{s(1)} > < l_{s(2)} = l^'_{s(2)} + l^{''}_{s(2)}.

На основе этих утверждений можно построить \varepsilon -спецификацию \{\varepsilon (1), \varepsilon (2)\}, задающую множество всех допустимых транспозиций Т (2, n ) значений свертки булевых векторов на скалярной оси L:

\begin{array}{rrrrrrr}
(1, 2), &(1, 3), & (1, 4), & (1, 5), &…, & (1, n-2), & (1, n-1)\\
& (2, 2), & (2, 3), & (2, 4), &…, & (2, n-3), & (2, n-2)\\
& & (3, 2), & (3, 3), & …, & (3, n-4), & (3, n-3)\\
& & & (4, 2), & …, & (4, n-5), & (4, n-4) \\
& & & …& …& …& …\\
& & & & & (n-3, 2), & (n-3, 3) \\
& & & & & & (n-2, 2)
\end{array} ( 4.13)

в которой каждая строка идентифицируется \varepsilon(1), а каждый столбец - \varepsilon = \varepsilon(1)+\varepsilon(2) = const, \varepsilon = \overline{3, n}. Каждому элементу 1-й строки \varepsilon -спецификации (4.13) соответствует

P_{n-m}^{\varepsilon-1}=\sum_{m=1}^{n-\varepsilon+1}{C_{n-m}^{\varepsilon-1}} ( 4.14)

комбинаций l_{s(1)}  и l_{s(2)}, удовлетворяющих утверждению 4.3, где C_{n-m}^{\varepsilon-1} - число сочетаний из (n - m) элементов w_i по \varepsilon-1, а m - текущий индекс, который связан со значением "старшего" индекса i в утверждении 3 соотношением: \max{i} = n - m + 1, m = \overline{1,(n - \varepsilon+1)}.

Соотношение (4.14) иллюстрирует табл. 4.2, где представлены все А -транспозиции сверток булевых векторов типа ( \varepsilon (1)=1, \varepsilon (2) ) для n = 6. (Все численные результаты получены совместно с И. Клейменовым и А. Саломатовым.)

Таблица 4.2. А-транспозиции типа (s(1)=1, s(2)) для n = 6
С_{6-m}^2 Транспозиции типа (1,2) С_{6-m}^3 Транспозиции типа (1,3) С_{6-m}^4 Транспозиции типа (1,4)
m = 1;\\
C_5^2 =10 w_6 >< w_2+w_1\\
w_6 >< w_3+w_1\\
w_6 >< w_3+w_2\\
w_6 >< w_4+w_1\\
w_6 >< w_4+w_2\\
w_6 >< w_4+w_3\\
w_6 >< w_5+w_1\\
w_6 >< w_5+w_2\\
w_6 >< w_5+w_3\\
w_6 >< w_2+w_4
m = 1;\\
C_5^3 =10 w_6 >< w_3+w_2+w_1\\
w_6 >< w_4+w_2+w_1\\
w_6 >< w_4+w_3+w_1\\
w_6 >< w_4+w_3+w_2\\
w_6 >< w_5+w_2+w_1\\
w_6 >< w_5+w_3+w_1\\
w_6 >< w_5+w_3+w_2\\
w_6 >< w_5+w_4+w_1\\
w_6 >< w_5+w_4+w_2\\
w_6 >< w_5+w_4+w_3
m = 1;\\
C_5^4 =5 w_6 >< w_4+w_3+w_2+w_1\\
w_6 >< w_5+w_3+w_2+w_1\\
w_6 >< w_5+w_4+w_2+w_1\\
w_6 >< w_5+w_4+w_3+w_1\\
w_6 >< w_5+w_4+w_3+w_2\\
m = 2;\\
C_4^2 =6 w_5 >< w_2+w_1\\
w_5 >< w_3+w_1\\
w_5 >< w_3+w_2\\
w_5 >< w_4+w_1\\
w_5 >< w_4+w_2\\
w_5 >< w_4+w_3\\
m = 2;\\
C_4^3 =4 w_5 >< w_3+w_2+w_1\\
w_5 >< w_4+w_2+w_1\\
w_5 >< w_4+w_3+w_1\\
w_5 >< w_4+w_3+w_2
m = 2;\\
C_4^4 =1 w_5 >< w_4+w_3+w_2+w_1
m = 3;\\
C_3^2 =3 w_4 >< w_2+w_1\\
w_4 >< w_3+w_1\\
w_4 >< w_3+w_2
m = 3;\\
C_3^3 =1 w_5 >< w_3+w_2+w_1 P_{n-m}^{4}=6
m = 4;\\
C_2^2 =1 w_3 >< w_2+w_1 P_{6-m}^{3}=15 С_{6-m}^5 Транспозиции типа (1,5)
P_{6-m}^{2}=20 m = 1;\\
C_5^5 =1 w_6 >< w_5+w_4+w_3+w_2+w_1
P_{n-m}^{5}=1

Взяв в качестве образующей каждую А -транспозицию типа ( \varepsilon (1) = 1, \varepsilon (2) \ge 3 ) и переставив в них справа налево любую из компонент w_i (w_i(s(1)):= w_i(s(2))), можно получить все А -транспозиции типа ( \varepsilon (1) = 2, \varepsilon (2) = \varepsilon -2 ), которые отвечают 2-й строке \varepsilon -спецификации (4.13). Таких А -транспозиций в каждом столбце ?-спецификации будет С_{\varepsilon-1}^1. Исключением является 2-й столбец, где А -транспозиции типа ( \varepsilon (1) = 2, \varepsilon (2) = 2 ) образованы из А -транспозиции типа ( \varepsilon (1) = 1, \varepsilon (2) = 3 ) перестановкой справа налево одной, самой "младшей" по (4.10) компоненты, что порождает С_3^0 производных А -транспозиций (табл. 4.3).

Продолжив процедуру перестановок справа налево различных двоек, троек и т. д. w_i, можно убедиться, что каждая образующая А -транспозиция 1-й строки \varepsilon -спецификации порождает, включая и самих себя, подклассы А -транспозиций, причем мощности этих подклассов по каждому столбцу \varepsilon -спецификации образуют ряд:

  • для четных \varepsilon: С^0_{\varepsilon-1}, С^{1}_{\varepsilon-1}, С^2_{\varepsilon-1},..., С_{\varepsilon-1}^{\chi}, C_{\chi}_{\varepsilon-1}, C^{\chi-1}_{\varepsilon-1}, … , C^1_{\varepsilon-1},C^0_{\varepsilon-1}
  • для нечетных \varepsilon: С^0_{\varepsilon-1}, С^{1}_{\varepsilon-1}, С^2_{\varepsilon-1},..., С_{\varepsilon-1}^{\chi}, C^{\chi-1}_{\varepsilon-1}, … , C^1_{\varepsilon-1},C^0_{\varepsilon-1},

где \chi = E[(\varepsilon-1)/2]-1,E[*] - целая часть [*].

Приняв за четный последний столбец \varepsilon -спецификации (4.13), комбинаторную схему порождения всех А -транспозиций, генерируемых оператором линейной свертки булевых векторов, можно представить:

\begin{array}{ccccccc}
P^2_{n-m}, & P^3_{n-m}, & P^4_{n-m}, & P^5_{n-m}, & …, & P^{n-2}_{n-m}, & P^{n-1}_{n-m}, \\
C^0_2, & C^0_3, & C^0_4, & C^0_5, & … , & C^0_{n-2}, & C^0_{n-1}, \\
       & C^0_3, & C^1_4, & C^1_5, & … , & C^1_{n-2}, & C^1_{n-1}, \\
	   &        & C^0_4, & C^1_5, & … , & C^2_{n-2}, & C^2_{n-1}, \\
	   &        &        & C^0_5, & … , & C^3_{n-2}, & C^3_{n-1}, \\
	   &        &        & ...    & … , & ...        & ...        \\	   
	   &        &        &        &     & C^{\chi-1}_{n-2}, & C^{\chi}_{n-1}, \\	   
	   &        &        &        &     & C^{\chi-2}_{n-2}, & C^{\chi-1}_{n-1}, \\	   	   
	   &        &        & ...    & … , & ...         & ...        \\	   	   
	   &        &        &        &     & C^{0}_{n-2}, & C^1_{n-1}, \\	   
	   &        &        &        &     &            & C^{0}_{n-1}, \\	   	   	   
\end{array} ( 4.15)

Здесь в 1-й строке указаны постоянные для каждого столбца множители P_{n-m}^{\varepsilon-1} соответствующие мощностям подклассов образующих А -транспозиций \varepsilon -спецификаций.

Таблица 4.3. А-транспозиции типа (s(1)>1, s(2)) для n = 6
С_{6-m}^3 Транспозиции типа (2,2) С_{6-m}^3 Транспозиции типа (2,3) С_{\varepsilon-1}^4 Транспозиции типа (3,3)
m = 1;\\
C_5^3 =10 w_1+w_6 >< w_3+w_2\\
w_1+w_6 >< w_4+w_2\\
w_1+w_6 >< w_4+w_3\\
w_1+w_6 >< w_5+w_2\\
w_1+w_6 >< w_5+w_3\\
w_1+w_6 >< w_5+w_4\\
w_2+w_6 >< w_4+w_3\\
w_2+w_6 >< w_5+w_3\\
w_2+w_6 >< w_5+w_4\\
w_3+w_6 >< w_5+w_4
m = 1;\\
C_5^4=5 w_1+w_6 >< w_4+w_3+w_2\\
w_1+w_6 >< w_5+w_3+w_2\\
w_1+w_6 >< w_5+w_4+w_2\\
w_1+w_6 >< w_5+w_4+w_3\\
w_2+w_6 >< w_5+w_4+w_3
\varepsilon-m = 5;\\
C_5^1 =5 w_2+w_1+w_6 >< w_5+w_4+w_3\\
w_3+w_1+w_6 >< w_5+w_4+w_2\\
w_4+w_1+w_6 >< w_5+w_3+w_2\\
w_5+w_1+w_6 >< w_4+w_3+w_2\\
w_3+w_2+w_6 >< w_5+w_4+w_1
m = 2;\\
C_4^3 =4 w_1+w_5 >< w_3+w_2\\
w_1+w_5 >< w_4+w_2\\
w_1+w_5 >< w_4+w_3\\
w_2+w_5 >< w_4+w_3
m = 2;\\
C_4^4 =1 w_1+w_5 >< w_4+w_3+w_2
C_5^1 * P_{6-m}^5=5*1=5
m = 3;\\
C_3^3 =4 w_1+w_4 >< w_3+w_2
m = 1;\\
C_5^4=5 w_2+w_6 >< w_4+w_3+w_1\\
w_2+w_6 >< w_5+w_3+w_1\\
w_2+w_6 >< w_5+w_4+w_1\\
w_3+w_6 >< w_5+w_4+w_1\\
w_3+w_6 >< w_5+w_4+w_2
С_{6-m}^4 Транспозиции типа (3,2)
C_3^0 * P_{6-m}^3=1*15=15 m = 2;\\
C_4^4=1 w_2+w_5 >< w_4+w_3+w_1
m = 1;\\
C_5^4=5 w_2+w_1+w_6 >< w_4+w_3\\
w_2+w_1+w_6 >< w_5+w_3\\
w_2+w_1+w_6 >< w_5+w_4\\
w_3+w_1+w_6 >< w_5+w_4\\
w_2+w_3+w_6 >< w_5+w_4
С_{\varepsilon-1}^1 Транспозиции типа (2,4) m = 1;\\
C_5^4=1 w_3+w_6 >< w_4+w_2+w_1\\
w_3+w_6 >< w_5+w_2+w_1\\
w_4+w_6 >< w_5+w_2+w_1\\
w_4+w_6 >< w_5+w_3+w_1\\
w_4+w_6 >< w_5+w_3+w_2
m = 2;\\
C_4^4=1 w_2+w_1+w_5 >< w_4+w_3
\varepsilon-1=5;\\
C_5^1=5 w_1+w_6 >< w_5+w_4+w_3+w_2\\
w_2+w_6 >< w_5+w_4+w_3+w_1\\
w_3+w_6 >< w_5+w_4+w_2+w_1\\
w_4+w_6 >< w_5+w_3+w_2+w_1\\
w_5+w_6 >< w_4+w_3+w_2+w_1
m = 2;\\
C_4^4=1 w_3+w_5 >< w_4+w_2+w_1
C_4^0 * P_{6-m}^4=1*6=6
C_5^1 * P_{6-m}^5=5*1=5
m = 1;\\
C_5^4=5 w_4+w_6 >< w_3+w_2+w_1\\
w_5+w_6 >< w_3+w_2+w_1\\
w_5+w_6 >< w_4+w_2+w_1\\
w_5+w_6 >< w_4+w_3+w_1\\
w_5+w_6 >< w_4+w_3+w_2
С_{\varepsilon-1}^0 Транспозиции типа (4,2)
m = 2;\\
C_4^4=5 w_4+w_5 >< w_3+w_2+w_1
1 w_1+w_2+w_3+w_6><w_5+w_4
C_5^0 * P_{6-m}^4=4*6=24 C_5^0 * P_{6-m}^5=1*1=1

Сумма элементов С^{\gamma}_{n-1} столбца из (4.15) представляет собой мощность множества А -транспозиций, порожденных каждой образующей соответствующего типа:

R_{\varepsilon-1}^{\chi} = \begin{cases}
2\sum_{r=0}^{\chi}{C_{\varepsilon-1}^r}, & \text{ для четных }\varepsilon \\
2\sum_{r=0}^{\chi}{C_{\varepsilon-1}^r - C_{\varepsilon-1}^{\chi}}, & \text{ для нечетных }\varepsilon \\
\end{cases}

Общее число А -транспозиций, генерируемых оператором линейной свертки булевых векторов при ограничении (4.10) на компоненты весового вектора:

T(2,n) = \sum_{\varepsilon-1}{T(2,\varepsilon)} = \sum_{\varepsilon-1}{R^{\chi}_{\varepsilon-1}*P_{n-m}^{\varepsilon-1}} ( 4.16)

или

T(2,n) = 
2\sum_{\varepsilon-1}{\sum_{\gamma}{C_{\varepsilon-1}^{\gamma}}\sum_b{ C^{\varepsilon-1}_{m-b}}} - 
\sum_{\varepsilon-1}{\sum_{2(\gamma+1)}{C_{\varepsilon-1}^{\gamma}}\sum_b{ C^{\varepsilon-1}_{m-b}}}

где \varepsilon-1 =\overline{2,(n-1)}, r\overline{0,\chi}, а T(2,\varepsilon) = R_{\varepsilon-1}^{\chi} * P^{\varepsilon-1}_{n-m}.

Максим Брагута
Максим Брагута
Россия, Москва, МЭИ, 2006
Nozimjon Fayziev
Nozimjon Fayziev
Таджикистан, Душанбе