Первые нейронные модели

Минимальные сведения об элементах мозга

Как подойти к построению моделей нейронных механизмов мозга? Естественнее и проще всего было бы делать это, имея достаточную нейрофизиологическую информацию. Однако такой информации нет и, к сожалению, по-видимому, никогда не будет. Нейрофизиология, как и сто лет назад, остается преимущественно эмпирической наукой. О том, как работает отдельный нейрон, известно все или почти все. Однако в нейрофизиологии нет законченной теории, а следовательно, нет и понимания того, как работает целый мозг в процессе мышления.

Ситуацию отчасти иллюстрирует бывшее популярным в шестидесятые годы прошлого века и остающееся актуальным до сих пор следующее шуточное сравнение. Представим себе, что на Земле есть изолированная цивилизация, незнакомая с телевидением, и что живущие там люди пытаются понять, как работает попавший к ним телевизор. Проводя всевозможные эксперименты, они поймут, как включать телевизор, определят назначение клавиш панели управления, научатся переключать программы и регулировать громкость. Затем, изучая устройство телевизора, экспериментаторы проследят и установят все электрические связи, начнут делать послойные срезы телевизора и рассматривать их в микроскоп и так далее. Можно придумать и еще много других тонких исследований, однако ясно, что таким путем понять, как работает телевизор, нельзя. Нужен целостный подход и построение на этой основе теории работы телевизора.

Придумать и экспериментально проверить теорию работы мозга, по-видимому, должны и могут не физиологи, а, скорее, математики и инженеры. При этом, естественно, придумывая теорию работы мозга, нужно максимально использовать существующую обширную экспериментальную нейрофизиологическую и психологическую информацию.

Основная минимальная информация об устройстве головного мозга, которую должен знать инженер, пытающийся понять и смоделировать мышление, была известна еще в первой половине прошлого века. Состоит эта информация в следующем.

Подавляющее большинство физиологов считает, что мышление реализуется объединенными в сеть нервными клетками - нейронами, которых в мозге человека около 14 миллиардов. Крайне незначительное меньшинство предполагает, что в мышлении помимо нейронов участвуют и нейроглиальные клетки, которых на порядок больше и в среду которых погружены нейроны. По основной версии нейроглиальные элементы обеспечивают для мозга только опорную и трофическую функции.

Обычно пишут, что нейрон имеет много входов (до нескольких сотен) и один выход. В отношении выходов это неточно. Отходящая от нейрона одна связь (аксон) чаще всего разветвляется, и эти разветвления (колла-терали) заканчиваются на разных нейронах. Это полностью эквивалентно тому, что от нейрона отходит много связей, передающих информацию о возбуждении нейрона одновременно по многим адресам.

По каждому входу на нейрон может приходить дискретный возбуждающий или тормозящий электрический импульс от другого нейрона или рецепторной (сенсорной) клетки, например, от клетки сетчатки глаза. Амплитуда и полярность электрических импульсов, передаваемых по конкретной связи, постоянны. Может меняться частота импульсов. Окружающая клетку мембрана нейрона имеет исходный потенциал, поддерживаемый "натриевым насосом". Приходящие на нейрон импульсы создают возбуждающие или тормозящие потенциалы, которые суммируются (со знаком) на мембране нейрона, увеличивая или уменьшая ее исходный потенциал, т. е. производя поляризацию или деполяризацию мембраны. Чаще всего считается, что происходит как пространственная, так и временная суммация накапливающихся на мембране дополнительных потенциалов. С течением времени, если не происходит возбуждения и разряда нейрона, накопленный на мембране нейрона дополнительный потенциал поляризации или деполяризации уменьшается (по-видимому, экспоненциально).

Полярность всех импульсов при их передаче по связям одинакова. Импульс приобретает знак, т. е. возбуждающую или тормозящую полярность, проходя через соединение между входной связью и телом нейрона. Это соединение называется синапс. Большинство физиологов считает, что синапс определяет не только знак, но и величину передаваемого нейрону потенциала. Это связывается с изменением проводимости синапса. Часть нейрона, на которой расположены синапсы, называется дендрит.

Нейрон является дискретным пороговым элементом. Когда суммарный накопленный на мембране нейрона потенциал поляризации достигает некоторого порога, в нейроне происходит разряд. В результате разряда по отходящей от нейрона связи (аксону) передается не затухающий по длине аксона импульс.

Различные аксоны могут иметь разную толщину и существенно разную длину. Скорость передачи импульса по аксону составляет в зависимости от толщины волокна примерно от 1 до 100 метров в секунду. Аксон на конце обычно разветвляется на коллатерали, заканчивающиеся синапсами на дендритах других нейронов. В результате разряда нейрона накопленный на нем потенциал обнуляется.

После разряда нейрона наступает период абсолютной рефрактер-ности длительностью около 1 миллисекунды когда нейрон невозбудим. Затем следует период относительной рефрактерности длительностью несколько миллисекунд, в течение которого порог возбудимости нейрона снижается до нормального уровня, после чего следует экзальтация - кратковременное снижение порога возбудимости ниже нормального уровня. Следует заметить, что мозг включает нейроны многих типов, отличающиеся по своим свойствам. Поэтому периоды рефрактерности и экзальтации у каких-то нейронов могут иметь свою специфику.

Существуют не имеющие значительного распространения и поддержки гипотезы, состоящие в том, что взаимодействие между нейронами осуществляется не только по связям, но и посредством передачи полей возбуждения и торможения.

Вот, собственно, и все. Можно пробовать строить нейронные модели. Для того чтобы попытаться как-то по минимуму представить себе, как работает мозг, и попробовать смоделировать эти представления, информации достаточно. Можно, конечно, предположить, что в мозгу есть еще что-то, не открытое пока еще физиологами. Допуская это и строя нейронную модель, можно, конечно, придумывать недостающие необходимые свойства, но делать это нужно только в том случае, если эти свойства действительно необходимы для работы модели. Ну и, конечно же, нужно стараться, чтобы нефизиологичность вводящихся таким образом новых свойств не была чрезмерной.

Ограничиваясь при моделировании мышления приведенной информацией о нейронах и нейронной сети, можно главным образом варьировать всего четыре вещи. Первое - это связи между нейронами, их топология, а также законы или правила формирования связей и их изменения. Второе - правила формирования и изменения синаптических проводимостей связей. Третье - правила изменения порога срабатывания нейрона. И четвертое - правила формирования результирующего потенциала нейрона. Точными сведениями обо всем этом нейрофизиология не располагает.

Конечно, профессионалы-физиологи могут сказать, что приведенная информация о мозге неполна и в чем-то неточна. Это не страшно. Приведенный перечень свойств элементов мозга, конечно же, является открытым. В то же время вряд ли к приведенным свойствам можно добавить многое, что будет иметь решающее значение. Кроме того, если не придерживаться тезиса, что мышление - это функция мозга и только мозга, то, изобретая мышление, необязательно, ориентируясь в целом на мозг, пытаться его слепо копировать. Можно добавить элемент фантазии.

Многочисленные известные, а может быть, и еще не известные свойства нейрона часто разбивают на две группы. Первая группа - это свойства, определяющие внешнюю логику работы нейрона и логику работы нейронной сети. Вторая группа - свойства, обслуживающие "собственные нужды" нейрона как живой клетки. Разделить эти группы можно попытаться с позиций целостных представлений на основе теории работы мозга. Правда, может оказаться и так, что с позиций целостных представлений о работе мозга эти группы свойств во многом неразделимы. Одновременно теория и успешные нейронные модели механизмов мозга могут стимулировать целенаправленные нейрофизиологические эксперименты. Таким образом, целостность и целенаправленность также важны при проведении научных экспериментов, как и при распознавании образов.

Приблизительно в рамках приведенной информации о нейронах и нейронной сети для объяснения работы мозга были предложены различные модели, являющиеся в подавляющем большинстве производными от модели логических нейронных сетей Мак-Каллока и Питтса либо модификациями перцептрона Розенблатта. Попробуем оценить общие свойства и возможности формальных нейронных сетей на основе информации о необходимых свойствах нейронных механизмов мышления и сведений о работе нейронов мозга.

Логические нейронные сети Мак-Каллока и Питтса

В 1943 году Мак-Каллоком и Питтсом была опубликована статья "A logical calcula of the ideas immanent in nervous activity" ("Логическое исчисление идей, относящихся к нервной активности"). В этой статье была предпринята попытка описать работу нейронных механизмов мозга, используя аппарат математической логики.

Мак-Каллок и Питтс не ставили своей целью решать какие-либо прикладные задачи. Их модель была чисто теоретической попыткой представить мозг как совокупность связанных в сеть логических элементов. К этому подталкивало то, что живой нейрон похож, а при определенных ограничивающих предположениях и становится логическим пороговым элементом, имеющим фиксированное число двоичных входов и двоичный выход.

Свойства нейронов и нейронной сети определялись следующими аксиомами:

1. Возбуждение нейрона соответствует принципу "все или ничего".
2. Время делится на дискретные моменты - такты. Возбуждение нейрона в какой-то момент времени происходит, если в предшествующий момент времени произошли возбуждения определенного фиксированного числа синапсов. Это число не зависит ни от предыдущей активности, ни от расположения синапсов на нейроне.
3. Возбуждение по связи от одного нейрона к любому другому происходит без задержки (за один такт).
4. Синапсы могут быть как возбуждающими, так и тормозящими. Входной сигнал, прошедший через тормозящий синапс, абсолютно исключает возбуждение данного нейрона в рассматриваемый момент времени.
5. С течением времени структура сети не изменяется.

Удовлетворяющие приведенной аксиоматике формальные нейроны и нейронные сети Мак-Каллока и Питтса обладают следующими свойствами. Во-первых, доказано, что эти формальные нейроны могут реализовать любую двоичную логическую функцию. Во-вторых, доказано, что из этих формальных нейронов можно построить сеть, реализующую любое высказывание логики высказываний. Что из этого следует? Пересказывая фон Неймана, можно сказать, что если функционирование системы заключается в формировании реакций на ее выходе в зависимости от входов, то с помощью формальной нейронной сети Мак-Каллока и Питтса в этой системе возможна реализация любого такого функционирования, которое можно точно и однозначно описать конечным числом слов.

Модель мозга Мак-Каллока и Питтса вызвала массу возражений, как со стороны физиологов и психологов, так и со стороны инженеров. Мы не будем подробно рассматривать эти возражения. Приведем лишь слова Ф. Розенблатта: "Требовать точного знания логической структуры нервной сети для предсказания ее поведения равносильно тому, чтобы требовать знания точного положения и скорости каждой молекулы находящегося в сосуде газа для предсказания его температуры".

Предложенная Мак-Каллоком и Питтсом модель, конечно же, не является моделью мозга. В этой модели не реализуется ни одно из сформулированных нами ранее необходимых свойств моделей мозга. Даже если предположить, что большинство из этих свойств не являются необходимыми, то остается необходимым по крайней мере одно - активность. Модель мозга не может быть пассивным логическим дешифратором, жестко связывающим вход с выходом. Кроме того, вызывает по меньшей мере сомнение физиологичность большинства принятых Мак-Каллоком и Питтсом аксиом о свойствах нейронов и нейронной сети.

Тем не менее работа Мак-Каллока и Питтса была очень полезна. Во-первых, эта работа стимулировала многие целенаправленные нейрофизиологические исследования, касающиеся как свойств отдельного нейрона, так и сети в целом, например, хотя бы работы по поиску энграмм памяти.

Во-вторых, эта работа послужила определенным толчком к развитию аппарата математической логики. Очевидная недостаточность классической математической логики для описания работы мозга потребовала разработки различных неклассических логик, например, таких, в которых делаются попытки формализации ассоциаций, аналогий, индукции, учет времени и так далее. Стимулировались и работы по созданию различных формальных систем представления знаний.

И наконец, в-третьих, нейронная модель Мак-Каллока и Питтса вызвала как разработку ее различных модификаций, так и создание иных нейронных моделей, например, таких как перцептрон Розенблатта или современные формальные нейронные сети, широко применяющиеся на практике для распознавания образов.