Логика мышления Опции

[Александр Вакуров]

Логика мышления. Часть 1. Нейрон
Биоинформатика, Искусственный интеллект, Программирование*

Алексей Редозубов

Года полтора назад я выкладывал на Хабр цикл видеолекций с моим видением того как работает мозг и каковы возможные пути создания искусственного интеллекта. За прошедшее с тех пор время удалось существенно продвинуться вперед. Что-то получилось глубже понять, что-то удалось смоделировать на компьютере. Что приятно, появились единомышленники, активно участвующие в работе над проектом.

В настоящем цикле статей планируется рассказать о той концепции интеллекта над которой мы сейчас работаем и продемонстрировать некоторые решения, являющиеся принципиально новыми в сфере моделирования работы мозга. Но чтобы повествование было понятным и последовательным оно будет содержать не только описание новых идей, но и рассказ о работе мозга вообще. Какие-то вещи, особенно в начале, возможно покажутся простыми и общеизвестными, но я бы советовал не пропускать их, так как они во многом определяют общую доказательность повествования.


Общее представление о мозге


Нервные клетки, они же нейроны, вместе со своими волокнами, передающими сигналы, образуют нервную систему. У позвоночных основная часть нейронов сосредоточена в полости черепа и позвоночном канале. Это называется центральной нервной системой. Соответственно, выделяют головной и спинной мозг как ее составляющие.

Спинной мозг собирает сигналы от большинства рецепторов тела и передает их в головной мозг. Через структуры таламуса они распределяются и проецируются на кору больших полушарий головного мозга.

Проекция информации на кору
Проекция информации на кору

Кроме больших полушарий обработкой информации занимается еще и мозжечок, который, по сути, является маленьким самостоятельным мозгом. Мозжечок обеспечивает точную моторику и координацию всех движений.

Зрение, слух и обоняние обеспечивают мозг потоком информации о внешнем мире. Каждая из составляющих этого потока, пройдя по своему тракту, также проецируется на кору. Кора – это слой серого вещества толщиной от 1.3 до 4.5 мм, составляющий наружную поверхность мозга. За счет извилин, образованных складками, кора упакована так, что занимает в три раза меньшую площадь, чем в расправленном виде. Общая площадь коры одного полушария – приблизительно 7000 кв.см.

В итоге все сигналы проецируются на кору. Проекция осуществляется пучками нервных волокон, которые распределяются по ограниченным областям коры. Участок, на который проецируется либо внешняя информация, либо информация с других участков мозга образует зону коры. В зависимости от того, какие сигналы на такую зону поступают, она имеет свою специализацию. Различают моторную зону коры, сенсорную зону, зоны Брока, Вернике, зрительные зоны, затылочную долю, всего около сотни различных зон.


Зоны коры
Зоны коры

В вертикальном направлении кору принято делить на шесть слоев. Эти слои не имеют четких границ и определяются по преобладанию того или иного типа клеток. В различных зонах коры эти слои могут быть выражены по-разному, сильнее или слабее. Но, в общем и целом, можно говорить о том, что кора достаточно универсальна, и предполагать, что функционирование разных ее зон подчиняется одним и тем же принципам.


Слои коры

По афферентным волокнам сигналы поступают в кору. Они попадают на III, IV уровень коры, где распределяются по близлежащим к тому месту, куда попало афферентное волокно, нейронам. Большая часть нейронов имеет аксонные связи в пределах своего участка коры. Но некоторые нейроны имеют аксоны, выходящие за ее пределы. По этим эфферентным волокнам сигналы идут либо за пределы мозга, например, к исполнительным органам, или проецируются на другие участки коры своего или другого полушария. В зависимости от направления передачи сигналов эфферентные волокна принято делить на:
ассоциативные волокна, которые связывают отдельные участки коры одного полушария;
комиссуральные волокна, которые соединяют кору двух полушарий;
проекционные волокна, которые соединяют кору с ядрами низших отделов центральной нервной системы.

Если взять направление, перпендикулярное поверхности коры, то замечено, что нейроны, располагающиеся вдоль этого направления, реагируют на схожие стимулы. Такие вертикально расположенные группы нейронов, принято называть кортикальными колонками.

Можно представить себе кору головного мозга как большое полотно, раскроенное на отдельные зоны. Картина активности нейронов каждой из зон кодирует определенную информацию. Пучки нервных волокон, образованные аксонами, выходящими за пределы своей зоны коры, формируют систему проекционных связей. На каждую из зон проецируется определенная информация. Причем на одну зону может поступать одновременно несколько информационных потоков, которые могут приходить как с зон своего, так и противоположного полушария. Каждый поток информации похож на своеобразную картинку, нарисованную активностью аксонов нервного пучка. Функционирование отдельной зоны коры – это получение множества проекций, запоминание информации, ее переработка, формирование собственной картины активности и дальнейшая проекция информации, получившейся в результате работы этой зоны.

Существенный объем мозга – это белое вещество. Оно образовано аксонами нейронов, создающими те самые проекционные пути. На рисунке ниже белое вещество можно увидеть как светлое заполнение между корой и внутренними структурам мозга.


Распределение белого вещества на фронтальном срезе мозга

Используя диффузную спектральную МРТ, удалось отследить направление отдельных волокон и построить трехмерную модель связанности зон коры (проект Connectomics (Коннектом)).

Представление о структуре связей хорошо дают рисунки ниже (Van J. Wedeen, Douglas L. Rosene, Ruopeng Wang, Guangping Dai, Farzad Mortazavi, Patric Hagmann, Jon H. Kaas, Wen-Yih I. Tseng, 2012).


Вид со стороны левого полушария


Вид сзади


Вид справа

Кстати, на виде сзади отчетливо видна асимметрия проекционных путей левого и правого полушария. Эта асимметрия во многом и определяет различия в тех функциях, которые приобретают полушария по мере их обучения.

Нейрон


Основа мозга – нейрон. Естественно, что моделирование мозга с помощью нейронных сетей начинается с ответа на вопрос, каков принцип его работы.

В основе работы реального нейрона лежат химические процессы. В состоянии покоя между внутренней и внешней средой нейрона существует разность потенциалов – мембранный потенциал, составляющий около 75 милливольт. Он образуется за счет работы особых белковых молекул, работающих как натрий-калиевые насосы. Эти насосы за счет энергии нуклеотида АТФ гонят ионы калия внутрь, а ионы натрия — наружу клетки. Поскольку белок при этом действует как АТФ-аза, то есть фермент, гидролизующий АТФ, то он так и называется — «натрий-калиевая АТФ-аза». В результате нейрон превращается в заряженный конденсатор с отрицательным зарядом внутри и положительным снаружи.


Схема нейрона (Mariana Ruiz Villarreal)

Поверхность нейрона покрыта ветвящимися отростками – дендритами. К дендритам примыкают аксонные окончания других нейронов. Места их соединений называются синапсами. Посредством синаптического взаимодействия нейрон способен реагировать на поступающие сигналы и при определенных обстоятельствах генерировать собственный импульс, называемый спайком.

Передача сигнала в синапсах происходит за счет веществ, называемых нейромедиаторами. Когда нервный импульс по аксону поступает в синапс, он высвобождает из специальных пузырьков молекулы нейромедиатора, характерные для этого синапса. На мембране нейрона, получающего сигнал, есть белковые молекулы – рецепторы. Рецепторы взаимодействуют с нейромедиаторами.


Химический синапс

Рецепторы, расположенные в синаптической щели, являются ионотропными. Это название подчеркивает тот факт, что они же являются ионными каналами, способными перемещать ионы. Нейромедиаторы так воздействуют на рецепторы, что их ионные каналы открываются. Соответственно, мембрана либо деполяризуется, либо гиперполяризуется – в зависимости от того, какие каналы затронуты и, соответственно, какого типа этот синапс. В возбуждающих синапсах открываются каналы, пропускающие катионы внутрь клетки, — мембрана деполяризуется. В тормозных синапсах открываются каналы, проводящие анионы, что приводит к гиперполяризации мембраны.

В определенных обстоятельствах синапсы могут менять свою чувствительность, что называется синаптической пластичностью. Это приводит к тому, что синапсы одного нейрона приобретают различную между собой восприимчивость к внешним сигналам.

Одновременно на синапсы нейрона поступает множество сигналов. Тормозящие синапсы тянут потенциал мембраны в сторону накопления заряда внутри клети. Активирующие синапсы, наоборот, стараются разрядить нейрон (рисунок ниже).


Возбуждение (A) и торможение ( ганглиозной клетки сетчатки (Николлс Дж., Мартин Р., Валлас Б., Фукс П., 2003)

Когда суммарная активность превышает порог инициации, возникает разряд, называемый потенциалом действия или спайком. Спайк – это резкая деполяризация мембраны нейрона, которая и порождает электрический импульс. Весь процесс генерации импульса длится порядка 1 миллисекунды. При этом ни продолжительность, ни амплитуда импульса не зависят от того, насколько были сильны вызвавшие его причины (рисунок ниже).


Регистрация потенциала действия ганглиозной клетки (Николлс Дж., Мартин Р., Валлас Б., Фукс П., 2003)

После спайка ионные насосы обеспечивают обратный захват нейромедиатора и расчистку синаптической щели. В течение рефрактерного периода, наступающего после спайка, нейрон не способен порождать новые импульсы. Продолжительность этого периода определяет максимальную частоту генерации, на которую способен нейрон.

Спайки, которые возникают как следствие активности на синапсах, называют вызванными. Частота следования вызванных спайков кодирует то, насколько хорошо поступающий сигнал соответствует настройке чувствительности синапсов нейрона. Когда поступающие сигналы приходятся именно на чувствительные синапсы, активирующие нейрон, и этому не мешают сигналы, приходящие на тормозные синапсы, то реакция нейрона максимальна. Образ, который описывается такими сигналами, называют характерным для нейрона стимулом.

Конечно, представление о работе нейронов не стоит излишне упрощать. Информация между некоторыми нейронами может передаваться не только спайками, но и за счет каналов, соединяющих их внутриклеточное содержимое и передающих электрический потенциал напрямую. Такое распространение называется градуальным, а само соединение называется электрическим синапсом. Дендриты в зависимости от расстояния до тела нейрона делятся на проксимальные (близкие) и дистальные (удаленные). Дистальные дендриты могут образовывать секции, работающие как полуавтономные элементы. Помимо синаптических путей возбуждения есть внесинаптические механизмы, вызывающие метаботропные спайки. Кроме вызванной активности существует еще и спонтанная активность. И наконец, нейроны мозга окружены глиальными клетками, которые также оказывают существенное влияние на протекающие процессы.

Долгий путь эволюции создал множество механизмов, которые используются мозгом в своей работе. Некоторые из них могут быть поняты сами по себе, смысл других становится ясен только при рассмотрении достаточно сложных взаимодействий. Поэтому не стоит воспринимать сделанное выше описание нейрона как исчерпывающее. Чтобы перейти к более глубоким моделям, нам необходимо сначала разобраться с «базовыми» свойствами нейронов.

В 1952 году Аланом Ллойдом Ходжкином и Эндрю Хаксли были сделаны описания электрических механизмов, которые определяют генерацию и передачу нервного сигнала в гигантском аксоне кальмара (Hodgkin, 1952). Что было оценено Нобелевской премией в области физиологии и медицины в 1963 году. Модель Ходжкина – Хаксли описывает поведение нейрона системой обыкновенных дифференциальных уравнений. Эти уравнения соответствуют автоволновому процессу в активной среде. Они учитывают множество компонент, каждая из которых имеет свой биофизический аналог в реальной клетке (рисунок ниже). Ионные насосы соответствуют источнику тока Ip. Внутренний липидный слой клеточной мембраны образует конденсатор с емкостью Cm. Ионные каналы синаптических рецепторов обеспечивают электрическую проводимость gn, которая зависит от подаваемых сигналов, меняющихся со временем t, и общей величины мембранного потенциала V. Ток утечки мембранных пор создает проводник gL. Движение ионов по ионным каналам происходит под действием электрохимических градиентов, которым соответствуют источники напряжения с электродвижущей силой En и EL.


Основные компоненты модели Ходжкина — Хаксли

Естественно, что при создании нейронных сетей возникает желание упростить модель нейрона, оставив в ней только самые существенные свойства. Наиболее известная и популярная упрощенная модель – это искусственный нейрон Маккалока — Питтса, разработанный в начале 1940-х годов (Маккалох Дж., Питтс У., 1956).

Формальный нейрон Маккалока — Питтса

На входы такого нейрона подаются сигналы. Эти сигналы взвешенно суммируются. Далее к этой линейной комбинации применяется некая нелинейная функция активации, например, сигмоидальная. Часто как сигмоидальную используют логистическую функцию:


Логистическая функция

В этом случае активность формального нейрона записывается как



В итоге такой нейрон превращается в пороговый сумматор. При достаточно крутой пороговой функции сигнал выхода нейрона – либо 0, либо 1. Взвешенная сумма входного сигнала и весов нейрона – это свертка двух образов: образа входного сигнала и образа, описываемого весами нейрона. Результат свертки тем выше, чем точнее соответствие этих образов. То есть нейрон, по сути, определяет, насколько подаваемый сигнал похож на образ, записанный на его синапсах. Когда значение свертки превышает определенный уровень и пороговая функция переключается в единицу, это можно интерпретировать как решительное заявление нейрона о том, что он узнал предъявляемый образ.

Реальные нейроны действительно неким образом похожи на нейроны Маккалока — Питтса. Амплитуды их спайков не зависит от того, какие сигналы на синапсах их вызвали. Спайк, либо есть, либо его нет. Но реальные нейроны реагируют на стимул не единичным импульсом, а импульсной последовательностью. При этом частота импульсов тем выше, чем точнее узнан характерный для нейрона образ. Это означает, что если мы построим нейронную сеть из таких пороговых сумматоров, то она при статичном входном сигнале хотя и даст какой-то выходной результат, но этот результат будет далек от воспроизведения того, как работают реальные нейроны. Для того чтобы приблизить нейронную сеть к биологическому прототипу, нам понадобиться моделировать работу в динамике, учитывая временные параметры и воспроизводя частотные свойства сигналов.

Но можно пойти и другим путем. Например, можно выделить обобщенную характеристику активности нейрона, которая соответствует частоте его импульсов, то есть количеству спайков за определенный промежуток времени. Если перейти к такому описанию, то можно представить нейрон как простой линейный сумматор.


Линейный сумматор

Сигналы выхода и, соответственно, входа для таких нейронов уже не являются дихатомичными (0 или 1), а выражаются некой скалярной величиной. Функция активации тогда записывается как



Линейный сумматор не стоит воспринимать как что-то принципиально иное по сравнению с импульсным нейроном, просто он позволяет при моделировании или описании перейти к более длинным временным интервалам. И хотя импульсное описание более корректно, переход к линейному сумматору во многих случаях оправдан сильным упрощением модели. Более того, некоторые важные свойства, которые трудно разглядеть в импульсном нейроне, вполне очевидны для линейного сумматора.

Источник

habrahabr.ru

[Александр Вакуров]

18 марта в 21:09
Логика мышления. Часть 12. Следы памяти
Биоинформатика, Искусственный интеллект, Робототехника


Этот цикл статей описывает волновую модель мозга, серьезно отличающуюся от традиционных моделей. Настоятельно рекомендую тем, кто только присоединился, начинать чтение с первой части.

Энграммой называют те изменения, что происходят с мозгом в момент запоминания. Другими словами, энграмма – это след памяти. Вполне естественно, что понимание природы энграмм воспринимается всеми исследователями как ключевая задача в изучении природы мышления.

В чем сложность этой задачи? Если взять обычную книгу или внешний компьютерный накопитель, то и то и другое можно назвать памятью. И то и другое хранит информацию. Но мало хранить. Чтобы информация стала полезной, надо уметь ее считывать и знать, как ей оперировать. И тут оказывается, что сама форма хранения информации тесно связана с принципами ее обработки. Одно во многом определяет другое.



Человеческая память – это не просто способность хранить большой набор разнообразных образов, но еще и инструмент, позволяющий быстро найти и воспроизвести уместное воспоминание. При этом кроме ассоциативного доступа к произвольным фрагментам нашей памяти мы умеем связывать воспоминания в хронологические цепочки, воспроизводя не единичный образ, а последовательность событий.

Уайлдер Грейвс Пенфилд получил заслуженное признание за свой вклад в изучение функций коры. Занимаясь лечением эпилепсий, он разработал методику операций на открытом мозге, по ходу которых использовалась электростимуляция, позволяющая уточнить эпилептический очаг. Возбуждая электродом различные участки мозга, Пенфилд фиксировал реакцию находящихся в сознании пациентов. Это позволило получить подробное представление о функциональной организации коры головного мозга (Пенфилд, 1950). Стимулирование некоторых зон, в основном височных долей, вызывало у пациентов яркие воспоминания, в которых прошедшие события всплывали в мельчайших подробностях. Причем повторное стимулирование одних и тех же мест вызывало одни и те же воспоминания.

Выявленная Панфилом четкая локализация в коре многих функций настроила на поиски таких же четко локализованных следов памяти. Кроме того, появление компьютеров и соответственно представления о том, как организованы физические носители компьютерной информации, стимулировали поиск чего-то похожего в структурах мозга.

В 1969 году Джерри Летвин сказал: «Если мозг человека состоит из специализированных нейронов, и они кодируют уникальные свойства различных объектов, то, в принципе, где-то в мозге должен быть нейрон, с помощью которого мы узнаем и помним свою бабушку». Формулировка «нейрон бабушки» закрепилась и часто всплывает, когда заходит разговор об устройстве памяти. Более того, нашлись и прямые экспериментальные подтверждения. Были обнаружены нейроны, реагирующие на определенные образы, например, четко узнающие конкретного человека или конкретное явление. Правда, при более детальных исследованиях оказалось, что обнаруженные «специализированные» нейроны реагируют не только на что-то одно, а на группы в некотором смысле близких образов. Так, выяснилось, что нейрон, реагировавший на Дженнифер Энистон, так же реагировал и на Лизу Кудроу, снимавшуюся вместе с Энистон в телесериале «Друзья», а нейрон, узнававший Люка Скайуокера, узнавал и мастера Йоду (Р. К. Квирога, К. Кох, И. Фрид, 2013).

Еще в первой половине двадцатого века Карл Лэшли поставил очень интересные опыты по локализации памяти. Сначала он обучал крыс находить выход в лабиринте, а затем удалял им различные части мозга и снова запускал в лабиринт. Так он пытался найти ту часть мозга, которая отвечает за память о полученном навыке. Но оказалось, что память в той или иной мере сохранялась всегда, несмотря на временами значительные нарушения моторики. Эти опыты вдохновили Карла Прибрама сформулировать ставшую широко известной и популярной теорию голографической памяти (Прибрам, 1971).

Принципы голографии, как и сам термин, придумал в 1947 году Денеш Габор, который получил за это Нобелевскую премию по физике 1971 года. Суть голографии в следующем. Если иметь источник света со стабильной частотой, то разделив его посредством полупрозрачного зеркала на два, мы получим два когерентных световых потока. Один поток можно направить на объект, а второй на фотографическую пластину.


Создание голограммы

В результате, когда отраженный от объекта свет достигнет фотографической пластины, он создаст с освещающим пластину потоком интерференционную картину.

Интерференционная картина, отпечатавшись на фотопластинке, сохранит информацию не только об амплитудных, но и о фазовых характеристиках светового поля, отраженного объектом. Теперь, если осветить ранее экспонированную пластину, то восстановится исходный световой поток, и мы увидим запомненный объект во всем его объеме.


Воспроизведение голограммы

Голограмма имеет несколько удивительных свойств. Во-первых, световой поток сохраняет объем, то есть, разглядывая фантомный объект под разными углами, можно увидеть его с разных сторон. Во-вторых, каждый участок голограммы содержит в себе информацию обо всем световом поле. Так, если мы разрежем голограмму пополам, то сначала мы увидим только половину объекта. Но если мы наклоним голову, то за краем оставшейся голограммы мы сможем разглядеть вторую «обрезанную» часть. Да, чем меньше фрагмент голограммы, тем ниже ее разрешающая способность. Но даже через маленький участок можно, как через замочную скважину, рассмотреть все изображение. Интересно, что если на голограмме будет лупа, то через нее можно будет рассматривать с увеличением другие запечатленные там объекты.

Применительно к памяти Прибрам сформулировал: «Сущность голографической концепции состоит в том, что образы восстанавливаются, когда их представительства в виде систем с распределенной информацией соответствующим образом приводятся в активное состояние» (Прибрам, 1971).

Упоминание о голографических свойствах памяти можно встретить в двух контекстах. С одной стороны, называя память голографической, подчеркивают ее распределенный характер и способность восстанавливать образы, используя только часть нейронов, подобно тому, как это происходит с фрагментами голограммы. С другой стороны, предполагают, что память, обладающая похожими на голограмму свойствами, опирается на те же физические принципы. Последнее означает, что поскольку в основе голографии лежит фиксация интерференционной картины световых потоков, то память, видимо, каким-то образом использует интерференционную картину, возникающую в результате импульсного кодирования информации. Ритмы мозга хорошо известны, а там, где колебания там и волны, а, следовательно, неизбежна и их интерференция. А значит, физическая аналогия выглядит вполне уместной и привлекательной.

Но интерференция штука тонкая, небольшие изменения частоты или фазы сигналов должны полностью менять ее картину. Однако мозг успешно работает и при существенной вариации его ритмов. Кроме того, попытки затруднить распространение электрической активности рассечением его участков и помещением слюды в места разрезов, накладыванием полосок золотой фольги для создания замыкания, созданием эпилептических очагов посредством инъекций алюминиевой пасты не нарушают слишком уж паталогически деятельность мозга (Прибрам, 1971).

Говоря о памяти, невозможно обойти стороной известные факты о связи памяти и гиппокампа. В 1953 году пациенту, которого принято называть H.M. (Henry Molaison), хирург удалил гиппокамп (W. Scoviille, B. Milner, 1957). Это была рискованная попытка вылечить сильную эпилепсию. Было известно, что удаление гиппокампа одного из полушарий действительно помогает при этой болезни. Учитывая исключительную силу эпилепсии у H.M., врач удалил гиппокамп с обеих сторон. В результате у H.M. полностью исчезла способность что-либо запоминать. Он помнил, что было с ним до операции, но все новое вылетало у него из головы, как только переключалось его внимание.


Henry Molaison

H.M. долго исследовался. По ходу этих исследований было проведено бесчисленное количество разных опытов. Один из них оказался особенно интересен. Пациенту предложили обвести пятиконечную звезду, глядя на нее в зеркало. Это не очень простое задание, вызывающее затруднение при отсутствии должного навыка. Задание давалось H.M. неоднократно и каждый раз он воспринимал его, как увиденное впервые. Но интересно, что с каждым разом выполнение задания давалось ему все легче и легче. Он сам при повторных опытах отмечал, что ожидал, что это окажется значительно сложнее.


Гиппокамп одного из полушарий

Кроме того, оказалось, что определенная память на события все-таки была присуща H.M. Так, например, он знал об убийстве Кеннеди, хотя оно и произошло уже после удаления у него гиппокампа.

Из этих фактов был сделан вывод, что существует как минимум два различных типа памяти. Один тип отвечает за фиксацию конкретных воспоминаний, а другой ответственен за получение некого обобщенного опыта, что выражается в знании распространенных фактов или приобретении определенных навыков.

Случай H.M. достаточно уникален. В других ситуациях, связанных с удалением гиппокампа, где не было такого полного двустороннего повреждения, как у H.M., нарушения памяти либо были не столь ярко выражены, либо отсутствовали вовсе (W. Scoviille, B. Milner, 1957).

Попробуем теперь сопоставить все описанное с нашей моделью. Мы показали, что устойчивые повторяющиеся явления формируют паттерны нейронов детекторов. Эти паттерны способны узнавать характерные для них сочетание признаков, и добавлять в волновую картину новые идентификаторы. Мы показали, как может происходить обратное воспроизведение признаков по идентификатору понятия. Это можно сопоставить с памятью об обобщенном опыте.

Но такая обобщенная память не позволяет воссоздать конкретные события. Если одно и то же явление повторяется в разных ситуациях, мы в нашей нейронной сети просто получаем ассоциативные связи между понятием, соответствующим явлению, и понятиями, описывающими эти обстоятельства. Используя эту ассоциативность, можно создать абстрактное описание, состоящее из понятий, встречающихся совместно. Задача же событийной памяти – это не воспроизвести некую абстрактную картину, а воссоздать именно запомненную ранее ситуацию, описывающую конкретное событие со всеми только ему характерными уникальными особенностями.

Сложность собственно в том, что в нашей модели нигде нет такого места, где бы локализовалось полное и исчерпывающее описание происходящего. Полное описание складывается из множества описаний, активных на отдельных зонах коры. Каждая из зон имеет волновое описание в понятиях, которые свойственны именно этому участку мозга. И если мы даже как-то запомним, что происходит на каждой из зон в отдельности, эти описания будет необходимо еще увязать между собой так, чтобы возник целостный образ.

Аналогичная ситуация возникает, когда мы имеем топографическую проекцию и нейроны с локальными рецептивными полями. Предположим, что у нас есть нейронная сеть, состоящая из двух плоских слоев (рисунок ниже). Допустим, что состояние нейронов первого слоя образует определенную картинку. Эта картинка через проекционные волокна передается на второй слой. Нейроны второго слоя имеют синаптические связи с теми волокнами, которые попадают в границы их рецептивных полей. Таким образом, каждый из нейронов второго слоя видит только маленький фрагмент исходной картинки первого слоя.


Топографическая проекция образа на локальные рецептивные поля

Есть очевидный способ, как запомнить на втором слое подаваемую картинку. Надо выбрать такой набор нейронов, чтобы их рецептивные поля полностью покрывали проецируемый образ. Запомнить на каждом из нейронов свой фрагмент изображения. А чтобы воспоминание приобрело связанность – пометить все эти нейроны общим маркером, указывающим на их принадлежность к одному набору.

Такое запоминание очень просто, но крайне расточительно по количеству задействованных нейронов. Каждая новая картинка будет требовать новый распределенный набор элементов памяти.

Получить экономию можно, если окажется, что у разных изображений повторяются какие-либо общие фрагменты, тогда можно не заставлять новый нейрон запоминать такой фрагмент, а воспользоваться уже существующим нейроном, просто добавив ему еще один маркер, теперь уже от новой картинки.

Таким образом, мы приходим к основной идее распределенного запоминания. Опишем ее сначала для картинки и топографической проекции.

Будем подавать на первую зону различные изображения и проецировать их на вторую зону. Если мы сделаем рецептивные поля нейронов достаточно малыми, то количество уникальных картинок в каждой локальной области окажется не столь велико. Мы можем так подобрать размеры рецептивного поля, чтобы в область, размеры которой будут приблизительно совпадать с размером рецептивного поля нейронов, поместились все уникальные варианты локальных изображений.

Создадим пространственные области, содержащие нейроны-детекторы. Сделаем так, чтобы каждая область содержала детекторы всех возможных уникальных образов и чтобы такие области покрывали все пространство второй зоны. Для этого мы можем воспользоваться описанными ранее принципами выделения наборов факторов.

Задача детекторов – сравнивать подаваемые на их рецептивные поля образы с образами, характерными для них. Для такого сравнения образов можно использовать свертку по рецептивному полю R:



Отклик нейрона будет тем выше, чем больше новый образ покрывает образ запомненный. Если нас интересует не степень покрытия, а уровень совпадения образов, то можно воспользоваться корреляцией образов, которая есть не что иное, как нормированная свертка:



Кстати, это же значение является косинусом угла, образованного вектором образа и вектором весов:



В результате, в каждой локальной группе детекторов при подаче новой картинки будут срабатывать нейроны-детекторы, наиболее точно описывающие свой локальный фрагмент.

Теперь сделаем следующее: будем генерировать для каждого нового образа свою уникальную метку-идентификатор и помечать ею активные нейроны-детекторы. Мы получим, что каждая подача образа сопровождается появлением на второй зоне коры картины активности, которая есть описание этого образа через доступные второй зоне признаки. Создание уникального идентификатора и маркировка им активных нейронов детекторов – это и есть запоминание конкретного события.

Если мы выберем один из маркеров, найдем нейроны-детекторы, его содержащие, и восстановим характерные для них локальные образы, то мы получим восстановление исходного изображения.

Чтобы запоминать и воспроизводить множество разных образов, нейроны-детекторы должны иметь неизменные синаптические веса и обладать возможностью хранить столько маркеров, сколько воспоминаний им предстоит запомнить.

Покажем работу распределенного запоминания на простом примере. Допустим, что мы генерируем на верхней зоне контурные изображения разнообразных геометрических фигур (рисунок ниже).


Подаваемое изображение

Будем обучать нижнюю зону на выделение различных факторов методом декорреляции. Основные образы, которые будут появляться в каждом малом рецептивном поле – это линии под разными углами. Будут и другие образы, например, пересечения и углы, свойственные геометрическим фигурам. Но линии будут доминировать, то есть встречаться чаще. Это значит, что они и выделятся в первую очередь в виде факторов. Реальный результат такого обучения показан на рисунке ниже.


Фрагмент поля факторов, выделенных из контурных изображений

Видно, что выделяется много вертикальных и горизонтальных линий, отличающихся своим положением на рецептивном поле. Это не удивительно, так как даже небольшое смещение создает новый фактор, не имеющий пересечений со своими параллельными «близнецами». Предположим, что мы каким-то образом усложнили нашу сеть так, что расположенные рядом параллельные «близнецы» слились в один фактор. Далее допустим, что в малых областях выделились факторы, как показано на рисунке ниже, с определенной дискретностью описывающие все возможные направления.


Факторы в малой области, соответствующие различным направлениям с дискретностью в один час

Тогда результат обучения всей зоны коры можно условно изобразить следующим образом:


Условный результат обучения зоны коры. Для наглядности нейроны размещены не на регулярной сетке

Теперь подадим на обученную зону коры изображение квадрата. Нейроны, которые увидят на своем рецептивном поле характерный для них стимул, активируются (рисунок ниже).


Реакция обученной зоны коры на образ квадрата

Теперь сгенерируем случайное уникальное число – идентификатор воспоминания. Для простоты не будем пока использовать наши волновые сети, ограничимся предположением, что каждый нейрон может хранить кроме синаптических весов еще и набор идентификаторов, то есть некий большой массив неупорядоченных чисел. Заставим все активные нейроны запомнить в своих наборах только что сгенерированный идентификатор. Собственно, этим действием мы и зафиксируем память об увиденном квадрате.

Подавая новые изображения, будем для каждого из них генерировать свой уникальный идентификатор и добавлять его к нейронам, отреагировавшим на текущий образ. Теперь, чтобы что-то вспомнить, достаточно будет взять соответствующий идентификатор, активировать все нейроны, которые его содержат, а затем восстановить картины образов, характерных для этих нейронов. Естественно, чем богаче и четче будет система описания, тем точнее восстановленный образ будет совпадать с исходным. Но даже на очень грубых моделях, например, на сети, приведенной выше, можно получать вполне правдоподобные результаты восстановления (рисунок ниже).


Исходное изображение и воспоминание, восстановленное по факторам «грубой» модели

Теперь можно сформулировать наши предположения относительно того, как устроена событийная память реального мозга.

Обучение различных зон коры ведет к формированию паттернов нейронов-детекторов, способных реагировать на образы, характерные для этих зон. В основе этого обучения лежит синаптическая пластичность. Это обучение не фиксирует конкретные события, а только выделяет обобщенные понятия. Когда возникает «нейрон бабушки», по его синаптическим весам нельзя судить о воспоминаниях, как-либо связанных с бабушкой. Веса синапсов описывают не конкретные события, а картины признаков, характерных для узнавания бабушки.

Картина описания, происходящего на каждой из зон коры, дуалистична. Это одновременно и картина вызванной активности нейронов-детекторов, и волновой идентификатор, сформированный как собственными для коры излучающими паттернами, так и волнами, пришедшими по системе проекций.

Роль гиппокампа – создавать уникальный идентификатор для каждого воспоминания и добавлять его в общую волновую картину. В результате этого на каждой зоне коры в волновом идентификаторе кроме перечисления признаков, описывающих текущее событие, появится еще и уникальная добавка от гиппокампа, которая позволит различить волновые описания похожих между собой событий.

Нейроны-детекторы, находящиеся в состоянии вызванной активности, фиксируют на своих метаботропных кластерах текущий волновой идентификатор. Кстати, мы уже наблюдали нечто похожее, когда описывали систему обобщенной ассоциативности понятий. Только теперь в идентификатор добавилась уникальная составляющая от гиппокампа. Этим действием мы создадим энграмму, позволяющую найти все нейроны-детекторы, относящиеся к одному воспоминанию.

Надо отметить, что эта конструкция одинаково работает независимо от того, как на зону коры поступает информация. И для топографической и для волновой проекции принципы запоминания остаются неизменны.

Такая конструкция памяти обладает всеми требуемыми от памяти голографическими свойствами. Нейроны-детекторы любого детекторного паттерна сохраняют информацию обо всей волновой картине, которая была на коре на момент запоминания, что в точности соответствует тому, как фрагмент голограммы хранит информацию о волновой картине окружающего пространства.

Фиксация энграммы получается распределенной по всем участкам мозга, проявившим активность в узнавании происходящего. Это значит, что воспоминание не привязано к какому-то одному или даже нескольким нейронам и не имеет конкретной локализации. Удаление любого участка коры, как это было в опытах Лэшли, не уничтожает всей энграммы, а только обедняет ее на описание в тех понятиях, которые оказались удалены.

Становится понятна природа нейронов, реагирующих на Дженнифер Энистон или мастера Йоду. Это не нейроны воспоминания – это лишь нейроны-детекторы, связанные с понятиями, имеющими отношение к соответствующим фильмам.

Можно объяснить природу ярких видений, возникающих при стимуляции мозга электродом. Электрод возбуждает случайный паттерн нейронов, с которыми он соприкасается. Если оказывается, что этот паттерн похож на фрагмент волны какого-либо известного коре идентификатора, то он запускает соответствующую волну, которая выстраивает всю остальную информационную картину мозга. Повторный электрический импульс в уже введенный электрод вызывает то же самое видение, так как создает тот же паттерн активности. Но при этом характер видения оказывается никак не связан с местом, куда попал электрод. Активируются не понятия, действительно имеющие локализацию, а волна, которая, в принципе, могла бы возникнуть в любом другом месте. Просто в месте введения электрода узор этой волны совпал с формой иглы. Для волновой модели коры все это вполне естественно, но вызывает озадаченность у тех, кто ищет «нейроны бабушки».

Наша концепция памяти хорошо объясняет особенности пациента H.M. Так как гиппокамп необходим для создания уникального идентификатора, то не удивительно, что его отсутствие сделало невозможным создание новых воспоминаний и при этом не нарушились воспоминания, уже имеющиеся. Там, где идентификатор уже был присвоен, гиппокамп больше не нужен для последующих информационных процедур. Так как формирование нейронов-детекторов и детекторных паттернов не завязано на гиппокамп, то объясняется и сохранение способности к процедурному обучению и формированию обобщенной памяти.

Еще раз обращу внимание на то, что при описании событийной памяти мы не использовали пластичность синапсов как инструмент запоминания. Пластичность синапсов у нас – это механизм формирования паттернов нейронов-детекторов. То есть, следы конкретных событий невозможно найти непосредственно на синапсах нейронов, хотя образы, описываемые синаптическими весами, и напоминают всегда что-то из встречавшегося ранее опыта. Мы пришли к необходимости разделения механизмов обучения и событийной памяти. Исходя их этого, в нашей модели получилось два типа энграмм. Один тип – это модификация синаптических весов, позволяющая выделиться признакам, на базе которых строятся все последующие описания. Второй тип – образование внесинаптических метаботропных рецептивных кластеров, объединяющих множество нейронов, участвующих в описании конкретного события. Причем второй тип энграмм невозможен без первого. Это означает, что для формирования воспоминаний о каких-либо событиях во всей полноте, должны существовать факторы, позволяющие составить такое описание.

Информация описывается мозгом иерархически, выделяя от уровня к уровню все более абстрактные признаки. Когда мы говорим о воспоминании относительно какого-либо события, мы, как правило, не имеем в виду фотографическую память нижнего уровня, разговор идет о фиксации более абстрактного описания, которое в процессе восстановления может привести к реконструкции исходной фотографической картины. Но чтобы такое описание было возможно, необходимо, чтобы были сформированы соответствующие факторы. Похоже, что именно по этой причине у нас нет ранних детских воспоминаний. В том возрасте, к которому относится провал нашей памяти, у нас просто еще нет тех понятий, которые необходимы для полноценного описания событий.

Использованная литература

Продолжение

Предыдущие части:
Часть 1. Нейрон
Часть 2. Факторы
Часть 3. Персептрон, сверточные сети
Часть 4. Фоновая активность
Часть 5. Волны мозга
Часть 6. Система проекций
Часть 7. Интерфейс человек-компьютер
Часть 8. Выделение факторов в волновых сетях
Часть 9. Паттерны нейронов-детекторов. Обратная проекция
Часть 10. Пространственная самоорганизация
Часть 11. Динамические нейронные сети. Ассоциативность

Алексей Редозубов (2014)
искусственный интеллект