Логика мышления Опции

[Александр Вакуров]

Логика мышления. Часть 1. Нейрон
Биоинформатика, Искусственный интеллект, Программирование*

Алексей Редозубов

Года полтора назад я выкладывал на Хабр цикл видеолекций с моим видением того как работает мозг и каковы возможные пути создания искусственного интеллекта. За прошедшее с тех пор время удалось существенно продвинуться вперед. Что-то получилось глубже понять, что-то удалось смоделировать на компьютере. Что приятно, появились единомышленники, активно участвующие в работе над проектом.

В настоящем цикле статей планируется рассказать о той концепции интеллекта над которой мы сейчас работаем и продемонстрировать некоторые решения, являющиеся принципиально новыми в сфере моделирования работы мозга. Но чтобы повествование было понятным и последовательным оно будет содержать не только описание новых идей, но и рассказ о работе мозга вообще. Какие-то вещи, особенно в начале, возможно покажутся простыми и общеизвестными, но я бы советовал не пропускать их, так как они во многом определяют общую доказательность повествования.


Общее представление о мозге


Нервные клетки, они же нейроны, вместе со своими волокнами, передающими сигналы, образуют нервную систему. У позвоночных основная часть нейронов сосредоточена в полости черепа и позвоночном канале. Это называется центральной нервной системой. Соответственно, выделяют головной и спинной мозг как ее составляющие.

Спинной мозг собирает сигналы от большинства рецепторов тела и передает их в головной мозг. Через структуры таламуса они распределяются и проецируются на кору больших полушарий головного мозга.

Проекция информации на кору
Проекция информации на кору

Кроме больших полушарий обработкой информации занимается еще и мозжечок, который, по сути, является маленьким самостоятельным мозгом. Мозжечок обеспечивает точную моторику и координацию всех движений.

Зрение, слух и обоняние обеспечивают мозг потоком информации о внешнем мире. Каждая из составляющих этого потока, пройдя по своему тракту, также проецируется на кору. Кора – это слой серого вещества толщиной от 1.3 до 4.5 мм, составляющий наружную поверхность мозга. За счет извилин, образованных складками, кора упакована так, что занимает в три раза меньшую площадь, чем в расправленном виде. Общая площадь коры одного полушария – приблизительно 7000 кв.см.

В итоге все сигналы проецируются на кору. Проекция осуществляется пучками нервных волокон, которые распределяются по ограниченным областям коры. Участок, на который проецируется либо внешняя информация, либо информация с других участков мозга образует зону коры. В зависимости от того, какие сигналы на такую зону поступают, она имеет свою специализацию. Различают моторную зону коры, сенсорную зону, зоны Брока, Вернике, зрительные зоны, затылочную долю, всего около сотни различных зон.


Зоны коры
Зоны коры

В вертикальном направлении кору принято делить на шесть слоев. Эти слои не имеют четких границ и определяются по преобладанию того или иного типа клеток. В различных зонах коры эти слои могут быть выражены по-разному, сильнее или слабее. Но, в общем и целом, можно говорить о том, что кора достаточно универсальна, и предполагать, что функционирование разных ее зон подчиняется одним и тем же принципам.


Слои коры

По афферентным волокнам сигналы поступают в кору. Они попадают на III, IV уровень коры, где распределяются по близлежащим к тому месту, куда попало афферентное волокно, нейронам. Большая часть нейронов имеет аксонные связи в пределах своего участка коры. Но некоторые нейроны имеют аксоны, выходящие за ее пределы. По этим эфферентным волокнам сигналы идут либо за пределы мозга, например, к исполнительным органам, или проецируются на другие участки коры своего или другого полушария. В зависимости от направления передачи сигналов эфферентные волокна принято делить на:
ассоциативные волокна, которые связывают отдельные участки коры одного полушария;
комиссуральные волокна, которые соединяют кору двух полушарий;
проекционные волокна, которые соединяют кору с ядрами низших отделов центральной нервной системы.

Если взять направление, перпендикулярное поверхности коры, то замечено, что нейроны, располагающиеся вдоль этого направления, реагируют на схожие стимулы. Такие вертикально расположенные группы нейронов, принято называть кортикальными колонками.

Можно представить себе кору головного мозга как большое полотно, раскроенное на отдельные зоны. Картина активности нейронов каждой из зон кодирует определенную информацию. Пучки нервных волокон, образованные аксонами, выходящими за пределы своей зоны коры, формируют систему проекционных связей. На каждую из зон проецируется определенная информация. Причем на одну зону может поступать одновременно несколько информационных потоков, которые могут приходить как с зон своего, так и противоположного полушария. Каждый поток информации похож на своеобразную картинку, нарисованную активностью аксонов нервного пучка. Функционирование отдельной зоны коры – это получение множества проекций, запоминание информации, ее переработка, формирование собственной картины активности и дальнейшая проекция информации, получившейся в результате работы этой зоны.

Существенный объем мозга – это белое вещество. Оно образовано аксонами нейронов, создающими те самые проекционные пути. На рисунке ниже белое вещество можно увидеть как светлое заполнение между корой и внутренними структурам мозга.


Распределение белого вещества на фронтальном срезе мозга

Используя диффузную спектральную МРТ, удалось отследить направление отдельных волокон и построить трехмерную модель связанности зон коры (проект Connectomics (Коннектом)).

Представление о структуре связей хорошо дают рисунки ниже (Van J. Wedeen, Douglas L. Rosene, Ruopeng Wang, Guangping Dai, Farzad Mortazavi, Patric Hagmann, Jon H. Kaas, Wen-Yih I. Tseng, 2012).


Вид со стороны левого полушария


Вид сзади


Вид справа

Кстати, на виде сзади отчетливо видна асимметрия проекционных путей левого и правого полушария. Эта асимметрия во многом и определяет различия в тех функциях, которые приобретают полушария по мере их обучения.

Нейрон


Основа мозга – нейрон. Естественно, что моделирование мозга с помощью нейронных сетей начинается с ответа на вопрос, каков принцип его работы.

В основе работы реального нейрона лежат химические процессы. В состоянии покоя между внутренней и внешней средой нейрона существует разность потенциалов – мембранный потенциал, составляющий около 75 милливольт. Он образуется за счет работы особых белковых молекул, работающих как натрий-калиевые насосы. Эти насосы за счет энергии нуклеотида АТФ гонят ионы калия внутрь, а ионы натрия — наружу клетки. Поскольку белок при этом действует как АТФ-аза, то есть фермент, гидролизующий АТФ, то он так и называется — «натрий-калиевая АТФ-аза». В результате нейрон превращается в заряженный конденсатор с отрицательным зарядом внутри и положительным снаружи.


Схема нейрона (Mariana Ruiz Villarreal)

Поверхность нейрона покрыта ветвящимися отростками – дендритами. К дендритам примыкают аксонные окончания других нейронов. Места их соединений называются синапсами. Посредством синаптического взаимодействия нейрон способен реагировать на поступающие сигналы и при определенных обстоятельствах генерировать собственный импульс, называемый спайком.

Передача сигнала в синапсах происходит за счет веществ, называемых нейромедиаторами. Когда нервный импульс по аксону поступает в синапс, он высвобождает из специальных пузырьков молекулы нейромедиатора, характерные для этого синапса. На мембране нейрона, получающего сигнал, есть белковые молекулы – рецепторы. Рецепторы взаимодействуют с нейромедиаторами.


Химический синапс

Рецепторы, расположенные в синаптической щели, являются ионотропными. Это название подчеркивает тот факт, что они же являются ионными каналами, способными перемещать ионы. Нейромедиаторы так воздействуют на рецепторы, что их ионные каналы открываются. Соответственно, мембрана либо деполяризуется, либо гиперполяризуется – в зависимости от того, какие каналы затронуты и, соответственно, какого типа этот синапс. В возбуждающих синапсах открываются каналы, пропускающие катионы внутрь клетки, — мембрана деполяризуется. В тормозных синапсах открываются каналы, проводящие анионы, что приводит к гиперполяризации мембраны.

В определенных обстоятельствах синапсы могут менять свою чувствительность, что называется синаптической пластичностью. Это приводит к тому, что синапсы одного нейрона приобретают различную между собой восприимчивость к внешним сигналам.

Одновременно на синапсы нейрона поступает множество сигналов. Тормозящие синапсы тянут потенциал мембраны в сторону накопления заряда внутри клети. Активирующие синапсы, наоборот, стараются разрядить нейрон (рисунок ниже).


Возбуждение (A) и торможение ( ганглиозной клетки сетчатки (Николлс Дж., Мартин Р., Валлас Б., Фукс П., 2003)

Когда суммарная активность превышает порог инициации, возникает разряд, называемый потенциалом действия или спайком. Спайк – это резкая деполяризация мембраны нейрона, которая и порождает электрический импульс. Весь процесс генерации импульса длится порядка 1 миллисекунды. При этом ни продолжительность, ни амплитуда импульса не зависят от того, насколько были сильны вызвавшие его причины (рисунок ниже).


Регистрация потенциала действия ганглиозной клетки (Николлс Дж., Мартин Р., Валлас Б., Фукс П., 2003)

После спайка ионные насосы обеспечивают обратный захват нейромедиатора и расчистку синаптической щели. В течение рефрактерного периода, наступающего после спайка, нейрон не способен порождать новые импульсы. Продолжительность этого периода определяет максимальную частоту генерации, на которую способен нейрон.

Спайки, которые возникают как следствие активности на синапсах, называют вызванными. Частота следования вызванных спайков кодирует то, насколько хорошо поступающий сигнал соответствует настройке чувствительности синапсов нейрона. Когда поступающие сигналы приходятся именно на чувствительные синапсы, активирующие нейрон, и этому не мешают сигналы, приходящие на тормозные синапсы, то реакция нейрона максимальна. Образ, который описывается такими сигналами, называют характерным для нейрона стимулом.

Конечно, представление о работе нейронов не стоит излишне упрощать. Информация между некоторыми нейронами может передаваться не только спайками, но и за счет каналов, соединяющих их внутриклеточное содержимое и передающих электрический потенциал напрямую. Такое распространение называется градуальным, а само соединение называется электрическим синапсом. Дендриты в зависимости от расстояния до тела нейрона делятся на проксимальные (близкие) и дистальные (удаленные). Дистальные дендриты могут образовывать секции, работающие как полуавтономные элементы. Помимо синаптических путей возбуждения есть внесинаптические механизмы, вызывающие метаботропные спайки. Кроме вызванной активности существует еще и спонтанная активность. И наконец, нейроны мозга окружены глиальными клетками, которые также оказывают существенное влияние на протекающие процессы.

Долгий путь эволюции создал множество механизмов, которые используются мозгом в своей работе. Некоторые из них могут быть поняты сами по себе, смысл других становится ясен только при рассмотрении достаточно сложных взаимодействий. Поэтому не стоит воспринимать сделанное выше описание нейрона как исчерпывающее. Чтобы перейти к более глубоким моделям, нам необходимо сначала разобраться с «базовыми» свойствами нейронов.

В 1952 году Аланом Ллойдом Ходжкином и Эндрю Хаксли были сделаны описания электрических механизмов, которые определяют генерацию и передачу нервного сигнала в гигантском аксоне кальмара (Hodgkin, 1952). Что было оценено Нобелевской премией в области физиологии и медицины в 1963 году. Модель Ходжкина – Хаксли описывает поведение нейрона системой обыкновенных дифференциальных уравнений. Эти уравнения соответствуют автоволновому процессу в активной среде. Они учитывают множество компонент, каждая из которых имеет свой биофизический аналог в реальной клетке (рисунок ниже). Ионные насосы соответствуют источнику тока Ip. Внутренний липидный слой клеточной мембраны образует конденсатор с емкостью Cm. Ионные каналы синаптических рецепторов обеспечивают электрическую проводимость gn, которая зависит от подаваемых сигналов, меняющихся со временем t, и общей величины мембранного потенциала V. Ток утечки мембранных пор создает проводник gL. Движение ионов по ионным каналам происходит под действием электрохимических градиентов, которым соответствуют источники напряжения с электродвижущей силой En и EL.


Основные компоненты модели Ходжкина — Хаксли

Естественно, что при создании нейронных сетей возникает желание упростить модель нейрона, оставив в ней только самые существенные свойства. Наиболее известная и популярная упрощенная модель – это искусственный нейрон Маккалока — Питтса, разработанный в начале 1940-х годов (Маккалох Дж., Питтс У., 1956).

Формальный нейрон Маккалока — Питтса

На входы такого нейрона подаются сигналы. Эти сигналы взвешенно суммируются. Далее к этой линейной комбинации применяется некая нелинейная функция активации, например, сигмоидальная. Часто как сигмоидальную используют логистическую функцию:


Логистическая функция

В этом случае активность формального нейрона записывается как



В итоге такой нейрон превращается в пороговый сумматор. При достаточно крутой пороговой функции сигнал выхода нейрона – либо 0, либо 1. Взвешенная сумма входного сигнала и весов нейрона – это свертка двух образов: образа входного сигнала и образа, описываемого весами нейрона. Результат свертки тем выше, чем точнее соответствие этих образов. То есть нейрон, по сути, определяет, насколько подаваемый сигнал похож на образ, записанный на его синапсах. Когда значение свертки превышает определенный уровень и пороговая функция переключается в единицу, это можно интерпретировать как решительное заявление нейрона о том, что он узнал предъявляемый образ.

Реальные нейроны действительно неким образом похожи на нейроны Маккалока — Питтса. Амплитуды их спайков не зависит от того, какие сигналы на синапсах их вызвали. Спайк, либо есть, либо его нет. Но реальные нейроны реагируют на стимул не единичным импульсом, а импульсной последовательностью. При этом частота импульсов тем выше, чем точнее узнан характерный для нейрона образ. Это означает, что если мы построим нейронную сеть из таких пороговых сумматоров, то она при статичном входном сигнале хотя и даст какой-то выходной результат, но этот результат будет далек от воспроизведения того, как работают реальные нейроны. Для того чтобы приблизить нейронную сеть к биологическому прототипу, нам понадобиться моделировать работу в динамике, учитывая временные параметры и воспроизводя частотные свойства сигналов.

Но можно пойти и другим путем. Например, можно выделить обобщенную характеристику активности нейрона, которая соответствует частоте его импульсов, то есть количеству спайков за определенный промежуток времени. Если перейти к такому описанию, то можно представить нейрон как простой линейный сумматор.


Линейный сумматор

Сигналы выхода и, соответственно, входа для таких нейронов уже не являются дихатомичными (0 или 1), а выражаются некой скалярной величиной. Функция активации тогда записывается как



Линейный сумматор не стоит воспринимать как что-то принципиально иное по сравнению с импульсным нейроном, просто он позволяет при моделировании или описании перейти к более длинным временным интервалам. И хотя импульсное описание более корректно, переход к линейному сумматору во многих случаях оправдан сильным упрощением модели. Более того, некоторые важные свойства, которые трудно разглядеть в импульсном нейроне, вполне очевидны для линейного сумматора.

Источник

habrahabr.ru

[Александр Вакуров]

Логика мышления. Часть 2. Факторы
Биоинформатика, Искусственный интеллект, Программирование*


В предыдущей части мы описали самые простые свойства формальных нейронов. Проговорили о том, что пороговый сумматор точнее воспроизводит природу единичного спайка, а линейный сумматор позволяет смоделировать ответ нейрона, состоящий из серии импульсов. Показали, что значение на выходе линейного сумматора можно сопоставить с частотой вызванных спайков реального нейрона. Теперь мы посмотрим на основные свойства, которыми обладают такие формальные нейроны.


Фильтр Хебба

Далее мы будем часто обращаться к нейросетевым моделям. В принципе, практически все основные концепции из теории нейронных сетей имеют прямое отношение к строению реального мозга. Человек, сталкиваясь с определенными задачами, придумал множество интересных нейросетевых конструкций. Эволюция, перебирая все возможные нейронные механизмы, отобрала все, что оказалось для нее полезным. Не стоит удивляться, что для очень многих моделей, придуманных человеком, можно найти четкие биологические прототипы. Поскольку наше повествование не ставит целью хоть сколько-либо детальное изложение теории нейронных сетей, мы коснемся только наиболее общих моментов, необходимых для описания основных идей. Для более глубокого понимания я крайне рекомендую обратиться к специальной литературе. По мне лучший учебник по нейронным сетям — это Саймон Хайкин «Нейронные сети. Полный курс» (Хайкин, 2006).

В основе многих нейросетевых моделей лежит хорошо известное правило обучения Хебба. Оно было предложено физиологом Дональдом Хеббом в 1949 году (Hebb, 1949). В немного вольной трактовке оно имеет очень простой смысл: связи нейронов, активирующихся совместно, должны усиливаться, связи нейронов, срабатывающих независимо, должны ослабевать.
Состояние выхода линейного сумматора можно записать:



Если мы инициируем начальные значения весов малыми величинами и будем подавать на вход различные образы, то ничто не мешает нам попробовать обучать этот нейрон по правилу Хебба:



где n – дискретный шаг по времени, – параметр скорости обучения.

Такой процедурой мы увеличиваем веса тех входов, на которые подается сигнал , но делаем это тем сильнее, чем активнее реакция самого обучаемого нейрона . Если нет реакции, то не происходит и обучение.

Правда, такие веса будут неограниченно расти, поэтому для стабилизации можно применить нормировку. Например, поделить на длину вектора, полученного из «новых» синаптических весов.



При таком обучении происходит перераспределение весов между синапсами. Понять суть перераспределения легче, если следить за изменением весов в два приема. Сначала, когда нейрон активен, те синапсы, на которые поступает сигнал, получают добавку. Веса синапсов без сигнала остаются без изменений. Затем общая нормировка уменьшает веса всех синапсов. Но при этом синапсы без сигналов теряют по сравнению со своим предыдущим значением, а синапсы с сигналами перераспределяют между собой эти потери.

Правило Хебба есть не что иное, как реализация метода градиентного спуска по поверхности ошибки. По сути, мы заставляем нейрон подстроиться под подаваемые сигналы, сдвигая каждый раз его веса в сторону, противоположную ошибке, то есть в направлении антиградиента. Чтобы градиентный спуск привел нас к локальному экстремуму, не проскочив его, скорость спуска должна быть достаточно мала. Что в Хеббовском обучении учитывается малостью параметра .

Малость параметра скорости обучения позволяет переписать предыдущую формулу в виде ряда по :


Если отбросить слагаемые второго порядка и выше, то получится правило обучения Ойа (Oja, 1982):


Положительная добавка отвечает за Хеббовское обучение, а отрицательная за общую стабильность. Запись в таком виде позволяет почувствовать, как такое обучение можно реализовать в аналоговой среде без использования вычислений, оперируя только положительными и отрицательными связями.

Так вот, такое крайне простое обучение обладает удивительным свойством. Если мы будем постепенно уменьшать скорость обучения, то веса синапсов обучаемого нейрона сойдутся к таким значениям, что его выход начинает соответствовать первой главной компоненте, которая получилась бы, если бы мы применили к подаваемым данным соответствующие процедуры анализа главных компонент. Такая конструкция называется фильтром Хебба.

Например, подадим на вход нейрона пиксельную картинку, то есть сопоставим каждому синапсу нейрона одну точку изображения. Будем подавать на вход нейрона всего два образа – изображения вертикальных и горизонтальных линий, проходящих через центр. Один шаг обучения – одно изображение, одна линия, либо горизонтальная, либо вертикальная. Если эти изображения усреднить, то получится крест. Но результат обучения не будет похож на усреднение. Это будет одна из линий. Та, которая будет чаще встречаться в подаваемых изображениях. Нейрон выделит не усреднение или пересечение, а те точки, что чаще всего встречаются совместно. Если образы будут более сложными, то результат может быть не столь нагляден. Но это всегда будет именно главная компонента.

Обучение нейрона ведет к тому, что на его весах выделяется (фильтруется) определенный образ. Когда подается новый сигнал, то чем точнее совпадение сигнала и настройки весов, тем выше отклик нейрона. Обученный нейрон можно назвать нейроном-детектором. При этом образ, который описывается его весами, принято называть характерным стимулом.

Главные компоненты

Сама идея метода главных компонент проста и гениальна. Предположим, что у нас есть последовательность событий. Каждое из них мы описываем через его влияние на сенсоры, которыми мы воспринимаем мир. Допустим, что у нас сенсоров, описывающих признаков . Все события для нас описываются векторами размерности . Каждый компонент такого вектора указывают на значение соответствующего -го признака. Все вместе они образуют случайную величину X. Эти события мы можем изобразить в виде точек в -мерном пространстве, где осями будут выступать наблюдаемые нами признаки.



Усреднение значений дает математическое ожидание случайной величины X, обозначаемое, как E(X). Если мы отцентрируем данные так, чтобы E(X)=0, то облако точек будет сконцентрировано вокруг начала координат.



Это облако может оказаться вытянутым в каком-либо направлении. Перепробовав все возможные направления, мы можем найти такое, вдоль которого дисперсия данных будет максимальной.



Так вот, такое направление соответствует первой главной компоненте. Сама главная компонента определяется единичным вектором, выходящим из начала координат и совпадающим с этим направлением.

Далее мы можем найти другое направление, перпендикулярное первой компоненте, такое, чтобы вдоль него дисперсия также была максимальной среди всех перпендикулярных направлений. Найдя его, мы получим вторую компоненту. Затем мы можем продолжить поиск, задавшись условием, что искать надо среди направлений, перпендикулярных уже найденным компонентам. Если исходные координаты были линейно независимы, то так мы сможем поступить раз, пока не закончится размерность пространства. Таким образом, мы получим взаимоортогональных компонент , упорядоченных по тому, какой процент дисперсии данных они объясняют.

Естественно, что полученные главные компоненты отражают внутренние закономерности наших данных. Но есть более простые характеристики, также описывающие суть имеющихся закономерностей.

Предположим, что всего у нас n событий. Каждое событие описывается вектором . Компоненты этого вектора:


Для каждого признака можно записать, как он проявлял себя в каждом из событий:


Для любых двух признаков, на которых строится описание, можно посчитать величину, показывающую степень их совместного проявления. Эта величина называется ковариацией:


Она показывает, насколько отклонения от среднего значения одного из признаков совпадают по проявлению с аналогичными отклонениями другого признака. Если средние значения признаков равны нулю, то ковариация принимает вид:


Если скорректировать ковариацию на среднеквадратические отклонения, свойственные признакам, то мы получим линейный коэффициент корреляции, называемый еще коэффициентом корреляции Пирсона:


Коэффициент корреляции обладает замечательным свойством. Он принимает значения от -1 до 1. Причем 1 означает прямую пропорциональность двух величин, а -1 говорит об их обратной линейной зависимости.

Из всех попарных ковариаций признаков можно составить ковариационную матрицу , которая, как несложно убедиться, есть математическое ожидание произведения :


Будем далее полагать, что наши данные отнормированы, то есть имеют единичную дисперсию. В этом случае корреляционная матрица совпадает с ковариационной матрицей.

Так вот оказывается, что для главных компонент справедливо:


То есть главные компоненты, или, как еще их называют, факторы являются собственными векторами корреляционной матрицы . Им соответствуют собственные числа . При этом, чем больше собственное число, тем больший процент дисперсии объясняет это фактор.

Зная все главные компоненты , для каждого события , являющегося реализацией X, можно записать его проекции на главные компоненты:


Таким образом, можно представить все исходные события в новых координатах, координатах главных компонент:


Вообще различают процедуру поиска главных компонент и процедуру нахождения базиса из факторов и его последующее вращение, облегчающее трактовку факторов, но так как эти процедуры идеологически близки и дают похожий результат, будем называть и то и другое факторным анализом.

За достаточно простой процедурой факторного анализа кроется очень глубокий смысл. Дело в том, что если пространство исходных признаков – это наблюдаемое пространство, то факторы – это признаки, которые хотя и описывают свойства окружающего мира, но в общем случае (если не совпадают с наблюдаемыми признаками) являются сущностями скрытыми. То есть формальная процедура факторного анализа позволяет от явлений наблюдаемых перейти к обнаружению явлений, хотя непосредственно и невидимых, но, тем не менее, существующих в окружающем мире.

Можно предположить, что наш мозг активно использует выделение факторов как одну из процедур познания окружающего мира. Выделяя факторы, мы получаем возможность строить новые описания происходящего с нами. Основа этих новых описаний – выраженность в происходящем тех явлений, что соответствуют выделенным факторам.

Немного поясню суть факторов на бытовом уровне. Предположим, вы менеджер по персоналу. К вам приходит множество людей, и относительно каждого вы заполняете определенную форму, куда записываете разные наблюдаемые данные о посетителе. Просмотрев потом свои записи, вы можете обнаружить, что некоторые графы имеют определенную взаимосвязь. Например, стрижка у мужчин будет в среднем короче, чем у женщин. Лысых людей вы, скорее всего, встретите только среди мужчин, а красить губы будут только женщины. Если к анкетным данным применить факторный анализ, то именно пол и окажется одним из факторов, объясняющим сразу несколько закономерностей. Но факторный анализ позволяет найти все факторы, которые объясняют корреляционные зависимости в наборе данных. Это значит, что кроме фактора пола, который мы можем наблюдать, выделятся и другие, в том числе и неявные, ненаблюдаемые факторы. И если пол явным образом будет фигурировать в анкете, то другой важный фактор останется между строк. Оценивая способность людей связано излагать свои мысли, оценивая их карьерную успешность, анализируя их оценки в дипломе и тому подобные признаки, вы придете к выводу, что есть общая оценка интеллекта человека, которая явным образом в анкете не записана, но которая объясняет многие ее пункты. Оценка интеллекта – это и есть скрытый фактор, главная компонента с высоким объясняющим эффектом. Явно мы эту компоненту не наблюдаем, но мы фиксируем признаки, которые с ней коррелированы. Имея жизненный опыт, мы можем подсознательно по отдельным признакам формировать представление об интеллекте собеседника. Та процедура, которой при этом пользуется наш мозг, и есть, по сути, факторный анализ. Наблюдая за тем, как те или иные явления проявляются совместно, мозг, используя формальную процедуру, выделяет факторы, как отражение устойчивых статистических закономерностей, свойственных окружающему нас миру.

Выделение набора факторов

Мы показали, как фильтр Хебба выделяет первую главную компоненту. Оказывается, с помощью нейронных сетей можно с легкостью получить не только первую, но и все остальные компоненты. Это можно сделать, например, следующим способом. Предположим, что у нас входных признаков. Возьмем линейных нейронов, где .



Обобщенный алгоритм Хебба (Хайкин, 2006)

Будем обучать первый нейрон как фильтр Хебба, чтобы он выделил первую главную компоненту. А вот каждый последующий нейрон будем обучать на сигнале, из которого исключим влияние всех предыдущих компонент.
Активность нейронов на шаге n определяется как


А поправка к синоптическим весам как

где от 1 до , а от 1 до .

Для всех нейронов это выглядит как обучение, аналогичное фильтру Хебба. С той лишь разницей, что каждый последующий нейрон видит не весь сигнал, а только то, что «не увидели» предыдущие нейроны. Этот принцип называется повторным оцениванием. Мы фактически по ограниченному набору компонент производим восстановление исходного сигнала и заставляем следующий нейрон видеть только остаток, разницу между исходным сигналом и восстановленным. Этот алгоритм называется обобщенным алгоритмом Хебба.

В обобщенном алгоритме Хебба не совсем хорошо то, что он носит слишком «вычислительный» характер. Нейроны должны быть упорядочены, и обсчет их деятельности должен осуществляться строго последовательно. Это не очень сочетается с принципами работы коры мозга, где каждый нейрон хотя и взаимодействует с остальными, но работает автономно, и где нет ярко выраженного «центрального процессора», который бы определял общую последовательность событий. Из таких соображений несколько привлекательнее выглядят алгоритмы, называемые алгоритмами декорреляции.

Представим, что у нас есть два слоя нейронов Z1 и Z2. Активность нейронов первого слоя образует некую картину, которая проецируется по аксонам на следующий слой.


Проекция одного слоя на другой

Теперь представим, что каждый нейрон второго слоя имеет синаптические связи со всеми аксонами, приходящими с первого слоя, если они попадают в границы определенной окрестности этого нейрона (рисунок ниже). Аксоны, попадающие в такую область, образуют рецептивное поле нейрона. Рецептивное поле нейрона – это тот фрагмент общей активности, который доступен ему для наблюдения. Всего остального для этого нейрона просто не существует.



Помимо рецептивного поля нейрона введем область несколько меньшего размера, которую назовем зоной подавления. Соединим каждый нейрон со своими соседями, попадающими в эту зону. Такие связи называются боковыми или, следуя принятой в биологии терминологии, латеральными. Сделаем латеральные связи тормозящими, то есть понижающими активность нейронов. Логика их работы – активный нейрон тормозит активность всех тех нейронов, что попадают в его зону торможения.

Возбуждающие и тормозящие связи могут быть распределены строго со всеми аксонами или нейронами в границах соответствующих областей, а могут быть заданы случайно, например, с плотным заполнением некого центра и экспоненциальным убыванием плотности связей по мере удаления от него. Сплошное заполнение проще для моделирования, случайное распределение более анатомично с точки зрения организации связей в реальной коре.

Функцию активности нейрона можно записать:

где – итоговая активность, – множество аксонов, попадающих в рецептивную область выбранного нейрона, – множество нейронов, в зону подавления которых попадает выбранный нейрон, – сила соответствующего латерального торможения, принимающая отрицательные значения.

Такая функция активности является рекурсивной, так как активность нейронов оказывается зависимой друг от друга. Это приводит к тому, что практический расчет производится итерационно.

Обучение синаптических весов делается аналогично фильтру Хебба:


Латеральные веса обучаются по анти-Хеббовскому правилу, увеличивая торможение между «похожими» нейронами:


Суть этой конструкции в том, что Хеббовское обучение должно привести к выделению на весах нейрона значений, соответствующих первому главному фактору, характерному для подаваемых данных. Но нейрон способен обучаться в сторону какого-либо фактора, только если он активен. Когда нейрон начинает выделять фактор и, соответственно, реагировать на него, он начинает блокировать активность нейронов, попадающих в его зону подавления. Если на активацию претендует несколько нейронов, то взаимная конкуренция приводит к тому, что побеждает сильнейший нейрон, угнетая при этом все остальные. Другим нейронам не остается ничего другого, кроме как обучаться в те моменты, когда рядом нет соседей с высокой активностью. Таким образом, происходит декорреляция, то есть каждый нейрон в пределах области, размер которой определяется размером зоны подавления, начинает выделять свой фактор, ортогональный всем остальным. Этот алгоритм называется алгоритмом адаптивного извлечения главных компонент (APEX) (Kung S., Diamantaras K.I., 1990).

Идея латерального торможения близка по духу хорошо известному по разным моделям принципу «победитель забирает все», который также позволяет осуществить декорреляцию той области, в которой ищется победитель. Этот принцип используется, например, в неокогнитроне Фукушимы, самоорганизующихся картах Коханена, также этот принцип применяется в обучении широко известной иерархической темпоральной памяти Джеффа Хокинса.

Определить победителя можно простым сравнением активности нейронов. Но такой перебор, легко реализуемый на компьютере, несколько не соответствует аналогиям с реальной корой. Но если задаться целью сделать все на уровне взаимодействия нейронов без привлечения внешних алгоритмов, то того же результата можно добиться, если кроме латерального торможения соседей нейрон будет иметь положительную обратную связь, довозбуждающую его. Такой прием для поиска победителя используется, например, в сетях адаптивного резонанса Гроссберга.

Если идеология нейронной сети это допускает, то использовать правило «победитель забирает все» очень удобно, так как искать максимум активности значительно проще, чем итерационно обсчитывать активности с учетом взаимного торможения.

Пора заканчивать эту часть. Получилось достаточно долго, но очень не хотелось дробить связанное по смыслу повествование. Не удивляйтесь КДПВ, эта картинка проассоциировалась для меня одновременно и с искусственным интеллектом и с главным фактором.

источник

[Александр Вакуров]

2 марта в 21:02
Логика мышления. Часть 3. Персептрон, сверточные сети
Биоинформатика, Искусственный интеллект, Робототехника


В первой части мы описали свойства нейронов. Во второй говорили об основных свойствах, связанных с их обучением. Уже в следующей части мы перейдем к описанию того как работает реальный мозг. Но перед этим нам надо сделать последнее усилие и воспринять еще немного теории. Сейчас это скорее всего покажется не особо интересным. Пожалуй, я и сам бы заминусовал такой учебный пост. Но вся эта «азбука» сильно поможет нам разобраться в дальнейшем.

Персептрон

В машинном обучении разделяют два основных подхода: обучение с учителем и обучение без учителя. Описанные ранее методы выделения главных компонент – это обучение без учителя. Нейронная сеть не получает никаких пояснений к тому, что подается ей на вход. Она просто выделяет те статистические закономерности, что присутствуют во входном потоке данных. В отличие от этого обучение с учителем предполагает, что для части входных образов, называемых обучающей выборкой, нам известно, какой выходной результат мы хотим получить. Соответственно, задача – так настроить нейронную сеть, чтобы уловить закономерности, которые связывают входные и выходные данные.

В 1958 году Фрэнк Розенблатт описал конструкцию, названную им персептроном (Rosenblatt, 1958), которая способна к обучению с учителем (смотри КДПВ).

По Розенблатту персептрон состоит из трех слоев нейронов. Первый слой – это сенсорные элементы, которые задают, что же мы имеем на входе. Второй слой – ассоциативные элементы. Их связи с сенсорным слоем жестко заданы и определяют переход к более общей, чем на сенсорном слое, ассоциативной картине описания.

Обучение персептрона осуществляется за счет изменения весов нейронов третьего реагирующего слоя. Цель обучения – заставить персептрон правильно классифицировать подаваемые образы.

Нейроны третьего слоя работают как пороговые сумматоры. Соответственно, веса каждого из них определяют параметры некой гиперплоскости. Если есть линейно-разделимые входные сигналы, то выходные нейроны как раз и могут выступать как их классификаторы.

Если – это вектор реального выхода персептрона а, – вектор, который мы ожидаем получить, то о качестве работы нейронной сети говорит вектор ошибки:


Если задаться целью, минимизировать среднеквадратическую ошибку, то можно вывести так называемое дельта-правило модификации весов:


При этом начальным приближением могут выступать нулевые веса.
Это правило является не чем иным, как правилом Хебба, примененным к случаю персептрона.
Если за выходным слоем расположить еще один или несколько реагирующих слоев и отказаться от ассоциативного слоя, который был введен Розенблаттом более для биологической достоверности, чем из-за вычислительной необходимости, то мы получим многослойный персептрон такой, как показан на рисунке ниже.


Многослойный персептрон с двумя скрытыми слоями (Хайкин, 2006)

Если бы нейроны реагирующих слоев были простыми линейными сумматорами, то большого смысла в таком усложнении не было бы. Выход, независимо от числа скрытых слоев, все равно оставался бы линейной комбинацией входных сигналов. Но поскольку в скрытых слоях используются пороговые сумматоры, то каждый такой новый слой разрывает цепочку линейности и может нести свое интересное описание.

Долгое время было непонятно, как можно обучать многослойный персептрон. Основной метод – метод обратного распространения ошибки был описан только в 1974 г. А.И. Галушкиным и независимо и одновременно Полом Дж. Вербосом. Затем он был переоткрыт и получил широкую известность в 1986 г. (David E. Rumelhart, Geoffrey E. Hinton, Ronald J. Williams, 1986).

Метод состоит из двух проходов: прямого и обратного. При прямом проходе подается обучающий сигнал и рассчитывается активность всех узлов сети, включая активность выходного слоя. Вычитанием полученной активности из того, что требовалось получить, определяется сигнал ошибки. При обратном проходе сигнал ошибки распространяется в обратном направлении, от выхода ко входу. При этом синаптические веса настраиваются с целью минимизации этой ошибки. Подробное описание метода можно найти во множестве источников (например, Хайкин, 2006).

Нам важно обратить внимание на тот факт, что в многослойном персептроне информация обрабатывается от уровня к уровню. При этом каждый слой выделяет свой набор признаков, свойственных входному сигналу. Это создает определенные аналогии с тем, как преобразуется информация между зонами коры головного мозга.

Сверточные сети. Неокогнитрон

Сравнение многослойного персептрона и реального мозга очень условно. Общее – это то, что, поднимаясь от зоны к зоне в коре или от слоя к слою в персептроне, информация приобретает все более обобщенное описание. Однако строение участка коры значительно сложнее, чем организация слоя нейронов в персептроне. Исследования зрительной системы Д. Хьюбела и Т. Визела позволили лучше понять строение зрительной коры и подтолкнули к использованию этих знаний в нейронных сетях. Основные идеи, которые были использованы – это локальность зон восприятия и деление нейронов по функциям внутри одного слоя.

Локальность восприятия нам уже знакома, она означает, что нейрон, получающий информацию, следит не за всем входным пространством сигналов, а только за его частью. Ранее мы говорили, что такая область слежения называется рецептивным полем нейрона.

Понятие рецептивного поля требует отдельного уточнения. Традиционно рецептивным полем нейрона принято называть то пространство рецепторов, которое влияет на работу нейрона. Под рецепторами здесь понимаются нейроны, непосредственно воспринимающие внешние сигналы. Представим нейронную сеть, состоящую из двух слоев, где первый слой – слой рецепторов, а второй слой – нейроны, соединенные с рецепторами. Для каждого нейрона второго слоя те рецепторы, что имеют с ним контакт – это и есть его рецептивное поле.

Теперь возьмем сложную многослойную сеть. Чем дальше мы будем уходить от входа, тем сложнее будет указать, какие рецепторы и как влияют на активность находящихся в глубине нейронов. С определенного момента может оказаться, что для какого-либо нейрона все существующие рецепторы могут быть названы его рецептивным полем. В такой ситуации рецептивным полем нейрона хочется назвать только те нейроны, с которыми он имеет непосредственный синаптический контакт. Чтобы развести эти понятия, будем называть пространство входных рецепторов – исходным рецептивным полем. А то пространство нейронов, что взаимодействует с нейроном непосредственно – локальным рецептивным полем или просто рецептивным полем, без дополнительного уточнения.

Деление нейронов на функции связано с обнаружением в первичной зрительной коре двух основных типов нейронов. Простые (simple) нейроны реагируют на стимул, расположенный в определенном месте их исходного рецептивного поля. Сложные (complex) нейроны проявляют активность на стимул, независимо от его положения.

Например, на рисунке ниже показаны варианты того, как могут выглядеть картины чувствительности исходных рецептивных полей простых клеток. Положительные области активируют такой нейрон, отрицательные подавляют. Для каждого простого нейрона есть стимул, наиболее подходящий для него и, соответственно, вызывающий максимальную активность. Но важно то, что этот стимул жестко привязан к позиции на исходном рецептивном поле. Такой же стимул, но смещенный в сторону, не вызовет реакции простого нейрона.


Исходные рецептивные поля простой клетки (Николлс Дж., Мартин Р., Валлас Б., Фукс П.)

Сложные нейроны также имеют предпочитаемый ими стимул, но способны узнать этот стимул независимо от его положения на исходном рецептивном поле.

Из этих двух идей родились соответствующие модели нейронных сетей. Первую подобную сеть создал Кунихика Фукусима. Она получила название когнитрон. Позже он создал более продвинутую сеть – неокогнитрон (Fukushima, 1980). Неокогнитрон – это конструкция из несколько слоев. Каждый слой состоит из простых (s) и сложных (с) нейронов.

Задача простого нейрона следить за своим рецептивным полем и узнавать образ, на который он обучен. Простые нейроны собраны в группы (плоскости). Внутри одной группы простые нейроны настроены на один и тот же стимул, но каждый нейрон следит за своим фрагментом рецептивного поля. Все вместе они перебирают все возможные положения этого образа (рисунок ниже). Все простые нейроны одной плоскости имеют одинаковые веса, но разные рецептивные поля. Можно представить ситуацию по-другому, что это один нейрон, который умеет примерять свой образ сразу ко всем позициям исходной картинки. Все это позволяет узнавать один и тот же образ независимо от его положения.


Рецептивные поля простых клеток, настроенных на поиск выбранного паттерна в разных позициях (Fukushima K., 2013)

Каждый комплексный нейрон следит за своей плоскостью простых нейронов и срабатывает, если активен хотя бы один из простых нейронов в его плоскости (рисунок ниже). Активность простого нейрона говорит о том, что он узнал характерный стимул в том конкретном месте, которое является его рецептивным полем. Активность комплексного нейрона означает, что тот же образ встретился вообще на слое, за которым следят простые нейроны.


Плоскости неокогнитрона

Каждый слой после входного имеет своим входом картину, образованную комплексными нейронами предыдущего слоя. От слоя к слою происходит все большее обобщение информации, которое в результате приводит к распознаванию конкретных образов независимо от их расположения на исходной картинке и некоторой трансформации.

Применительно к анализу изображений это означает, что первый уровень распознает линии под определенным углом, проходящие через небольшие рецептивные поля. Он способен детектировать все возможные направления в любом месте изображения. Следующий уровень детектирует возможные сочетания элементарных признаков, определяя более сложные формы. И так до того уровня, пока не удастся определить требуемый образ (рисунок ниже).


Процесс распознавания в неокогнитроне

При использовании для распознавания рукописного текста такая конструкция оказывается устойчива к способу написания. На успешность распознавания не влияет ни перемещение по поверхности или поворот, ни деформация (растяжение или сжатие).

Самое существенное отличие неокогнитрона от полносвязанного многослойного персептрона – это значительно меньшее количество используемых весов при том же количестве нейронов. Так получается за счет «трюка», который позволяет неокогнитрону определять образы независимо от их положения. Плоскость простых клеток – это по сути один нейрон, веса которого определяют ядро свертки. Это ядро применяется к предыдущему слою, пробегая его во всех возможных позициях. Собственно нейроны каждой плоскости и задают своими связями координаты этих позиций. Это приводит к тому, что все нейроны слоя простых клеток следят за тем, не появится ли в их рецептивном поле образ, соответствующий ядру. То есть, если такой образ встретится где-либо во входном для этого слоя сигнале, это будет обнаружено хотя бы одним простым нейроном и вызовет активность соответствующего сложного нейрона. Это ухищрение позволяет найти характерный образ в любом месте, где бы он ни появился. Но надо помнить, что это именно ухищрение и оно не особо соответствует работе реальной коры.

Обучение неокогнитрона происходит без учителя. Оно соответствует описанной ранее процедуре выделения полного набора факторов. Когда на вход неокогнитрона подаются реальные изображения, нейронам не остается ничего другого, кроме как выделять свойственные этим изображениям компоненты. Так, если подавать на вход рукописные цифры, то малые рецептивные поля простых нейронов первого слоя увидят линии, углы и сопряжения. Размеры зон конкуренции определяют, сколько различных факторов может выделиться в каждой пространственной области. В первую очередь выделяются наиболее значимые компоненты. Для рукописных цифр это будут линии под различными углами. Если останутся свободные факторы, то далее могут выделиться и более сложные элементы.

От слоя к слою сохраняется общий принцип обучения – выделяются факторы, характерные для множества входных сигналов. Подавая рукописные цифры на первый слой, на определенном уровне мы получим факторы, соответствующие этим числам. Каждая цифра окажется сочетанием устойчивого набора признаков, что выделится как отдельный фактор. Последний слой неокогнитрона содержит столько нейронов, сколько образов предполагается детектировать. Активность одного из нейронов этого слоя говорит об узнавании соответствующего образа (рисунок ниже)


Распознавание в неокогнитроне (Fukushima K., Neocognitron, 2007)

Видео ниже позволяет получить наглядное представление о неокогнитроне.




Альтернатива обучению без учителя – это обучение с учителем. Так, в примере с цифрами мы можем не ждать, пока сеть сама выделит статистически устойчивые формы, а говорить ей, что за цифра ей предъявляется, и требовать соответствующего обучения. Наиболее значительных результатов в таком обучении сверточных сетей добился Ян ЛеКун (Y. LeCun and Y. Bengio, 1995). Он показал, как можно использовать метод обратного распространения ошибки для обучения сетей, архитектура которых, как и у неокогнитрона, отдаленно напоминает строение коры мозга.


Сеть свертки для распознавания рукописного текста (Y. LeCun and Y. Bengio, 1995)

На этом будем считать, что минимальные начальные сведения напомнены и можно перейти к вещам более интересным и удивительным.

источник

[Александр Вакуров]

4 марта в 13:08
Логика мышления. Часть 4. Фоновая активность
Биоинформатика, Искусственный интеллект, Робототехника


Мы подошли к моменту, когда от пересказа азов нейробиологии и теории нейронных сетей нам предстоит перейти к тому новому, что содержит предлагаемая модель. Тем, кто только приступил к чтению цикла я советую начать с первой части.

Вернемся к описанию работы реальных нейронов. Сигналы от одних нейронов через их аксоны поступают на входы других нейронов. В химических синапсах происходит выброс медиатора, который в зависимости от типа синапса оказывает либо активирующее, либо тормозящее воздействие на принимающий сигнал нейрон. Чувствительностью синапса, которая может меняться, определяется вклад этого синапса в общее возбуждение. Если суммарное воздействие превышает определенный порог, то происходит деполяризация мембраны и нейрон генерирует спайк. Спайк – это одиночный импульс, продолжительность и амплитуда которого не зависит от того, какая синаптическая активность его породила.


Самая простая модель, навеянная импульсной активностью нейрона, – это модель порогового сумматора. При этом, исходя из того, что спайк можно сопоставить с бинарным сигналом, полагают, что входы и выход сумматора принимают значения только 0 и 1. Если на входы такого формального нейрона подавать импульсную картину, повторяющуюся от такта к такту, то нейрон в зависимости от настройки его весов должен либо каждый такт выдавать ответный сигнал, либо молчать. Это вполне логично – постоянная входная картина соответствует постоянному результату на выходе.

Если попытаться приблизить модель порогового сумматора к реальности, то первое, что придется сделать – это допустить, что картина входной активности может быть не строго синхронна. То есть сигналы на разных входах могут кодироваться импульсами, имеющими каждый свою частоту. При таком допущении уже нельзя просто использовать мгновенную картину состояния входов. Потребуется подобрать показательный временной интервал и пользоваться накопленной за этот интервал картиной активности. При разных частотах входных сигналов на некоторых интервалах входные импульсы будут образовывать кучности, достаточные для активации нейрона, а на других давать разряжения, оставляя нейрон неактивным. Таким образом, ответ нейрона приобретет собственную частоту, которая будет зависеть от частоты входных сигналов и чувствительности соответствующих синапсов.

Такие рассуждения приводят нас к модели нейрона как линейного сумматора, в которой уровень сигналов на входах нейрона и его ответ описываются не двумя уровнями, а скалярными величинами, которые соответствуют частотам следования спайков. Переход к линейному сумматору позволяет сильно упростить моделирование и отчасти забыть про изначальную химическую природу нейронной активности.

Но все имеет свое начало. Чтобы информация поступила в мозг, необходимы нейроны, взаимодействующие с внешним миром. Чувствительность такого взаимодействия резко отличается от синаптической чувствительности. В синапсах, количество которых у одного нейрона может измеряться десятками тысяч, медиатор высвобождается из пузырьков, имеющих постоянную емкость. Минимальный квант выброса медиатора – это порция из порядка 7 000 молекул. Сенсорные нейроны работают совсем с другими объемами. Так, зрительные палочки активируются буквально от двух квантов света, нейроны-рецепторы обонятельной системы способны обнаружить всего несколько молекул пахучего вещества. Столь высокая восприимчивость достигается за счет механизмов внутреннего усиления сигнала.

Взаимодействие нейрона с окружающей средой происходит за счет белковых молекул – рецепторов, которые позволяют внешнему химическому воздействию изменять состояние внутри клетки. Вещество, которое взаимодействует с определенным типом рецепторов, называют их лигандом. Для синаптических рецепторов лиганды – это те самые нейромедиаторы, что обеспечивают взаимодействие нейронов.

Соседние рецепторы могут соединяться, создавая димеры (рисунок ниже), которые в свою очередь, объединяясь, формируют рецептивные кластеры.


Кластеризация рецепторов. А – одиночный рецептор и его взаимодействие с окружающими рецепторами. Б – мономерная рецептивная молекула. В – рецептивный димер. Г – объединение двух мономеров в контактный (Д) и комбинационный (Е) димеры. (Радченко, 2007)

Рецепторы делятся на ионотропные и метаботропные. Ионотропные рецепторы создают ионные каналы, которые перемещают заряженные ионы через мембрану, меняя мембранный потенциал. Когда лиганд взаимодействует с ионотропным рецептором, последний меняет проводимость ионного канала, открывая или закрывая его. Именно такие рецепторы расположены в синаптических щелях. Их совместная работа определяет, быть или не быть спайку, вызванному сложением внешних сигналов.

Несколько иная природа у метаботропных рецепторов. Они располагаются за пределами синапсов и не создают ионных каналов. При взаимодействии со своим лигандом они запускают работу внутриклеточных посредников, которые обеспечивают усиление исходного сигнала в сотни тысяч раз, что в итоге приводит к активации нейрона. Это означает, что даже малая доля вещества, которое является лигандом для метаботропного рецептора, может вызвать у соответствующего нейрона спайк. Такой механизм используют сенсорные нейроны, именно он позволяет им реагировать на ничтожные сторонние воздействия. Но кроме сенсорного восприятия метаботропные рецепторы отвечают и за существенную долю мозговой активности вообще.

Характерный стимул для нейрона – это такая картина входных сигналов, которая совпадает с картиной чувствительности его синапсов. Чем ближе входной сигнал к характерному стимулу, тем выше частота спайков, генерируемых нейроном. Эту реакцию принято называть вызванной активностью. Она возникает у всех тех нейронов, которые как-то отреагировали на текущий образ. Но вызванная активность составляет лишь незначительную часть общей активности мозга. Основная же активность приходится на так называемую фоновую активность (рисунок ниже).


Реакция нейрона на стимул и фоновая (спонтанная) активность

Фоновая активность складывается из возникающих время от времени одиночных спайков. Такие спайки называют спонтанными, так как они проявляются независимо от наличия или отсутствия вызванной активности. Если оградить мозг от внешней информации, спонтанная активность на сенсорных зонах не ослабнет, а наоборот, только усилится. Для отдельного нейрона его спонтанная активность выглядит серией случайных спайков. Но для нейронов одной зоны коры эта активность складывается в общий ритм, что суммарно создает значительные электрические колебания. Именно эти колебания можно зафиксировать, приложив электроды к коже головы, что собственно и называется электроэнцефалографией.

Для разных зон коры и разных состояний человека свойственны свои частоты и уровни таких ритмов. Наиболее сильно ритм от отдельной зоны коры прослеживается на участке кожи, находящемся непосредственно над этой зоной. Поэтому для записи ритмов мозга используют набор электродов, равномерно распределенных по поверхности головы. Результат выглядит как набор графиков, каждый из которых записан от своего электрода (рисунок ниже).


Пример электроэнцефалограммы. Резкое увеличение амплитуды соответствует началу эпилептического припадка

Если вызванная активность – это следствие работы ионотропных рецепторов, то спонтанная активность – результат срабатывания рецепторов метаботропных. Когда импульсы регулярной или спонтанной активности, распространяясь по аксону, доходят до нейрона получателя, они вызывают выброс медиатора в синаптическую щель. Этот медиатор определяет вклад синапса в процесс вызванной активности нейрона. Затем происходит его обратный захват, и синапс восстанавливается до своего исходного состояния. Но часть медиатора выбрасывается за пределы синаптической щели и растекается по пространству, образованному телами нейронов и телами окружающих их глиальных клеток. Это явление называется спиловером от английского spillover – переполнение, перелив. Расположенные поблизости друг от друга синапсы образуют так называемые синаптические ловушки. В этих ловушках тормозные и активирующие медиаторы создают интерференционную картину. Это значит, что каждое сочетание импульсов вызывает пучность медиатора в определенном уникальном месте мембраны. А.Н. Радченко показал, что метаботропные рецептивные кластеры, расположенные в местах таких пучностей, способны менять свои свойства и впоследствии реагировать на повторение той же окружающей импульсной картины (Радченко, 2007).


Различные состояния метаботропного рецептивного кластера (Радченко, 2007)

Радченко описал несколько состояний, характерных для метаботропных рецептивных кластеров, и сопоставил эти состояния с различными стадиями запоминания (рисунок выше). Способность рецепторов влиять на состояние клетки зависит от положения их расщепленных концов. Чем больше расстояние между ними, тем сильнее наружные концы выступают на поверхности, а внутренние проникают в среду клетки. Соответственно, большему расстоянию соответствует большая чувствительность рецептора. При уменьшении расстояния концы рецепторов погружаются в мембрану, и рецепторы утрачивают свою способность влиять на состояние нейрона. Расстояние может управляться мембранным потенциалом нейрона. Деполяризация выталкивает концевые части из мембраны наружу и внутрь клетки соответственно, а гиперполяризация встречно втягивает их в мембрану.

Изначально метаботропные рецептивные кластеры обладают гистерезисными характеристиками. Гистерезис подразумевает, что поведение системы определяется ее предысторией (график ниже). Перейдя в определенное устойчивое насыщенное состояние, система не возвращается обратно после снятия усилия, а остается в этом положении. Для выведения ее из этого положения теперь необходимо приложить обратное усилие, которое после перехода определенного порога переведет систему в другое устойчивое состояние, обладающее тем же свойством «залипания».


Гистерезис

Гистерезис придает рецепторам свойства триггера. Реагируя на пучность медиатора, рецепторы могут «залипать» как в состоянии вытолкнутости из мембраны, так и в состоянии погружения в нее. Первое состояние говорит о том, что нейрон становится чувствителен к определенной картине окружающей активности и может отреагировать на ее повторение собственным спайком, второе, наоборот, делает его к ней невосприимчивым. Но это залипание носит краткосрочный характер, так как определенное изменение мембранного потенциала может сбросить кластер в исходное состояние.

Радченко сопоставил такое поведение рецептивных кластеров с краткосрочной (кратковременной) памятью. То есть то, что в каждый конкретный момент определяет нашу мысль – это, с одной стороны, картина активности нейронов, а с другой стороны, такая фиксация следов этой активности, которая позволяет быстро восстанавливать недавние картины. Недолговечность этих следов обеспечивает оперативность памяти. Мы можем быстро вернуться к мысли, которая была секунду или минуту назад, но теряем эту легкость, когда проходят часы или сутки.

Под воздействием медиаторов и сильного сдвига мембранного потенциала рецепторы могут терять гистерезисные свойства и переходить в стабильный режим, который надолго фиксирует приобретенное состояние кластера, что можно сопоставить с долговременной памятью. При этом в зависимости от положения фиксации, вытолкнутое состояние или утопленное, кластер либо реагирует на определенную картину активности, либо наоборот – приобретает стабильную нечувствительность к ней. Эти устойчивые состояния могут храниться очень долго, можно сказать вечно, хотя при определенных условиях и они могут быть перезаписаны.

Далее в нашей модели мы будем исходить из того, что нейроны мозга обладают тремя формами хранения информации. Одна форма – это изменение чувствительности синапсов, что определяет характерный для нейрона образ. Вторая форма – это кратковременная триггерная фиксация на метаботропных рецептивных кластерах картины окружающей активности. И третья – это долговременная фиксация, за счет перехода рецептивных кластеров в устойчивое состояние, части кратковременно зафиксированных картин.

Чувствительность синапсов нейрона описывает единственный характерный для него образ (если не учитывать нейроны с несколькими секциями синапсов). При этом внесинаптическая поверхность нейрона, которая содержит сотни тысяч метаботропных рецептивных кластеров, может хранить сопоставимое число воспоминаний, указывающих, в каких событиях проявлялся этот характерный образ.

Обратите внимание, что импульсная активность нейронов складывается из двух составляющих. Одна составляющая – это картина вызванной активности, которая говорит о том, какие нейроны узнали характерные для них стимулы. Вторая составляющая – это картина условно спонтанной активности, которая существует относительно независимо от первой, и которая создает общий фон работы мозга. Этот фон менее акцентирован, чем вызванная активность, но более масштабен, так как распространен по всему пространству коры.

Не побоюсь сказать, что именно фоновая активность — одна из самых больших загадок мозга. В следующей части мы попробуем дать разгадку этой тайны.

http://habrahabr.ru/post/214525/

[Александр Вакуров]

Логика мышления. Часть 5. Волны мозга
Биоинформатика, Искусственный интеллект, Робототехника


Итак, мы подошли к описанию одного из ключевых принципов описываемой модели. Этот принцип ранее не использовался ни в нейронных сетях, ни при описании работы мозга. В связи с этим я крайне рекомендую ознакомится с предыдущими частями. Как минимум необходимо прочитать четвертую часть без которой описанное ниже, будет совершенно непонятно.

В предыдущей части мы говорили о том, что активность нейронов делится на вызванную и фоновую. Отголоски фоновой активности наблюдают, снимая электроэнцефалограмму. Записываемые сигналы имеют сложную форму и зависят от места приложения электродов к голове, но, тем не менее, в них достаточно четко прослеживаются отдельные гармонические составляющие.

Основные ритмы получили названия:
альфа-ритм (от 8 до 13 Гц);
бета-ритм (от 15 до 35 Гц);
гамма-ритм (от 35 до 100 Гц);
дельта-ритм (от 0,5 до 4 Гц);
тэта-ритм (от 5 до 7 Гц);
сигма-ритм «веретена» (от 13 до 14 Гц).

Природу ритмов традиционно принято соотносить с осциляторными свойствами нейронов. Так, поведение одиночного нейрона описывается уравнениями Ходжкина-Хаксли (Hodgkin, 1952):




Эти уравнения определяют автоволновой процесс, то есть предписывают нейрону генерировать импульсы. Модель Ходжкина-Хаксли сложна для моделирования. Поэтому существует достаточно много ее упрощений, сохраняющих основные генерирующие свойства. Наиболее популярные модели: Фитцхью-Нагумо (Fitzhugh, 1961), Моррис-Лекара (Morris C., Lecar H., 1981), Хиндмарш-Роуз (Hindmarsh J. L., and Rose R. M., 1984). Многие модели, например, Хиндмарш-Роуз позволяют смоделировать как пачечную активность, так и обособленные спайки (рисунок ниже).


Пачечная активность и спайки, возникающие при моделировании нейрона Хиндмарш-Роуз

Объединяя нейроны, генерирующие собственные импульсы, в конструкции, напоминающие строение реальной коры, удается воспроизвести различные эффекты, характерные для групповой активности реальных нейронов. Например, можно добиться глобальной синхронизации нейронной активности или вызвать появление волн. Наиболее известные модели: Вилсона-Кована (H.R. Wilson and J.D. Cowan, 1972) и Куромото (Kuramoto, 1984).

Электроэнцефалограмма фиксирует отголоски совместной активности нейронов, но понятно, что у этой активности есть определенная пространственно-временная организация. Методы оптического наблюдения за активностью коры позволяют увидеть ее в живую. У подопытного животного обнажают участок коры и вводят специальный краситель, чувствительный к изменениям электрического потенциала. Под воздействием суммарных колебаний мембранного потенциала нейронов такой краситель меняет свои спектральные свойства. И хотя эти изменения крайне малы, они, тем не менее, могут быть зафиксированы, например, с помощью диодного массива, выполняющего роль высокоскоростной видеокамеры. Оптические методы не позволяют заглянуть вглубь коры и проследить активность отдельных нейронов, но они дают возможность составить общее представление о течении волновых процессов на ее поверхности.


Схема оптической фиксации активности коры (Michael T. Lippert, Kentaroh Takagaki, Weifeng Xu, Xiaoying Huang, Jian-Young Wu, 2007)

Оказалось, что ритмам мозга соответствуют волны, возникающие в точечных источниках и распространяющиеся по коре, как круги по воде. Правда, фронт волны на воде расходится строго по кругу, а фронт волны активности нейронов мозга может распространяться более сложным образом. На рисунке ниже показаны картины распространения волн на 5 миллиметровом участке коры мозга крысы.


Картина распространения волны активности на участке коры мозга крысы. Потенциал показан градиентом от синего к красному. 14 кадров с интервалом 6 миллисекунд покрывают один цикл распространения волны (84 миллисекунды – 12 Гц) (Michael T. Lippert, Kentaroh Takagaki, Weifeng Xu, Xiaoying Huang, Jian-Young Wu, 2007)

Очень интересные и показательные видеозаписи волновой активности приведены в работе (W.-F. Xu, X.-Y. Huang, K. Takagaki, and J.-Y. Wu, 2007). Там показано, что волны могут уплотняться, доходя до границы зоны коры, могут отражаться от другой зоны и создавать встречную волну, могут распространяться двойными спиралями и создавать вихри.


Компрессия и отражение волны в первичной зрительной коре (W.-F. Xu, X.-Y. Huang, K. Takagaki, and J.-Y. Wu, 2007)

Ниже видео из той же работы (W.-F. Xu, X.-Y. Huang, K. Takagaki, and J.-Y. Wu, 2007):



Используя модели осциллирующих нейронов, можно и в компьютерных экспериментах получить аналогичные волновые картины. Но сама по себе такая пульсация не несет большого смысла. Вполне разумно предположить, что волны активности – это механизм переноса и обработки информации. Но попытки в традиционных моделях объяснить природу этого механизма не дали ощутимых результатов. Кажется логичным допустить, что информация кодируется частотными и фазовыми характеристиками нейронных сигналов. Но это приводит к необходимости учитывать интерференционные процессы и ставит больше вопросов, чем вносит ясности.

Существует гипотеза, что волны «сканируют» кору, считывая с нее информацию для последующей ее передачи (Pitts W., McCulloch W.S., 1947). Это выглядит достаточно здраво, по крайней мере, относительно альфа-волн и первичной зрительной коры. Авторы этой гипотезы Мак-Каллок и Питс особо подчеркивали, что сканирование позволяет объяснить один важный феномен. Дело в том, что информация от первичной зрительной коры проецируется далее по волокнам белого вещества через пучки аксонов, явно недостаточные по своему объему для одновременной передачи всего состояния этой зоны коры. А значит, делали вывод они, сканирование позволяет использовать не только пространственный, но и временной код, что обеспечивает последовательную передачу требуемой информации.

Такая проблема узости проецирующих пучков существует не только для первичной зрительной коры, но и для всех остальных зон мозга. Количество волокон в проекционных путях много меньше количества нейронов, формирующих пространственную картину активности. Связи между зонами явно не в состоянии параллельно передать весь пространственно распределенный сигнал, а значит, требуется понимание того, как происходит сжатие и распаковка транслируемой по ним информации. Предположение о сканировании, хотя и не дает ответа на вопрос о самом механизме кодирования, тем не менее позволяет поставить перед собой правильные вопросы.

Наша модель в объяснении ритмов мозга опирается на приведенное выше описание природы метаботропной активности. Использование представления о том, что в процесс создания ритмов вовлечены не только синапсы нейронов, но и метаботропные рецептивные кластеры, позволяет получить результат, качественно отличающийся от всех классических теорий. Но перед тем как перейти к описанию этого, хочу сделать предупреждение. Я сознательно буду описывать упрощенные идеализированные модели, ставя им в соответствие определенные процессы, свойственные реальному мозгу, но, не утверждая, что мозг работает именно так. Наша задача – показать базовые принципы, понимая, что эволюция ушла далеко вперед и их подлинная реализация значительно хитрее. Можно провести аналогию с развитием вычислительной техники. Современный компьютер достаточно сложен, и если мы начнем описывать базовые принципы классических вычислительных устройств, то окажется, что в чистом виде их уже практически невозможно встретить в современных системах. Базовое представление – процессор считывает из памяти программу и данные, выполняет над данными действия, предписанные программой, и записывает результаты обратно в память. А теперь добавьте к этому использование кэша различных уровней, многопоточность, гиперпоточность, параллельные вычисления с использованием локальной, групповой и общей памяти и тому подобное. И окажется, что трудно найти в реальном компьютере буквальное соблюдение простых правил. Собственно, все это надо учитывать, сопоставляя последующее описание с работой реального мозга.

Итак, возьмем модель участка коры, на которой создадим компактный паттерн вызванной активности. Пока оставим вопрос, как возник этот паттерн. Просто будем полагать, что есть элементы, на которых присутствует постоянный импульсный сигнал. На рисунке ниже нейроны, образующие такой паттерн, помечены красным. В реальной коре это соответствует аксонам, передающим пачечную активность, то есть выдающим серию спайков с высокой частотой. Эти аксоны могут принадлежать нейронам этой же зоны коры, находящимся в состоянии вызванного возбуждения, либо они могут быть проекционными волокнами, идущими от других участков мозга.


Паттерн вызванной активности

Теперь заставим свободные нейроны генерировать редкие случайные импульсы. При этом наложим условие, что для случайного спайка требуется определенный уровень окружающей активности. Это значит, что случайные спайки смогут возникнуть только поблизости от уже активных нейронов. В нашем случае они появятся в окрестности паттерна вызванной активности. На рисунке ниже случайные спайки показаны зеленым цветом.

Обычно всю активность нейронов, которая не является вызванной, называют спонтанной или фоновой. Это не очень удачно, так как настраивает на восприятие всей этой активности как случайной. Далее мы покажем, что, в основном, фоновая активность строго предопределена и нисколько не случайна. И только малая ее часть – это действительно совершенно случайные спайки. Такие случайные спайки мы сейчас и создали вокруг активного паттерна.


Первый шаг моделирования. Спонтанная активность на фоне вызванной активности

Смоделируем на наших формальных нейронах метаботропные рецептивные кластеры. Для этого дадим нейронам возможность запоминать, когда это необходимо, картину активности ближайшего окружения. Причем не ограничимся одной картиной для одного нейрона, как это было бы, запоминай мы на синапсах, а позволим каждому нейрону хранить множество таких картин.

Сделаем так, что наличие собственного случайного спайка и высокой окружающей активности будет каждый раз основанием запоминать картину окружающих импульсов (рисунок ниже). Далее наши нейроны будут давать единичные спайки каждый раз, когда будет повторяться одна из этих запомненных локальных картин. Чтобы не путать их со случайными спайками, будем называть эти спайки волновыми.


Область фиксации активности для одного из нейронов, выдавших спонтанный спайк (он в центре квадрата). При моделировании для простоты использовались квадратные рецептивные поля, что хотя и не соответствует полям слежения у реальных нейронов, качественно не влияет на результат

В итоге на следующем шаге моделирования (рисунок ниже) мы получим картину, в которой будут те же, что и ранее, нейроны с вызванной активностью (красные), нейроны, среагировавшие на запомненные на предыдущем шаге локальные образы (белые), и нейроны, сгенерировавшие спонтанный спайк (зеленые).


Второй шаг моделирования. Красные – вызванная активность, белые – волновая активность, зеленые – спонтанная активность

Повторяя шаги моделирования, мы получим распространяющуюся по коре активность с определенным уникальным случайно созданным узором.
Теперь введем условие усталости нейронов. Сделаем так, что после нескольких метаботропных (волновых) спайков нейроны будут терять на время, необходимое для релаксации, способность генерировать новые импульсы. Это приведет к тому, что активность будет распространяться не сплошной областью, а пульсирующими волнами, разбегающимися от своего источника.

Чтобы предотвратить «засорение», заблокируем спонтанную активность в областях, где велико количество релаксирующих нейронов. В результате мы получим кольцо нейронов с волновой активностью, разбегающееся от паттерна вызванной активности (рисунок ниже).


Распространение фронта волны. Синие – нейроны, пребывающие в состоянии релаксации

Получившаяся волна по мере удаления от своего центра будет терять плотность фронта и рано или поздно затухнет. На рисунке ниже можно проследить первый цикл ее жизни.


Первый цикл распространения волны идентификатора

После того как период релаксации пройдет, запустится новая волна. Теперь она будет подхвачена нейронами, уже прошедшими обучение, и распространится несколько дальше. С каждым новым циклом волна будет расширять границы своего распространения, пока не достигнет краев зоны. Чтобы предотвратить неограниченный рост плотности фронта волны, введем еще одно ограничение: запретим спонтанную активность для нейронов, когда общая активность вокруг них превышает определенный порог.

Через какое-то время мы получим кору, обученную распространять уникальную по своему узору волну активности, соответствующую заданному изначально паттерну вызванной активности (рисунок ниже).


Распространение волны по уже обученной коре (после 200 тактов обучения)

Ниже видео процесса волнового обучения:



Обратите внимание: когда кора уже обучена на распространение волны от определенного паттерна, спонтанные (случайные) спайки исчезают. Такая «опытная» волна формируется за счет волновых, неслучайных спайков. Случайные спайки появляются только при обучении, когда фронт волны доходит до еще необученных или слабо обученных территорий. В этот момент спонтанные импульсы создают случайное продолжение волнового узора, которое тут же запоминается на поверхности нейронов, участвующих в этой волне. Но как только обучение заканчивается, волна от знакомого коре паттерна начинает распространяться по уже созданному волновому шаблону, каждый такт в точности повторяя на своем пути один и тот же уже неслучайный узор.

Обучение коры не обязательно должно быть поэтапным. При моделировании подбором параметров можно добиться, чтобы зародившаяся волна была самодостаточной. То есть, чтобы она не затухала на первых тактах, а сразу распространялась на все пространство (рисунок ниже).


Пример незатухающего на первом цикле распространения обучающей волны

Так как ширина фронта волны постоянна, то его площадь возрастает по мере удаления от источника. Это соответствует тому, что в распространении активности участвует все больше нейронов. Если проследить суммарный потенциал, создаваемый ими, то получатся графики, напоминающие то, что мы видим на энцифолограммах (рисунок ниже).


График ритмической активности модели с одним источником

Обратите внимание, что появление ритмов, наблюдаемых на таких «энцефалограммах», – это не ритм «дыхания» коры. То есть не синхронизация совместных всплесков активности, как полагается в большинстве существующих моделей, а изменение количества нейронов, вовлеченных в распространение расходящихся волн. Если новые волны будут излучаться еще до того, как исчезнут фронты предыдущих волн, то их сложение даст более сглаженную картину. При определенном подборе параметров на модели воспроизводятся ситуации, когда распространение волн практически не сопровождается суммарной ритмической активностью. Это можно соотнести с тем фактом, что у порядка 10 процентов людей на электроэнцефалограммах волновая активность не прослеживается.

Если теперь взять новый паттерн вызванной активности, то кора создаст волны, распространяющиеся и от него. Более того, такая кора обучается создавать волны для любого устойчивого паттерна вызванной активности. За счет того, что один и тот же нейрон может хранить множество локальных образов, он может быть частью сразу множества различных волн, соответствующих разным паттернам. Если мы захотим большей уникальности волн, то достаточно по мере накопления у нейрона запомненных им локальных образов снижать вероятность его спонтанного спайка.

Для запомненных локальных образов имеет смысл ввести механизм консолидации. То есть не фиксировать образ сразу на века, а установить время, в течение которого образ должен определенное количество раз повториться. Так как обучение волновому распространению и формирование устойчивых паттернов вызванной активности – процессы параллельные, то консолидация может позволить стереть следы неудачного обучения.

Но самое главное во всем этом – это уникальность каждой из полученных волновых историй. В любом месте, через которое проходит волна, она создает единственный, характерный только для нее рисунок. Это значит, что если на поверхности коры есть паттерн вызванной активности, который кодирует какое-либо событие, то волна, вызванная им, распространит информацию об этом по всему пространству коры. В каждом конкретном месте эта волна создаст свой неповторимый узор, уникальный только для этого события. Любое другое событие создаст в этом месте иной узор, связанный со своей волной. Это значит, что находясь в любом месте, мы можем настроиться на «прием» волны от какого-либо конкретного события и зафиксировать, когда оно произойдет по приходу волны с соответствующим узором.

В нашей модели получается, что фундаментальные свойства коры – это:
способность генерировать волны, расходящиеся от паттернов вызванной активности;
способность обучаться, проводить уникальные и стабильные для каждого паттерна узоры волн;
будучи обученной, способность распространять волны активности, возникающие вокруг устойчивых паттернов вызванной активности.

Каждому уникальному паттерну вызванной активности соответствует уникальная по своему узору волна, которую можно назвать идентификатором этого паттерна.

Теперь процесс обучения можно грубо представить следующим образом:
статистически устойчивые сигналы ведут к формированию нейронов-детекторов, которые за счет синаптической пластичности обучаются реагировать на определенные закономерности;
нейроны-детекторы, относящиеся к одной закономерности, образуют устойчивый паттерн;
каждый устойчивый паттерн по мере своей активности обучает кору распространять уникальную волну, соответствующую только этому паттерну, что можно трактовать как идентификатор этого паттерна;
каждое место коры, куда распространяются соответствующие волны, получает возможность узнать, какова общая информационная картина на текущий момент.

Из сказанного выше следует, что для своей полноценной работы мозг должен не только сформировать нейроны-детекторы различных явлений, но и обучить кору распространять соответствующие информационные волны. Это хорошо согласуется с тем фактом, что ритмическая активность у детей слабо выражена сразу после рождения и увеличивается по мере взросления.

Когда мы говорим о структурах мозга, которые реагируют на определенные явления, то в нашей концепции возникает их очевидный дуализм. Эти структуры не описываются исключительно какими-либо нейронами или группами нейронов, они дополняются еще и идентификационными волнами, которые позволяют распространить соответствующую информацию. Но, что интересно, – в каждом конкретном месте, через которое проходит волна, она ведет себя так же, как и породивший ее паттерн. В моментальном временном срезе она сама является паттерном, порождающим продолжение волны.

Нетрудно заметить, что такое распространение идентификационных волн повторяет принцип Гюйгенса-Френеля, описывающий распространение волн света. Суть его в том, что каждую точку фронта световой волны можно рассматривать как центр вторичного возмущения. Каждый такой центр порождает вторичные сферические волны. Итоговое световое поле есть интерференция этих волн. Огибающая вторичных волн становится фронтом волны в следующий момент времени, и так далее.


Рефракция (слева) и интерференция (справа) по Гюйгенсу-Френелю (Nordmann)

Разница в природе паттерна вызванной активности и паттерна, возникающего в процессе распространения волны, может быть обнаружена только по анализу причины активности входящих в них нейронов. Для вызванной активности – это картина на синапсах, для паттерна распространения – реакция метаботропных рецепторов. То есть отражение мозгом каких-либо явлений – это одновременно и паттерн и волна, причем в каждый конкретный момент времени, когда мы попытаемся зафиксировать распространение этой волны, мы увидим паттерн, отличный по узору, но не по сути от того, что дал начало волне.

Нетрудно заметить, что описанный дуализм достаточно точно соответствует дуализму элементарных частиц. Как известно, каждая частица – это одновременно и частица и волна. В зависимости от того, какие обстоятельства мы рассматриваем, частица может проявлять как волновые, так и корпускулярные свойства. Современная физика констатирует этот факт, но не дает ему объяснения. То, что мы описали о дуализме информационных образов, к счастью, несколько нагляднее, чем дуализм элементарных частиц. Конечно, напрашивается вопрос, можно ли продлить эти аналогии и использовать их для понимания физической картины мира? Это очень серьезный вопрос, и позже мы поговорим о случайности или не случайности такого совпадения.

Из дуализма информационных образов проистекают важные следствия. Как и частицы с разными спинами, два паттерна от разных волн могут находиться в одной пространственной области, не мешая друг другу. Более того, каждый из них вызывает продолжение собственной волны, не внося взаимных искажений. Если мы создадим несколько паттернов и обучим кору на распространение волн от каждого из них, то активировав эти паттерны совместно, мы сможем наблюдать прохождение волн друг сквозь друга с сохранением собственной уникальности (рисунок ниже).


Моделирование прохождения волн от двух источников

Это сильно отличается от сплошных волновых процессов. Например, при распространении волн в воде или воздухе, в колебаниях принимают участие сразу все молекулы. Столкновение двух волн затрагивает весь контактирующий объем, что ведет к интерференции. Поведение каждой молекулы определяется действием сразу обеих волн. В результате мы получаем интерференционную картину, которая уже не столь проста, как каждая из волновых картин в отдельности. В нашем же случае каждая из волн распространяется, затрагивая только малую часть всех доступных нейронов. При пересечении двух информационных волн общих для них нейронов, способных создать интерференцию, оказывается слишком мало, чтобы повлиять на распространение каждой из них. В результате, волны сохраняют свою информационную картину, неискаженной от встречи с другой волной.

Определенная изящность описываемой системы еще и в том, что нейроны могут выполнять одновременно две функции. Каждый нейрон может быть детектором, настраиваясь за счет изменения синаптических весов на определенный образ. При этом этот же нейрон за счет информации, записанной на его метаботропных кластерах, может принимать участие в распространении различных информационных волн.

Стоит почувствовать разницу между свойствами нейрона как детектора и как участника распространения волновой активности. Казалось бы, и там и там он реагирует на определенную картину активности своего окружения. В действительности это два принципиально разных свойства. Относительно плавная настройка синаптических весов позволяет нейрону обучаться на выделение скрытых факторов. Моментальная фиксация образов внесинаптическими кластерами обеспечивает запоминание того, что есть прямо сейчас. Синапсы воспринимают масштабную картину со всего рецептивного поля нейрона. Метаботропным рецептивным кластерам доступна урезанная картина активности, ограниченная синапсами, образующими их синаптические ловушки. Набор синаптических весов у обычного нейрона только один, а вот идентификационных образов он может хранить десятки и сотни тысяч. Синаптическое узнавание порождает вызванную активность, то есть длительный пакет импульсов. Несколько нейронов-детекторов за счет этого создают паттерн вызванной активности. Метаботропное узнавание дает единичный спайк. Совокупность таких спайков создает фронт идентификационной волны.

При моделировании наблюдается, что дальность распространения идентификатора зависит от того, насколько активно проявляет себя создающий волну паттерн. Применяя механизм консолидации, то есть, вводя критерии забывания, срабатывающего, если активность не повторяется должным образом, удается получить эффект, когда часто повторяющие паттерны обучают всю кору на распространение своих волн, а редкие сочетания создают области локального распространения. Причем размеры этих областей не фиксированы, а охотно растут, если соответствующее явление начинает проявлять себя чаще. В таком поведении можно найти определенный резон. Возможно, что и реальная кора ведет себя похожим образом.

Когда мне удалось сформулировать описанные выше волновые принципы, моделирование в рамках нашего проекта перешло на новый качественный уровень. Было ощущение, что вместо каменного топора мы внезапно получили отбойный молоток. В следующих частях я покажу как использование волновой нейросетевой модели позволяет объяснить многие казавшиеся ранее загадочными свойства мозга.

http://habrahabr.ru/post/214663/

[Александр Вакуров]

Логика мышления. Часть 6. Система проекций
Биоинформатика, Искусственный интеллект, Робототехника

Для тех, кто только присоединился, я советую начать с первой части или хотя бы с описания используемой нами волновой модели коры. Суть волновой модели в том, что информация кодируется одновременно двумя способами. Первый способ – это паттерны вызванной активности, соответствующие обнаруженным нейронами-детекторами явлениям. Второй – волны идентификаторы, распространяющиеся от паттернов вызванной активности и несущие уникальные узоры. Уникальность узора каждой из волн позволяет на удалении от источника сигнала узнать о его активности. При таком подходе хорошо объясняется сформулированное Мак-Каллоком и Питсом несоответствие между объемом зон коры и количеством волокон в пучках, проецирующих информацию от них на другие зоны.


Из наших рассуждений вытекает, что мозгу свойственны два типа проекций. Первый наиболее понятный тип – это так называемое топографическое отображение. Например, зрительный сигнал от глаз по зрительным нервам распространяется до хиазмы. Там волокна перераспределяются так, что одно полушарие получает волокна только от левых, а другое только от правых половин сетчатки. Далее по зрительному тракту информация поступает в наружное коленчатое тело, а оттуда на зрительную кору. Зрительный нерв содержит порядка миллиона волокон, что соответствует разрешению, которое доступно глазу. На первичную зрительную кору эта информация проецируется через зрительную радиацию. Зрительная радиация – это равномерное распределение пучка нервных волокон по всей площади первичной зрительной коры (рисунок ниже). Топографичность этого отображения заключается в том, что сигналы, соседствующие на сетчатке, оказываются рядом и в своей проекции на кору. При такой передаче сохраняется позиционность сигналов. Изображение от каждого места сетчатки попадает в свою область коры, что позволяет сохранить информацию о взаимном расположении объектов.


Зрительный путь (Хьюбел, 1988)

Аналогично, с сохранением топографической упорядоченности, проецируются сигналы и на сенсорные зоны. Отсюда возникает знаменитая карта Пенфилда, иллюстрирующая представительства различных частей тела на сенсорной и моторной коре (рисунок ниже).


Человек Пенфилда

Традиционные иерархические многослойные нейронные сети, за неимением лучшего, скопировали принцип топографической проекции, задекларировав уменьшение размера слоев и увеличение исходных рецептивных полей их нейронов по мере продвижения информации наверх.

Однако реальная система связей в белом веществе мозга принципиально иная. Между зонами коры нет «толстых» соединительных нейронных шлейфов, способных к глобальной передаче картины активности от одной зоны на другую. Вся система проекций состоит из относительно тонких пучков. Причем контакты этих пучков с зонами коры не расходятся веером и не образуют радиации, а имеют плотные «точечные» соединения. Это особенно хорошо видно на реальных изображениях белого вещества, где отдельно прослежено каждое из направлений проекции (рисунок ниже).


Структура белого вещества мозга (Fallon)

Можно достаточно уверенно утверждать, что соединения между зонами коры осуществляется не топографическими проекциями, а связями принципиально иного типа. Назовем этот второй тип связей волновыми туннелями.

Возьмем пару зон коры и соединим у них две малые, произвольно выбранные области. Сделаем это так, чтобы активность верхней области копировалась на нижнюю область (рисунок ниже). При этом можно не заботиться о топографичности проекции. Можно перемешать проецирующие волокна, а кроме того пропустить часть из них, сделав проекцию разряженной.


Волновой туннель

Такое соединение никак не поможет нам с передачей всей картины активности передающей зоны. Но оказывается, что всю картину передавать и не надо. Через каждое место коры проходят идентификационные волны, которые несут информацию обо всех устойчивых паттернах этой зоны. То есть если зона коры научилась реагировать на определенные образы, то и на маленькой ее области мы увидим все существующие идентификаторы. Все в точности как в оптической голограмме, где каждый фрагмент хранит информацию обо всем изображении.

Это значит, что, передав активность малого участка коры от одной зоны на другую, мы получим на принимающей зоне участок, генерирующий определенные паттерны, ничем не отличающиеся, по сути, от тех, что возникают при распространении волн. Такой участок обязательно начнет обучать свою кору распространению повторяющихся узоров. Со временем это приведет к тому, что идентификационные волны будут транслироваться через такой туннель и продолжать свое распространение на принимающей коре.

Этот процесс хорошо наблюдается при моделировании. Ниже приведены две сопоставленные по времени картины распространения волн. Верхний рисунок – проецирующая кора, нижний – кора принимающая. Квадратами выделены области, связанные туннелем.


Активность проецирующей коры


Активность принимающей коры. Изображения соответствуют аналогичным тактам проецирующей коры.

Видно, что когда волна проходит через область туннеля на передающей зоне коры, она запускает волну на принимающей зоне (показаны уже обученные зоны). Важно, что получившаяся волна сохраняет все свойства исходного идентификатора. Для каждого явления, как и на исходной коре, на коре-получателе вызывается свой характерный только для этого явления узор распространения.

Ниже видео, полученное при моделировании. На нем слева уже обученная зона, а справа зона только начавшая обучение:




Встречные проекции

Если две зоны коры соединить встречными проекциями (рисунок выше), то можно получить интересный эффект. Идентификатор от первой зоны будет переходить на вторую зону, распространяться там, а затем возвращаться обратно и распространяться от места контакта волнового туннеля. При этом, если передача между зонами происходит по миелинизированным волокнам, скорость распространения импульса в которых составляет порядка 100 м/с, то время пробега сигнала туда-обратно для зон, расположенных в 10 сантиметрах друг от друга, при близко контактирующих проекционных пучках можно оценить в несколько миллисекунд. Это означает, что для волны идентификаторов с периодом порядка 100 миллисекунд возвратившийся сигнал практически сольется с основной волной. А значит, будет учтен как часть существующего идентификатора.

В результате, если на второй зоне коры каким-либо способом будет воспроизведен идентификатор, пришедший ранее с первой зоны, то он, перейдя по волновому туннелю обратно на первую зону, вызовет там уже известную этой зоне идентификационную волну. Такой механизм позволяет не просто передавать информацию от одной зоны к другой, но и возвращать ее в виде, понятном для обеих зон коры.
Если сравнивать топографическую и волновую проекцию, то каждая хороша для своих целей. Топографическая проекция необходима там, где нельзя потерять информацию, связанную с взаимным расположением активных элементов. Волновая проекция удобна тогда, когда удается сформировать описание, построенное на простом перечислении понятий.

Общая информационная картина, которой оперирует мозг – это совокупность описаний. Каждая из зон коры формирует описание в факторах, свойственных именно ей. При этом кроме набора факторов у зон различается и форма описания. Топографическая форма сохраняет свойства, характерные для изображения, когда значение имеет взаимное пространственное расположение элементов. Волновая форма описания эквивалентна неупорядоченному перечислению факторов, показавших свою активность.

Кроме решения проблемы узости каналов волновая модель позволяет снять существенное противоречие, свойственное традиционным моделям, связанное с локальностью рецептивных полей нейронов верхних уровней. Суть противоречия в том, что с каждым новым уровнем нейроны должны выделять все более обобщенные признаки и понятия, но для этого им необходим все более широкий охват наблюдаемых свойств. Поскольку реальные нейроны на всех уровнях имеют ограниченные рецептивные поля, то классическая модель испытывает определенные затруднения в объяснении этого.

Если вспомнить неокогнитрон, то все его сложные нейроны должны обслуживаться плоскостями простых клеток. Простые клетки, входящие в одну плоскость, имеют одинаковые веса и следят одновременно за всеми возможными участками предыдущего слоя. Там, где у нас волна доставляет до каждого места необходимую информацию, в неокогнитроне в каждой позиции набор простых нейронов сканирует всю поверхность на наличие требуемого паттерна. Такое сканирование требует тотальности слежения, так как смещение всего на одну позицию полностью меняет паттерн. Как некий способ облегчить проблему можно использовать размывание (рисунок ниже). При размывании требование к тотальности несколько ослабевает, так как каждый простой нейрон приобретает способность реагировать в определенном диапазоне сдвига.


Улучшение узнавания при размывании (Fukushima K., 2013)

Но то, что можно как-то использовать для первичной обработки изображений, оказывается плохо применимо для более абстрактных зон коры, где паттерны вызванной активности имеют «острую» настройку.

Использование волнового представления полностью снимает вопрос локальности рецептивных полей. Получается, что нейрон не должен своими синапсами следить за всей корой. Если «кора» не идет к Магомету, то Магомет идет к «коре». Волны идентификаторов сами приносят каждому нейрону всю необходимую информацию, для восприятия которой ему вполне достаточно только плотного слежения за своим ближайшим окружением, которое полностью показывает ему характер проходящих мимо волн.

Из волновой модели проистекает несколько свойств, хорошо согласующихся с существующими представлениями о системе проекций реального мозга:
волновые туннели компактны по площади контакта с корой, а значит, несколько контактных площадок могут существовать, не мешая друг другу;
туннели не критичны к месту снятия информации и к месту захода в кору;
туннели не требуют тотального снятия активности всех нейронов контактной области;
для туннелей непринципиально сохранение упорядоченности волокон, волокна могут быть случайно перемешаны внутри одного пучка, что никак не влияет на результат передачи.

Из волновой парадигмы проистекает понимание информационных процессов, свойственных мозгу, достаточно сильно отличающееся от того, что мы привыкли использовать для описания компьютерных систем. Традиционный компьютер содержит множество узлов, каждый из которых выполняет свою функцию. Программы содержат множество модулей, ориентированных на выполнение определенных задач. Узлы на физическом уровне, а программные модули на логическом обмениваются данными. Результат – выполнение наперед заданных алгоритмов. Неисправность или ошибка в каком-либо элементе в большинстве случаев ведут к невозможности завершения алгоритма.

Мозг содержит зоны коры, которые, обучаясь, приобретают свою специализацию. Суть специализации – это то, в каких терминах зона коры будет строить свое описание. Описание, созданное какой-либо зоной коры, через систему проекций становится доступно всем тем зонам, с которыми у нее есть проекционный контакт. Система проекций эволюционно приобрела такую конфигурацию, которая позволяет получить наиболее полное отображение происходящего.


Визуализация системы проекций мозга обезьяны (IBM Research)

Надо отметить, что кроме проекций, передающихся через проекционные волокна, информация может распространяться от одной зоны к другой, просто пересекая условную границу зон. Волна идентификаторов, дойдя до края зоны, может распространиться дальше на соседнюю зону. Произойдет это или нет, может определяться совпадением или несовпадением типов нейромедиаторов и внесинаптических рецепторов, характерных для нейронов этих зон. Если это так, то существующие схемы проекционных связей стоит дополнить такими «соседскими» проекциями.

Описываемая проекционная идеология обладает удивительной отказоустойчивостью. Отключение какой-либо зоны не ведет к сбою всей конструкции, а только делает беднее систему описаний. Ошибка на какой-либо зоне не носит фатальный характер, так как может быть компенсирована работой остальных зон.

Работу мозга можно сравнить с системой информационных агентств, газет и сайтов. Все они публикует свое описание происходящего. Многие заимствуют информацию друг у друга. Информация может преподноситься и интерпретироваться каждым из них индивидуально. Некоторые имеют свою специализацию: кто-то имеет уклон на политические новости, кто-то на новости культуры или техники. Выключение одного из источников не ломает всю систему, а только слегка обедняет информационное пространство. Каждый из участников не следит тотально за всеми остальными, а имеет свой устоявшийся список отслеживания, куда входят источники, наиболее интересные именно для него.

Приведу еще аналогию. Представьте систему институтов, которые совместно работают над глобальным проектом. Можно разбить работу на части и дать институтам узкие непересекающиеся задания. Когда каждый из них выполнит свою работу, останется сложить все вместе и получить итоговый проект. Другой подход – навалиться всем сразу и, дублируя друг друга, кооперируясь, используя чужие разработки, создать несколько вариантов и затем выбрать из них лучший. Очевидно, что первый вариант имеет множество плюсов, как минимум, понятность и контролируемость происходящего. Во втором варианте процесс не очевиден, а результат не гарантирован. Но оказывается, что по мере обучения и приобретения конкурентного опыта, при правильной системы стимулирования, второй вариант может дать результаты, значительно превосходящие первую схему.

http://habrahabr.ru/post/214797/

[Александр Вакуров]

7 марта в 17:58
Логика мышления. Часть 7. Интерфейс человек-компьютер
Биоинформатика, Искусственный интеллект, Робототехника


Для тех, кто только присоединился, я советую начать с первой части или хотя бы с описания волновой модели коры. Наша волновая модель показывает как вызванная активность нейронов коры порождает волны фоновой активности, распространяющиеся как внутри зон коры, так и через проекционные связи по всему пространству мозга. Проходя по какому-либо участку коры, волна, кодирующая определенное явление, воспроизводит свой уникальный узор. Это позволяет нейронам в любом месте коры получать информацию о том, что происходит в других частях мозга.


Такой механизм передачи данных можно сравнить с оптическим телеграфом. Еще до изобретения проводного телеграфа для передачи сообщений на большие расстояния использовали системы башен находящиеся в прямой видимости друг от друга. Положением реек в специальной конструкции, установленной на вершине башни, кодировались буквы передаваемого послания. Каждая следующая башня повторяла то, что видела на предыдущей. Теперь представьте, что каждая из семафорных башен не повторяет сигнал, а работает по более хитрому алгоритму. Каждый сигнальщик заводит специальную тетрадь. Когда он видит новый для себя узор из реек он записывает его в тетрадь в первый столбец и ставит ему в соответствие другой случайно выбранный узор, который записывает напротив него во второй столбец. Главное — чтобы этот узор не использовался во втором столбце ранее. Соответственно, работа башни превращается в трансляцию одних узоров в другие. При этом соблюдается однозначность такой перекодировки. Сколько бы не было башен на пути сигнала, послание дойдет в информационно-целостном, хотя и перекодированном виде.

А теперь представьте, что башни расположены не в линию, а равномерно покрывают всю землю. Тогда с каждой башни будет видно несколько соседних. Таблицу в тетради сигнальщика придется усложнить. Ему потребуется завести столько столбцов сколько башен он видит плюс свой. В новых условиях задача сигнальщика будет — выставлять свой узор, как только хотя бы на одной из соседних башен появится новое сообщение. После того, как все сигнальщики заполнят свои таблицы, каждой букве будет соответствовать определенная устойчивая картина флажков по всей земле. Достаточно будет на одной из башен установить определенный сигнал, как он распространиться по всему миру.



Изменим работу воображаемых башен. Поставим вместо механизма с флажками фонарь. Общение между башнями сведем к наблюдению за вспышками соседей и подачи собственной вспышки если на это указывает запись в тетради. Ведение тетради несколько усложним. Теперь новая запись в ней будет появляться при следующих условиях. Когда около башни произойдет серия вспышек, смотритель проверит есть ли запись о такой конфигурации в его тетради, и если есть, то даст вспышку собственной башни и уйдет на предписанный инструкцией отдых на несколько минут. Если такой записи нет, то он дождется пока волна вспышек пройдет и запомнит получившийся узор. Затем он посчитает, сколько всего было вспышек вокруг. Если их было достаточно, то есть узор прошедшей волны уже сформирован другими башнями-маяками, то он расслабится и пойдет пить чай, дожидаясь следующей волны вспышек. В противном случае он начнет подкидывать монету, например, пять раз (зависит от того сколько других башен он видит), если все пять раз выпадет решка, то он сделает новую запись в тетради, куда занесет новый узор.

Чтобы в таком телеграфе отправить сообщение из одного слова надо будет в точке отправления сопоставить слову какой-нибудь узор из стоящих неподалеку башен. Когда эти башни начнут вспыхивать (не один раз, а длинной серией), смотрители соседних башен начнут играть в орлянку и станут постепенно подключаться к распространению волнового узора. Когда вся система маяков выучит это слово, то в любом месте земли можно будет обнаружить его передачу. В каждой точке планеты это слово при прохождении волны вспышек будет создавать свой уникальный узор. Но, что самое интересное, мы можем выбрать любое место и посмотреть, какой узор соответствует именно тут интересующему нас слову. Если теперь мы воспроизведем этот узор, заставив вспыхнуть соответствующие маяки, то волна вспышек дойдя до адресата создаст точно такой же узор, как если бы сообщение было отправлено из исходной точки. Собственно, именно так и работает мозг (в нашей теории). Понятия кодируются паттернами нейронов, генерирующих пакеты импульсов. Волны одиночных импульсов разносят узоры идентификаторы по всему мозгу. И такой механизм лежит в основе всей последующей информационной деятельности.

Вернемся обратно к коре. Судить о том, какие мысли рождает мозг, можно разными способами. Наиболее простой путь – это анализ показаний многоточечной энцефалограммы. Так как разные мысли вызывают отличные друг от друга картины активности зон коры, то определенные закономерности могут быть отслежены и впоследствии использованы. Понять мысли таким способом невозможно, но можно приблизительно отличить друг от друга разные формы мозговой активности. При желании это можно использовать для простых систем управления, не требующих высокой точности или быстродействия.

Более продвинутые методы – это фиксация, например, с помощью магнитно-резонансного томографа, уровня насыщения кислородом кровотока на пространстве коры, что позволяет судить о местах, где сосредоточена наибольшая нейронная активность. Пространственное разрешение при этом во много крат выше, чем при использовании энцефалографа. Для первичной зрительной коры, где сохраняется топографичность проекции, такой метод хоть очень грубо и инерционно, но позволяет заглянуть в мысли человека (рисунок ниже).


Результаты реконструкции изображений (Shinji Nishimoto, An T. Vu, Thomas Naselaris, Yuval Benjamini, Bin Yu, Jack L. Gallant, 2011)

Магнитно-резонансный томограф громоздок и неприменим для внелабораторного использования. Но существует и более простой способ измерения параметров мозгового кровотока – это локальная спектроскопия в инфракрасном диапазоне. Отдельный датчик состоит из источника инфракрасного излучения и оптического приемника отраженного сигнала. По изменению спектра поглощения можно судить о процессах, происходящих непосредственно под датчиком. Используя комбинацию инфракрасных и электроэнцефалографических датчиков, компания Honda создала интерфейс, позволяющий с достаточно высокой точностью управлять человекоподобным роботом (Honda Research Institute Japan Co., 2009).


Комплекс Honda (Honda Research Institute Japan Co., 2009)

Еще большую детализацию активности коры в пространстве и времени позволяют получить упомянутые ранее оптические методы, но и они дают представление только о коллективной активности тысяч расположенных рядом нейронов.

Усреднение активности нейронов по любому участку коры теряет информацию об индивидуальности волнового паттерна. По этой активности можно строить грубые предположения о том, что происходит с мозгом, но нельзя получить доступ к тонким информационным процессам. Что-то подобное можно наблюдать с компьютерами. По активности работы отдельных модулей и по анализу излучаемых компьютером частот можно судить о том, какого типа задачи он выполняет. Для некоторых программ можно даже наловчиться угадывать отдельные действия, но все это совсем не то по сравнению тем, какие возможности дает подключение к информационным шинам.

Добраться до непосредственной активности сразу многих нейронов сейчас позволяют методы вживления электродных массивов. В 2004-2005 годах был проделан первый эксперимент по имплантации такого датчика полностью парализованному пациенту. В результате удалось добиться более-менее адекватного управления рукой-протезом (Leigh R. Hochberg, Mijail D. Serruya, Gerhard M. Friehs, Jon A. Mukand, Maryam Saleh,Abraham H. Caplan, Almut Branner, David Chen, Richard D. Penn, John P. Donoghue, 2006) (рисунок ниже).



a) Матрица электродов на одноцентовой монете и вставляемый в череп разъем. Массив из ста электродов. с) Расположение массива. d) Первый пациент с установленным интерфейсом (Leigh R. Hochberg, Mijail D. Serruya, Gerhard M. Friehs, Jon A. Mukand, Maryam Saleh,Abraham H. Caplan, Almut Branner, David Chen, Richard D. Penn, John P. Donoghue, 2006)

Массив электродов, использовавшийся в эксперименте, не отличался особой точностью подключения к коре. Только часть электродов фиксировала импульсы отдельных нейронов, остальные передавали суммарную активность нейронных групп. Но даже этого в эксперименте хватило для того, чтобы отфильтровать вполне полезную информацию.

Когда прогресс технологий позволит снять с малой области мозга активность хотя бы нескольких сотен нейронов, как мне видится, этого будет достаточно, чтобы создать искусственный волновой туннель, аналогичный тем туннелям, что соединяют между собой различные зоны коры. Анализ паттернов волновой активности позволит не просто отследить состояние нейронов-детекторов малого участка коры, он позволит увидеть проходящие через него информационные волны и, соответственно, составить представление обо всех понятиях, с которыми работает эта зона коры. Мне кажется, что десяток таких туннелей, отведенных из разных зон мозга, позволит передать на компьютер практически полную картину человеческой мысли. Это не будет фотографическая картина того, что мы видим, или звук того, что мы слышим, но это будет полноценное воспроизведением того, о чем мы думаем.

Если наша концепция верна, то волновые туннели могут и считывать информацию, и транслировать ее обратно. Для передачи информации от компьютера к человеку можно либо воспроизводить паттерны ранее считанных идентификаторов, либо генерировать уникальные собственные. В последнем случае мозг надо будет обучить сопоставлять создаваемые компьютером волны с теми понятиями, что уже известны человеку.

Если взять двух людей и подключить их к компьютеру, а затем осуществить с его помощью перекодировку паттернов, переводя узоры, характерные для одного, в узоры, соответствующие тем же понятиям у другого, то получится телепатический интерфейс, та самая корона профессора Казарина из Кира Булычева.

Возможности волнового интерфейса не ограничиваются телепатическим общением человека и компьютера или людей между собой. Если на компьютере воспроизвести кору мозга, то можно добиться, чтобы в процессе совместного существования она впитала в себя существенный объем памяти и индивидуальности человека. Возможно, для полновесного переноса личности понадобятся годы совместной жизни с подключенным компьютером, но потенциально это открывает возможность «переселения души». Если фантазировать дальше, то ничто не мешает подключить обученный компьютер к чистому биологическому мозгу и провести постепенный обратный перенос. Конечно, интересно порассуждать о том, что будет с самосознанием при таких путешествиях, но это тема отдельного разговора.

Продолжение

Использованная литература

Предыдущие части:
Часть 1. Нейрон
Часть 2. Факторы
Часть 3. Персептрон, сверточные сети
Часть 4. Фоновая активность
Часть 5. Волны мозга
Часть 6. Система проекций

Алексей Редозубов (2014)

[Александр Вакуров]

9 марта в 18:13
Логика мышления. Часть 8. Выделение факторов в волновых сетях
Биоинформатика, Искусственный интеллект, Робототехника


В предыдущих частях мы описали модель нейронной сети, которую назвали волновой. Наша модель существенно отличается от традиционных волновых моделей. Обычно исходят из того, что каждому нейрону свойственны собственные осцилляции. Совместная работа таких склонных к систематической пульсации нейронов, приводит в классических моделях к определенной общей синхронизации и появлению глобальных ритмов. Мы вкладываем в волновую активность коры совсем другой смысл. Мы показали, что нейроны способны фиксировать информацию не только за счет изменения чувствительности своих синапсов, но и благодаря изменениям в мембранных рецепторах, расположенных вне синапсов. В результате этого нейрон приобретает способность реагировать на большой набор определенных паттернов активности окружающих его нейронов. Мы показали, что срабатывание нескольких нейронов, образующих определенный узор, обязательно запускает волну, распространяющуюся по коре. Такая волна это не просто возмущение, передающееся от нейрона к нейрону, а сигнал создающий по мере продвижения определенный узор активности нейронов, уникальный для каждого излучившего его паттерна. Это означает, что в любом месте коры по тому узору, что принесла с собой волна, можно определить какие паттерны на коре пришли в активность. Мы показали, что через небольшие пучки волокон волновые сигналы могут проецироваться на другие зоны коры. Сейчас мы поговорим о том как может происходить синаптическое обучение нейронов в наших волновых сетях.

Выделение волновых факторов

Возьмем произвольный нейрон коры (рисунок ниже). У него есть рецептивное поле, внутри которого он имеет густую сеть синаптических соединений. Эти соединения охватывают как окружающие его нейроны, так и входящие в кору аксоны, несущие сигналы от других участков мозга. Благодаря этому нейрон способен следить за активностью небольшой окружающей его области. Если на зону коры, к которой он принадлежит, приходится топографическая проекция, то нейрон получает сигналы с тех аксонов, что попадают в его рецептивное поле. Если на коре существуют активные паттерны вызванной активности, то нейрон видит фрагменты идентификационных волн от них, когда они проходят мимо него. Аналогично с волнами, которые возникают от волновых туннелей, переносящих волновую картину от одной области мозга к другой.


Источники информации для выделения фактора. 1 – нейрон коры, 2 – рецептивное поле, 3 – топографическая проекция, 4 – паттерн вызванной активности, 5 – волновой туннель

В активности, видимой нейроном на своем рецептивном поле, независимо от ее происхождения, соблюдается главный принцип – каждое уникальное явление вызывает свой уникальный, присущей только этому явлению узор. Повторяется явление – повторяется и паттерн активности, видимый нейрону.

Если происходящее содержит несколько явлений, то друг на друга накладывается несколько узоров. При наложении паттерны активности могут не совпасть по времени, то есть фронты волн могут разминуться. Чтобы учесть это, выберем показательный временной интервал, равный периоду одного волнового цикла. Накопим для каждого синаптического входа нейрона активность за этот промежуток времени. То есть просто просуммируем, сколько спайков пришло на тот или иной вход. В результате мы получим вектор входа, описывающий интегрированную за цикл картину синаптической активности. Имея такой входной вектор, мы можем использовать для нейрона все описанные ранее методы обучения. Например, мы можем превратить нейрон в фильтр Хебба и заставить его выделить главную компоненту, содержащуюся во входном потоке данных. По своему смыслу это будет выявление тех входов, на которых чаще всего входящие сигналы проявлялись совместно. Применительно к идентификационным волнам – это означает, что нейрон определит, какие волны обладают закономерностью появляться время от времени вместе, и настроит свои веса на узнавание этого сочетания. То есть, выделив такой фактор, нейрон станет проявлять вызванную активность, когда будет узнавать знакомое ему сочетание идентификаторов.

Таким образом, нейрон приобретет свойства нейрона-детектора, настроенного на определенное явление, детектируемое по своим признакам. При этом нейрон не просто будет срабатывать как датчик наличия (есть явление – нет явления), он будет уровнем своей активности сигнализировать о выраженности того фактора, на который он обучился. Интересно, что при этом не принципиальна природа синаптических сигналов. С одинаковым успехом нейрон может настраиваться на обработку волновых паттернов, паттернов топографической проекции или их совместную активность.

Надо отметить, что Хеббовское обучение, выделяющее первую главную компоненту, приведено чисто иллюстративно, чтобы показать, что локальное рецептивное поле любого нейрона коры содержит всю необходимую информацию для обучения его как универсального детектора. Реальные алгоритмы коллективного обучения нейронов, выделяющие множество разнообразных факторов, организованы несколько сложнее.

Стабильность – пластичность

Хеббовское обучение очень наглядно. Его удобно использовать для иллюстрации сути итерационного обучения. Если говорить только об активизирующих связях, то по мере того, как нейрон обучается, его веса настраиваются на определенный образ. Для линейного сумматора активность определяется:



Совпадение сигнала с образом, который выделяется на синаптических весах, вызывает сильный ответ нейрона, несовпадение – слабый. Обучая по Хеббу, мы усиливаем веса тех синапсов, на которые поступает сигнал в моменты, когда и сам нейрон активен, и ослабляем те веса, на которых в это время нет сигнала.

Чтобы избежать бесконечного роста весов, вводят нормирующую процедуру, которая держит их сумму в определенных границах. Такая логика приводит, например, к правилу Ойа:



Самое неприятное в стандартном Хеббовском обучении – это необходимость вводить коэффициент скорости обучения, который необходимо уменьшать по мере обучения нейрона. Дело в том, что если этого не делать, то нейрон, обучившись на какой-либо образ, затем, если характер подаваемых сигналов изменится, переобучится на выделение нового фактора, характерного для изменившегося потока данных. Уменьшение же скорости обучения, во-первых, естественно, замедляет процесс обучения, а во-вторых, требует не очевидных методов управления этим уменьшением. Неаккуратное обращение со скоростью обучения может привести к «одеревенению» всей сети и невосприимчивости к новым данным.

Все это известно как дилемма стабильности-пластичности. Желание реагировать на новый опыт грозит изменением весов ранее обученных нейронов, стабилизация же приводит к тому, что новый опыт перестает влиять на сеть и просто игнорируется. Приходится выбирать либо стабильность, либо пластичность. Чтобы понять, какие механизмы могут помочь в решении этой проблемы, вернемся к биологическим нейронам. Разберемся чуть подробнее с механизмами синаптической пластичности, то есть с тем, за счет чего происходит синаптическое обучение реальных нейронов.

Суть явления синаптической пластичности в том, что эффективность синаптической передачи не постоянна и может меняться в зависимости от паттерна текущей активности. Причем продолжительность этих изменений может сильно варьироваться и обуславливаться разными механизмами. Различают несколько форм пластичности (рисунок ниже).


Динамика изменения синаптической чувствительности. (A) – фасилитация, ( – усиление и депрессия, ( C) – посттетаническая потенция (D) – долговременная потенция и долговременная депрессия (Николлс Дж., Мартин Р., Валлас Б., Фукс П., 2003)

Короткий залп спайков может вызывать облегчение (фасилитацию) выделения медиатора из соответствующей пресинаптической терминали. Фасилитация появляется мгновенно, сохраняется во время залпа и существенно заметна еще около 100 миллисекунд после окончания стимуляции. То же короткое воздействие может привести к подавлению (депрессии) выделения медиатора, длящемуся несколько секунд. Фасилитация может перейти во вторую фазу (усиление), продолжительностью, аналогичной продолжительности депрессии.

Продолжительная высокочастотная серия импульсов обычно называется тетанусом. Название связано с тем, что подобная серия предшествует тетаническому мышечному сокращению. Поступление тетануса на синапс, может вызвать посттетаническую потенцию выделения медиатора, наблюдающуюся в течение нескольких минут.

Повторяющаяся активность может стать причиной долговременных изменений в синапсах. Одна из причин этих изменений – увеличение концентрации кальция в постсинаптической клетке. Сильное увеличение концентрации запускает каскады вторичных посредников, что ведет к образованию дополнительных рецепторов в постсинаптической мембране и общему увеличению чувствительности рецепторов. Более слабое увеличение концентрации дает обратный эффект – уменьшается количество рецепторов, падает их чувствительность. Первое состояние называется долговременной потенцией, второе – долговременной депрессией. Продолжительность таких изменений – от нескольких часов до нескольких дней (Николлс Дж., Мартин Р., Валлас Б., Фукс П., 2003).

То, как изменится чувствительность отдельного синапса в ответ на поступление внешних импульсов, произойдет ли усиление или наступит депрессия, определяется многими процессами. Можно предположить, что главным образом это зависит от того, как складывается общая картина возбуждения нейрона и в какой стадии обучения он находится.

Описанное поведение синаптической чувствительности позволяет далее предположить, что нейрон способен к следующим операциям:
достаточно быстро настраиваться на определенный образ – фасилитация;
сбрасывать эту настройку через интервал порядка 100 миллисекунд или переводить ее в более продолжительное удержание – усиление и депрессия;
сбрасывать состояние усиления и депрессии или переводить их в долговременную потенцию или долговременную депрессию.

Такая этапность обучения хорошо соотносится с концепцией, известной под названием «теория адаптивного резонанса». Эта теория была предложена Стефаном Гроссбергом (Grossberg, 1987), как путь решения дилеммы стабильности-пластичности. Суть этой теории в том, что поступающая информация делится на классы. Каждый класс имеет свой прототип – образ, наиболее точно соответствующий этому классу. Для новой информации определяется, принадлежит ли она к одному из существующих классов, либо она является уникальной, непохожей ни на что предыдущее. Если информация неуникальна, то она используется для уточнения прототипа класса. Если же это что-то принципиально новое, то создается новый класс, прототипом которого ложится этот образ. Такой подход позволяет, с одной стороны, создавать новые детекторы, а с другой стороны, не разрушать при этом уже созданные.



Сеть адаптивного резонанса АРТ

Практическая реализация этой теории – сети АРТ. Сначала сеть АРТ не знает ничего. Первый же поданный на нее образ создает новый класс. Сам образ копируется как прототип класса. Следующие образы сравниваются с существующими классами. Если образ оказывается близок к уже созданному классу, то есть вызывает резонанс, то происходит корректирующее обучение образа класса. Если же образ оказывается уникален и не похож ни на один из прототипов, то создается новый класс, при этом новый образ становится его прототипом.
Если предположить, что формирование нейронов детекторов в коре происходит схожим образом, то фазам синаптической пластичности можно дать следующее толкование:

нейрон, еще не получивший специализацию как детектор, но пришедший в активность за счет волновой активации, оперативно меняет веса своих синапсов, настраиваясь на картину активности своего рецептивного поля. Эти изменения носят характер фасилитации и продолжаются порядка одного такта волновой активности;
если оказалось, что в ближайшем окружении уже достаточно нейронов-детекторов, настроенных на такой стимул, то нейрон сбрасывается в исходное состояние, в противном случае его синапсы переходят в стадию более длительного удержания образа;
Если в течение стадии усиления выполнились определенные условия, то синапсы нейрона переходят в стадию долговременного хранения образа. Нейрон становится детектором соответствующего стимула.

А теперь попробуем немного систематизировать представление о процедурах обучения, уместных для искусственных нейронных сетей. Оттолкнемся от целей обучения. Будем полагать, что нам хочется в результате обучения получить нейроны-детекторы, удовлетворяющие двум основным требованиям:
чтобы с их помощью можно было достаточно полно и адекватно описывать все происходящее;
чтобы такое описание вычленяло основные закономерности, свойственные происходящим событиям.

Первое позволяет, запоминая, накопить информацию, не упустив при этом детали, которые впоследствии могут оказаться важными закономерностями. Второе обеспечивает наглядность тех факторов в описании, от которых может зависеть принятие решений.

Хорошо известен подход, основанный на оптимальном сжатии данных. Так, например, используя факторный анализ, мы можем получить главные компоненты, на долю которых приходится основная доля изменчивости. Оставив значения нескольких первых компонент и отбросив остальное, мы сможем значительно уменьшить длину описания. Кроме того, значения факторов расскажут нам о выраженности в описываемом событии тех явлений, которым эти факторы соответствуют. Но такое сжатие имеет и обратную сторону. Для реальных событий первые главные факторы объясняют в совокупности обычно лишь небольшой процент общей дисперсии. Каждый их малозначимых факторов хотя и уступает во много раз по величине первым факторам, но именно сумма этих малозначимых факторов отвечает за основную информацию.

Например, если взять несколько тысяч кинофильмов и получить их оценки, проставленные сотнями тысяч пользователей, то с такими данными можно провести факторный анализ. Наиболее значимыми окажутся первые четыре – пять факторов. Они будут соответствовать основным жанровым направлениям кинематографа: боевик, комедия, мелодрама, детектив, фантастика. Для российских пользователей кроме того выделится сильный фактор, описывающий наше старое советское кино. Выделенные факторы имеют простую интерпретацию. Если описать какой-либо фильм в пространстве этих факторов, то это описание будет состоять из коэффициентов, говорящих, насколько тот или иной фактор выражен в данном фильме. Каждый пользователь имеет определенные жанровые предпочтения, которые влияют на его оценку. Факторный анализ позволяет вычленить основные направления этого влияния и превратить их в факторы. Но оказывается, что первые значимые факторы объясняют всего около 25% дисперсии оценок. Все остальное приходится на тысячи остальных мелких факторов. То есть если мы попытаемся сжать описание фильма до его портрета в главных факторах, мы потеряем основной объем информации.

Кроме того, нельзя говорить о неважности факторов с малой объясняющей способностью. Так, если взять несколько фильмов одного режиссера, то их оценки, скорее всего, окажутся тесно коррелированы между собой. Соответствующий фактор будет объяснять существенный процент дисперсии оценок этих фильмов, но только этих. Это значит, что поскольку этот фактор не проявляется в других фильмах, то его объясняющий процент во всем объеме данных будет ничтожен. Но именно для данных фильмов он будет значительно важнее, чем первые главные компоненты. И так практически для всех малых факторов.

Рассуждения, приведенные для факторного анализа, можно переложить и на другие методы кодирования информации. Дэвид Филд в статье 1994 года «Какова цель сенсорного кодирования?» (Field, 1994) рассмотрел подобные вопросы относительно механизмов, свойственных мозгу. Он пришел к выводу, что мозг не занимается сжатием данных и не стремится к компактному виду данных. Мозгу более удобно их разряженное представление, когда имея для описания множество различных признаков, он одновременно использует только малую их часть (рисунок ниже).


Компактное кодирование (A) и экономное распределенное кодирование ( (Field, 1994)

И факторный анализ, и многие другие методы описания отталкиваются от поиска определенных закономерностей и выделения соответствующих факторов или признаков классов. Но часто встречаются наборы данных, где этот подход практически неприменим. Например, если мы возьмем положение часовой стрелки, то окажется, что у нее нет предпочтительных направлений. Она равномерно движется по циферблату, отсчитывая час за часом. Чтобы передать положение стрелки, нам не надо выделять какие-либо факторы, да они и не выделятся, а достаточно разбить циферблат на соответствующие секторы и пользоваться этим разбиением. Очень часть мозг имеет дело с данными, которые не подразумевают деления, учитывающего плотность распределения событий, а просто требуют введения какого-либо интервального описания. Собственно, принцип адаптивного резонанса и предлагает механизм создания такого интервального описания, способный работать даже тогда, когда пространство данных представляет собой достаточно равномерную распределенную среду.

Выделение главных компонент или фиксация прототипов адаптивного резонанса – это далеко не все методы, позволяющие нейронным сетям обучать нейроны-детекторы, удобные для формирования систем описания. Собственно, любой способ, который позволяет либо получить здравое деление на группы, либо выделить какую-либо закономерность, может использоваться нейронной сетью, воспроизводящей кору мозга. Очень похоже, что реальная кора эксплуатирует множество различных методов, не ограничиваясь теми, что мы привели для примера.

Пока мы говорили об обучении отдельных нейронов. Но основной информационный элемент в наших сетях — это паттерн нейронов, только он способен запустить собственную волну. Отдельный нейрон в поле не воин. В следующей части мы опишем как могут возникать и работать нейронные паттерны, соответствующие определенным явлениям.

Использованная литература

Продолжение

Предыдущие части:
Часть 1. Нейрон
Часть 2. Факторы
Часть 3. Персептрон, сверточные сети
Часть 4. Фоновая активность
Часть 5. Волны мозга
Часть 6. Система проекций
Часть 7. Интерфейс человек-компьютер

Алексей Редозубов (2014)

[Александр Вакуров]

11 марта в 14:32
Логика мышления. Часть 9. Паттерны нейронов-детекторов. Обратная проекция
Биоинформатика, Искусственный интеллект, Программирование*


Этот цикл статей описывает волновую модель мозга, серьезно отличающуюся от традиционных моделей. Настоятельно рекомендую тем, кто только присоединился, начинать чтение с первой части.

Продолжим разговор о нейронах-детекторах. Предположим, на зону коры посредством волновых туннелей проецируется некая информация. Каждый из проекционных пучков – это аксоны нейронов, расположенных на той зоне, которая эту информацию посылает. Проекция снимается с малого по площади участка коры. Волокна проекционного пучка, по сути, транслируют проходящие по этому участку волновые картины. То место принимающей коры, куда приходится проекция, само становится источником волн. Эти волны несут на принимающей зоне коры ту же информацию, что и волны на исходной зоне.

Если мы настроим веса какого-либо нейрона на узнавание определенного волнового узора, проходящего по его рецептивному полю, то мы превратим его в детектор, срабатывающий в тот момент, когда появляется характерное для него сочетание идентификаторов.

Если мы обучим несколько расположенных в относительной близости друг от друга нейронов детектировать одну и ту же волновую картину, то мы получим уже не одиночный нейрон-детектор, а детекторный паттерн. Реакция одного нейрона-детектора на характерный стимул – пакет импульсов вызванной активности. Реакция детекторного паттерна – это вызванная активность группы нейронов, образующих определенный узор. Естественно, что такой паттерн вызванной активности начнет обучать кору на распространение своего уникального идентификатора.



Получается, что когда зона коры получает описание, состоящее из определенных признаков, ее детекторные паттерны реагирует на знакомые им сочетания и порождают собственные волны, которые несут информацию о новых признаках, узнанных этой зоной. Таким образом, зона коры сначала обнаруживает статистические закономерности в поступающей на нее признаковой картине и формирует паттерны-детекторы, соответствующие этим закономерностям, а затем, получая описания в одних признаках, она генерирует собственное описание в тех признаках, что были выявлены ранее этой зоной.

Логику такого преобразования нейронных описаний можно сопоставить с логикой словесных описаний, что не удивительно, так как эти явления тесно связаны между собой. Предположим, мы видим различных зверей. Каждого из них мы можем описать набором признаков. Например, мы видим зверя с описанием: большой, коричневый, лохматый. Не зная, что это за зверь, мы можем так его и называть: большой-коричневый-лохматый. Само сочетание признаков образует идентификатор этого животного. Если этот зверь встречается нам часто, то мы можем зафиксировать закономерность того, что эти признаки встречаются совместно, и дать этому сочетанию собственное название, например — медведь. Далее мы можем оперировать понятием «медведь» как самостоятельным. При этом мы имеем возможность в случае необходимости восстановить по понятию «медведь» все его исходные признаки.

Говоря о реальном мире, удобно использовать термин «явление». Его удобство в его общности. Этот термин описывает не только предметы, но и происходящие с ними процессы. Любую воспринимаемую нами картину мы можем назвать явлением. Каждое явление, с которым мы сталкиваемся, порождает описание. Описание – это совокупность картины активности нейронов-детекторов, образующих паттерны, и порождаемых ими идентификационных волн.

Можно назвать паттерн нейронов-детекторов, срабатывающих на один образ, и соответствующую ему идентификационную волну понятием. Тогда можно говорить о том, что любое явление представляется мозгом, как набор описаний, состоящих из понятий. Для каждой зоны коры описание строится на своем наборе понятий.

Когда нейроны-детекторы выделяют какую-либо новую закономерность или фиксируют новое сочетание признаков так, что при этом образуется паттерн таких детекторов, которые способны порождать собственную уникальную волну, можно говорить о формировании нового понятия. Трактовкой этого понятия могут быть те события реального мира, которые создали такое сочетание признаков, и на которые теперь реагируют соответствующие нейроны.

Формирование паттернов. Обратная проекция

Паттерн нейронов-детекторов, настроенных на общий стимул, позволяет запустить собственную уникальную волну идентификатора. Это соответствует узнаванию образа и включению советующего понятия в описание происходящего. Чтобы идентификатор был уникальным, достаточно, чтобы нейроны-детекторы создавали свой узор, непохожий ни на один из волновых узоров, проходящих через их место расположения. Опишем простую модель, создающую такой паттерн.

Вернемся ненадолго к описанию механизмов нейронного взаимодействия. Основной путь передачи сигналов от одного нейрона к другому – это выброс из аксонной терминали передающего нейрона нейромедиаторов в синаптическую щель. На поверхности нейрона, принимающего сигнал, располагаются рецепторы, реагирующие на определенный нейромедиатор, являющийся для него лигандом. Часть рецепторов расположена в синапсах и отвечает за синаптическую передачу, часть за пределами синапсов и ответственна за волновую активность.

Нейромедиаторов существует достаточно много, включая нейроактивные пептиды, их насчитывается более полусотни. Наиболее распространенный активирующий нейротрансмиттер – глутамат, подавляющий – гамма-аминомасляная кислота (ГАМК). Способность активировать или подавлять не является свойством самого нейромедиатора, а определяется типом взаимодействующего с ним рецептора. Чтобы передача сигнала могла состояться, необходимо, чтобы нейромедиатор, выбрасываемый аксоном, и принимающие его рецепторы соответствовали друг другу.

До конца 80-х годов прошлого века считалось, что каждый нейрон выбрасывает один и тот же медиатор во всех терминалях своего аксона – «принцип Дейла». Но позже было показано, что существуют нейроны, использующие различные комбинации медиаторов.

Возьмем для моделирования нейроны двух гипотетических типов, работающие с одним медиатором, назовем его (A). Различие между типами нейронов будет в том, где у них будут располагаться рецепторы, чувствительные к общему медиатору (таблица ниже).
Синапсы
Вне синапсов
Аксон
Тип 1 -
A
А
Тип 2 A - АНейромедиаторные характеристики нейронов. Чувствительность рецепторов и выброс аксона

Нейроны первого типа не имеют в своих синапсах рецепторов, чувствительных к используемому медиатору. Но такие рецепторы есть у них на внесинаптической части мембраны. Это значит, что эти нейроны не способны к синаптическому обучению на картины активности, которые создаются нейронами, как первого, так и второго типа, но они способны обучаться на распространение волновой активности и быть передатчиками идентификационной волны.

Возьмем теперь зону коры, состоящую из нейронов обоих типов. Например, просто перемешаем их случайным образом. Наличие вкраплений нейронов второго типа никак не отразится на способности коры обучаться проводить волны идентификаторов, используя нейроны первого типа.

Предположим, что мы каким-то образом определили место на коре, где хотим создать детекторный паттерн.


Место, выбранное для обучения

Предположим, что мы решили все вопросы, связанные с обучением, и наша задача сейчас просто зафиксировать прототип. Сделаем это уже знакомым нам способом. Заставим нейроны второго типа, находящиеся в этой области и незанятые в обучении, поучаствовать в генерации случайных спайков. Установим вероятность спайка такой, чтобы получить столько активных нейронов, сколько нейронов-детекторов требуется нам в итоговом паттерне. Случайные спайки создадут уникальный узор из нейронов второго типа, локализованный в выбранной области.

Далее поступим в соответствии с принципом Хебба, используем активность нейронов второго типа как сигнал к их обучению. Изменим веса их синапсов в соответствии с наблюдаемой ими на их рецептивных полях волновой картиной. В результате мы получим паттерн нейронов-детекторов, настроенных на только что прошедший набор идентификаторов. Повторение волновой картины приведет к вызванной активации всех нейронов паттерна. Нейроны первого типа подхватят этот паттерн и превратят его в распространяющуюся волну нового идентификатора.

Мы получили очень простой, но замечательный результат. Определенное сочетание идентификаторов способно порождать свой собственный уникальный идентификатор.

Теперь несколько усложним модель. Добавим еще один медиатор ( и изменим характеристики нейронов (таблица ниже).
Синапсы
Вне синапсов
Аксон
Тип 1 B
A
А
Тип 2 A B BХарактеристики нейронов, использующих два медиатора. Чувствительность рецепторов и выброс аксона

Поведение такой конструкции будет значительно интереснее. Нейроны второго типа, создав детекторный паттерн, не смогут распространить волну от него через нейроны первого типа, так как их тип аксонного медиатора не совпадает с внесинаптической чувствительностью нейронов первого типа. Но зато эти нейроны смогут сами распространить волну своего идентификатора. При этом интересно то, что входная и выходная активность коры окажется разделена. Если мы где-нибудь в стороне создадим выходной волновой туннель из аксонов нейронов второго типа, то он не передаст всю волновую картину, состоящую, в том числе, из множества входных признаков, а оттранслирует далее только описание, состоящие из распознанных понятий.


Изменение описания на зоне коры. 1 – выбранный участок обучения, 2 – область, излучающая входной идентификатор, 3 – область выхода, 4 – входной волновой туннель, 5 – выходной волновой туннель, 6 – входная волна идентификатора, 7 – выходная волна идентификатора

Но это еще не все. В той же выбранной области мы можем провести синаптическое обучение нейронов первого типа. Для них сигналом к обучению будет собственная волновая активность. Так как мы задали чувствительность синапсов нейронов первого типа только к медиатору (, то картины, которые они воспримут – это узор того самого паттерна, что мы ранее обучили на нейронах второго типа. При этом сами нейроны-детекторы первого типа выстроятся в узор, повторяющий волну идентификаторов, которая прошла в момент обучения. Это значит, что если мы через встречный волновой туннель вернем на кору идентификатор понятия, обнаруженного ранее нейронами второго типа, то распространившись до выбранного места, он вызовет активность паттерна нейронов-детекторов первого типа. А так как эти нейроны повторяют узор фрагмента волны исходных идентификаторов, то их вызванная активность заставит распространиться по нейронам первого типа соответствующие идентификационные волны.

Таким образом, мы воспроизвели механизм обратной проекции. Кора в нашей модели способна транслировать информацию в обоих направлениях. В прямом направлении происходит интеграция признаков и изменение описания на более общее. В обратном направлении, получив соответствующий идентификатор, кора восстанавливает все соответствующие ему признаки и транслирует их вниз, если, конечно, есть соответствующая проекционная связь.

Мы получили достаточно простую конструкцию: в одну сторону – узнали понятие, в обратную сторону – восстановили признаки. Но эта простота двусторонней коммуникация является уникальным свойством для нейронных сетей. Традиционные сети идеологически однонаправленны, в них нельзя запустить сигнал «обратно по аксону» и этот недостаток не лечится никакими ухищрениями. При этом очевидно, что реальный мозг способен не только обобщать информацию, поднимая описание от уровня к уровню, делая его более абстрактным, но и транслировать описание обратно, превращая его в представляемые нами образы, внутреннюю речь, физические действия. Поэтому особенно радует, что наша конструкция позволяет достаточно естественно воспроизвести обратную проекцию, оставаясь в рамках механизмов, доступных и реальному мозгу.

Если заставить аксоны нейронов одного из типов генерировать сразу два медиатора, то мы получим распространение соответствующих идентификаторов сразу по двум слоям. Можно представить ситуации, где это окажется полезным. Вообще же комбинации медиаторов и рецепторов могут программировать самое неожиданное поведение коры. При этом приятно, что наша кора не требует никакой специальной топологической настройки. Нейроны образуют синаптические контакты со своим окружением, не заботясь о соблюдении каких-либо схем подключения. Очень похоже, что аналогичные архитектурные принципы свойственны и реальной коре.

Использованная литература

Продолжение

Предыдущие части:
Часть 1. Нейрон
Часть 2. Факторы
Часть 3. Персептрон, сверточные сети
Часть 4. Фоновая активность
Часть 5. Волны мозга
Часть 6. Система проекций
Часть 7. Интерфейс человек-компьютер
Часть 8. Выделение факторов в волновых сетях

Алексей Редозубов (2014)

[Александр Вакуров]

12 марта в 18:01
Логика мышления. Часть 10. Пространственная самоорганизация
Биоинформатика, Искусственный интеллект, Программирование*


Этот цикл статей описывает волновую модель мозга, серьезно отличающуюся от традиционных моделей. Настоятельно рекомендую тем, кто только присоединился, начинать чтение с первой части.

Мы исходим из того, что явления внешнего мира воздействуют на наши органы чувств, вызывая определенные потоки сигналов в нервных клетках. В процессе обучения кора приобретает способность детектировать определенные сочетания сигналов. Детекторами выступают нейроны, синаптические веса которых настраиваются на картины активности, соответствующие детектируемым явлениям. Нейроны коры следят за своим локальным окружением, образующим их локальное рецептивное поле. Информация на рецептивные поля нейронов поступает либо посредством топографической проекции, либо через распространение волн идентификаторов, несущих уникальные узоры, соответствующие уже выделенным признакам. Нейроны-детекторы, реагирующие на одно и то же сочетание признаков, образуют детекторные паттерны. Узоры этих паттернов определяют уникальные волны идентификаторов, которые эти паттерны запускают, приходя в состояние вызванной активности.



В 1952 году Алан Тьюринг опубликовал работу под названием «Химические основы морфогенеза» (Turing A. M., 1952), посвященную самоорганизации материи. Сформулированный им основной принцип гласил, что глобальный порядок определяется локальным взаимодействием. То есть, чтобы получить структурную организацию всей системы, необязательно иметь некий глобальный план, а можно ограничиться исключительно заданием правил близкого взаимодействия образующих систему элементов.

Обучение нейронов происходит не изолированно, а с учетом активности их окружения. Правила учета этой активности определяют самоорганизацию коры. Самоорганизация означает, что по ходу обучения не просто формируются детектирующие нейронные паттерны, а что эти паттерны выстраиваются в некие пространственные конструкции, имеющие свой определенный смысл.

Наиболее очевидный способ самоорганизации – это структурирование по степени близости. Можно обучать нейроны так, чтобы паттерны, соответствующие близким в некотором смысле понятиям, оказывались рядом и в пространстве коры. Позже мы увидим, что такое размещение окажется необходимым для реализации многих важных функций, свойственных мозгу. Пока же просто посмотрим на механизмы, которые могут обеспечить такую организацию.

Достаточно неоднозначный вопрос – как мерить близость понятий. Один подход связан с тем, что любое понятие можно сопоставить с неким описанием. Например, описанием события может быть вектор, компоненты которого показывают выраженность в событии определенных признаков. Набор признаков, в которых ведется описание, образует описательный базис. В таком случае, разумная мера близости – это близость описаний. Чем ближе описание двух явлений, тем более похожи друг на друга эти явления. В зависимости от задачи, которая далее решается с использованием меры близости, можно выбрать тот или иной алгоритм расчета. Мера близости тесно связана с понятием расстояния между объектами. Одно можно пересчитать в другое и наоборот.

Иной подход – это временная близость явлений. Если два явления происходят одновременно, но при этом имеют разные описания, то все равно можно говорить об их определенной близости. Чем чаще явления случаются совместно, тем сильнее может быть истолкована их близость.

На самом деле эти два подхода не противоречат, а взаимодополняют друг друга. Если два явления часто случаются совместно, то надо сделать вывод о наличии явления, которое является реализацией этой совместности. Это новое явление само может быть признаком, описывающим оба исходных явления. Теперь у этих явлений появилось общее в описании, а значит, и близость в описательном подходе. Будем называть близость, учитывающую одновременно и описательную и временную близость, обобщенной близостью.

Представьте, что вы разглядываете какой-либо предмет с разных сторон. Возможно, эти виды будут совершенно различны в описательном плане, но тем не менее нельзя отрицать их близость в некотором ином смысле. Временная близость – это возможное проявление этого иного смысла. Несколько позже мы значительно глубже разовьем эту тему, сейчас же просто отметим необходимость учитывать оба подхода при определении близости понятий.

Наиболее простая для понимания нейронная сеть, которая хорошо иллюстрирует самоорганизацию по степени описательной близости – это самоорганизующиеся карты Кохонена (рисунок ниже).



Пусть у нас есть входная информация, заданная вектором . Есть двумерная решетка из нейронов. Каждый нейрон связан с входным вектором , эта связь определяется набором весов . Вначале инициируем сеть случайными малыми весами. Подавая входной сигнал, для каждого нейрона можно определить его уровень активности как линейного сумматора. Возьмем нейрон, который покажет наибольшую активность, и назовем его нейроном-победителем. Далее сдвинем его веса в сторону образа, на который он оказался похож. Более того, проделаем аналогичную процедуру для всех его соседей. Будем ослаблять этот сдвиг по мере удаления от нейрона-победителя.



здесь – скорость обучения, которая падает со временем, — амплитуда топологической окрестности (зависимость от n предполагает, что она тоже со временем уменьшается).

Амплитуда окрестности может быть выбрана, например, Гауссовой функцией:



где – расстояние между корректируемым нейроном и нейроном-победителем .


Функция Гаусса

По мере обучения на такой самоорганизующейся карте будут выделяться зоны, соответствующие тому, как распределены обучающие образы. То есть сеть сама определит, когда во входном потоке встретятся похожие друг на друга картины, и создаст для них близкие представительства на карте. При этом, чем сильнее будут различаться образы, тем более обособленно друг от друга будут расположены и их представительства. В итоге, если соответствующим образом раскрасить результат обучения, то он будет выглядеть примерно так, как показано на рисунке ниже.


Результат обучения карты Коханена

Карты Коханена используют функцию амплитуды топологической окрестности, что предполагает, что нейроны кроме взаимодействия через синапсы могут обмениваться дополнительной информацией, говорящей о характере окружающей активности, и эта информация может влиять на ход их синаптического обучения. Необходимость в передаче дополнительной информации возникала несколько раньше и в нашей модели. Описывая обучение внесинаптических рецепторов, мы вводили правила, опирающиеся на знание нейронами окружающей активности определенного типа. Например, знание общего уровня активности позволяло нам принимать решения как о необходимости обучения, так и об отказе от него.

Чтобы оставаться при построении модели в рамках определенной биологической достоверности, попробуем показать, какие механизмы в реальной коре могут отвечать за расчет и передачу дополнительной незакодированной в сигналы аксонов информации.

Около 40 процентов объема мозга занимают глиальные клетки. Их общее количество где-то на порядок превосходит количество нейронов. Традиционно на глиальные клетки возлагается масса сервисных функций. Они создают объемный каркас, заполняя пространство между нейронами. Участвуют в поддержании гомеостаза среды. В процессе развития нервной системы задействованы для формирования топологии мозга. Шванновские клетки и олигодендроциты отвечают за миелинизацию крупных аксонов, что приводит к многократному ускорению передачи нервных импульсов.

Так как глиальные клетки не генерируют потенциалов действия, они не участвуют напрямую в информационном взаимодействии. Но это не значит, что они полностью лишены информационных функций. Например, плазматические астроциты располагаются в сером веществе и имеют многочисленные сильно ветвящиеся отростки. Эти отростки опоясывают окружающие синапсы и влияют на их работу (рисунок ниже).


Астроцит и синапс (Филдз, 2004)

Так, например, был описан следующий механизм (R. D. Fields, B. Stevens-Graham, 2002). Активация нейрона ведет к тому, что из его аксона высвобождаются молекулы АТФ. АТФ (аденозинтрифосфат) — нуклеотид, играющий исключительно важную роль во всем организме, основная его функция – обеспечение энергетических процессов. Но кроме этого АТФ способен выступать и как сигнальное вещество. Под его воздействием инициируется перемещение кальция внутрь астроцита. Это, в свою очередь, приводит к тому, что астроцит высвобождает собственный АТФ. В результате происходит передача такого состояния на соседние астроциты, которые передают его еще дальше. При этом поглощение кальция астроцитом ведет к тому, что он начинает влиять на синапсы, с которыми контактирует. Астроциты способны как усиливать реакцию синапса за счет выброса соответствующего медиатора, так и ослаблять ее за счет его поглощения или выброса связывающих нейромедиатор белков. Кроме того, астроциты способны выделять сигнальные молекулы, регулирующие выброс медиатора аксоном. Концепция передачи сигналов между нейронами, учитывающая влияние астроцитов, называется трехсторонним синапсом.

Такое взаимодействие астроцитов и нейронов не передает конкретных информационных образов, но оно очень хорошо подходит на роль механизма, обеспечивающего распространение «поля активности», которое может управлять обучением синапсов и таким образом задавать пространственные координаты для новых детекторных паттернов.

Кроме астроцитов на поведение синапсов влияет еще и межклеточный матрикс. Матрикс – это множество молекул, произведенных клетками мозга и заполняющих межклеточное пространство. В статье (Dityatev A., Schachner M., Sonderegger P., 2010) показано, что изменение состава матрикса влияет на характер синаптической пластичности, то есть на обучение нейронов.

Импульсная активность нейронов создает точечный пространственный узор, который динамично меняется, кодируя информационные потоки. Эта активность изменяет состояние окружающей глиальной среды и среды матрикса таким образом, что создается нечто наподобие поля обобщенной активности (рисунок ниже).


Точечная активность и поле активности

Поле активности, с одной стороны, размывает точечную активность, создавая область, простирающуюся за пределы активных нейронов, с другой стороны, обладает инерционностью и продолжает существовать какое-то время после прекращения импульсной активности.

Если внутри этого поля активности мы создадим детектор текущего подаваемого образа, то он окажется поблизости от похожих на него детекторов. При этом похожесть может оказаться как похожестью по рецептивному полю, так и похожестью, возникающей за счет совмещения событий по времени.

В реальном мозге лучше всего пространственная организация изучена для зоны первичной зрительной коры. За счет преобразований, начинающихся еще в сетчатке, на первичную кору поступает сигнал, в котором основная информация – это линии, описывающие контуры объектов на исходном изображении. Нейроны первичной зрительной коры видят, в основном, небольшие фрагменты этих линий, проходящие через их рецептивные поля. Неудивительно, что существенная часть нейронов этой зоны – это детекторы линий, идущих под различными углами.

Экспериментально выявлено, что нейроны, располагающиеся вертикально друг под другом, реагируют на один и тот же стимул. Группу таких нейронов принято называть кортикальной мини колонкой. Вернон Маунткасл (В. Маунткасл, Дж. Эдельман, 1981) выдвинул гипотезу, что для мозга кортикальная колонка – это основная структурная единица переработки информации.

Мы ранее, говоря о паттернах нейронов детекторов, изображали их группами нейронов, распределенных в некой локальной области. Это было следствием того, что при моделировании, и соответственно, подготовке картинок использовались плоские нейронные сети. Реальная кора трехмерна. Объемность коры не влияет на наши рассуждения о возникновении и распространении волн идентификаторов. В трехмерной коре волны распространяются точно также как и в плоской. Но в объемной коре ничто не мешает нам, расположить нейроны-детекторы, образующие единый паттерн, вертикально друг под другом. Такое расположение ни хуже и не лучше любых других. Главное требование к паттерну – это случайность его узора. Так как связи нейронов распределены случайным образом, то расположенные вертикально в одной кортикальной колонке нейроны вполне можно считать случайным паттерном. Такое вертикальное расположение достаточно удобно при определении места создания детекторного паттерна. Не надо определять локальную область, а достаточно указать позицию, в которой требуется создать паттерн. Выбор позиции может быть, например, там, где поле активности максимально для всех свободных колонок некой окрестности. Можно предположить, что кортикальные миниколонки реальной коры – это и есть детекторные паттерны, описываемые в нашей модели.

Для традиционных моделей коры, не учитывающих волновые сигналы, объяснение того, что все нейроны миниколонки реагируют на один и тот же стимул, представляет определенное затруднение. Приходится предполагать, что это либо дублирование для обеспечения отказоустойчивости, либо попытка собрать вместе нейроны, реагирующие на один стимул, но настроенные на его определение в разных позициях общего рецептивного поля. Последнее обыгрывалось в неокогнитроне через использование плоскостей простых клеток. Волновая модель позволяет взглянуть на это с иной стороны. Можно предположить, что задача кортикальной мини колонки – это, узнав характерный стимул, запустить соответствующий волновой идентификатор. Тогда несколько десятков нейронов, образующих мини колонку и реагирующих совместно, — это и есть механизм запуска волны, то есть детекторный паттерн.

Организация ориентационных колонок в реальной зрительной коре образует так называемые «волчки» («pinwheel»). Такой «волчок» (рисунок ниже () имеет центр, куда сходятся колонки разных ориентаций, и расходящиеся хвосты, для которых характерна плавность смены предпочитаемого стимула. Один волчок образует гиперколонку. Хвосты разных гиперколонок переходят друг в друга, образуя ориентационную карту коры (рисунок ниже (A)).


Распределение ориентационных колонок в реальной коре, полученное оптическим методом (Николлс Дж., Мартин Р., Валлас Б., Фукс П., 2003)

На примере зрительной коры удобно сравнить реальное распределение ориентационных колонок и результаты моделирования с использованием поля активности.

Будем подавать на фрагмент коры линии под различными углами. Активность нейронов-детекторов будем считать, как косинус угла между поданным образом и образом на детекторе.



Нейрон с индексом имеет координаты на коре . Значение поля активности от нейрона в точке с координатами можно представить, например, через Гауссово распределение:



В каждой точке коры итоговое значение поля активности можно записать:



Будем размещать новые детекторы в такой свободной позиции, для которой значение максимально. Результат такого обучения показан на рисунке ниже.


Результат обучения детекторов (слева), поле активности (справа)

Как видно, результат моделирования очень похож на реальное распределение. Но надо отметить, что приведенный пример очень условен. В реальной коре каждая колонка несколько смещена относительно соседей и следит за немного другим фрагментом изображения. Это создает «хвосты» из детекторов, настроенных на одну ориентацию. Но при этом стимулы таких детекторов – это разные образы, основанные на разных рецептивных полях.

Пространственную самоорганизацию коры можно сопоставить с самоорганизацией материи в окружающем нас мире. Атомы, молекулы, предметы, планеты, звезды, галактики, вселенная – все это следствие существования четырех фундаментальных взаимодействий. Принято говорить о гравитационном, электромагнитном, сильном и слабом взаимодействии. Частицы материи создают вокруг себя поля, соответствующие взаимодействиям. Однотипные поля суммируются и формируют результирующее поле. Результирующие поля оказывают влияние на частицы, определяя их поведение. Где-то так же обстоит дело и с мозгом. Похоже, что кора может создавать несколько типов полей, обладающих разными свойствами. Каждое из полей оказывает свое воздействие на поведение нейронов. Совокупность этих взаимодействий, например, может определять алгоритм обучения синапсов и тем самым пространственную организацию нейронов-детекторов.

Нетрудно заметить, что пространственная группировка по обобщенной близости содержит внутреннее противоречие. В связи с этим вспоминается анекдот. Решил как-то лев поделить зверей на красивых и умных. И вот стоит растерянная обезьяна: «И что мне теперь, разорваться?». Сложности возникают, когда размещаемое понятие оказывается близко к другим, удаленным друг от друга понятиям. Например, если мы раскладываем книги по полкам библиотеки, то нам одновременно хочется сгруппировать их и по жанрам, и по авторам, и по языку оригинала, и по читательскому рейтингу. Но если книга только одна, то возникает определенная проблема.

В процессе самоорганизации коры может оказаться, что одно и то же понятие близко в обобщенном смысле сразу к нескольким другим, расположенным в разных местах коры. Не имеет смысла размещать детекторный паттерн компромиссно, пытаясь найти некое равноудаленное место. Во-первых, такого места может не быть, а во-вторых, это полностью нарушит принцип «похожее рядом». Не остается ничего другого, как создать несколько детекторных паттернов, каждый поблизости от своего локального максимума поля активности.

На первый взгляд, дублирование одного и того же понятия в разных местах выглядит некрасиво. Работая с информацией, всегда хочется прийти к ее интеграции, а не распылению. Но наша модель нейронной сети позволяет достаточно изящно снять возникшие противоречия. Каждый из детекторных паттернов, хотя и создается в разных местах коры, обучается на одну и ту же волну идентификаторов. При этом, если брать двухуровневую конструкцию, один из уровней фиксирует на себе фрагмент узора волны общего идентификатора. Это означает, что разбросанные по разным местам детекторные паттерны оказываются связаны между собой в единое понятие с общим идентификатором.

Такое поведение понятий – следствие задекларированного ранее дуализма. Понятие – это одновременно и паттерн и волна. Паттерны порождают волну, волна активирует паттерны. Пространственное положение паттернов, относящихся к одному понятию, характеризует понятие через его близость к другим понятиям. Положение паттернов на коре, по сути, очень многое говорит о свойствах и характеристиках соответствующего явления. Но если в картах Кохонена одному понятию соответствует одна область, как получается из парадигмы «победитель забирает все», то в нашей модели удается не только дать более богатое описание, но за счет дуализма еще и сохранить единство составляющих.

Самоорганизация по принципу «похожее рядом» не является для коры самоцелью. Позже мы покажем, что важнейшие для работы мозга алгоритмы требуют именно такой организации и практически нереализуемы вне ее.

А теперь не совсем банальная физическая аналогия. Основная идея квантовой физики заключается в том, что квантовая система может находиться не в любых возможных состояниях, а только в некоторых, допустимых для нее. При этом квантовая система не принимает никакого определенного значения, пока не произойдет измерение. Только в результате измерения система переходит в одно из разрешенных ей состояний. Под измерением понимается любое внешнее взаимодействие, которое заставляет квантовую систему проявить себя.

В квантовой физике вводится комплекснозначная функция, описывающая чистое состояние объекта, которая называется волновой функцией. В наиболее распространенной копенгагенской интерпретации эта функция связана с вероятностью обнаружения объекта в одном из чистых состояний (квадрат модуля волновой функции представляет собой плотность вероятности). Гамильтоновой системой называется динамическая система, описывающей физические процессы без диссипации. Пока квантовая система не вступит во взаимодействие, она является гамильтоновой. Описать поведение такой системы во времени и пространстве можно, описав эволюцию ее волновой функции. Эта эволюция определяется уравнением Шредингера.



где – гамильтониан – оператор полной энергии системы. Его спектр – это множество возможных состояний, в которых система может оказаться после измерения.

Когда происходит измерение, квантовая система принимает одно из разрешенных состояний. Это называется редукцией или коллапсом волновой функции. В процессе измерения система перестает быть изолированной, и ее энергия может не сохраняться, так как происходит обмен энергией с прибором.

Какое состояние примет квантовая система в момент измерения – дело случая. Но вероятность выбора каждого из состояний не одинакова, она определяется связанным с этим состоянием значением волновой функции.

В нашей модели детекторные паттерны создаются в позициях коры, где наблюдается описательная или временная близость нового понятия и понятий уже существующих. Тем самым формируется набор мест, описывающих вероятность проявления понятия в той или иной ситуации. Это можно сравнить со спектром гамильтониана полной энергии квантовой системы. Распространение волн идентификаторов можно сопоставить с эволюцией волновой функции. Описание, которое несет идентификатор, переходит в активность паттернов. Далее мы покажем, что при этом активируются не все паттерны, а только те, что могут описать непротиворечивую картину, соответствующую контексту происходящего. В этот момент наша система переходит в одно из возможных разрешенных состояний, что сильно напоминает коллапс волновой функции.

Использованная литература

Продолжение

Предыдущие части:
Часть 1. Нейрон
Часть 2. Факторы
Часть 3. Персептрон, сверточные сети
Часть 4. Фоновая активность
Часть 5. Волны мозга
Часть 6. Система проекций
Часть 7. Интерфейс человек-компьютер
Часть 8. Выделение факторов в волновых сетях
Часть 9. Паттерны нейронов-детекторов. Обратная проекция

Алексей Редозубов (2014)
искусственный интеллект

[Александр Вакуров]

17 марта в 23:37
Логика мышления. Часть 11. Динамические нейронные сети. Ассоциативность
Биоинформатика, Искусственный интеллект, Робототехника


Этот цикл статей описывает волновую модель мозга, серьезно отличающуюся от традиционных моделей. Настоятельно рекомендую тем, кто только присоединился, начинать чтение с первой части.

Наиболее просты для понимания и моделирования нейронные сети, в которых информация последовательно распространяется от слоя к слою. Подав сигнал на вход, можно так же последовательно рассчитать состояние каждого из слоев. Эти состояния можно трактовать как набор описаний входного сигнала. Пока не изменится входной сигнал, останется неизменным и его описание.

Более сложная ситуация возникает, если ввести в нейронную сеть обратные связи. Чтобы рассчитать состояние такой сети, уже недостаточно одного прохода. Как только мы изменим состояние сети в соответствии с входным сигналом, обратные связи изменят входную картину, что потребует нового пересчета состояния всей сети, и так далее.

Идеология рекуррентной сети зависит от того, как соотносится задержка обратной связи и интервал смены образов. Если задержка много меньше интервала смены, то нас, скорее всего, интересуют только конечные равновесные состояния, и промежуточные итерации стоит воспринимать, как исключительно расчетную процедуру. Если же они сопоставимы, то на первый план выходит именно динамика сети.



Ф. Розенблатт описал многослойные персептроны с перекрестными связями и показал, что они могут быть использованы для моделирования избирательного внимания и воспроизведения последовательности реакций (Rosenblatt, Principles of Neurodynamic: Perceptrons and the Theory of Brain Mechanisms, 1962).

В 1982 году Джон Хопфилд предложил конструкцию нейронной сети с обратными связями такую, что ее состояние может быть определено, исходя из расчета минимума функционала энергии (Hopfield, 1982). Оказалось, что сети Хопфилда обладают замечательным свойством – они могут использоваться как память, адресуемая по содержанию.


Сеть Хопфилда

Сигналы в сети Хопфилда принимают спиновые значения {-1,1}. Обучение сети – это запоминание нескольких образов . Запоминание происходит за счет настройки весов так, чтобы:



Что приводит к алгоритму, который простым неитерационным расчетом позволяет определить параметры сети:



где – матрица, составленная из весов нейронов, а – количество запоминаемых образов. Диагональ матрицы полагается нулевой, что означает отсутствие влияния нейронов на самих себя. Веса, заданные таким образом, определяют устойчивые состояния сети, соответствующие запомненным векторам.

Функция активации нейронов имеет вид:


Входной образ присваивается сети, как начальное приближение. Затем начинается итерационная процедура, которая, если повезет, сходится к устойчивому состоянию. Таким устойчивым состоянием, скорее всего, будет один из запомненных образов. Причем это будет образ, наиболее похожий на входной сигнал. Другими словами, образ ассоциативно с ним связанный.

Можно ввести понятие энергии сети, как:



где – количество используемых нейронов. Каждому запомненному образу в таком случае будет соответствовать локальный энергетический минимум.

Хотя сети Хопфилда и очень просты, они иллюстрирует три фундаментальных свойства мозга. Первое – это существование мозга в динамике, когда любые внешние или внутренние возмущения заставляют покинуть состояние текущего локального минимума энергии и перейти к динамическому поиску нового. Второе – это способность прийти к квазиустойчивому состоянию, определяемому предыдущей памятью. Третье – ассоциативность переходов, когда в смене описательных состояний постоянно прослеживается определенная обобщенная близость.

Как и сети Хопфилда, наша модель изначально динамична. Она не может существовать в статичном состоянии. Любая волна существует только в движении. Вызванная активность нейронов запускает волны идентификаторов. Эти волны вызывают активность паттернов, узнавших знакомые волновые сочетания. Паттерны запускают новые волны. И так без остановки.

Но динамика наших сетей принципиально отличается от динамики сетей Хопфилда. В традиционных сетях динамика сводится к итерационной процедуре схождения состояния сети к устойчивому состоянию. У нас же динамика сродни тем процессам, что протекают в алгоритмических компьютерах.

Волновое распространение информации – это механизм передачи данных. Динамика этой передачи – это не динамика итерационного схождения, а динамика пространственного распространения идентификационной волны. Каждый цикл распространения информационной волны меняет картину вызванной активности нейронов. Переход коры в новое состояние означает смену текущего описания и соответственно смену картины нашей мысли. Динамика этих изменений опять же не является некой итерационной процедурой, а формирует последовательность образов нашего восприятия и мышления.

Наша волновая модель значительно сложнее, чем простая динамическая сеть. Позже мы опишем достаточно много небанальных механизмов, регулирующих ее работу. Не удивительно, что и представление об ассоциативности в нашем случае оказывается сложнее, чем ассоциативность в сетях Хопфилда, и скорее напоминает концепции, свойственные компьютерным моделям представления данных.

В программировании под ассоциативностью понимается способность системы искать данные, похожие на образец. Например, если мы обращаемся к базе данных, указывая критерии запроса, то, по сути, мы хотим получить все элементы, похожие на образец, описываемый этим запросом.

На компьютере решить задачу ассоциативного поиска можно простым перебором с проверкой всех данных на соответствие критериям поиска. Но полный перебор трудоемок, гораздо быстрее поиск осуществляется, если данные заранее подготовлены так, что позволяют быстро формировать выборки, удовлетворяющие определенным критериям. Например, поиск в адресной книге можно значительно ускорить, если создать оглавление по первой букве.

Подготовленная должным образом память называется ассоциативной. Практическая реализация ассоциативности может использовать таблицы индексов, хэш-адресацию, бинарные деревья и тому подобные инструменты.

Независимо от реализации, ассоциативный поиск требует задания критериев похожести или близости. Как мы уже говорили, основные виды близости – это близость по описанию, близость по совместному проявлению и близость по общему явлению. Первая говорит о похожести по форме, остальные о сходстве по некой сути. Это напоминает поиск товара в Интернет-магазине. Если вы введете название, то получите список товаров, названия которых будут близки к заданному. Но кроме этого вы, скорее всего, получите еще один список, который будет называться, что-то вроде: «те, кто ищут этот товар, часто обращают внимание на…». При этом элементы второго списка могут по своим описаниям никак не походить на описание, сформулированное исходным запросом.

Посмотрим, как рассуждения об ассоциативности применимы к понятиям, используемым в нашей модели. Понятие у нас – это набор паттернов нейронов-детекторов, настроенных на один и тот же образ. Очень похоже, что одному паттерну соответствует отдельная кортикальная миниколонка. Образ – это определенное сочетание сигналов на рецептивном поле нейронов. На сенсорных зонах коры образ может быть сформирован сигналами топографической проекции. На более высоких уровнях образ – это узор активности, возникающий вокруг нейрона, при прохождении мимо него волны идентификаторов.

Для перехода нейрона в состояние вызванной активности требуется чтобы образ достаточно точно совпал с картиной весов на его синапсах. Так если нейрон настроен на детектирование определенного сочетания понятий, то волновой идентификатор должен содержать существенную часть идентификаторов каждого из них.

Срабатывание нейрона, когда повторяется большая часть понятий, составляющих его характерный стимул, называется узнаванием. Узнавание и связанная с ним вызванная активность не дают обобщенной ассоциативности. В таком режиме нейрон не реагирует ни на понятия, имеющие временную близость, ни на понятия, хотя и входящие в описание характерного для нейрона стимула, но встретившиеся отдельно от остального описания.

Нейроны, которые мы используем в нашей модели, и которые мы сравниваем с реальными нейронами мозга, способны хранить информацию не только за счет изменения синаптических весов, но и благодаря изменениям в метаботропных рецептивных кластерах. За счет последних нейроны способны запоминать фрагменты картин окружающей активности. Повторение такой запомненной картины не ведет к появлению вызванной активности нейрона, состоящей из серии импульсов, а вызывает единичный спайк. Запомнит или нет нейрон что-либо таким образом определяется рядом факторов один из которых — изменение мембранного потенциала этого нейрона. Увеличение мембранного потенциала вызывает расхождение расщепленных концов метаботропных рецепторов, что заставляет их обрести необходимую для запоминания чувствительность.

Когда нейрон узнает характерный образ и переходит в состояние вызванной активности, его мембранный потенциал существенно повышается, что дает ему возможность запоминать на внесинаптической части мембраны окружающие его картины активности.

Можно предположить, что в момент вызванной активности нейрон запоминает все окружающие его волновые узоры. Такая операция имеет вполне определенный смысл. Предположим, что мы имеем полное описание происходящего, складывающееся из большого числа понятий. Часть из них позволит нейрону узнать то понятие, детектором которого является его паттерн (миниколонка). Узнавание обеспечит этому понятию участие в общем описании. При этом на нейронах, ответственных за само понятие зафиксируется, какие еще понятия входили в полную описательную картину.

Эта фиксация произойдет на всех нейронах, составляющих наш детекторный паттерн (миниколонку). Регулярное повторение такой процедуры приведет к накоплению на поверхности нейронов-детекторов рецептивных кластеров, чувствительных к определенным сочетаниям идентификаторов.

Можно предположить, что чем чаще какое-либо понятие будет встречаться совместно с активностью детекторного паттерна, тем выше будет вероятность того, что его самостоятельное появление будет определяться внесинаптическими рецепторами и вызывать единичный спайк. То есть если между понятиями присутствует совместность в проявлении, то нейроны одного понятия будут реагировать одиночным спайком, когда в волновом описании будет появляться другое ассоциативно связанное с ним понятие.

Одновременный одиночный спайк нейронов одного детекторного паттерна – это основание для запуска соответствующей идентификационной волны. Получается, что задав одно понятие и распространив его волновой идентификатор можно получить в волновом описании набор понятий, ассоциативно с ним связанных. Это можно сопоставить с тем, как база данных по запросу выдает список всех записей, попадающих под критерии этого запроса. Получив список от базы данных, мы используем дополнительные алгоритмы, чтобы продолжить работу с этим списком. Аналогично можно представить и работу мозга. Получение доступа к ассоциациям – это только один из этапов его работы. На активность нейронов можно наложить дополнительные ограничения, которые позволят только части ассоциаций пробиться в волновое описание. Суть этих дополнительных ограничений во многом и определяет информационные процедуры, свойственные мышлению.

Использованная литература

Продолжение

Предыдущие части:
Часть 1. Нейрон
Часть 2. Факторы
Часть 3. Персептрон, сверточные сети
Часть 4. Фоновая активность
Часть 5. Волны мозга
Часть 6. Система проекций
Часть 7. Интерфейс человек-компьютер
Часть 8. Выделение факторов в волновых сетях
Часть 9. Паттерны нейронов-детекторов. Обратная проекция
Часть 10. Пространственная самоорганизация

Алексей Редозубов (2014)
искусственный интеллект

[Александр Вакуров]

18 марта в 21:09
Логика мышления. Часть 12. Следы памяти
Биоинформатика, Искусственный интеллект, Робототехника


Этот цикл статей описывает волновую модель мозга, серьезно отличающуюся от традиционных моделей. Настоятельно рекомендую тем, кто только присоединился, начинать чтение с первой части.

Энграммой называют те изменения, что происходят с мозгом в момент запоминания. Другими словами, энграмма – это след памяти. Вполне естественно, что понимание природы энграмм воспринимается всеми исследователями как ключевая задача в изучении природы мышления.

В чем сложность этой задачи? Если взять обычную книгу или внешний компьютерный накопитель, то и то и другое можно назвать памятью. И то и другое хранит информацию. Но мало хранить. Чтобы информация стала полезной, надо уметь ее считывать и знать, как ей оперировать. И тут оказывается, что сама форма хранения информации тесно связана с принципами ее обработки. Одно во многом определяет другое.



Человеческая память – это не просто способность хранить большой набор разнообразных образов, но еще и инструмент, позволяющий быстро найти и воспроизвести уместное воспоминание. При этом кроме ассоциативного доступа к произвольным фрагментам нашей памяти мы умеем связывать воспоминания в хронологические цепочки, воспроизводя не единичный образ, а последовательность событий.

Уайлдер Грейвс Пенфилд получил заслуженное признание за свой вклад в изучение функций коры. Занимаясь лечением эпилепсий, он разработал методику операций на открытом мозге, по ходу которых использовалась электростимуляция, позволяющая уточнить эпилептический очаг. Возбуждая электродом различные участки мозга, Пенфилд фиксировал реакцию находящихся в сознании пациентов. Это позволило получить подробное представление о функциональной организации коры головного мозга (Пенфилд, 1950). Стимулирование некоторых зон, в основном височных долей, вызывало у пациентов яркие воспоминания, в которых прошедшие события всплывали в мельчайших подробностях. Причем повторное стимулирование одних и тех же мест вызывало одни и те же воспоминания.

Выявленная Панфилом четкая локализация в коре многих функций настроила на поиски таких же четко локализованных следов памяти. Кроме того, появление компьютеров и соответственно представления о том, как организованы физические носители компьютерной информации, стимулировали поиск чего-то похожего в структурах мозга.

В 1969 году Джерри Летвин сказал: «Если мозг человека состоит из специализированных нейронов, и они кодируют уникальные свойства различных объектов, то, в принципе, где-то в мозге должен быть нейрон, с помощью которого мы узнаем и помним свою бабушку». Формулировка «нейрон бабушки» закрепилась и часто всплывает, когда заходит разговор об устройстве памяти. Более того, нашлись и прямые экспериментальные подтверждения. Были обнаружены нейроны, реагирующие на определенные образы, например, четко узнающие конкретного человека или конкретное явление. Правда, при более детальных исследованиях оказалось, что обнаруженные «специализированные» нейроны реагируют не только на что-то одно, а на группы в некотором смысле близких образов. Так, выяснилось, что нейрон, реагировавший на Дженнифер Энистон, так же реагировал и на Лизу Кудроу, снимавшуюся вместе с Энистон в телесериале «Друзья», а нейрон, узнававший Люка Скайуокера, узнавал и мастера Йоду (Р. К. Квирога, К. Кох, И. Фрид, 2013).

Еще в первой половине двадцатого века Карл Лэшли поставил очень интересные опыты по локализации памяти. Сначала он обучал крыс находить выход в лабиринте, а затем удалял им различные части мозга и снова запускал в лабиринт. Так он пытался найти ту часть мозга, которая отвечает за память о полученном навыке. Но оказалось, что память в той или иной мере сохранялась всегда, несмотря на временами значительные нарушения моторики. Эти опыты вдохновили Карла Прибрама сформулировать ставшую широко известной и популярной теорию голографической памяти (Прибрам, 1971).

Принципы голографии, как и сам термин, придумал в 1947 году Денеш Габор, который получил за это Нобелевскую премию по физике 1971 года. Суть голографии в следующем. Если иметь источник света со стабильной частотой, то разделив его посредством полупрозрачного зеркала на два, мы получим два когерентных световых потока. Один поток можно направить на объект, а второй на фотографическую пластину.


Создание голограммы

В результате, когда отраженный от объекта свет достигнет фотографической пластины, он создаст с освещающим пластину потоком интерференционную картину.

Интерференционная картина, отпечатавшись на фотопластинке, сохранит информацию не только об амплитудных, но и о фазовых характеристиках светового поля, отраженного объектом. Теперь, если осветить ранее экспонированную пластину, то восстановится исходный световой поток, и мы увидим запомненный объект во всем его объеме.


Воспроизведение голограммы

Голограмма имеет несколько удивительных свойств. Во-первых, световой поток сохраняет объем, то есть, разглядывая фантомный объект под разными углами, можно увидеть его с разных сторон. Во-вторых, каждый участок голограммы содержит в себе информацию обо всем световом поле. Так, если мы разрежем голограмму пополам, то сначала мы увидим только половину объекта. Но если мы наклоним голову, то за краем оставшейся голограммы мы сможем разглядеть вторую «обрезанную» часть. Да, чем меньше фрагмент голограммы, тем ниже ее разрешающая способность. Но даже через маленький участок можно, как через замочную скважину, рассмотреть все изображение. Интересно, что если на голограмме будет лупа, то через нее можно будет рассматривать с увеличением другие запечатленные там объекты.

Применительно к памяти Прибрам сформулировал: «Сущность голографической концепции состоит в том, что образы восстанавливаются, когда их представительства в виде систем с распределенной информацией соответствующим образом приводятся в активное состояние» (Прибрам, 1971).

Упоминание о голографических свойствах памяти можно встретить в двух контекстах. С одной стороны, называя память голографической, подчеркивают ее распределенный характер и способность восстанавливать образы, используя только часть нейронов, подобно тому, как это происходит с фрагментами голограммы. С другой стороны, предполагают, что память, обладающая похожими на голограмму свойствами, опирается на те же физические принципы. Последнее означает, что поскольку в основе голографии лежит фиксация интерференционной картины световых потоков, то память, видимо, каким-то образом использует интерференционную картину, возникающую в результате импульсного кодирования информации. Ритмы мозга хорошо известны, а там, где колебания там и волны, а, следовательно, неизбежна и их интерференция. А значит, физическая аналогия выглядит вполне уместной и привлекательной.

Но интерференция штука тонкая, небольшие изменения частоты или фазы сигналов должны полностью менять ее картину. Однако мозг успешно работает и при существенной вариации его ритмов. Кроме того, попытки затруднить распространение электрической активности рассечением его участков и помещением слюды в места разрезов, накладыванием полосок золотой фольги для создания замыкания, созданием эпилептических очагов посредством инъекций алюминиевой пасты не нарушают слишком уж паталогически деятельность мозга (Прибрам, 1971).

Говоря о памяти, невозможно обойти стороной известные факты о связи памяти и гиппокампа. В 1953 году пациенту, которого принято называть H.M. (Henry Molaison), хирург удалил гиппокамп (W. Scoviille, B. Milner, 1957). Это была рискованная попытка вылечить сильную эпилепсию. Было известно, что удаление гиппокампа одного из полушарий действительно помогает при этой болезни. Учитывая исключительную силу эпилепсии у H.M., врач удалил гиппокамп с обеих сторон. В результате у H.M. полностью исчезла способность что-либо запоминать. Он помнил, что было с ним до операции, но все новое вылетало у него из головы, как только переключалось его внимание.


Henry Molaison

H.M. долго исследовался. По ходу этих исследований было проведено бесчисленное количество разных опытов. Один из них оказался особенно интересен. Пациенту предложили обвести пятиконечную звезду, глядя на нее в зеркало. Это не очень простое задание, вызывающее затруднение при отсутствии должного навыка. Задание давалось H.M. неоднократно и каждый раз он воспринимал его, как увиденное впервые. Но интересно, что с каждым разом выполнение задания давалось ему все легче и легче. Он сам при повторных опытах отмечал, что ожидал, что это окажется значительно сложнее.


Гиппокамп одного из полушарий

Кроме того, оказалось, что определенная память на события все-таки была присуща H.M. Так, например, он знал об убийстве Кеннеди, хотя оно и произошло уже после удаления у него гиппокампа.

Из этих фактов был сделан вывод, что существует как минимум два различных типа памяти. Один тип отвечает за фиксацию конкретных воспоминаний, а другой ответственен за получение некого обобщенного опыта, что выражается в знании распространенных фактов или приобретении определенных навыков.

Случай H.M. достаточно уникален. В других ситуациях, связанных с удалением гиппокампа, где не было такого полного двустороннего повреждения, как у H.M., нарушения памяти либо были не столь ярко выражены, либо отсутствовали вовсе (W. Scoviille, B. Milner, 1957).

Попробуем теперь сопоставить все описанное с нашей моделью. Мы показали, что устойчивые повторяющиеся явления формируют паттерны нейронов детекторов. Эти паттерны способны узнавать характерные для них сочетание признаков, и добавлять в волновую картину новые идентификаторы. Мы показали, как может происходить обратное воспроизведение признаков по идентификатору понятия. Это можно сопоставить с памятью об обобщенном опыте.

Но такая обобщенная память не позволяет воссоздать конкретные события. Если одно и то же явление повторяется в разных ситуациях, мы в нашей нейронной сети просто получаем ассоциативные связи между понятием, соответствующим явлению, и понятиями, описывающими эти обстоятельства. Используя эту ассоциативность, можно создать абстрактное описание, состоящее из понятий, встречающихся совместно. Задача же событийной памяти – это не воспроизвести некую абстрактную картину, а воссоздать именно запомненную ранее ситуацию, описывающую конкретное событие со всеми только ему характерными уникальными особенностями.

Сложность собственно в том, что в нашей модели нигде нет такого места, где бы локализовалось полное и исчерпывающее описание происходящего. Полное описание складывается из множества описаний, активных на отдельных зонах коры. Каждая из зон имеет волновое описание в понятиях, которые свойственны именно этому участку мозга. И если мы даже как-то запомним, что происходит на каждой из зон в отдельности, эти описания будет необходимо еще увязать между собой так, чтобы возник целостный образ.

Аналогичная ситуация возникает, когда мы имеем топографическую проекцию и нейроны с локальными рецептивными полями. Предположим, что у нас есть нейронная сеть, состоящая из двух плоских слоев (рисунок ниже). Допустим, что состояние нейронов первого слоя образует определенную картинку. Эта картинка через проекционные волокна передается на второй слой. Нейроны второго слоя имеют синаптические связи с теми волокнами, которые попадают в границы их рецептивных полей. Таким образом, каждый из нейронов второго слоя видит только маленький фрагмент исходной картинки первого слоя.


Топографическая проекция образа на локальные рецептивные поля

Есть очевидный способ, как запомнить на втором слое подаваемую картинку. Надо выбрать такой набор нейронов, чтобы их рецептивные поля полностью покрывали проецируемый образ. Запомнить на каждом из нейронов свой фрагмент изображения. А чтобы воспоминание приобрело связанность – пометить все эти нейроны общим маркером, указывающим на их принадлежность к одному набору.

Такое запоминание очень просто, но крайне расточительно по количеству задействованных нейронов. Каждая новая картинка будет требовать новый распределенный набор элементов памяти.

Получить экономию можно, если окажется, что у разных изображений повторяются какие-либо общие фрагменты, тогда можно не заставлять новый нейрон запоминать такой фрагмент, а воспользоваться уже существующим нейроном, просто добавив ему еще один маркер, теперь уже от новой картинки.

Таким образом, мы приходим к основной идее распределенного запоминания. Опишем ее сначала для картинки и топографической проекции.

Будем подавать на первую зону различные изображения и проецировать их на вторую зону. Если мы сделаем рецептивные поля нейронов достаточно малыми, то количество уникальных картинок в каждой локальной области окажется не столь велико. Мы можем так подобрать размеры рецептивного поля, чтобы в область, размеры которой будут приблизительно совпадать с размером рецептивного поля нейронов, поместились все уникальные варианты локальных изображений.

Создадим пространственные области, содержащие нейроны-детекторы. Сделаем так, чтобы каждая область содержала детекторы всех возможных уникальных образов и чтобы такие области покрывали все пространство второй зоны. Для этого мы можем воспользоваться описанными ранее принципами выделения наборов факторов.

Задача детекторов – сравнивать подаваемые на их рецептивные поля образы с образами, характерными для них. Для такого сравнения образов можно использовать свертку по рецептивному полю R:



Отклик нейрона будет тем выше, чем больше новый образ покрывает образ запомненный. Если нас интересует не степень покрытия, а уровень совпадения образов, то можно воспользоваться корреляцией образов, которая есть не что иное, как нормированная свертка:



Кстати, это же значение является косинусом угла, образованного вектором образа и вектором весов:



В результате, в каждой локальной группе детекторов при подаче новой картинки будут срабатывать нейроны-детекторы, наиболее точно описывающие свой локальный фрагмент.

Теперь сделаем следующее: будем генерировать для каждого нового образа свою уникальную метку-идентификатор и помечать ею активные нейроны-детекторы. Мы получим, что каждая подача образа сопровождается появлением на второй зоне коры картины активности, которая есть описание этого образа через доступные второй зоне признаки. Создание уникального идентификатора и маркировка им активных нейронов детекторов – это и есть запоминание конкретного события.

Если мы выберем один из маркеров, найдем нейроны-детекторы, его содержащие, и восстановим характерные для них локальные образы, то мы получим восстановление исходного изображения.

Чтобы запоминать и воспроизводить множество разных образов, нейроны-детекторы должны иметь неизменные синаптические веса и обладать возможностью хранить столько маркеров, сколько воспоминаний им предстоит запомнить.

Покажем работу распределенного запоминания на простом примере. Допустим, что мы генерируем на верхней зоне контурные изображения разнообразных геометрических фигур (рисунок ниже).


Подаваемое изображение

Будем обучать нижнюю зону на выделение различных факторов методом декорреляции. Основные образы, которые будут появляться в каждом малом рецептивном поле – это линии под разными углами. Будут и другие образы, например, пересечения и углы, свойственные геометрическим фигурам. Но линии будут доминировать, то есть встречаться чаще. Это значит, что они и выделятся в первую очередь в виде факторов. Реальный результат такого обучения показан на рисунке ниже.


Фрагмент поля факторов, выделенных из контурных изображений

Видно, что выделяется много вертикальных и горизонтальных линий, отличающихся своим положением на рецептивном поле. Это не удивительно, так как даже небольшое смещение создает новый фактор, не имеющий пересечений со своими параллельными «близнецами». Предположим, что мы каким-то образом усложнили нашу сеть так, что расположенные рядом параллельные «близнецы» слились в один фактор. Далее допустим, что в малых областях выделились факторы, как показано на рисунке ниже, с определенной дискретностью описывающие все возможные направления.


Факторы в малой области, соответствующие различным направлениям с дискретностью в один час

Тогда результат обучения всей зоны коры можно условно изобразить следующим образом:


Условный результат обучения зоны коры. Для наглядности нейроны размещены не на регулярной сетке

Теперь подадим на обученную зону коры изображение квадрата. Нейроны, которые увидят на своем рецептивном поле характерный для них стимул, активируются (рисунок ниже).


Реакция обученной зоны коры на образ квадрата

Теперь сгенерируем случайное уникальное число – идентификатор воспоминания. Для простоты не будем пока использовать наши волновые сети, ограничимся предположением, что каждый нейрон может хранить кроме синаптических весов еще и набор идентификаторов, то есть некий большой массив неупорядоченных чисел. Заставим все активные нейроны запомнить в своих наборах только что сгенерированный идентификатор. Собственно, этим действием мы и зафиксируем память об увиденном квадрате.

Подавая новые изображения, будем для каждого из них генерировать свой уникальный идентификатор и добавлять его к нейронам, отреагировавшим на текущий образ. Теперь, чтобы что-то вспомнить, достаточно будет взять соответствующий идентификатор, активировать все нейроны, которые его содержат, а затем восстановить картины образов, характерных для этих нейронов. Естественно, чем богаче и четче будет система описания, тем точнее восстановленный образ будет совпадать с исходным. Но даже на очень грубых моделях, например, на сети, приведенной выше, можно получать вполне правдоподобные результаты восстановления (рисунок ниже).


Исходное изображение и воспоминание, восстановленное по факторам «грубой» модели

Теперь можно сформулировать наши предположения относительно того, как устроена событийная память реального мозга.

Обучение различных зон коры ведет к формированию паттернов нейронов-детекторов, способных реагировать на образы, характерные для этих зон. В основе этого обучения лежит синаптическая пластичность. Это обучение не фиксирует конкретные события, а только выделяет обобщенные понятия. Когда возникает «нейрон бабушки», по его синаптическим весам нельзя судить о воспоминаниях, как-либо связанных с бабушкой. Веса синапсов описывают не конкретные события, а картины признаков, характерных для узнавания бабушки.

Картина описания, происходящего на каждой из зон коры, дуалистична. Это одновременно и картина вызванной активности нейронов-детекторов, и волновой идентификатор, сформированный как собственными для коры излучающими паттернами, так и волнами, пришедшими по системе проекций.

Роль гиппокампа – создавать уникальный идентификатор для каждого воспоминания и добавлять его в общую волновую картину. В результате этого на каждой зоне коры в волновом идентификаторе кроме перечисления признаков, описывающих текущее событие, появится еще и уникальная добавка от гиппокампа, которая позволит различить волновые описания похожих между собой событий.

Нейроны-детекторы, находящиеся в состоянии вызванной активности, фиксируют на своих метаботропных кластерах текущий волновой идентификатор. Кстати, мы уже наблюдали нечто похожее, когда описывали систему обобщенной ассоциативности понятий. Только теперь в идентификатор добавилась уникальная составляющая от гиппокампа. Этим действием мы создадим энграмму, позволяющую найти все нейроны-детекторы, относящиеся к одному воспоминанию.

Надо отметить, что эта конструкция одинаково работает независимо от того, как на зону коры поступает информация. И для топографической и для волновой проекции принципы запоминания остаются неизменны.

Такая конструкция памяти обладает всеми требуемыми от памяти голографическими свойствами. Нейроны-детекторы любого детекторного паттерна сохраняют информацию обо всей волновой картине, которая была на коре на момент запоминания, что в точности соответствует тому, как фрагмент голограммы хранит информацию о волновой картине окружающего пространства.

Фиксация энграммы получается распределенной по всем участкам мозга, проявившим активность в узнавании происходящего. Это значит, что воспоминание не привязано к какому-то одному или даже нескольким нейронам и не имеет конкретной локализации. Удаление любого участка коры, как это было в опытах Лэшли, не уничтожает всей энграммы, а только обедняет ее на описание в тех понятиях, которые оказались удалены.

Становится понятна природа нейронов, реагирующих на Дженнифер Энистон или мастера Йоду. Это не нейроны воспоминания – это лишь нейроны-детекторы, связанные с понятиями, имеющими отношение к соответствующим фильмам.

Можно объяснить природу ярких видений, возникающих при стимуляции мозга электродом. Электрод возбуждает случайный паттерн нейронов, с которыми он соприкасается. Если оказывается, что этот паттерн похож на фрагмент волны какого-либо известного коре идентификатора, то он запускает соответствующую волну, которая выстраивает всю остальную информационную картину мозга. Повторный электрический импульс в уже введенный электрод вызывает то же самое видение, так как создает тот же паттерн активности. Но при этом характер видения оказывается никак не связан с местом, куда попал электрод. Активируются не понятия, действительно имеющие локализацию, а волна, которая, в принципе, могла бы возникнуть в любом другом месте. Просто в месте введения электрода узор этой волны совпал с формой иглы. Для волновой модели коры все это вполне естественно, но вызывает озадаченность у тех, кто ищет «нейроны бабушки».

Наша концепция памяти хорошо объясняет особенности пациента H.M. Так как гиппокамп необходим для создания уникального идентификатора, то не удивительно, что его отсутствие сделало невозможным создание новых воспоминаний и при этом не нарушились воспоминания, уже имеющиеся. Там, где идентификатор уже был присвоен, гиппокамп больше не нужен для последующих информационных процедур. Так как формирование нейронов-детекторов и детекторных паттернов не завязано на гиппокамп, то объясняется и сохранение способности к процедурному обучению и формированию обобщенной памяти.

Еще раз обращу внимание на то, что при описании событийной памяти мы не использовали пластичность синапсов как инструмент запоминания. Пластичность синапсов у нас – это механизм формирования паттернов нейронов-детекторов. То есть, следы конкретных событий невозможно найти непосредственно на синапсах нейронов, хотя образы, описываемые синаптическими весами, и напоминают всегда что-то из встречавшегося ранее опыта. Мы пришли к необходимости разделения механизмов обучения и событийной памяти. Исходя их этого, в нашей модели получилось два типа энграмм. Один тип – это модификация синаптических весов, позволяющая выделиться признакам, на базе которых строятся все последующие описания. Второй тип – образование внесинаптических метаботропных рецептивных кластеров, объединяющих множество нейронов, участвующих в описании конкретного события. Причем второй тип энграмм невозможен без первого. Это означает, что для формирования воспоминаний о каких-либо событиях во всей полноте, должны существовать факторы, позволяющие составить такое описание.

Информация описывается мозгом иерархически, выделяя от уровня к уровню все более абстрактные признаки. Когда мы говорим о воспоминании относительно какого-либо события, мы, как правило, не имеем в виду фотографическую память нижнего уровня, разговор идет о фиксации более абстрактного описания, которое в процессе восстановления может привести к реконструкции исходной фотографической картины. Но чтобы такое описание было возможно, необходимо, чтобы были сформированы соответствующие факторы. Похоже, что именно по этой причине у нас нет ранних детских воспоминаний. В том возрасте, к которому относится провал нашей памяти, у нас просто еще нет тех понятий, которые необходимы для полноценного описания событий.

Использованная литература

Продолжение

Предыдущие части:
Часть 1. Нейрон
Часть 2. Факторы
Часть 3. Персептрон, сверточные сети
Часть 4. Фоновая активность
Часть 5. Волны мозга
Часть 6. Система проекций
Часть 7. Интерфейс человек-компьютер
Часть 8. Выделение факторов в волновых сетях
Часть 9. Паттерны нейронов-детекторов. Обратная проекция
Часть 10. Пространственная самоорганизация
Часть 11. Динамические нейронные сети. Ассоциативность

Алексей Редозубов (2014)
искусственный интеллект

[Александр Вакуров]

19 марта в 16:10
Логика мышления. Часть 13. Ассоциативная память
Математика*, Биоинформатика, Искусственный интеллект


Этот цикл статей описывает волновую модель мозга, серьезно отличающуюся от традиционных моделей. Настоятельно рекомендую тем, кто только присоединился, начинать чтение с первой части.

В предыдущей части мы показали как может выглядеть распределенная память. Основная идея заключается в том, что общий волновой идентификатор может объединить нейроны, которые своей активностью формируют запоминаемую картину. Чтобы воспроизвести конкретное событие достаточно запустить по коре соответствующий идентификатор воспоминания. Его распространение восстановит ту же картину активности, что была на коре на момент фиксации этого воспоминания. Но главный вопрос — это как нам получить требуемый идентификатор? Ассоциативность памяти подразумевает, что по набору признаков мы можем отобрать события, в описании которых присутствовали эти признаки. То есть должен существовать нейронный механизм, который позволит по описанию в определенных признаках, получить идентификатор подходящего под эти признаки воспоминания.

Когда мы говорили о распространении нейронных волн, мы исходили из того, что нейрон хранит на внесинаптической мембране те волновые картины, участником которых он является. Встретив знакомую картину, нейрон своим спайком создает продолжение уникального узора. И тут важно, что нейрон не просто в состоянии узнать волновую картину, а то, что он сам – часть распространяющегося узора. Только будучи сам частью уникальной волны нейрон способен участвовать в ее распространении.



Чтобы не запутаться в последующих рассуждениях, еще раз повторим основные свойства волновой модели коры. Если отметить нейроны, относящиеся к одному волновому узору или – другими словами – идентификатору, то получится что-то вроде набора точек, изображенного на рисунке ниже.



Взяв любое место коры и активировав элементы идентификатора, мы получим волну, распространяющуюся от активного места, повторяющую характерный для идентификатора узор (рисунок ниже).



Проходя через каждое место коры, волна будет «высвечивать» фрагмент своего уникального узора. Так, стартовав из области 1, волна, дойдя до области 2, создаст там свой предопределенный идентификатором уникальный узор (рисунок ниже).



По уникальности узора можно в каждом месте коры определить, какие идентификаторы составляют волну.

Если мы на спокойной коре в области 2 воспроизведем уже знакомый нам узор, то он также создаст волну, которая, распространившись до области 1, создаст там все тот же паттерн, характерный именно для этого идентификатора.



Из всего этого следует, что для узнавания идентификатора достаточно в любом месте коры запомнить, какой узор именно в этом месте создает волна. Это можно запомнить либо на синапсах нейрона, либо на внесинаптической части мембраны. Запоминание на синапсах приводит к вызванной активности (пакету импульсов) при узнавании, запоминание на метаботропных рецептивных кластерах позволяет получать единичные спайки при появлении знакомой волны.

Сложнее, если нам надо воспроизвести идентификатор. Для этого нам надо активировать хотя бы единичными спайками группу близко расположенных нейронов, относящихся к требуемому идентификатору. Описывая обратную проекцию и вводя несколько медиаторов, мы как раз показывали механизм, реализующий нечто подобное.

Говоря об ассоциативности понятий, мы показали, что запрос, построенный на волнах идентификаторов, возвращает набор идентификаторов понятий, ассоциативно связанных с понятиями, содержащимися в запросе.

Чтобы показать механизм извлечения воспоминаний из ассоциативной событийной памяти нам надо показать, как волновой запрос, состоящий из понятий-признаков, может выдать уникальные гиппокамповские идентификаторы воспоминаний, подходящих под этот запрос. Если мы сможем получить такой набор идентификаторов и отобрать из них один, то, запустив этот идентификатор обратно по коре, мы получим активность нейронов-детекторов, содержащих этот идентификатор на внесинаптической мембране, а это будет равносильно восстановлению всей описательной картины требуемого воспоминания.

Напомню, про нашу упрощенность и схематичность описания. Далее я изложу возможный нейронный механизм ассоциативной памяти, не утверждая при этом, что мозг работает именно так.

Опять ненадолго обратимся к строению реальных нейронов. Тело нейрона – сома – имеет ограниченную площадь и не может обеспечить места для всех синаптических контактов. Большая часть синапсов приходится на разветвленную структуру, называемую дендритом или дендритным деревом (рисунок ниже). Количество синапсов, располагающихся на дендрите, в 10-20 раз превышает количество синапсов на соме.


Формы дендритных деревьев (Greg Stuart, ‎Nelson Spruston, ‎Michael Häusser)

Было обнаружено, что нейрон ведет себя по-разному в зависимости от того, приходят ли сигналы на синапсы на одну или на разные дендритные ветки (Shepherd G.M., Brayton R.K., Miller J.P., Segev I., Rinzel J., Rall W., 1985). Одновременный приход импульсов на синапсы одной ветки вызывает значительно более сильный ответ нейрона, чем сигнал, распределенный по разным веткам.

На основе наблюдений такого рода родилась гипотеза о том, что дендритные ветки могут играть роль детекторов совпадений (Softky, 1994). Ее суть в том, что сигналам, рождающимся в удаленных ветках дендритного дерева, для генерации спайка нейрона необходимо, чтобы были активны сегменты дендритного дерева, лежащие по дороге сигнала к соме.

Такой эффект был показан для пирамидальных нейронов (Jarsky T., Alex Roxin A., Kath W.L., Spruston N., 2005), но можно полагать, что что-то подобное свойственно и нейронам других типов.


Фазы распространения сигнала в апикальных и наклонных сегментах пирамидального нейрона гиппокампа. Сигнал возникает в апикальном пучке (красная точка) и распространяется до коллатерали Шаффера (зеленая точка). Сигнал в более близком к соме месте дендрита не позволяет далекому сигналу угаснуть и способствует возникновению спайка (Jarsky T., Alex Roxin A., Kath W.L., Spruston N., 2005)

Распространение импульса по дендриту сопровождается его значительным затуханием. По идее, влияние удаленных (дистальных) синапсов должно быть значительно меньше, чем влияние близких (проксимальных). Однако были показаны механизмы, выравнивающие вклад таких синапсов, что вылилось в концепцию «демократии синапсов» (Clifton C. Rumsey, L. F. Abbott, 2006 ). Выравнивание вклада синапсов вдоль ветки дендрита позволяет рассматривать ветки как самостоятельные логические элементы, сигналы которых каким-то образом далее обрабатываются нейроном. Это означает, что теоретически, меняя конфигурацию дендрита и реакцию сомы, можно получить нейроны с различными логическими свойствами.

Например, в популярной концепции «иерархической темпоральной памяти» Джеффа Хокинса применяются нейроны, использующие автономные элементы, работающие в режиме «или» (рисунок ниже).


Модель нейрона с набором дендритных логических автономных элементов в сопоставлении с пирамидальным нейроном (Хокинс, 2011)

Вполне уместно предположить, что и реальный мозг оперирует нейронами с существенным разнообразием свойств.

Теперь перейдем, собственно, к описанию ассоциативной событийной памяти. Предположим, что у нас есть нейроны двух типов, образующие плоскую кору. Рецептивные поля этих нейронов охватывают некую локальную область своего окружения, куда попадают нейроны обоих типов. Условно разнесем их на два слоя, помня при этом о перекрестном распределении связей.

Зададим нейроны первого типа такими, чтобы они распространяли волну информационного идентификатора. Нейроны же второго типа заставим распространять исключительно волны идентификаторов гиппокампа (рисунок ниже).


Распространение двух независимых волн на нейронах с разным типом медиатора

Для этого разведем их аксоны и внесинаптические рецепторы по используемым медиаторам (таблица ниже). Обратите внимание, что для задания волнового распространения синаптические рецепторы нам не важны.
Синапсы Вне синапсов Аксон
Тип 1 A A
Тип 2 B B
Нейромедиаторные характеристики нейронов. Чувствительность рецепторов и выброс аксона

При таком задании медиаторов и рецепторов волны на двух слоях никак не будут влиять друг на друга.

Теперь усложним нейроны второго типа, сделаем их дендритные деревья состоящими из двух типов веток, отличающихся внесинаптическими медиаторами. При моделировании однородные ветки можно объединить и в результате оставить два дендритных сегмента, работающих по принципу «или» (таблица ниже).
Сегмент Синапсы Вне синапсов Аксон
Тип 1 A A
Тип 2 1 B B
2 A
Нейромедиаторные характеристики нейронов. Чувствительность рецепторов и выброс аксона. Нейроны второго типа имеют два дендритных сегмента с рецепторами, чувствительными к медиаторам разного типа

Предположим, что пока шло обучение нейронов тому, как распространять волны идентификаторов, у нейронов второго типа был заблокирован второй сегмент, чувствительный к «чужому» медиатору. Вся информация, необходимая для формирования волн, у нейронов второго типа будет откладываться на внесинаптической памяти первого сегмента.

Если теперь мы включим вторые сегменты, то на них начнется запоминание волновых картин, распространяющихся по нейронам первого типа. Будем полагать, что внесинаптическое запоминание происходит в момент, когда нейрон генерирует спайк. При этом фиксируется не моментальная картина активности на синапсах, а накопленная за весь такт распространения волны. Накопление позволит нам запомнить фрагмент волны первого уровня, даже если фазы волн двух уровней в месте запоминания не совпадают. То есть, когда нейрон второго уровня выдаст спайк, он зафиксирует картину информационной активности, даже если она была какое-то время назад.

Предположим, что мы провели один такт такого запоминания. Все нейроны второго уровня, распространяющие волну идентификатора гиппокампа, активные в этом такте, запомнят на своих вторых сегментах фрагменты информационной волны, прошедшей по нейронам первого типа. Это значит, что если мы когда-нибудь повторим такую же волну описания, то все нейроны второго уровня, которые узнают эту картину, дадут спайк. Общая картина этих спайков воспроизведет тот самый идентификатор гиппокампа, который был на момент запоминания этого информационного образа.

Так можно запоминать различные описательные картины. При повторении соответствующих описаний нейроны второго уровня будут выдавать суммарное сочетание всех идентификаторов гиппокампа, попадающих под текущее описание.

Видно, что такое запоминание крайне расточительно. Мы запоминаем каждый образ на всех активных нейронах второго типа. Хотя для воспроизведения идентификатора нам нужен всего лишь малый локальный участок, способный запустить волну. Чтобы исправить ситуацию, будем запоминать информационную волну не на всех активных нейронах второго типа, а только на тех, которые попадают в области с высокой вызванной активностью нейронов первого типа. То есть вспомним, что информация дуалистична. Она одновременно и идентификаторная волна, и активность паттернов вызванной активности. Волна даст нам узор для запоминания, а паттерны укажут места для этого.

Самый простой способ выбора места – это воспользоваться тем же полем активности, которое мы использовали для пространственной самоорганизации паттернов. В такой конфигурации запоминание можно представить так. В местах коры, где информационная картина создает паттерны вызванной активности, формируется поле активности. Все активные нейроны второго типа, распространяющие волну гиппокампа, для которых поле активности выше определенного порога, фиксируют на внесинаптической памяти картины, описываемые информационной волной.

Подав информационную волну-запрос, мы получим активность нейронов второго типа, узнавших этот запрос. Локальные группы таких нейронов будут излучать идентификаторы гиппокампа, относящиеся ко всем воспоминаниям, ассоциативно связанным с этим запросом.

Мы показали, как могут фиксироваться и восстанавливаться уникальные идентификаторы воспоминаний. Ранее мы показали, что если на нейронах-детекторах хранить память о таких уникальных идентификаторах, то можно восстанавливать образы, соответствующие запомненным моментам. В таблице ниже приведена возможная конфигурация медиаторов для такой памяти.
Сегмент Синапсы Вне синапсов Аксон
Тип 1 1 A A
2 B
Тип 2 1 B B
2 A
Нейромедиаторные характеристики нейронов. Чувствительность рецепторов и выброс аксона. Двусвязная конфигурация

Задание области запоминания через поле активности – достаточно грубый инструмент. Есть вполне очевидные пути по совершенствованию конструкции. Например, можно через синаптическое обучение нейронов второго типа создать из них области, соответствующие понятиям, находящимся в этом месте коры. Используя концепцию дендритного детектора совпадений, можно сделать так, что активность понятия будет обязательным условием, как для записи, так и для обратной генерации идентификаторов воспоминаний, связанных с этим понятием.

Вообще же богатство инструментария, которое предоставляет волновая модель коры с многосекционными нейронами, позволяет реализовывать достаточно сложные и интересные конструкции. Ограничимся пока уже приведенными самыми простыми схемами, чтобы окончательно не запутать повествование.

Использованная литература

Продолжение

Предыдущие части:
Часть 1. Нейрон
Часть 2. Факторы
Часть 3. Персептрон, сверточные сети
Часть 4. Фоновая активность
Часть 5. Волны мозга
Часть 6. Система проекций
Часть 7. Интерфейс человек-компьютер
Часть 8. Выделение факторов в волновых сетях
Часть 9. Паттерны нейронов-детекторов. Обратная проекция
Часть 10. Пространственная самоорганизация
Часть 11. Динамические нейронные сети. Ассоциативность
Часть 12. Следы памяти

Алексей Редозубов (2014)
искусственный интеллект

[Александр Вакуров]

20 марта в 17:45
Логика мышления. Часть 14. Гиппокамп
Биоинформатика, Искусственный интеллект, Программирование*


Этот цикл статей описывает волновую модель мозга, серьезно отличающуюся от традиционных моделей. Настоятельно рекомендую тем, кто только присоединился, начинать чтение с первой части.

Полное удаление гиппокампа делает невозможным формирование новых воспоминаний, что убедительно продемонстрировал случай с пациентом H.M. Нарушения в работе гиппокампа могут привести к синдрому Корсакова, который так же сводится к невозможности фиксировать текущие события, при сохранении старой памяти. Все это убеждает в том, что гиппокамп играет ключевую роль в механизме памяти.

Традиционные теории о роли гиппокампа строятся на аналогии мозга и компьютера. В таких рассуждениях гиппокампу отводится роль «оперативной памяти», то есть места, где накапливаются новые воспоминания. Затем же, предположительно во сне, эти воспоминания переносятся в области мозга, ответственные за хранение долговременной памяти. И хотя механизмы такого переноса непонятны, но, по крайней мере, это позволяет объяснить, почему нарушение работы гиппокампа блокирует формирование событийной памяти.

Наша модель принципиально отличается от моделей традиционных. У нас не происходит никакой буферизации памяти в гиппокампе и последующего ее копирования. Элементы, образующие воспоминания, сразу формируются там, где им уместно находиться. Гиппокамп же при этом просто создает единый идентификатор, который объединяет распределенные по пространству коры элементы памяти. Волновая модель работы мозга объясняет, как этот идентификатор распространяется по всей коре. Наличие такого идентификатора позволяет, выбрав объединенные им элементы, воспроизвести не абстрактную картину, а конкретный образ запомненного события.



В 2010 году были проделаны интересные опыты по протезированию гиппокампа крысы (Theodore W. Berger, Robert E. Hampson, Dong Song, Anushka Goonawardena, Vasilis Z. Marmarelis, Sam A. Deadwyler, 2011). Подопытным животным с обеих сторон мозга в гиппокамп внедрялись микроэлектродные массивы, захватывающие области CA3 и CA1. После того, как крысы восстанавливались после операции, начинались серии тестов.

Крыс помещали в камеру с двумя выдвигающимися рычагами. Тест состоял из трех фаз. Сначала случайным образом выдвигался один из рычагов. Когда крыса нажимала этот рычаг, фиксировалась картина активности предварительно отобранных нейронов гиппокампа (стадия образца). Затем рычаг убирался, и наступала пауза от 1 до 30 секунд в одних сериях и до 60 в других. После чего выдвигались оба рычага. При нажатии на рычаг, противоположный исходному образцу, выдавалось подкрепление в виде капельки воды. При ошибке, то есть нажатии на тот же рычаг, что был на стадии образца, следовало наказание – выключение света на 5 секунд. В результате составлялся график зависимости успешности попыток от времени задержки (рисунок ниже).


Контрольные измерения при естественной активности гиппокампа (Theodore W. Berger, Robert E. Hampson, Dong Song, Anushka Goonawardena, Vasilis Z. Marmarelis, Sam A. Deadwyler, 2011)

Исходя из записанных сигналов, была составлена предсказательная модель, которая прогнозировала, какой сигнал следует ждать на CA1 в зависимости от сигнала на CA3. В серии опытов сигналы прогноза были добавлены к существующим сигналам (рисунок ниже).


Добавление искусственных сигналов (Theodore W. Berger, Robert E. Hampson, Dong Song, Anushka Goonawardena, Vasilis Z. Marmarelis, Sam A. Deadwyler, 2011)

Получился интересный результат. Оказалось, что существенное влияние на результат оказывается только при корректировке сигнала в стадии предъявления образца, то есть при запоминании исходного образа. Картина же сигналов в остальные моменты была не принципиальна. Причем, чем сильнее был корректирующий сигнал, тем лучше был итоговый результат.

Авторы эксперимента, объясняя результат, исходили из представления, что гиппокамп занимается кодированием текущей информации, подготавливая ее для записи в память. Что картины активности, наблюдаемые в гиппокампе, несут информационное описание происходящих событий. Соответственно, усиление «правильного» сигнала способствует улучшению результатов запоминания.

В нашей модели объяснение полученных результатов несколько иное. Понятно, что идентификатор гиппокампа важен только в момент формирования памяти. После того как воспоминание создано гиппокамп не требуется для его воспроизведения. Усиление текущего идентификатора гиппокампа положительно сказывается на силе запоминания, но это не результат создания более четкой информационной картины, а просто выделение текущего воспоминания на фоне остальной памяти. Если у нормально работающего мозга таким образом подчеркивать все воспоминания, то итоговый результат окажется нулевой.

Самая интересная серия опытов была связана с подавлением собственной активности гиппокампа. Для этого крысам делались регулярные инъекции в область CA3 гиппокампа препарата MK801. MK801 блокирует нормальную работу синаптической передачи, использующую глутамат. Он проникает в ионные каналы NMDA рецепторов, чувствительных к глутамату и нарушает их работу.

Блокада участка CA3 ожидаемо резко ухудшила результаты. Но подача искусственных сигналов, восстанавливающих ожидаемую картину активности, позволила значительно улучшить количество правильных ответов (рисунок ниже).


Замена естественного сигнала гиппокампа искусственным (Theodore W. Berger, Robert E. Hampson, Dong Song, Anushka Goonawardena, Vasilis Z. Marmarelis, Sam A. Deadwyler, 2011)

Я не склонен толковать этот результат как чудесное восстановление нейронного описания происходящего в гиппокампе с последующей записью этого описания в память. Тем более что в опыте использовались матрицы со всего 32 электродами, из которых задействовано было около половины. Скорее всего, происходило создание случайного идентификатора, который и делал возможным формирование памяти.

Но не все так просто с гиппокампом. Есть несколько фактов, которые достаточно сильно озадачивают при первом знакомстве с ними. Так в 1971 году Джон О'Киф открыл в гиппокампе клетки места (O'Keefe J., Dostrovsky J., 1971). Эти клетки реагируют подобно внутреннему навигатору. Если крысу поместить в длинный коридор, то по активности определенных клеток можно будет точно сказать, в каком его месте она находится. Причем реакция этих клеток не будет зависеть от того, как она попала в это место.

В 2005 году в гиппокампе были обнаружены нейроны, кодирующие положение в пространстве, образующие нечто наподобие координатной сетки (Hafting T., Fyhn M., Molden S., Moser M.B., Moser E.I., 2005).

В 2011 году оказалось, что в гиппокампе есть клетки, которые определенным образом кодируют временные интервалы. Их активность образует ритмические узоры, даже если ничего другого вокруг не происходит (Christopher J. MacDonald, Kyle Q. Lepage, Uri T. Eden, Howard Eichenbaum, 2011).

Из всех этих фактов напрашивается вывод, что гиппокамп отвечает за кодирование нашего положения, как во времени, так и в пространстве. При этом гиппокамп подобен солдату, для которого вполне естественно «копать от забора и до обеда». Гиппокамп соединяет в себе и пространственную, и хронологическую навигацию, которые, кстати, имеют много общего. Так же, как наше путешествие в пространстве происходит от ориентира к ориентиру, так и путешествие во времени проходит от одной хронологической метки к другой.

Мы ранее утверждали, что гиппокамп формирует уникальные идентификаторы для воспоминаний. Как соотносится эта функция с тем, что гиппокамп отслеживает наши пространственно временные координаты? Конечно, можно считать, что гиппокамп несет двойную функцию, участвуя в двух независимых процессах. Но более логично предположить, что мы имеем дело с двумя сторонами одной медали.

Как мы идентифицируем информацию вообще? Используя Google, мы составляем запрос, состоящий из набора слов, который определяет смысл нашего поиска. Получив список результатов, мы затем можем уточнить его, введя ограничения по дате или по географии.

Создавая библиотеку изображений, мы помечаем фотографии датой их создания и геотегами места, где они сделаны. Потом мы описываем, кто или что запечатлено на них.

Размещая файлы на компьютере, мы указываем время создания и путь к файлу. Названием файла мы кратко описываем его содержание.

Получается, что идентифицируя самые разные вещи, мы используем, с одной стороны, признаки, описывающие их смысл, а, с другой стороны, координаты в пространстве и времени, как универсальные признаки любых явлений. Такая идентификация впоследствии оказывается достаточно удобной и полезной не только как уникальная метка, но и как инструмент поиска. Можно предположить, что и природа пошла аналогичным путем.

То есть, создавая уникальный идентификатор события, гиппокампу имеет смысл не просто генерировать случайный код и распространять его по всей коре, а закладывать в этот код пространственно-временные признаки, как наиболее подходящие для всех случаев жизни. Такое пространственно-временное описание само по себе оказывается достаточно уникально, как сочетание разнообразных факторов. Достаточно добавить к нему некий небольшой случайный довесок и получившийся идентификатор, будет однозначно указывать на конкретное событие.

Такая идентификация значительно мощнее по своим возможностям, чем просто уникальный ключ для каждого воспоминания. Появляется возможность разнообразных дополнительных ассоциаций. Но самое главное, появляется возможность кодирования сложных описаний, учитывающих то, как развиваются события и во времени, и в пространстве. Но разговор об этом будет несколько позже.

Если допустить, что идентификатор гиппокампа действительно кодирует пространственно-временные координаты, то получается, что гиппокамп, во-первых, обладает способностью взаимодействовать с корой таким образом, чтобы иметь возможность обучаться узнавать похожие позиции в пространстве и времени. Во-вторых, чтобы распространять свои идентификаторы по всему пространству коры, гиппокамп должен формировать их из конечного числа уникальных фрагментов. Это проистекает из того, что кора должна быть предварительно обучена на распространение всего «алфавита», используемого гиппокампом. Новые идентификаторы должны формироваться не «с нуля», а как комбинации уже известных элементов. В принципе, в этих требованиях нет ничего сложного, это соответствует тому, как в описаниях на естественном языке все фразы строятся из конечного набора букв.

Использованная литература

Продолжение

Предыдущие части:
Часть 1. Нейрон
Часть 2. Факторы
Часть 3. Персептрон, сверточные сети
Часть 4. Фоновая активность
Часть 5. Волны мозга
Часть 6. Система проекций
Часть 7. Интерфейс человек-компьютер
Часть 8. Выделение факторов в волновых сетях
Часть 9. Паттерны нейронов-детекторов. Обратная проекция
Часть 10. Пространственная самоорганизация
Часть 11. Динамические нейронные сети. Ассоциативность
Часть 12. Следы памяти
Часть 13. Ассоциативная память

Алексей Редозубов (2014)
искусственный интеллект

[Александр Вакуров]

21 марта в 17:01
Логика мышления. Часть 15. Консолидация памяти
Биоинформатика, Искусственный интеллект, Программирование*


Этот цикл статей описывает волновую модель мозга, серьезно отличающуюся от традиционных моделей. Настоятельно рекомендую тем, кто только присоединился, начинать чтение с первой части.

Попробуем представить информационную емкость мозга. Так как в основе памяти лежат нейроны, то для начала уточним, с каким количеством нейронов мы имеем дело. Наиболее точная оценка на сегодня, принадлежит Сюзанне Херкулано-Хузель (Frederico A.C. Azevedo, Ludmila R.B. Carvalho, Lea T. Grinberg, José Marcelo Farfel, Renata E.L. Ferretti, Renata E.P. Leite, Wilson Jacob Filho, Roberto Lent, Suzana Herculano-Houzel, 2009). По этой оценке на кору приходится 82% общей массы мозга и 19% от общего числа нейронов (рисунок ниже). По этой оценке кора состоит из порядка 16 миллиардов нейронов (1.6x1010).




Количество нейронов в различных частях мозга (в миллиардах) (Frederico A.C. Azevedo, Ludmila R.B. Carvalho, Lea T. Grinberg, José Marcelo Farfel, Renata E.L. Ferretti, Renata E.P. Leite, Wilson Jacob Filho, Roberto Lent, Suzana Herculano-Houzel, 2009)

В моделях, использующих пластичность синапсов для объяснения природы памяти, емкость памяти считается достаточно просто. Характерное для нейрона количество синапсов – 10 000 (104). Если полагать, что один синапс хранит один бит информации, то получается 1.6x1010 x 104 = 1.6x1014 бит или приблизительно 2x1013 байт. Это около 20 000 гигабайт или 20 терабайт. Объем достаточно скромный даже по сегодняшним меркам.

Если предположить, что активная жизнь человека около 80 лет, из которых он треть проводит во сне, то это составит 80x365x(24-8)x60x60 = 1681920000 (1.7x109) секунд. Получается, что если не учитывать организацию памяти, а просто заполнять ее в течение жизни, то можно позволить скорость записи 2x1013/1.7x109=1.18x104 байт/секунду или около 10 кбайт/секунду.

В нашей модели оценка объема памяти выглядит несколько иначе. Оценка синаптической памяти не меняется, те же 20 терабайт. Но это только память, хранящая образы нейронов-детекторов. Основные объемы приходятся на внесинаптические рецептивные кластеры. Если задаться оценкой, что один внесинаптический образ формируется из сигналов порядка 100 синапсов, то можно оценить информационную емкость одного элемента, как 100 бит. Исходя из оценки, что поверхность нейрона может содержать порядка 100 000 рецептивных кластеров, получаем емкость памяти 1.6x1010x105x100 = 1.6 x1017 бит или 2x1016 байт. Что составляет 20 000 терабайт или 20 петабайт.

Если предположить, что половина этой памяти уходит на способность коры распространять волны идентификаторов, то объем событийной памяти можно оценить в 10 петабайт. Этот объем вызывает определенное уважение. Исходя из него, скорость записи информации при непрерывном запоминании может составлять 1016/1.7x109=5.88x106 байт/секунду или около 6 мегабайт/секунду. Если предположить, что фиксация энграмм происходит несколько раз в секунду, то можно дать оценку информационной емкости одной энграммы в районе 1 мегабайта.

Потенциально, наша память способна хранить достаточно детальное описание всего, что случается с нами в жизни. Тотальность памяти подтверждается наличием людей-феноменов, которые действительно «помнят все». Александр Лурия в результате многолетних наблюдений задокументировал один из примеров такой безграничной памяти:

«Оказалось, что память Ш. не имеет ясных границ не только в своем объеме, но и в прочности удержания следов. Опыты показали, что он с успехом – и без заметного труда – может воспроизводить любой длинный ряд слов, данных ему неделю, месяц, год, много лет назад. Некоторые из таких опытов, неизменно кончавшихся успехом, были проведены спустя 15 – 16 лет (!) после первичного запоминания ряда и без всякого предупреждения. В подобных случаях Ш. садился, закрывал глаза, делал паузу, а затем говорил: «да-да… это было у вас на той квартире… вы сидели за столом, а я на качалке… вы были в сером костюме и смотрели на меня так… вот… я вижу, что вы мне говорили...» – и дальше следовало безошибочное воспроизведение прочитанного ряда» (Лурия, 1968).

Но как бы не была безгранична наша память, хорошо известен тот факт, что гораздо легче и детальнее нам вспоминаются недавние события. Еще в 1885 году психологом Германом Эббингаузом была получена кривая забывания (Ebbinghaus, 1885)(рисунок ниже).


Кривая забывания

Наиболее резкое забывание наблюдается в первые минуты, затем процесс забывания замедляется. Через 30 дней память выходит на стабильную фазу, когда дальнейшего забывания не происходит. В своих опытах Эббингауз использовал наборы бессмысленных трехбуквенных слов, которые заучивал наизусть. Заучивание несколько отличается от простого восприятия, то есть кривая забывания для единожды услышанной фразы или увиденного образа будет несколько иная.

Запомнить что-либо более сильно позволяет повторение. Повторяя материал, мы не просто освежаем воспоминания и начинаем новый цикл забывания. После повторения, асимптота, на которую выходит кривая забывания, поднимается существенно выше по сравнению со своим предыдущим уровнем (рисунок ниже). Каждое новое повторение повышает шансы на то, что, спустя продолжительное время, нам удастся все относительно безошибочно вспомнить.


Кривая забывание при повторениях

Важно отметить, что повторение не обязательно должно сводиться к еще одному предъявлению заучиваемого образа. Воспоминание, достаточно точно воспроизводящее запомненное событие, так же является повторением. То есть чем чаще мы вспоминаем о чем-либо, тем прочнее оно врезается в нашу память.

Традиционная трактовка таких свойств памяти опирается на представление о переводе воспоминаний из кратковременной памяти в память долговременную. При этом часто, опираясь на компьютерные аналогии хранения данных, подразумевают перемещение информационных следов из одних частей мозга в другие. Так принято считать, что гиппокамп, работая наподобие оперативной памяти компьютера, накапливает текущие воспоминания, а затем перемещает их на кору, аналогично тому, как происходит сохранение компьютерных данных на долговременных носителях.

Процесс перехода воспоминаний из краткосрочной в долгосрочную форму принято называть консолидацией памяти. Это объективный и достаточно хорошо изученный процесс. Кроме того, что мы можем наблюдать изменения памяти на собственном опыте, есть и прямые подтверждения наличия консолидации. Так известно, что травмы головы, электрошок, судорога нарушают нормальный ход формирования памяти. Они вызывают ретроградную амнезию, когда воспоминания, относящиеся к некоторому промежутку времени, предшествующему сбою, оказываются утеряны.

Аналогичный эффект потери памяти получается при введении в мозг веществ, блокирующих экспрессию определенных генов, производящих белки, участвующие в работе памяти.

Кроме того, эффект ретроградной амнезии знаком многим по существенной потере памяти после чрезмерного употребления алкоголя. Определенная критическая доза выпитого спиртного настолько нарушает процесс консолидации, что часть воспоминаний полностью стирается, создавая невосполнимый провал в памяти. При этом происходит не потеря способности к текущему запоминанию, как при нарушениях в работе гиппокампа, а именно стирание уже полученных воспоминаний, точнее не перевод их в долговременную фазу хранения. Больной с синдромом Корсакова теряет воспоминание, как только происходит переключение его внимания. Человек, выпивший критическую дозу, все равно помнит недавние события, и во многих случаях может поддерживать связанную беседу. Однако наутро все воспоминания, начиная с определенного момента, оказываются стертыми.

Для объяснения эффекта консолидации необязательно замыкаться на компьютерной аналогии, связанной с физическим перемещением данных. В нашей модели консолидацию и ее смысл можно описать следующим образом. Как мы говорили ранее, внесинаптические метаботропные рецептивные кластеры обладают эффектом гистерезиса. Это значит, что если нейрон, генерирует спайк, то скачек мембранного потенциала при выполнении ряда условий, описанных нами ранее, может послужить поводом для перехода рецептивного кластера в устойчивое состояние. Устойчивое состояние – это либо состояние, в котором концевые части рецепторов вытолкнуты из мембраны и рецептор приобретает чувствительность к определенному сигналу, либо состояние их утопленности в котором рецептор, наоборот чувствительность теряет. Такое изменение происходит с рецептивными кластерами, для которых выполнилось условие интерференции медиаторов от окружающих их синапсов, то есть которые настроились на определенный образ.

Переход рецептивных кластеров в такое состояние происходит одновременно у огромного количества нейронов, активных в текущий момент времени. Что означает, что этот текущий момент запоминается с чрезвычайной избыточностью и детализацией. Это ведет к тому, что при прочих равных, текущие события имеют значительно более высокую вероятность быть вспомненными по сравнению с событиями более отдаленными во времени.

Такую гиперподробную память можно назвать оперативной или кратковременной памятью, но не стоит путать ее с текущей вызванной и волновой активностью нейронов коры. Активность нейронов формирует описание происходящего, кратковременная же память хранит картины таких относительно недавних состояний. Причем кратковременная память ничем не отличается от остальной памяти, за исключением того, что свежие воспоминания более детальны, так как используют существенно большее количество рецептивных кластеров, чем остальные энграммы.

Продолжительность сверхоперативной памяти – секунды. Затем большая часть внесинаптических рецепторов возвращается в исходное состояние, обретая готовность участвовать в новых актах запоминания. Но существенная часть рецептивных кластеров по тем или иным причинам остается в состоянии фиксации образа. Они переходят в следующую устойчивую фазу, которая позволяет им существовать дальше и соответственно хранить фрагмент своего воспоминания.

Можно предположить, что каждое воспоминание проходит несколько стадий консолидации, лишаясь на каждом этапе части своих рецептивных кластеров. Самый простой алгоритм забывания – вероятностный. Регулируя вероятность прохождения рецептивным кластером очередного этапа консолидации, можно получить требуемый объем для каждого воспоминания к моменту его перехода в долговременную память.

Фазы консолидации сопровождается синтезом советующих белков, которые определяют общее течение всех процессов. Ход консолидации для метаботропных и для ионотропных рецепторов имеет свои особенности, но достаточно похож идеологически. Сразу после обучения в ядре нейрона начинается экспрессия немедленных «ранних генов». Эти гены кодируют транскрипционные факторы. Транскрипционные факторы запускают транскрипцию «поздних генов». Примерный график такой процедуры показан на рисунке ниже.


Экспрессия «ранних» и «поздних» генов (Е.В. Муравьева, К.В. Анохин, 2006).

Известны разные белки, относительно которых доказано их участие в процессе формирования памяти. Arc, CPEB, Kibra – это только малая часть из них, хотя и наиболее часто упоминаемая. Надо помнить, что информация оставляет на нейроне два типа следов. Один связан с изменением чувствительности его синапсов, другой с фиксацией изменений во внесинаптических рецепторах. Первое влияет на свойства нейрона, как детектора. Второе обеспечивает способность нейронов распространять волны идентификаторов, хранить событийную память, формировать ассоциативность и тому подобное. Как и в какой последовательности происходит белковая регуляция этих процессов вопрос не простой и пока не имеющий общепринятого ответа, поскольку нет пока и общепризнанной модели памяти. Поэтому в нашей модели мы будем делать акцент на общую идеологию процессов, к сожалению, не имя возможности доказательно описать их белковую регуляцию.

Консолидация фактически задает таймер, который отсчитывает стадию жизни элементов воспоминания и регулирует вероятность их перехода в следующую фазу. Можно предположить, что повторение опыта или что равносильно воспоминание о нем, изменяют ход консолидации, повышая шансы рецептивных кластеров на переход в фазу долговременной памяти. То есть чем больше повторений или чем чаще воспоминания, тем более значимый след оставляет событие. И тем выше вероятность его восстановления при соответствующем информационном запросе.

Так как события эмоционально значимые заставляют нас чаще вспоминать о них, по сравнению с событиями нейтральными, то это может быть одной из причин, почему эмоционально окрашенные события формируют более прочные и устойчивые следы в нашей памяти.

Но воспоминания о пережитом опыте не так просты, как кажутся. Психологам давно известен феномен трансформации воспоминаний. Первым его показал еще в 1932 году Фредерик Бартлетт (Bartlett, 1932). Он установил, что если человек, вспоминая определенное событие, добавляет какие-либо детали, то исходное воспоминание замещается новым, а измененные детали становятся частью этого нового воспоминания. Причем человек не осознает этих изменений, а считает, что все было именно так как он помнит теперь. Такое изменение воспоминаний принято называть реконсолидацией памяти.

Реконсолидация памяти хорошо вписывается в нашу модель. Воспоминание о каком-либо событии сопровождается восстановлением его уникального идентификатора. Если по какой-либо причине происходит искажение исходного воспоминания, то текущий информационный образ запоминается с тем же самым идентификатором, что и основное воспоминание, так как именно этот идентификатор присутствует в пространстве коры. А значит, неизбежно происходит описанный Барлеттом феномен трансформации.

Есть очень интересные опыты, которые показывают, что реконсолидация может сопровождаться не только трансформацией, но и стиранием памяти. Но поскольку эти опыты больше относятся к поведению, чем к событийной памяти мы рассмотрим их позже в соответствующем разделе.

Общую идеологию событийной памяти можно описать следующим образом. Поступающая информация создает свежие воспоминания с огромной избыточностью и детализацией. Это делает их исключительно доступными для оперативного доступа. Такая память живет не долго. Она память подвергается стадиям консолидации, каждая из которых уменьшает количество рецептивных кластеров, формирующих энграммы. В результате всех этапов консолидации, продолжающихся, по-видимому, около месяца, энграммы приобретают стабильный объем и переходят в фазу долговременного хранения.

Ранее мы оценили порядок объема событийной памяти мозга в 10 петабайт. Откуда цыганским методом вывели оценку размера энграммы в 1 мегабайт. Эта оценка может быть справедлива для старых, прошедших все стадии консолидации, воспоминаний. Большая часть информации, с которой мы оперируем, относится к текущему дню. Для этой информации обеспечивается развернутое избыточное хранение. Можно предположить, что такая актуальная память занимает существенный объем от общей памяти мозга. Если бы я был конструктором человеческого мозга, то я бы эмпирически отвел на свежие воспоминания половину всей доступной памяти, а оставшуюся половину определил под старые воспоминания.

При таком эмпирическом предположении скорость записи информации мозгом можно оценить, как 5x1015/(16x60x60), что составляет около 1011 байт или 100 гигабайт в секунду. Конечно, это значительно больше, чем весь объем информации, поступающий от всех вместе органов чувств. Но разговор идет не о входном объеме, а о развернутом описании, состоящем из множества описаний, возникающих на каждой из зон коры.

В такой прикидке начальный размер одной энграммы составит порядка 10 гигабайт. Собственно, процесс консолидации памяти – это постепенное сведение этого чрезвычайно избыточного объема до уровня порядка 1 мегабайта.

Тем не менее, каким бы на самом деле не было соотношение объемов новой и старой памяти, природа должна была оптимизировать его так, чтобы не допустить неоправданного резервирования простаивающих объемов. Это значит, что с учетом крайне высокой скорости записи текущей информации, может наступить момент переполнения всей доступной памяти. Можно предположить, что сонливость – это и есть состояние, когда информационные ресурсы мозга подходят к своему заполнению, и требуется расчистка памяти.

В принципе, оперативная консолидация памяти происходит постоянно, непрерывно сжимая объемы энграмм, мозг обеспечивает пространство для новых воспоминаний. Но можно предположить, что оперативная консолидация имеет ряд недостатков. Так в нашей модели нейроны-детекторы образуют паттерны, соответствующие понятиям. Каждое понятие образуется множеством паттернов, расположенных в разных местах коры. Чтобы паттерн запустил волну, должна активироваться существенная часть нейронов паттерна. Это значит, что если пользоваться вероятностной консолидацией, просто удаляя часть рецептивных кластеров, то мы постепенно разрушим все энграммы до такого уровня, когда ни один из паттернов не будет в состоянии излучить волну, связанную с этим воспоминанием. Чтобы избежать этого, разумно использовать выборочную консолидацию.

Выборочная консолидация предполагает, что мы избирательно определяем на каких паттернах стоит оставить четкие следы воспоминаний, а на каких стоит их полностью удалить. Тогда при том же объеме энграммы и сохранении ее распределенного характера удастся избежать малой плотности энграмм на отдельных паттернах.

Можно предположить, что выгоднее использовать для сохранения энграмм те паттерны, которые своим положением на коре наиболее точно соответствуют активности, связанной с общим контекстом воспоминания. Но процедура определения таких паттернов требует повторного технического воспроизведения запомненных событий. Однако такое воспроизведение несовместимо с нормальной работой мозга, так как, протекая одновременно с текущим восприятием, будет восприниматься мозгом как галлюцинация. Уместно предположить, что оптимальная консолидация, связанная с удалением большей части, накопленной за день информации, не возможна или затруднена при обычной работе мозга. Тогда получается, что сон – это именно то состояние, которое необходимо мозгу для выполнения процедур подобного рода.

Кроме того, что мозг накапливает событийные воспоминания, одновременно с этим происходит обучение нейронов, как детекторов. И то и другое основано на изменении структуры нейронных рецепторов. Изменения в рецепторах управляются продуктами экспрессии определенных генов. Продукты экспрессии генов – это белки. Часть из них непосредственно участвует в клеточных процессах, часть является транскрипционными факторами, которые регулируют последующую экспрессию генов. По изменению концентрации соответствующих белков можно судить о течении процессов, связанных с обоими видами консолидации.

Увидеть и оценить концентрацию белков можно через окрашивание среза мозговой ткани красителем, избирательно реагирующим на требуемый белок. Подобные наблюдения показали, что наиболее масштабные изменения происходят именно во время сна (Chiara Cirelli, Giulio Tononi, 1998) (Cirelli, 2002) (рисунки ниже).


Распределение белка Arc в теменной коре крысы после трех часов сна (S) и после трех часов спонтанного бодрствования (W) (Cirelli, 2002)


Распределение транскрипционного фактора P-CREB в корональных участках теменной коры крысы после трех часов сна (S) и в случае лишения сна на три часа (SD) (Cirelli, 2002)

Консолидация памяти во сне происходит в несколько этапов. У здорового человека сон начинается с первой стадии медленного сна, которая длится 5-10 минут. Затем наступает вторая стадия, которая продолжается около 20 минут. Еще 30-45 минут приходится на периоды третей и четвертой стадий. После этого спящий снова возвращается во вторую стадию медленного сна, после которой возникает первый эпизод быстрого сна, который имеет короткую продолжительность — около 5 минут. Во время быстрого сна глазные яблоки очень часто и периодически совершают быстрые движения под сомкнутыми веками. Если в это время разбудить спящего, то в 90% случаев можно услышать рассказ о ярком сновидении. Вся эта последовательность называется циклом. Первый цикл имеет длительность 90-100 минут. Затем циклы повторяются, при этом уменьшается доля медленного сна и постепенно нарастает доля быстрого сна, последний эпизод которого в отдельных случаях может достигать 1 часа. В среднем при полноценном здоровом сне отмечается пять полных циклов.

Стадии сна можно объяснить необходимостью обработать информацию различного типа. Алгоритмы консолидации событийной памяти, волновой памяти, связанной с распространением идентификаторов, и памяти, связанной с пластичностью синапсов, могут сильно различаться.

В наших предположениях хорошо объясняется цикличность сна. Полная консолидация, как каждому известно из личного опыта, требует около восьми часов. Но обстоятельства могут заставить нас проснуться раньше. Если бы восьмичасовой сон состоял из одного цикла, разделенного на несколько фаз, то преждевременное прерывание сна вело бы к тому, что начальные фазы сна успевали бы завершиться полностью, при том, что поздние еще даже не начинались. То есть часть информации оставалась бы совершенно необработанной, при этом полностью исчерпав за предыдущий день соответствующий ресурс мозга. То есть мозг, по сути, был бы в неработоспособном состоянии. Несколько циклов позволяют при преждевременном пробуждении хотя бы частично выполнить каждую из процедур консолидации и привести мозг в адекватное состояние. Но потребность в полноценной консолидации не исчезает, и впоследствии мозг должен будет компенсировать упущенные циклы более продолжительным сном, что обычно называется «отоспаться».

Похоже, что консолидация памяти связана с фазами медленного сна. По мере ее завершения эти фазы становятся все короче, уступая место быстрому сну. Это объясняет тот факт, что при полном завершении консолидации, завершающий этап сна состоит исключительно из продолжительной фазы быстрого сна.

Быстрый сон – это те самые сновидения, которые образуют причудливые фантазии, только отдаленно связанные с реальным опытом. Закономерность, подмеченная для сновидений еще Зигмундом Фрейдом, гласит, что во сне проступают явления, наиболее беспокоящие нас, важные для нас, концентрирующие суть наших терзаний и переживаний (Фрейд, 1900). В большинстве случаев сны очень быстро забываются. Мы видим сны каждую ночь, но стремительность, с которой мы их забываем, заставляет многих считать, что они вообще не видят снов.

В нашей модели стирание сновидений реализуется достаточно просто. Для этого достаточно сделать так, чтобы следы идентификаторов гиппокампа не фиксировались надолго, а подвергались быстрому расформированию. Это приведет к тому, что мы будем безвозвратно забывать о сновидениях. Но если, проснувшись, мы успеем вспомнить о недавнем сне, то возникнет новое уже традиционное воспоминание, которое сохранит события сна.

Можно предположить, что для снов стирание следов идентификаторов гиппокампа не сопровождается удалением ассоциативных следов. Тогда смысл сновидений можно объяснить усилением системы ассоциаций для наиболее значимых и важных для нас понятий. Что в свою очередь способствует последующему восприятию мира таким образом, что именно эти понятия будут наиболее акцентированы в системе описания новых событий.

Всем хорошо известно, что «утро вечера мудренее». Но в чем суть этой мудрости? Иногда утренние озарения объясняют тем, что де, мол, мозг ночью решает дневные задачи. К такому объяснению подталкивает, во-первых, тот факт, что зафиксированная во многих исследованиях ночная активность мозга сильно напоминает активность пережитого днем, а, во-вторых, созвучность сновидений тем темам, что нас тревожат наяву. Но уместней предположить, что мозг не решает ночью дневные задачи, он работает над оптимизацией системы понятий и воспоминаний. Утром эта оптимизация позволяет значительно легче найти объяснения вчера еще непонятным вопросам. Чтобы правильно задать вопрос, надо знать большую часть ответа. Та работа, которую делает ночью мозг — это и есть подготовка той самой большей часть ответа — возможности подойти к вопросу с «правильным» набором внутренних понятий и избавившись от излишней детальности ненужных воспоминаний. То есть, если все, сказанное сейчас про сон, кажется вам слишком туманным, то попробуйте вернуться к этому завтра.

Нет смысла жалеть о времени, проведенном во сне. Сон – это замечательная возможность «поумнеть», не прикладывая никаких усилий. Единственное, что все-таки необходимо – это предварительно загрузить голову достаточным объемом свежей информации. Причем этой информацией могут быть не только новые факты, но и старые знания, заново вспомненные или обдуманные. Любые наши размышления оставляют след свежих воспоминаний на коре. Во сне происходит консолидация новых размышлений и старого опыта, что дает возможность возникнуть более глубоким обобщениям. Это означает, что дневные размышления по какому-либо вопросу имеют смысл, даже если они не приводят к немедленному ответу. Эти размышления создают те свежие воспоминания, относящиеся к интересующей нас теме, что ночью дадут мозгу возможность поработать над оптимизацией всей системы наших понятий. Можно вспомнить о том, что маленькие дети, у которых организация коры идет наиболее активно, вообще, большую часть времени проводят во сне.

Идеи консолидации позволяют объяснить не только сон младенцев, но и консерватизм стариков. Под консерватизмом мы понимает отказ от новых идей и навыков при условии сохранения нормальной событийной памяти. В традиционных подходах это вызывает определенное противоречие. Казалось бы, способность запоминать новые факты должна обеспечивать способность обучаться новым принципам и осваивать новые навыки. Но все встает на место, если вспомнить, что есть организация нейронов-детекторов, формирующая набор понятий мозга, а есть событийная память, описывающаяся и хранящаяся на базе этих понятий. Ежедневная консолидация событийной памяти расчищает, по-видимому, больше половины доступного объема. Это значит, что независимо от возраста событийная память может быть крепкой, если этому не мешают органические нарушения. Но вот с нейронами-детекторами все обстоит сложнее. Похоже, что с возрастом количество нейронов, определившихся со своей специализацией, становится все больше, и для образования новых понятий остается все меньше и меньше возможностей. И тогда мы приходим к ситуации, что запомнить мы можем все, но только в тех понятиях, которые у нас существуют. А вот сформировать новые понятия мы уже можем с трудом или не можем вообще. Соответственно, все принципиально новое вызывает трудности восприятия и естественное отторжение, что и называется старческим консерватизмом.

Продолжение

Использованная литература

Предыдущие части:
Часть 1. Нейрон
Часть 2. Факторы
Часть 3. Персептрон, сверточные сети
Часть 4. Фоновая активность
Часть 5. Волны мозга
Часть 6. Система проекций
Часть 7. Интерфейс человек-компьютер
Часть 8. Выделение факторов в волновых сетях
Часть 9. Паттерны нейронов-детекторов. Обратная проекция
Часть 10. Пространственная самоорганизация
Часть 11. Динамические нейронные сети. Ассоциативность
Часть 12. Следы памяти
Часть 13. Ассоциативная память
Часть 14. Гиппокамп

Алексей Редозубов (2014)
искусственный интеллект

[Александр Вакуров]

24 марта в 11:55
Логика мышления. Часть 16. Пакетное представление информации
Биоинформатика, Искусственный интеллект, Программирование*


Этот цикл статей описывает волновую модель мозга, серьезно отличающуюся от традиционных моделей. Настоятельно рекомендую тем, кто только присоединился, начинать чтение с первой части.

Информация, которой оперирует мозг, должна, с одной стороны, достаточно полно описывать происходящее, с другой стороны, должна храниться так, чтобы допускать выполнение над собой требуемых мозгу операций. В принципе, формат описания информации и алгоритмы ее обработки – вещи тесно связанные между собой. Первое во многом определяет второе. Поэтому говоря о том, как могут быть организованы данные, хранимые мозгом, мы, хотим того или нет, во многом предопределяем систему последующих мыслительных процессов. Так как разговор о принципах мышления нам предстоит позже, то сейчас мы сделаем акцент только на том, как обеспечить полноту текущего описания и последующего хранения информации. При этом подразумевая, что если, дойдя до мышления, окажется, что выбранный нами формат данных подошел под требуемые алгоритмы, то значит, нам повезло и мы пошли по правильному пути.

Чтобы понять, какой формат описаний использует мозг, проследим последовательность зрительного восприятия. Разглядывая изображение, мы «сканируем» его быстрыми движениями глаз, называемыми саккадами (рисунок на КДПВ). Каждая из них помещает в центр зрения один из фрагментов общей картины. На зонах зрительной коры возникают описания, соответствующие тому, что мы видим в этот момент в центре, что видит периферия и каково смещение в результате только что проделанной саккады. Каждая следующая саккада порождает новую картину. Эти описания сменяют друг друга одно за другим.


Так, разглядывая лицо, мы сначала, например, четко видим и распознаем один глаз, тот на который направлен взгляд. Остальные элементы лица, попадающие на относительную периферию зрения — нос, рот и так далее, мы узнаем с меньшей, но то же достаточно высокой вероятностью. После каждой саккады центральный фрагмент меняется, но общий набор узнанных элементов сохраняется неизменным.

В принципе, каждого из таких отдельных описаний, возникающих между саккадами, достаточно чтобы сказать, что перед нами лицо и даже узнать, кому оно принадлежит. Но каждое отдельное описание достоверно говорит только о том объекте, который для него расположен по направлению взгляда. Остальные объекты определяются достаточно приблизительно.

Если мы захотим получить более полное и подробное представление о лице, то для этого подойдет совокупность всех описаний, которые возникнут во время сканирования. При этом важно будет не только описание того, что за объекты узнаны, но и информация об сопутствующих смещениях взгляда. И тут мы подходим к очень важному моменту. Что же является тем итоговым описанием, которое должен выдавать зрительный анализатор? Просто картина активности ряда понятий? Это соответствует только той части описания, что мы видим прямо сейчас. А как же остальное? Получается, что корректное, не теряющее информации, описание – это пакет следующих друг за другом более простых описаний. Где каждый из слоев такого временного пакета описывает только некоторую часть информации, а полное описание получается, как их совокупность. Это справедливо при условии, что все описания в пакете соответствуют одному событию, то есть, получены до глобального переключения нашего внимания.

Если взять моментальный снимок активности коры мозга, то описание происходящего можно сопоставить с перечислением активных понятий на каждой из ее зон. Но такое описание имеет существенный недостаток. Предположим, что мы хотим описать натюрморт, изображенный на рисунке ниже.



Мы можем это сделать, например, так:
Ваза чуть правее центра;
Букет в вазе;
Полотенце справа от вазы;
Белый цветок на полотенце;
Миска с малиной слева;
Малина на листе слева от миски;
Три малины перед миской;
Малина справа от вазы.

Общее описание складывается из набора таких коротких описаний. Каждое короткое описание можно, с некоторыми оговорками, заменить перечислением понятий, входящих в него. Но если мы захотим собрать итоговое описание, просто сложив все понятия, участвующие в коротких перечислениях, то нас постигнет неудача. При сложении исчезнет часть информации, так как станет непонятно, что к чему относится. Но, кроме того, окажется, что надо некоторые понятия использовать несколько раз. Например, малина она и слева, и справа, и перед миской. А если мы хотим использовать это «просто собранное» описание как аналогию того, как описывается такой натюрморт на зонах коры, то окажется, что обобщение «малина» у нас одно и оно не может одновременно быть «активным три раза». Выход из этого положения, который мне видится вполне логичным, — это использовать пакетное описание. Каждое простое описание может складываться из банального перечисления активных понятий. Полное же описание получается, как набор простых описаний. Поскольку простые описания разнесены между собой по времени, то, с одной стороны, понятно, что к чему относится, а, с другой стороны, одно и то же понятие может возникать несколько раз в разных слоях пакета в разных контекстах.

Такое пакетное представление очень хорошо соотносится с рассуждениями относительно объема внимания человека. Психологи, изучая свойства внимания, установили, что есть предел того количества объектов, на которых человек может одновременно сконцентрироваться. Обычно этот предел не превышает семи объектов. Первым измерения объема внимания с использованием механического тахистоскопа сделал основатель экспериментальной психологии Вильгельм Вундт.


Тахитоскоп – прибор, с помощью которого можно предъявлять последовательные зрительные стимулы

Оценить объем внимания очень просто. Посмотрите на предыдущий натюрморт и попробуйте сосчитать, сколько отдельных элементов вы способны, нет, не запомнить, это другое, а удержать в голове одновременно. Или возьмите семизначный телефонный номер, например, 1145618 и попробуйте «удержать» его в голове. Скорее всего, чтобы он не пропал, вам придется зациклено повторять его про себя. Если цифр в номер будет больше семи, что велик шанс, что удержать их все в памяти не удастся. Предельное количество воспринимаемых одновременно объектов натюрморта или цифр номера дает оценку объему вашего внимания.

Сделанное нами предположение о пакетном представлении информации в коре мозга позволяет сопоставить каждый из объектов, удерживаемых во внимании, с одним из слоев информационного пакета.

Если представить кору, состоящую из небольшого количества понятий, способную формулировать совсем простые мысли относительно двух объектов «A» и «B», то пакет, соответствующий мысли: «красный объект A лежит на синем объекте B», будет выглядеть, как показано на рисунке ниже.


Пример информационного пакета

Кодирование сложных описаний

Вернемся к памяти и попробуем систематизировать, с какими типами информации, и, соответственно, типами описаний умеет оперировать наш мозг.

Первый тип – это простое описание, которое соответствует картине мгновенной активности коры. Это сочетание тех понятий, что детектированы мозгом именно сейчас.

Второй тип – это пакет простых описаний, соответствующих одному событию, одной мысли. В пакете несущественен порядок следования описаний. Перестановка слоев пакета не меняет общего смысла высказывания. Вспоминание пакета – это восстановление серии следующих друг за другом простых описаний.

Третий тип – это позиционное описание. В таком описании сохраняется связь одних объектов с другими, находящимися с ними в определенной системе отношений. Например, разновидность такого описания – это пространственное описание. Когда мы не просто фиксируем свое положение в пространстве, а увязываем его определенными описаниями с расположением других объектов.

Четвертый тип – это процедурное описание. Такое описание, в котором важна последовательность смены образов и сопутствующие этому интервалы. Например, восприятие речи определяется последовательностью звуков, при этом соотношение интервалов формирует интонацию, от которой сильно зависит общий смысл услышанной фразы. Вспоминание процедуры – это воспроизведение соответствующей последовательности образов.

И пятый тип – это хронологическое описание. Фиксация на продолжительных отрезках времени того в какой последовательности и с какими временными интервалами происходили те или иные события. Возможность вспомнить для хронологической памяти – это не воспроизведение сразу всего, относящегося к одной хронологии, а возможность перейти от одного описания к другому, связанному с ним общей временной последовательностью.

Несложно заметить, что многие описания так или иначе завязаны на время. Пакетное описание – это серия следующих друг за другом образов. Процедурное описание учитывает последовательность событий. Хронологическое описание требует учета позиционирования событий во времени.

Такая зависимость описаний от времени послужила поводом к возникновению соответствующих моделей. Наиболее известная из них – это пропагандируемая Джефом Хокинсом концепция иерархической темпоральной памяти (HTM) (Хокинс, 2011). Он и его коллеги исходят из того, что темпоральная смена событий – это единственное, что позволяет связать между собой отдельные информационные образы. Из этого делается вывод, что базовый информационный элемент коры должен работать не со статичными образами, а с временной последовательностью. В концепции HTM элемент хранения информации – это развернутая во времени последовательность сигналов. Узнавание – это определение совпадения двух последовательностей. При этом особый акцент делается на способность HTM к предсказанию. Как только нейрон узнает начало знакомой ему последовательности, он становится способен по своему опыту предсказать запомненное им продолжение. Описание текущей картины в HTM – это активность тех нейронов, которые откликнулись на текущую смену событий.

Сложности такого подхода достаточно очевидны. Во-первых, требование соблюдения временных масштабов. Небольшое ускорение или задержка в поступлении данных могут нарушить алгоритм узнавания. Во-вторых, необходимость переводить все статичные образы во временные последовательности перед тем, как кора сможет с ними оперировать. И тому подобное.

В нашей модели система идентификаторов дает нам универсальный инструмент, который одинаково хорошо подходит для описания всех возможных типов памяти. Основная идея проста – каждое простое описание представляет собой составной идентификатор, содержащий в себе все необходимое для указания всего набора, как ассоциативных, так и временных взаимосвязей.

На рисунке ниже приведено условное изображение такого простого описания. Простое описание – это волна, несущая в себе несколько наборов идентификаторов разных типов. Основное содержание кодируется набором идентификаторов понятий, описывающих суть происходящего. Идентификатор слоя помечает основное содержание, отделяя его от остальных простых описаний. Идентификатор пакета объединяет несколько слоев, относящихся к одному сложному описанию. Идентификаторы места, времени и последовательности создают систему соответствующих связей между сложными описаниями.


Формат простого описания

Возьмем предыдущий пример и обозначим волны идентификаторов, соответствующие используемым понятиям (concepts), как C1...C7 (рисунок ниже).


Понятия, используемые для описания

Тогда описание того, что «красный объект A лежит на синем объекте B» будет выглядеть, как показано на рисунке ниже.


Пример сложного описания

В этом примере каждый из слоев пакета является простым описанием со своим идентификатором слоя. Все слои пакета имеют общий идентификатор пакета p1. Когда заканчивается одно сложное описание, другое, следующее за ним имеет отличный от него идентификатор пакета p2 (понятия второго описания на рисунке не показаны).

Чтобы такая конструкция была работоспособной, мозгу необходима достаточно сложная система, создающая идентификаторы, формирующие пакеты. Причем для каждой из зон коры может потребоваться свой набор таких идентификаторов, уместный именно для нее.

Например, возьмем последовательность зрительного восприятия. Скачкообразные микродвижения глаз, называемые микросаккадами, заставляют глаз сканировать малый фрагмент изображения, приходящийся на центр сетчатки. Все образы, которые получаются в процессе такого сканирования, предположительно могут объединяться общим идентификатором. Микродвижениями глаз управляют верхние бугорки четверохолмия. Можно предположить, что именно они кодируют такой идентификатор. После нескольких микросаккад происходит сильный прыжок, называемый саккадой (выше на рисунке с головой Нефертити показаны именно саккады). Каждая саккада вызывают смену идентификатора микросаккад.

Можно предположить, что микросаккады принципиально важны для первичной зрительной коры. Общий идентификатор сообщает коре, что сери подряд идущих образов описывает один и тот же объект, но в разных его позициях на сетчатке, что позволяет объединить их в единое описание и реализовать инвариантное к положению на сетчатке узнавание.

Более продолжительное событие — серия саккад. Так как серия относится к разглядыванию единой картины, то получаемые описания тоже можно связать между собой еще одним общим идентификатором – идентификаторам саккад. Но этот идентификатор существенен уже не для первичной, а для вторичной и более глубоких уровней зрительной коры, где происходит последующая обработка информации. Идентификатор, сообщающий коре, что все, что мы видим во время серии саккад – это одна и та же картина, позволяет соотнести между собой одни и те же образы, видимые разными местами сетчатки.

Смена идентификатора саккад должна происходить, когда существенно меняется разглядываемая картина. Например, при сильном повороте головы, переключении внимания, смене плана или сцены в кино. Переключение внимания может кодироваться элементами лимбической системы мозга и распространяться на множество, завязанных на это, зон коры. Одновременно с этим в системе описаний присутствуют идентификаторы гиппокампа, кодирующие пространственно-временные описания событий. Короче, система идентификаторов, определяющих пакет, может быть достаточно сложна, и определяться особенностями той информации, с которой имеет дело каждая конкретная зона коры.

Используя идентификаторы несложно организовать фиксацию последовательности событий. Например, если взять идентификатор, состоящий из двух фрагментов, то поочередно меняя по одному из них, можно получить ассоциативную связанность соседних описаний (рисунок ниже).


Кодирование последовательности

Каждый такой идентификатор будет содержать элемент от предыдущего и последующего идентификатора. Запомнив временную последовательность образов с такими идентификаторами, мы для каждого образа сможем найти его двух соседей по временной шкале. Несложно усложнив идентификатор можно закодировать не только общую связанность, но и направление течения времени.

Надо отметить, что в нашей модели каждое воспоминание имеет богатую систему идентификаторов. Это позволяет получить доступ к воспоминанию через множество совершенно различных ассоциаций. Можно вспомнить что-либо, исходя из совпадения смыла описаний. Можно проассоциировать информационные картины по месту или времени описываемых событий. Можно воспроизвести последовательность образов, относящихся к одному событию. Нетрудно заметить, что такой доступ к воспоминаниям имеет много общего с подходами, которые используются при создании традиционных реляционных баз данных.

Использованная литература

Продолжение

Предыдущие части:
Часть 1. Нейрон
Часть 2. Факторы
Часть 3. Персептрон, сверточные сети
Часть 4. Фоновая активность
Часть 5. Волны мозга
Часть 6. Система проекций
Часть 7. Интерфейс человек-компьютер
Часть 8. Выделение факторов в волновых сетях
Часть 9. Паттерны нейронов-детекторов. Обратная проекция
Часть 10. Пространственная самоорганизация
Часть 11. Динамические нейронные сети. Ассоциативность
Часть 12. Следы памяти
Часть 13. Ассоциативная память
Часть 14. Гиппокамп
Часть 15. Консолидация памяти

Алексей Редозубов (2014)
искусственный интеллект

http://habrahabr.ru/post/216825/

[Александр Вакуров]

идите за белым кроликом читайте дальше на сайте - источнике habrahabr.ru

всё круто