Логика мышления Опции

[Александр Вакуров]

Логика мышления. Часть 1. Нейрон
Биоинформатика, Искусственный интеллект, Программирование*

Алексей Редозубов

Года полтора назад я выкладывал на Хабр цикл видеолекций с моим видением того как работает мозг и каковы возможные пути создания искусственного интеллекта. За прошедшее с тех пор время удалось существенно продвинуться вперед. Что-то получилось глубже понять, что-то удалось смоделировать на компьютере. Что приятно, появились единомышленники, активно участвующие в работе над проектом.

В настоящем цикле статей планируется рассказать о той концепции интеллекта над которой мы сейчас работаем и продемонстрировать некоторые решения, являющиеся принципиально новыми в сфере моделирования работы мозга. Но чтобы повествование было понятным и последовательным оно будет содержать не только описание новых идей, но и рассказ о работе мозга вообще. Какие-то вещи, особенно в начале, возможно покажутся простыми и общеизвестными, но я бы советовал не пропускать их, так как они во многом определяют общую доказательность повествования.


Общее представление о мозге


Нервные клетки, они же нейроны, вместе со своими волокнами, передающими сигналы, образуют нервную систему. У позвоночных основная часть нейронов сосредоточена в полости черепа и позвоночном канале. Это называется центральной нервной системой. Соответственно, выделяют головной и спинной мозг как ее составляющие.

Спинной мозг собирает сигналы от большинства рецепторов тела и передает их в головной мозг. Через структуры таламуса они распределяются и проецируются на кору больших полушарий головного мозга.

Проекция информации на кору
Проекция информации на кору

Кроме больших полушарий обработкой информации занимается еще и мозжечок, который, по сути, является маленьким самостоятельным мозгом. Мозжечок обеспечивает точную моторику и координацию всех движений.

Зрение, слух и обоняние обеспечивают мозг потоком информации о внешнем мире. Каждая из составляющих этого потока, пройдя по своему тракту, также проецируется на кору. Кора – это слой серого вещества толщиной от 1.3 до 4.5 мм, составляющий наружную поверхность мозга. За счет извилин, образованных складками, кора упакована так, что занимает в три раза меньшую площадь, чем в расправленном виде. Общая площадь коры одного полушария – приблизительно 7000 кв.см.

В итоге все сигналы проецируются на кору. Проекция осуществляется пучками нервных волокон, которые распределяются по ограниченным областям коры. Участок, на который проецируется либо внешняя информация, либо информация с других участков мозга образует зону коры. В зависимости от того, какие сигналы на такую зону поступают, она имеет свою специализацию. Различают моторную зону коры, сенсорную зону, зоны Брока, Вернике, зрительные зоны, затылочную долю, всего около сотни различных зон.


Зоны коры
Зоны коры

В вертикальном направлении кору принято делить на шесть слоев. Эти слои не имеют четких границ и определяются по преобладанию того или иного типа клеток. В различных зонах коры эти слои могут быть выражены по-разному, сильнее или слабее. Но, в общем и целом, можно говорить о том, что кора достаточно универсальна, и предполагать, что функционирование разных ее зон подчиняется одним и тем же принципам.


Слои коры

По афферентным волокнам сигналы поступают в кору. Они попадают на III, IV уровень коры, где распределяются по близлежащим к тому месту, куда попало афферентное волокно, нейронам. Большая часть нейронов имеет аксонные связи в пределах своего участка коры. Но некоторые нейроны имеют аксоны, выходящие за ее пределы. По этим эфферентным волокнам сигналы идут либо за пределы мозга, например, к исполнительным органам, или проецируются на другие участки коры своего или другого полушария. В зависимости от направления передачи сигналов эфферентные волокна принято делить на:
ассоциативные волокна, которые связывают отдельные участки коры одного полушария;
комиссуральные волокна, которые соединяют кору двух полушарий;
проекционные волокна, которые соединяют кору с ядрами низших отделов центральной нервной системы.

Если взять направление, перпендикулярное поверхности коры, то замечено, что нейроны, располагающиеся вдоль этого направления, реагируют на схожие стимулы. Такие вертикально расположенные группы нейронов, принято называть кортикальными колонками.

Можно представить себе кору головного мозга как большое полотно, раскроенное на отдельные зоны. Картина активности нейронов каждой из зон кодирует определенную информацию. Пучки нервных волокон, образованные аксонами, выходящими за пределы своей зоны коры, формируют систему проекционных связей. На каждую из зон проецируется определенная информация. Причем на одну зону может поступать одновременно несколько информационных потоков, которые могут приходить как с зон своего, так и противоположного полушария. Каждый поток информации похож на своеобразную картинку, нарисованную активностью аксонов нервного пучка. Функционирование отдельной зоны коры – это получение множества проекций, запоминание информации, ее переработка, формирование собственной картины активности и дальнейшая проекция информации, получившейся в результате работы этой зоны.

Существенный объем мозга – это белое вещество. Оно образовано аксонами нейронов, создающими те самые проекционные пути. На рисунке ниже белое вещество можно увидеть как светлое заполнение между корой и внутренними структурам мозга.


Распределение белого вещества на фронтальном срезе мозга

Используя диффузную спектральную МРТ, удалось отследить направление отдельных волокон и построить трехмерную модель связанности зон коры (проект Connectomics (Коннектом)).

Представление о структуре связей хорошо дают рисунки ниже (Van J. Wedeen, Douglas L. Rosene, Ruopeng Wang, Guangping Dai, Farzad Mortazavi, Patric Hagmann, Jon H. Kaas, Wen-Yih I. Tseng, 2012).


Вид со стороны левого полушария


Вид сзади


Вид справа

Кстати, на виде сзади отчетливо видна асимметрия проекционных путей левого и правого полушария. Эта асимметрия во многом и определяет различия в тех функциях, которые приобретают полушария по мере их обучения.

Нейрон


Основа мозга – нейрон. Естественно, что моделирование мозга с помощью нейронных сетей начинается с ответа на вопрос, каков принцип его работы.

В основе работы реального нейрона лежат химические процессы. В состоянии покоя между внутренней и внешней средой нейрона существует разность потенциалов – мембранный потенциал, составляющий около 75 милливольт. Он образуется за счет работы особых белковых молекул, работающих как натрий-калиевые насосы. Эти насосы за счет энергии нуклеотида АТФ гонят ионы калия внутрь, а ионы натрия — наружу клетки. Поскольку белок при этом действует как АТФ-аза, то есть фермент, гидролизующий АТФ, то он так и называется — «натрий-калиевая АТФ-аза». В результате нейрон превращается в заряженный конденсатор с отрицательным зарядом внутри и положительным снаружи.


Схема нейрона (Mariana Ruiz Villarreal)

Поверхность нейрона покрыта ветвящимися отростками – дендритами. К дендритам примыкают аксонные окончания других нейронов. Места их соединений называются синапсами. Посредством синаптического взаимодействия нейрон способен реагировать на поступающие сигналы и при определенных обстоятельствах генерировать собственный импульс, называемый спайком.

Передача сигнала в синапсах происходит за счет веществ, называемых нейромедиаторами. Когда нервный импульс по аксону поступает в синапс, он высвобождает из специальных пузырьков молекулы нейромедиатора, характерные для этого синапса. На мембране нейрона, получающего сигнал, есть белковые молекулы – рецепторы. Рецепторы взаимодействуют с нейромедиаторами.


Химический синапс

Рецепторы, расположенные в синаптической щели, являются ионотропными. Это название подчеркивает тот факт, что они же являются ионными каналами, способными перемещать ионы. Нейромедиаторы так воздействуют на рецепторы, что их ионные каналы открываются. Соответственно, мембрана либо деполяризуется, либо гиперполяризуется – в зависимости от того, какие каналы затронуты и, соответственно, какого типа этот синапс. В возбуждающих синапсах открываются каналы, пропускающие катионы внутрь клетки, — мембрана деполяризуется. В тормозных синапсах открываются каналы, проводящие анионы, что приводит к гиперполяризации мембраны.

В определенных обстоятельствах синапсы могут менять свою чувствительность, что называется синаптической пластичностью. Это приводит к тому, что синапсы одного нейрона приобретают различную между собой восприимчивость к внешним сигналам.

Одновременно на синапсы нейрона поступает множество сигналов. Тормозящие синапсы тянут потенциал мембраны в сторону накопления заряда внутри клети. Активирующие синапсы, наоборот, стараются разрядить нейрон (рисунок ниже).


Возбуждение (A) и торможение ( ганглиозной клетки сетчатки (Николлс Дж., Мартин Р., Валлас Б., Фукс П., 2003)

Когда суммарная активность превышает порог инициации, возникает разряд, называемый потенциалом действия или спайком. Спайк – это резкая деполяризация мембраны нейрона, которая и порождает электрический импульс. Весь процесс генерации импульса длится порядка 1 миллисекунды. При этом ни продолжительность, ни амплитуда импульса не зависят от того, насколько были сильны вызвавшие его причины (рисунок ниже).


Регистрация потенциала действия ганглиозной клетки (Николлс Дж., Мартин Р., Валлас Б., Фукс П., 2003)

После спайка ионные насосы обеспечивают обратный захват нейромедиатора и расчистку синаптической щели. В течение рефрактерного периода, наступающего после спайка, нейрон не способен порождать новые импульсы. Продолжительность этого периода определяет максимальную частоту генерации, на которую способен нейрон.

Спайки, которые возникают как следствие активности на синапсах, называют вызванными. Частота следования вызванных спайков кодирует то, насколько хорошо поступающий сигнал соответствует настройке чувствительности синапсов нейрона. Когда поступающие сигналы приходятся именно на чувствительные синапсы, активирующие нейрон, и этому не мешают сигналы, приходящие на тормозные синапсы, то реакция нейрона максимальна. Образ, который описывается такими сигналами, называют характерным для нейрона стимулом.

Конечно, представление о работе нейронов не стоит излишне упрощать. Информация между некоторыми нейронами может передаваться не только спайками, но и за счет каналов, соединяющих их внутриклеточное содержимое и передающих электрический потенциал напрямую. Такое распространение называется градуальным, а само соединение называется электрическим синапсом. Дендриты в зависимости от расстояния до тела нейрона делятся на проксимальные (близкие) и дистальные (удаленные). Дистальные дендриты могут образовывать секции, работающие как полуавтономные элементы. Помимо синаптических путей возбуждения есть внесинаптические механизмы, вызывающие метаботропные спайки. Кроме вызванной активности существует еще и спонтанная активность. И наконец, нейроны мозга окружены глиальными клетками, которые также оказывают существенное влияние на протекающие процессы.

Долгий путь эволюции создал множество механизмов, которые используются мозгом в своей работе. Некоторые из них могут быть поняты сами по себе, смысл других становится ясен только при рассмотрении достаточно сложных взаимодействий. Поэтому не стоит воспринимать сделанное выше описание нейрона как исчерпывающее. Чтобы перейти к более глубоким моделям, нам необходимо сначала разобраться с «базовыми» свойствами нейронов.

В 1952 году Аланом Ллойдом Ходжкином и Эндрю Хаксли были сделаны описания электрических механизмов, которые определяют генерацию и передачу нервного сигнала в гигантском аксоне кальмара (Hodgkin, 1952). Что было оценено Нобелевской премией в области физиологии и медицины в 1963 году. Модель Ходжкина – Хаксли описывает поведение нейрона системой обыкновенных дифференциальных уравнений. Эти уравнения соответствуют автоволновому процессу в активной среде. Они учитывают множество компонент, каждая из которых имеет свой биофизический аналог в реальной клетке (рисунок ниже). Ионные насосы соответствуют источнику тока Ip. Внутренний липидный слой клеточной мембраны образует конденсатор с емкостью Cm. Ионные каналы синаптических рецепторов обеспечивают электрическую проводимость gn, которая зависит от подаваемых сигналов, меняющихся со временем t, и общей величины мембранного потенциала V. Ток утечки мембранных пор создает проводник gL. Движение ионов по ионным каналам происходит под действием электрохимических градиентов, которым соответствуют источники напряжения с электродвижущей силой En и EL.


Основные компоненты модели Ходжкина — Хаксли

Естественно, что при создании нейронных сетей возникает желание упростить модель нейрона, оставив в ней только самые существенные свойства. Наиболее известная и популярная упрощенная модель – это искусственный нейрон Маккалока — Питтса, разработанный в начале 1940-х годов (Маккалох Дж., Питтс У., 1956).

Формальный нейрон Маккалока — Питтса

На входы такого нейрона подаются сигналы. Эти сигналы взвешенно суммируются. Далее к этой линейной комбинации применяется некая нелинейная функция активации, например, сигмоидальная. Часто как сигмоидальную используют логистическую функцию:


Логистическая функция

В этом случае активность формального нейрона записывается как



В итоге такой нейрон превращается в пороговый сумматор. При достаточно крутой пороговой функции сигнал выхода нейрона – либо 0, либо 1. Взвешенная сумма входного сигнала и весов нейрона – это свертка двух образов: образа входного сигнала и образа, описываемого весами нейрона. Результат свертки тем выше, чем точнее соответствие этих образов. То есть нейрон, по сути, определяет, насколько подаваемый сигнал похож на образ, записанный на его синапсах. Когда значение свертки превышает определенный уровень и пороговая функция переключается в единицу, это можно интерпретировать как решительное заявление нейрона о том, что он узнал предъявляемый образ.

Реальные нейроны действительно неким образом похожи на нейроны Маккалока — Питтса. Амплитуды их спайков не зависит от того, какие сигналы на синапсах их вызвали. Спайк, либо есть, либо его нет. Но реальные нейроны реагируют на стимул не единичным импульсом, а импульсной последовательностью. При этом частота импульсов тем выше, чем точнее узнан характерный для нейрона образ. Это означает, что если мы построим нейронную сеть из таких пороговых сумматоров, то она при статичном входном сигнале хотя и даст какой-то выходной результат, но этот результат будет далек от воспроизведения того, как работают реальные нейроны. Для того чтобы приблизить нейронную сеть к биологическому прототипу, нам понадобиться моделировать работу в динамике, учитывая временные параметры и воспроизводя частотные свойства сигналов.

Но можно пойти и другим путем. Например, можно выделить обобщенную характеристику активности нейрона, которая соответствует частоте его импульсов, то есть количеству спайков за определенный промежуток времени. Если перейти к такому описанию, то можно представить нейрон как простой линейный сумматор.


Линейный сумматор

Сигналы выхода и, соответственно, входа для таких нейронов уже не являются дихатомичными (0 или 1), а выражаются некой скалярной величиной. Функция активации тогда записывается как



Линейный сумматор не стоит воспринимать как что-то принципиально иное по сравнению с импульсным нейроном, просто он позволяет при моделировании или описании перейти к более длинным временным интервалам. И хотя импульсное описание более корректно, переход к линейному сумматору во многих случаях оправдан сильным упрощением модели. Более того, некоторые важные свойства, которые трудно разглядеть в импульсном нейроне, вполне очевидны для линейного сумматора.

Источник

habrahabr.ru

[Александр Вакуров]

Логика мышления. Часть 5. Волны мозга
Биоинформатика, Искусственный интеллект, Робототехника


Итак, мы подошли к описанию одного из ключевых принципов описываемой модели. Этот принцип ранее не использовался ни в нейронных сетях, ни при описании работы мозга. В связи с этим я крайне рекомендую ознакомится с предыдущими частями. Как минимум необходимо прочитать четвертую часть без которой описанное ниже, будет совершенно непонятно.

В предыдущей части мы говорили о том, что активность нейронов делится на вызванную и фоновую. Отголоски фоновой активности наблюдают, снимая электроэнцефалограмму. Записываемые сигналы имеют сложную форму и зависят от места приложения электродов к голове, но, тем не менее, в них достаточно четко прослеживаются отдельные гармонические составляющие.

Основные ритмы получили названия:
альфа-ритм (от 8 до 13 Гц);
бета-ритм (от 15 до 35 Гц);
гамма-ритм (от 35 до 100 Гц);
дельта-ритм (от 0,5 до 4 Гц);
тэта-ритм (от 5 до 7 Гц);
сигма-ритм «веретена» (от 13 до 14 Гц).

Природу ритмов традиционно принято соотносить с осциляторными свойствами нейронов. Так, поведение одиночного нейрона описывается уравнениями Ходжкина-Хаксли (Hodgkin, 1952):




Эти уравнения определяют автоволновой процесс, то есть предписывают нейрону генерировать импульсы. Модель Ходжкина-Хаксли сложна для моделирования. Поэтому существует достаточно много ее упрощений, сохраняющих основные генерирующие свойства. Наиболее популярные модели: Фитцхью-Нагумо (Fitzhugh, 1961), Моррис-Лекара (Morris C., Lecar H., 1981), Хиндмарш-Роуз (Hindmarsh J. L., and Rose R. M., 1984). Многие модели, например, Хиндмарш-Роуз позволяют смоделировать как пачечную активность, так и обособленные спайки (рисунок ниже).


Пачечная активность и спайки, возникающие при моделировании нейрона Хиндмарш-Роуз

Объединяя нейроны, генерирующие собственные импульсы, в конструкции, напоминающие строение реальной коры, удается воспроизвести различные эффекты, характерные для групповой активности реальных нейронов. Например, можно добиться глобальной синхронизации нейронной активности или вызвать появление волн. Наиболее известные модели: Вилсона-Кована (H.R. Wilson and J.D. Cowan, 1972) и Куромото (Kuramoto, 1984).

Электроэнцефалограмма фиксирует отголоски совместной активности нейронов, но понятно, что у этой активности есть определенная пространственно-временная организация. Методы оптического наблюдения за активностью коры позволяют увидеть ее в живую. У подопытного животного обнажают участок коры и вводят специальный краситель, чувствительный к изменениям электрического потенциала. Под воздействием суммарных колебаний мембранного потенциала нейронов такой краситель меняет свои спектральные свойства. И хотя эти изменения крайне малы, они, тем не менее, могут быть зафиксированы, например, с помощью диодного массива, выполняющего роль высокоскоростной видеокамеры. Оптические методы не позволяют заглянуть вглубь коры и проследить активность отдельных нейронов, но они дают возможность составить общее представление о течении волновых процессов на ее поверхности.


Схема оптической фиксации активности коры (Michael T. Lippert, Kentaroh Takagaki, Weifeng Xu, Xiaoying Huang, Jian-Young Wu, 2007)

Оказалось, что ритмам мозга соответствуют волны, возникающие в точечных источниках и распространяющиеся по коре, как круги по воде. Правда, фронт волны на воде расходится строго по кругу, а фронт волны активности нейронов мозга может распространяться более сложным образом. На рисунке ниже показаны картины распространения волн на 5 миллиметровом участке коры мозга крысы.


Картина распространения волны активности на участке коры мозга крысы. Потенциал показан градиентом от синего к красному. 14 кадров с интервалом 6 миллисекунд покрывают один цикл распространения волны (84 миллисекунды – 12 Гц) (Michael T. Lippert, Kentaroh Takagaki, Weifeng Xu, Xiaoying Huang, Jian-Young Wu, 2007)

Очень интересные и показательные видеозаписи волновой активности приведены в работе (W.-F. Xu, X.-Y. Huang, K. Takagaki, and J.-Y. Wu, 2007). Там показано, что волны могут уплотняться, доходя до границы зоны коры, могут отражаться от другой зоны и создавать встречную волну, могут распространяться двойными спиралями и создавать вихри.


Компрессия и отражение волны в первичной зрительной коре (W.-F. Xu, X.-Y. Huang, K. Takagaki, and J.-Y. Wu, 2007)

Ниже видео из той же работы (W.-F. Xu, X.-Y. Huang, K. Takagaki, and J.-Y. Wu, 2007):



Используя модели осциллирующих нейронов, можно и в компьютерных экспериментах получить аналогичные волновые картины. Но сама по себе такая пульсация не несет большого смысла. Вполне разумно предположить, что волны активности – это механизм переноса и обработки информации. Но попытки в традиционных моделях объяснить природу этого механизма не дали ощутимых результатов. Кажется логичным допустить, что информация кодируется частотными и фазовыми характеристиками нейронных сигналов. Но это приводит к необходимости учитывать интерференционные процессы и ставит больше вопросов, чем вносит ясности.

Существует гипотеза, что волны «сканируют» кору, считывая с нее информацию для последующей ее передачи (Pitts W., McCulloch W.S., 1947). Это выглядит достаточно здраво, по крайней мере, относительно альфа-волн и первичной зрительной коры. Авторы этой гипотезы Мак-Каллок и Питс особо подчеркивали, что сканирование позволяет объяснить один важный феномен. Дело в том, что информация от первичной зрительной коры проецируется далее по волокнам белого вещества через пучки аксонов, явно недостаточные по своему объему для одновременной передачи всего состояния этой зоны коры. А значит, делали вывод они, сканирование позволяет использовать не только пространственный, но и временной код, что обеспечивает последовательную передачу требуемой информации.

Такая проблема узости проецирующих пучков существует не только для первичной зрительной коры, но и для всех остальных зон мозга. Количество волокон в проекционных путях много меньше количества нейронов, формирующих пространственную картину активности. Связи между зонами явно не в состоянии параллельно передать весь пространственно распределенный сигнал, а значит, требуется понимание того, как происходит сжатие и распаковка транслируемой по ним информации. Предположение о сканировании, хотя и не дает ответа на вопрос о самом механизме кодирования, тем не менее позволяет поставить перед собой правильные вопросы.

Наша модель в объяснении ритмов мозга опирается на приведенное выше описание природы метаботропной активности. Использование представления о том, что в процесс создания ритмов вовлечены не только синапсы нейронов, но и метаботропные рецептивные кластеры, позволяет получить результат, качественно отличающийся от всех классических теорий. Но перед тем как перейти к описанию этого, хочу сделать предупреждение. Я сознательно буду описывать упрощенные идеализированные модели, ставя им в соответствие определенные процессы, свойственные реальному мозгу, но, не утверждая, что мозг работает именно так. Наша задача – показать базовые принципы, понимая, что эволюция ушла далеко вперед и их подлинная реализация значительно хитрее. Можно провести аналогию с развитием вычислительной техники. Современный компьютер достаточно сложен, и если мы начнем описывать базовые принципы классических вычислительных устройств, то окажется, что в чистом виде их уже практически невозможно встретить в современных системах. Базовое представление – процессор считывает из памяти программу и данные, выполняет над данными действия, предписанные программой, и записывает результаты обратно в память. А теперь добавьте к этому использование кэша различных уровней, многопоточность, гиперпоточность, параллельные вычисления с использованием локальной, групповой и общей памяти и тому подобное. И окажется, что трудно найти в реальном компьютере буквальное соблюдение простых правил. Собственно, все это надо учитывать, сопоставляя последующее описание с работой реального мозга.

Итак, возьмем модель участка коры, на которой создадим компактный паттерн вызванной активности. Пока оставим вопрос, как возник этот паттерн. Просто будем полагать, что есть элементы, на которых присутствует постоянный импульсный сигнал. На рисунке ниже нейроны, образующие такой паттерн, помечены красным. В реальной коре это соответствует аксонам, передающим пачечную активность, то есть выдающим серию спайков с высокой частотой. Эти аксоны могут принадлежать нейронам этой же зоны коры, находящимся в состоянии вызванного возбуждения, либо они могут быть проекционными волокнами, идущими от других участков мозга.


Паттерн вызванной активности

Теперь заставим свободные нейроны генерировать редкие случайные импульсы. При этом наложим условие, что для случайного спайка требуется определенный уровень окружающей активности. Это значит, что случайные спайки смогут возникнуть только поблизости от уже активных нейронов. В нашем случае они появятся в окрестности паттерна вызванной активности. На рисунке ниже случайные спайки показаны зеленым цветом.

Обычно всю активность нейронов, которая не является вызванной, называют спонтанной или фоновой. Это не очень удачно, так как настраивает на восприятие всей этой активности как случайной. Далее мы покажем, что, в основном, фоновая активность строго предопределена и нисколько не случайна. И только малая ее часть – это действительно совершенно случайные спайки. Такие случайные спайки мы сейчас и создали вокруг активного паттерна.


Первый шаг моделирования. Спонтанная активность на фоне вызванной активности

Смоделируем на наших формальных нейронах метаботропные рецептивные кластеры. Для этого дадим нейронам возможность запоминать, когда это необходимо, картину активности ближайшего окружения. Причем не ограничимся одной картиной для одного нейрона, как это было бы, запоминай мы на синапсах, а позволим каждому нейрону хранить множество таких картин.

Сделаем так, что наличие собственного случайного спайка и высокой окружающей активности будет каждый раз основанием запоминать картину окружающих импульсов (рисунок ниже). Далее наши нейроны будут давать единичные спайки каждый раз, когда будет повторяться одна из этих запомненных локальных картин. Чтобы не путать их со случайными спайками, будем называть эти спайки волновыми.


Область фиксации активности для одного из нейронов, выдавших спонтанный спайк (он в центре квадрата). При моделировании для простоты использовались квадратные рецептивные поля, что хотя и не соответствует полям слежения у реальных нейронов, качественно не влияет на результат

В итоге на следующем шаге моделирования (рисунок ниже) мы получим картину, в которой будут те же, что и ранее, нейроны с вызванной активностью (красные), нейроны, среагировавшие на запомненные на предыдущем шаге локальные образы (белые), и нейроны, сгенерировавшие спонтанный спайк (зеленые).


Второй шаг моделирования. Красные – вызванная активность, белые – волновая активность, зеленые – спонтанная активность

Повторяя шаги моделирования, мы получим распространяющуюся по коре активность с определенным уникальным случайно созданным узором.
Теперь введем условие усталости нейронов. Сделаем так, что после нескольких метаботропных (волновых) спайков нейроны будут терять на время, необходимое для релаксации, способность генерировать новые импульсы. Это приведет к тому, что активность будет распространяться не сплошной областью, а пульсирующими волнами, разбегающимися от своего источника.

Чтобы предотвратить «засорение», заблокируем спонтанную активность в областях, где велико количество релаксирующих нейронов. В результате мы получим кольцо нейронов с волновой активностью, разбегающееся от паттерна вызванной активности (рисунок ниже).


Распространение фронта волны. Синие – нейроны, пребывающие в состоянии релаксации

Получившаяся волна по мере удаления от своего центра будет терять плотность фронта и рано или поздно затухнет. На рисунке ниже можно проследить первый цикл ее жизни.


Первый цикл распространения волны идентификатора

После того как период релаксации пройдет, запустится новая волна. Теперь она будет подхвачена нейронами, уже прошедшими обучение, и распространится несколько дальше. С каждым новым циклом волна будет расширять границы своего распространения, пока не достигнет краев зоны. Чтобы предотвратить неограниченный рост плотности фронта волны, введем еще одно ограничение: запретим спонтанную активность для нейронов, когда общая активность вокруг них превышает определенный порог.

Через какое-то время мы получим кору, обученную распространять уникальную по своему узору волну активности, соответствующую заданному изначально паттерну вызванной активности (рисунок ниже).


Распространение волны по уже обученной коре (после 200 тактов обучения)

Ниже видео процесса волнового обучения:



Обратите внимание: когда кора уже обучена на распространение волны от определенного паттерна, спонтанные (случайные) спайки исчезают. Такая «опытная» волна формируется за счет волновых, неслучайных спайков. Случайные спайки появляются только при обучении, когда фронт волны доходит до еще необученных или слабо обученных территорий. В этот момент спонтанные импульсы создают случайное продолжение волнового узора, которое тут же запоминается на поверхности нейронов, участвующих в этой волне. Но как только обучение заканчивается, волна от знакомого коре паттерна начинает распространяться по уже созданному волновому шаблону, каждый такт в точности повторяя на своем пути один и тот же уже неслучайный узор.

Обучение коры не обязательно должно быть поэтапным. При моделировании подбором параметров можно добиться, чтобы зародившаяся волна была самодостаточной. То есть, чтобы она не затухала на первых тактах, а сразу распространялась на все пространство (рисунок ниже).


Пример незатухающего на первом цикле распространения обучающей волны

Так как ширина фронта волны постоянна, то его площадь возрастает по мере удаления от источника. Это соответствует тому, что в распространении активности участвует все больше нейронов. Если проследить суммарный потенциал, создаваемый ими, то получатся графики, напоминающие то, что мы видим на энцифолограммах (рисунок ниже).


График ритмической активности модели с одним источником

Обратите внимание, что появление ритмов, наблюдаемых на таких «энцефалограммах», – это не ритм «дыхания» коры. То есть не синхронизация совместных всплесков активности, как полагается в большинстве существующих моделей, а изменение количества нейронов, вовлеченных в распространение расходящихся волн. Если новые волны будут излучаться еще до того, как исчезнут фронты предыдущих волн, то их сложение даст более сглаженную картину. При определенном подборе параметров на модели воспроизводятся ситуации, когда распространение волн практически не сопровождается суммарной ритмической активностью. Это можно соотнести с тем фактом, что у порядка 10 процентов людей на электроэнцефалограммах волновая активность не прослеживается.

Если теперь взять новый паттерн вызванной активности, то кора создаст волны, распространяющиеся и от него. Более того, такая кора обучается создавать волны для любого устойчивого паттерна вызванной активности. За счет того, что один и тот же нейрон может хранить множество локальных образов, он может быть частью сразу множества различных волн, соответствующих разным паттернам. Если мы захотим большей уникальности волн, то достаточно по мере накопления у нейрона запомненных им локальных образов снижать вероятность его спонтанного спайка.

Для запомненных локальных образов имеет смысл ввести механизм консолидации. То есть не фиксировать образ сразу на века, а установить время, в течение которого образ должен определенное количество раз повториться. Так как обучение волновому распространению и формирование устойчивых паттернов вызванной активности – процессы параллельные, то консолидация может позволить стереть следы неудачного обучения.

Но самое главное во всем этом – это уникальность каждой из полученных волновых историй. В любом месте, через которое проходит волна, она создает единственный, характерный только для нее рисунок. Это значит, что если на поверхности коры есть паттерн вызванной активности, который кодирует какое-либо событие, то волна, вызванная им, распространит информацию об этом по всему пространству коры. В каждом конкретном месте эта волна создаст свой неповторимый узор, уникальный только для этого события. Любое другое событие создаст в этом месте иной узор, связанный со своей волной. Это значит, что находясь в любом месте, мы можем настроиться на «прием» волны от какого-либо конкретного события и зафиксировать, когда оно произойдет по приходу волны с соответствующим узором.

В нашей модели получается, что фундаментальные свойства коры – это:
способность генерировать волны, расходящиеся от паттернов вызванной активности;
способность обучаться, проводить уникальные и стабильные для каждого паттерна узоры волн;
будучи обученной, способность распространять волны активности, возникающие вокруг устойчивых паттернов вызванной активности.

Каждому уникальному паттерну вызванной активности соответствует уникальная по своему узору волна, которую можно назвать идентификатором этого паттерна.

Теперь процесс обучения можно грубо представить следующим образом:
статистически устойчивые сигналы ведут к формированию нейронов-детекторов, которые за счет синаптической пластичности обучаются реагировать на определенные закономерности;
нейроны-детекторы, относящиеся к одной закономерности, образуют устойчивый паттерн;
каждый устойчивый паттерн по мере своей активности обучает кору распространять уникальную волну, соответствующую только этому паттерну, что можно трактовать как идентификатор этого паттерна;
каждое место коры, куда распространяются соответствующие волны, получает возможность узнать, какова общая информационная картина на текущий момент.

Из сказанного выше следует, что для своей полноценной работы мозг должен не только сформировать нейроны-детекторы различных явлений, но и обучить кору распространять соответствующие информационные волны. Это хорошо согласуется с тем фактом, что ритмическая активность у детей слабо выражена сразу после рождения и увеличивается по мере взросления.

Когда мы говорим о структурах мозга, которые реагируют на определенные явления, то в нашей концепции возникает их очевидный дуализм. Эти структуры не описываются исключительно какими-либо нейронами или группами нейронов, они дополняются еще и идентификационными волнами, которые позволяют распространить соответствующую информацию. Но, что интересно, – в каждом конкретном месте, через которое проходит волна, она ведет себя так же, как и породивший ее паттерн. В моментальном временном срезе она сама является паттерном, порождающим продолжение волны.

Нетрудно заметить, что такое распространение идентификационных волн повторяет принцип Гюйгенса-Френеля, описывающий распространение волн света. Суть его в том, что каждую точку фронта световой волны можно рассматривать как центр вторичного возмущения. Каждый такой центр порождает вторичные сферические волны. Итоговое световое поле есть интерференция этих волн. Огибающая вторичных волн становится фронтом волны в следующий момент времени, и так далее.


Рефракция (слева) и интерференция (справа) по Гюйгенсу-Френелю (Nordmann)

Разница в природе паттерна вызванной активности и паттерна, возникающего в процессе распространения волны, может быть обнаружена только по анализу причины активности входящих в них нейронов. Для вызванной активности – это картина на синапсах, для паттерна распространения – реакция метаботропных рецепторов. То есть отражение мозгом каких-либо явлений – это одновременно и паттерн и волна, причем в каждый конкретный момент времени, когда мы попытаемся зафиксировать распространение этой волны, мы увидим паттерн, отличный по узору, но не по сути от того, что дал начало волне.

Нетрудно заметить, что описанный дуализм достаточно точно соответствует дуализму элементарных частиц. Как известно, каждая частица – это одновременно и частица и волна. В зависимости от того, какие обстоятельства мы рассматриваем, частица может проявлять как волновые, так и корпускулярные свойства. Современная физика констатирует этот факт, но не дает ему объяснения. То, что мы описали о дуализме информационных образов, к счастью, несколько нагляднее, чем дуализм элементарных частиц. Конечно, напрашивается вопрос, можно ли продлить эти аналогии и использовать их для понимания физической картины мира? Это очень серьезный вопрос, и позже мы поговорим о случайности или не случайности такого совпадения.

Из дуализма информационных образов проистекают важные следствия. Как и частицы с разными спинами, два паттерна от разных волн могут находиться в одной пространственной области, не мешая друг другу. Более того, каждый из них вызывает продолжение собственной волны, не внося взаимных искажений. Если мы создадим несколько паттернов и обучим кору на распространение волн от каждого из них, то активировав эти паттерны совместно, мы сможем наблюдать прохождение волн друг сквозь друга с сохранением собственной уникальности (рисунок ниже).


Моделирование прохождения волн от двух источников

Это сильно отличается от сплошных волновых процессов. Например, при распространении волн в воде или воздухе, в колебаниях принимают участие сразу все молекулы. Столкновение двух волн затрагивает весь контактирующий объем, что ведет к интерференции. Поведение каждой молекулы определяется действием сразу обеих волн. В результате мы получаем интерференционную картину, которая уже не столь проста, как каждая из волновых картин в отдельности. В нашем же случае каждая из волн распространяется, затрагивая только малую часть всех доступных нейронов. При пересечении двух информационных волн общих для них нейронов, способных создать интерференцию, оказывается слишком мало, чтобы повлиять на распространение каждой из них. В результате, волны сохраняют свою информационную картину, неискаженной от встречи с другой волной.

Определенная изящность описываемой системы еще и в том, что нейроны могут выполнять одновременно две функции. Каждый нейрон может быть детектором, настраиваясь за счет изменения синаптических весов на определенный образ. При этом этот же нейрон за счет информации, записанной на его метаботропных кластерах, может принимать участие в распространении различных информационных волн.

Стоит почувствовать разницу между свойствами нейрона как детектора и как участника распространения волновой активности. Казалось бы, и там и там он реагирует на определенную картину активности своего окружения. В действительности это два принципиально разных свойства. Относительно плавная настройка синаптических весов позволяет нейрону обучаться на выделение скрытых факторов. Моментальная фиксация образов внесинаптическими кластерами обеспечивает запоминание того, что есть прямо сейчас. Синапсы воспринимают масштабную картину со всего рецептивного поля нейрона. Метаботропным рецептивным кластерам доступна урезанная картина активности, ограниченная синапсами, образующими их синаптические ловушки. Набор синаптических весов у обычного нейрона только один, а вот идентификационных образов он может хранить десятки и сотни тысяч. Синаптическое узнавание порождает вызванную активность, то есть длительный пакет импульсов. Несколько нейронов-детекторов за счет этого создают паттерн вызванной активности. Метаботропное узнавание дает единичный спайк. Совокупность таких спайков создает фронт идентификационной волны.

При моделировании наблюдается, что дальность распространения идентификатора зависит от того, насколько активно проявляет себя создающий волну паттерн. Применяя механизм консолидации, то есть, вводя критерии забывания, срабатывающего, если активность не повторяется должным образом, удается получить эффект, когда часто повторяющие паттерны обучают всю кору на распространение своих волн, а редкие сочетания создают области локального распространения. Причем размеры этих областей не фиксированы, а охотно растут, если соответствующее явление начинает проявлять себя чаще. В таком поведении можно найти определенный резон. Возможно, что и реальная кора ведет себя похожим образом.

Когда мне удалось сформулировать описанные выше волновые принципы, моделирование в рамках нашего проекта перешло на новый качественный уровень. Было ощущение, что вместо каменного топора мы внезапно получили отбойный молоток. В следующих частях я покажу как использование волновой нейросетевой модели позволяет объяснить многие казавшиеся ранее загадочными свойства мозга.

http://habrahabr.ru/post/214663/