Логика мышления Опции

[Александр Вакуров]

Логика мышления. Часть 1. Нейрон
Биоинформатика, Искусственный интеллект, Программирование*

Алексей Редозубов

Года полтора назад я выкладывал на Хабр цикл видеолекций с моим видением того как работает мозг и каковы возможные пути создания искусственного интеллекта. За прошедшее с тех пор время удалось существенно продвинуться вперед. Что-то получилось глубже понять, что-то удалось смоделировать на компьютере. Что приятно, появились единомышленники, активно участвующие в работе над проектом.

В настоящем цикле статей планируется рассказать о той концепции интеллекта над которой мы сейчас работаем и продемонстрировать некоторые решения, являющиеся принципиально новыми в сфере моделирования работы мозга. Но чтобы повествование было понятным и последовательным оно будет содержать не только описание новых идей, но и рассказ о работе мозга вообще. Какие-то вещи, особенно в начале, возможно покажутся простыми и общеизвестными, но я бы советовал не пропускать их, так как они во многом определяют общую доказательность повествования.


Общее представление о мозге


Нервные клетки, они же нейроны, вместе со своими волокнами, передающими сигналы, образуют нервную систему. У позвоночных основная часть нейронов сосредоточена в полости черепа и позвоночном канале. Это называется центральной нервной системой. Соответственно, выделяют головной и спинной мозг как ее составляющие.

Спинной мозг собирает сигналы от большинства рецепторов тела и передает их в головной мозг. Через структуры таламуса они распределяются и проецируются на кору больших полушарий головного мозга.

Проекция информации на кору
Проекция информации на кору

Кроме больших полушарий обработкой информации занимается еще и мозжечок, который, по сути, является маленьким самостоятельным мозгом. Мозжечок обеспечивает точную моторику и координацию всех движений.

Зрение, слух и обоняние обеспечивают мозг потоком информации о внешнем мире. Каждая из составляющих этого потока, пройдя по своему тракту, также проецируется на кору. Кора – это слой серого вещества толщиной от 1.3 до 4.5 мм, составляющий наружную поверхность мозга. За счет извилин, образованных складками, кора упакована так, что занимает в три раза меньшую площадь, чем в расправленном виде. Общая площадь коры одного полушария – приблизительно 7000 кв.см.

В итоге все сигналы проецируются на кору. Проекция осуществляется пучками нервных волокон, которые распределяются по ограниченным областям коры. Участок, на который проецируется либо внешняя информация, либо информация с других участков мозга образует зону коры. В зависимости от того, какие сигналы на такую зону поступают, она имеет свою специализацию. Различают моторную зону коры, сенсорную зону, зоны Брока, Вернике, зрительные зоны, затылочную долю, всего около сотни различных зон.


Зоны коры
Зоны коры

В вертикальном направлении кору принято делить на шесть слоев. Эти слои не имеют четких границ и определяются по преобладанию того или иного типа клеток. В различных зонах коры эти слои могут быть выражены по-разному, сильнее или слабее. Но, в общем и целом, можно говорить о том, что кора достаточно универсальна, и предполагать, что функционирование разных ее зон подчиняется одним и тем же принципам.


Слои коры

По афферентным волокнам сигналы поступают в кору. Они попадают на III, IV уровень коры, где распределяются по близлежащим к тому месту, куда попало афферентное волокно, нейронам. Большая часть нейронов имеет аксонные связи в пределах своего участка коры. Но некоторые нейроны имеют аксоны, выходящие за ее пределы. По этим эфферентным волокнам сигналы идут либо за пределы мозга, например, к исполнительным органам, или проецируются на другие участки коры своего или другого полушария. В зависимости от направления передачи сигналов эфферентные волокна принято делить на:
ассоциативные волокна, которые связывают отдельные участки коры одного полушария;
комиссуральные волокна, которые соединяют кору двух полушарий;
проекционные волокна, которые соединяют кору с ядрами низших отделов центральной нервной системы.

Если взять направление, перпендикулярное поверхности коры, то замечено, что нейроны, располагающиеся вдоль этого направления, реагируют на схожие стимулы. Такие вертикально расположенные группы нейронов, принято называть кортикальными колонками.

Можно представить себе кору головного мозга как большое полотно, раскроенное на отдельные зоны. Картина активности нейронов каждой из зон кодирует определенную информацию. Пучки нервных волокон, образованные аксонами, выходящими за пределы своей зоны коры, формируют систему проекционных связей. На каждую из зон проецируется определенная информация. Причем на одну зону может поступать одновременно несколько информационных потоков, которые могут приходить как с зон своего, так и противоположного полушария. Каждый поток информации похож на своеобразную картинку, нарисованную активностью аксонов нервного пучка. Функционирование отдельной зоны коры – это получение множества проекций, запоминание информации, ее переработка, формирование собственной картины активности и дальнейшая проекция информации, получившейся в результате работы этой зоны.

Существенный объем мозга – это белое вещество. Оно образовано аксонами нейронов, создающими те самые проекционные пути. На рисунке ниже белое вещество можно увидеть как светлое заполнение между корой и внутренними структурам мозга.


Распределение белого вещества на фронтальном срезе мозга

Используя диффузную спектральную МРТ, удалось отследить направление отдельных волокон и построить трехмерную модель связанности зон коры (проект Connectomics (Коннектом)).

Представление о структуре связей хорошо дают рисунки ниже (Van J. Wedeen, Douglas L. Rosene, Ruopeng Wang, Guangping Dai, Farzad Mortazavi, Patric Hagmann, Jon H. Kaas, Wen-Yih I. Tseng, 2012).


Вид со стороны левого полушария


Вид сзади


Вид справа

Кстати, на виде сзади отчетливо видна асимметрия проекционных путей левого и правого полушария. Эта асимметрия во многом и определяет различия в тех функциях, которые приобретают полушария по мере их обучения.

Нейрон


Основа мозга – нейрон. Естественно, что моделирование мозга с помощью нейронных сетей начинается с ответа на вопрос, каков принцип его работы.

В основе работы реального нейрона лежат химические процессы. В состоянии покоя между внутренней и внешней средой нейрона существует разность потенциалов – мембранный потенциал, составляющий около 75 милливольт. Он образуется за счет работы особых белковых молекул, работающих как натрий-калиевые насосы. Эти насосы за счет энергии нуклеотида АТФ гонят ионы калия внутрь, а ионы натрия — наружу клетки. Поскольку белок при этом действует как АТФ-аза, то есть фермент, гидролизующий АТФ, то он так и называется — «натрий-калиевая АТФ-аза». В результате нейрон превращается в заряженный конденсатор с отрицательным зарядом внутри и положительным снаружи.


Схема нейрона (Mariana Ruiz Villarreal)

Поверхность нейрона покрыта ветвящимися отростками – дендритами. К дендритам примыкают аксонные окончания других нейронов. Места их соединений называются синапсами. Посредством синаптического взаимодействия нейрон способен реагировать на поступающие сигналы и при определенных обстоятельствах генерировать собственный импульс, называемый спайком.

Передача сигнала в синапсах происходит за счет веществ, называемых нейромедиаторами. Когда нервный импульс по аксону поступает в синапс, он высвобождает из специальных пузырьков молекулы нейромедиатора, характерные для этого синапса. На мембране нейрона, получающего сигнал, есть белковые молекулы – рецепторы. Рецепторы взаимодействуют с нейромедиаторами.


Химический синапс

Рецепторы, расположенные в синаптической щели, являются ионотропными. Это название подчеркивает тот факт, что они же являются ионными каналами, способными перемещать ионы. Нейромедиаторы так воздействуют на рецепторы, что их ионные каналы открываются. Соответственно, мембрана либо деполяризуется, либо гиперполяризуется – в зависимости от того, какие каналы затронуты и, соответственно, какого типа этот синапс. В возбуждающих синапсах открываются каналы, пропускающие катионы внутрь клетки, — мембрана деполяризуется. В тормозных синапсах открываются каналы, проводящие анионы, что приводит к гиперполяризации мембраны.

В определенных обстоятельствах синапсы могут менять свою чувствительность, что называется синаптической пластичностью. Это приводит к тому, что синапсы одного нейрона приобретают различную между собой восприимчивость к внешним сигналам.

Одновременно на синапсы нейрона поступает множество сигналов. Тормозящие синапсы тянут потенциал мембраны в сторону накопления заряда внутри клети. Активирующие синапсы, наоборот, стараются разрядить нейрон (рисунок ниже).


Возбуждение (A) и торможение ( ганглиозной клетки сетчатки (Николлс Дж., Мартин Р., Валлас Б., Фукс П., 2003)

Когда суммарная активность превышает порог инициации, возникает разряд, называемый потенциалом действия или спайком. Спайк – это резкая деполяризация мембраны нейрона, которая и порождает электрический импульс. Весь процесс генерации импульса длится порядка 1 миллисекунды. При этом ни продолжительность, ни амплитуда импульса не зависят от того, насколько были сильны вызвавшие его причины (рисунок ниже).


Регистрация потенциала действия ганглиозной клетки (Николлс Дж., Мартин Р., Валлас Б., Фукс П., 2003)

После спайка ионные насосы обеспечивают обратный захват нейромедиатора и расчистку синаптической щели. В течение рефрактерного периода, наступающего после спайка, нейрон не способен порождать новые импульсы. Продолжительность этого периода определяет максимальную частоту генерации, на которую способен нейрон.

Спайки, которые возникают как следствие активности на синапсах, называют вызванными. Частота следования вызванных спайков кодирует то, насколько хорошо поступающий сигнал соответствует настройке чувствительности синапсов нейрона. Когда поступающие сигналы приходятся именно на чувствительные синапсы, активирующие нейрон, и этому не мешают сигналы, приходящие на тормозные синапсы, то реакция нейрона максимальна. Образ, который описывается такими сигналами, называют характерным для нейрона стимулом.

Конечно, представление о работе нейронов не стоит излишне упрощать. Информация между некоторыми нейронами может передаваться не только спайками, но и за счет каналов, соединяющих их внутриклеточное содержимое и передающих электрический потенциал напрямую. Такое распространение называется градуальным, а само соединение называется электрическим синапсом. Дендриты в зависимости от расстояния до тела нейрона делятся на проксимальные (близкие) и дистальные (удаленные). Дистальные дендриты могут образовывать секции, работающие как полуавтономные элементы. Помимо синаптических путей возбуждения есть внесинаптические механизмы, вызывающие метаботропные спайки. Кроме вызванной активности существует еще и спонтанная активность. И наконец, нейроны мозга окружены глиальными клетками, которые также оказывают существенное влияние на протекающие процессы.

Долгий путь эволюции создал множество механизмов, которые используются мозгом в своей работе. Некоторые из них могут быть поняты сами по себе, смысл других становится ясен только при рассмотрении достаточно сложных взаимодействий. Поэтому не стоит воспринимать сделанное выше описание нейрона как исчерпывающее. Чтобы перейти к более глубоким моделям, нам необходимо сначала разобраться с «базовыми» свойствами нейронов.

В 1952 году Аланом Ллойдом Ходжкином и Эндрю Хаксли были сделаны описания электрических механизмов, которые определяют генерацию и передачу нервного сигнала в гигантском аксоне кальмара (Hodgkin, 1952). Что было оценено Нобелевской премией в области физиологии и медицины в 1963 году. Модель Ходжкина – Хаксли описывает поведение нейрона системой обыкновенных дифференциальных уравнений. Эти уравнения соответствуют автоволновому процессу в активной среде. Они учитывают множество компонент, каждая из которых имеет свой биофизический аналог в реальной клетке (рисунок ниже). Ионные насосы соответствуют источнику тока Ip. Внутренний липидный слой клеточной мембраны образует конденсатор с емкостью Cm. Ионные каналы синаптических рецепторов обеспечивают электрическую проводимость gn, которая зависит от подаваемых сигналов, меняющихся со временем t, и общей величины мембранного потенциала V. Ток утечки мембранных пор создает проводник gL. Движение ионов по ионным каналам происходит под действием электрохимических градиентов, которым соответствуют источники напряжения с электродвижущей силой En и EL.


Основные компоненты модели Ходжкина — Хаксли

Естественно, что при создании нейронных сетей возникает желание упростить модель нейрона, оставив в ней только самые существенные свойства. Наиболее известная и популярная упрощенная модель – это искусственный нейрон Маккалока — Питтса, разработанный в начале 1940-х годов (Маккалох Дж., Питтс У., 1956).

Формальный нейрон Маккалока — Питтса

На входы такого нейрона подаются сигналы. Эти сигналы взвешенно суммируются. Далее к этой линейной комбинации применяется некая нелинейная функция активации, например, сигмоидальная. Часто как сигмоидальную используют логистическую функцию:


Логистическая функция

В этом случае активность формального нейрона записывается как



В итоге такой нейрон превращается в пороговый сумматор. При достаточно крутой пороговой функции сигнал выхода нейрона – либо 0, либо 1. Взвешенная сумма входного сигнала и весов нейрона – это свертка двух образов: образа входного сигнала и образа, описываемого весами нейрона. Результат свертки тем выше, чем точнее соответствие этих образов. То есть нейрон, по сути, определяет, насколько подаваемый сигнал похож на образ, записанный на его синапсах. Когда значение свертки превышает определенный уровень и пороговая функция переключается в единицу, это можно интерпретировать как решительное заявление нейрона о том, что он узнал предъявляемый образ.

Реальные нейроны действительно неким образом похожи на нейроны Маккалока — Питтса. Амплитуды их спайков не зависит от того, какие сигналы на синапсах их вызвали. Спайк, либо есть, либо его нет. Но реальные нейроны реагируют на стимул не единичным импульсом, а импульсной последовательностью. При этом частота импульсов тем выше, чем точнее узнан характерный для нейрона образ. Это означает, что если мы построим нейронную сеть из таких пороговых сумматоров, то она при статичном входном сигнале хотя и даст какой-то выходной результат, но этот результат будет далек от воспроизведения того, как работают реальные нейроны. Для того чтобы приблизить нейронную сеть к биологическому прототипу, нам понадобиться моделировать работу в динамике, учитывая временные параметры и воспроизводя частотные свойства сигналов.

Но можно пойти и другим путем. Например, можно выделить обобщенную характеристику активности нейрона, которая соответствует частоте его импульсов, то есть количеству спайков за определенный промежуток времени. Если перейти к такому описанию, то можно представить нейрон как простой линейный сумматор.


Линейный сумматор

Сигналы выхода и, соответственно, входа для таких нейронов уже не являются дихатомичными (0 или 1), а выражаются некой скалярной величиной. Функция активации тогда записывается как



Линейный сумматор не стоит воспринимать как что-то принципиально иное по сравнению с импульсным нейроном, просто он позволяет при моделировании или описании перейти к более длинным временным интервалам. И хотя импульсное описание более корректно, переход к линейному сумматору во многих случаях оправдан сильным упрощением модели. Более того, некоторые важные свойства, которые трудно разглядеть в импульсном нейроне, вполне очевидны для линейного сумматора.

Источник

habrahabr.ru

[Александр Вакуров]

12 марта в 18:01
Логика мышления. Часть 10. Пространственная самоорганизация
Биоинформатика, Искусственный интеллект, Программирование*


Этот цикл статей описывает волновую модель мозга, серьезно отличающуюся от традиционных моделей. Настоятельно рекомендую тем, кто только присоединился, начинать чтение с первой части.

Мы исходим из того, что явления внешнего мира воздействуют на наши органы чувств, вызывая определенные потоки сигналов в нервных клетках. В процессе обучения кора приобретает способность детектировать определенные сочетания сигналов. Детекторами выступают нейроны, синаптические веса которых настраиваются на картины активности, соответствующие детектируемым явлениям. Нейроны коры следят за своим локальным окружением, образующим их локальное рецептивное поле. Информация на рецептивные поля нейронов поступает либо посредством топографической проекции, либо через распространение волн идентификаторов, несущих уникальные узоры, соответствующие уже выделенным признакам. Нейроны-детекторы, реагирующие на одно и то же сочетание признаков, образуют детекторные паттерны. Узоры этих паттернов определяют уникальные волны идентификаторов, которые эти паттерны запускают, приходя в состояние вызванной активности.



В 1952 году Алан Тьюринг опубликовал работу под названием «Химические основы морфогенеза» (Turing A. M., 1952), посвященную самоорганизации материи. Сформулированный им основной принцип гласил, что глобальный порядок определяется локальным взаимодействием. То есть, чтобы получить структурную организацию всей системы, необязательно иметь некий глобальный план, а можно ограничиться исключительно заданием правил близкого взаимодействия образующих систему элементов.

Обучение нейронов происходит не изолированно, а с учетом активности их окружения. Правила учета этой активности определяют самоорганизацию коры. Самоорганизация означает, что по ходу обучения не просто формируются детектирующие нейронные паттерны, а что эти паттерны выстраиваются в некие пространственные конструкции, имеющие свой определенный смысл.

Наиболее очевидный способ самоорганизации – это структурирование по степени близости. Можно обучать нейроны так, чтобы паттерны, соответствующие близким в некотором смысле понятиям, оказывались рядом и в пространстве коры. Позже мы увидим, что такое размещение окажется необходимым для реализации многих важных функций, свойственных мозгу. Пока же просто посмотрим на механизмы, которые могут обеспечить такую организацию.

Достаточно неоднозначный вопрос – как мерить близость понятий. Один подход связан с тем, что любое понятие можно сопоставить с неким описанием. Например, описанием события может быть вектор, компоненты которого показывают выраженность в событии определенных признаков. Набор признаков, в которых ведется описание, образует описательный базис. В таком случае, разумная мера близости – это близость описаний. Чем ближе описание двух явлений, тем более похожи друг на друга эти явления. В зависимости от задачи, которая далее решается с использованием меры близости, можно выбрать тот или иной алгоритм расчета. Мера близости тесно связана с понятием расстояния между объектами. Одно можно пересчитать в другое и наоборот.

Иной подход – это временная близость явлений. Если два явления происходят одновременно, но при этом имеют разные описания, то все равно можно говорить об их определенной близости. Чем чаще явления случаются совместно, тем сильнее может быть истолкована их близость.

На самом деле эти два подхода не противоречат, а взаимодополняют друг друга. Если два явления часто случаются совместно, то надо сделать вывод о наличии явления, которое является реализацией этой совместности. Это новое явление само может быть признаком, описывающим оба исходных явления. Теперь у этих явлений появилось общее в описании, а значит, и близость в описательном подходе. Будем называть близость, учитывающую одновременно и описательную и временную близость, обобщенной близостью.

Представьте, что вы разглядываете какой-либо предмет с разных сторон. Возможно, эти виды будут совершенно различны в описательном плане, но тем не менее нельзя отрицать их близость в некотором ином смысле. Временная близость – это возможное проявление этого иного смысла. Несколько позже мы значительно глубже разовьем эту тему, сейчас же просто отметим необходимость учитывать оба подхода при определении близости понятий.

Наиболее простая для понимания нейронная сеть, которая хорошо иллюстрирует самоорганизацию по степени описательной близости – это самоорганизующиеся карты Кохонена (рисунок ниже).



Пусть у нас есть входная информация, заданная вектором . Есть двумерная решетка из нейронов. Каждый нейрон связан с входным вектором , эта связь определяется набором весов . Вначале инициируем сеть случайными малыми весами. Подавая входной сигнал, для каждого нейрона можно определить его уровень активности как линейного сумматора. Возьмем нейрон, который покажет наибольшую активность, и назовем его нейроном-победителем. Далее сдвинем его веса в сторону образа, на который он оказался похож. Более того, проделаем аналогичную процедуру для всех его соседей. Будем ослаблять этот сдвиг по мере удаления от нейрона-победителя.



здесь – скорость обучения, которая падает со временем, — амплитуда топологической окрестности (зависимость от n предполагает, что она тоже со временем уменьшается).

Амплитуда окрестности может быть выбрана, например, Гауссовой функцией:



где – расстояние между корректируемым нейроном и нейроном-победителем .


Функция Гаусса

По мере обучения на такой самоорганизующейся карте будут выделяться зоны, соответствующие тому, как распределены обучающие образы. То есть сеть сама определит, когда во входном потоке встретятся похожие друг на друга картины, и создаст для них близкие представительства на карте. При этом, чем сильнее будут различаться образы, тем более обособленно друг от друга будут расположены и их представительства. В итоге, если соответствующим образом раскрасить результат обучения, то он будет выглядеть примерно так, как показано на рисунке ниже.


Результат обучения карты Коханена

Карты Коханена используют функцию амплитуды топологической окрестности, что предполагает, что нейроны кроме взаимодействия через синапсы могут обмениваться дополнительной информацией, говорящей о характере окружающей активности, и эта информация может влиять на ход их синаптического обучения. Необходимость в передаче дополнительной информации возникала несколько раньше и в нашей модели. Описывая обучение внесинаптических рецепторов, мы вводили правила, опирающиеся на знание нейронами окружающей активности определенного типа. Например, знание общего уровня активности позволяло нам принимать решения как о необходимости обучения, так и об отказе от него.

Чтобы оставаться при построении модели в рамках определенной биологической достоверности, попробуем показать, какие механизмы в реальной коре могут отвечать за расчет и передачу дополнительной незакодированной в сигналы аксонов информации.

Около 40 процентов объема мозга занимают глиальные клетки. Их общее количество где-то на порядок превосходит количество нейронов. Традиционно на глиальные клетки возлагается масса сервисных функций. Они создают объемный каркас, заполняя пространство между нейронами. Участвуют в поддержании гомеостаза среды. В процессе развития нервной системы задействованы для формирования топологии мозга. Шванновские клетки и олигодендроциты отвечают за миелинизацию крупных аксонов, что приводит к многократному ускорению передачи нервных импульсов.

Так как глиальные клетки не генерируют потенциалов действия, они не участвуют напрямую в информационном взаимодействии. Но это не значит, что они полностью лишены информационных функций. Например, плазматические астроциты располагаются в сером веществе и имеют многочисленные сильно ветвящиеся отростки. Эти отростки опоясывают окружающие синапсы и влияют на их работу (рисунок ниже).


Астроцит и синапс (Филдз, 2004)

Так, например, был описан следующий механизм (R. D. Fields, B. Stevens-Graham, 2002). Активация нейрона ведет к тому, что из его аксона высвобождаются молекулы АТФ. АТФ (аденозинтрифосфат) — нуклеотид, играющий исключительно важную роль во всем организме, основная его функция – обеспечение энергетических процессов. Но кроме этого АТФ способен выступать и как сигнальное вещество. Под его воздействием инициируется перемещение кальция внутрь астроцита. Это, в свою очередь, приводит к тому, что астроцит высвобождает собственный АТФ. В результате происходит передача такого состояния на соседние астроциты, которые передают его еще дальше. При этом поглощение кальция астроцитом ведет к тому, что он начинает влиять на синапсы, с которыми контактирует. Астроциты способны как усиливать реакцию синапса за счет выброса соответствующего медиатора, так и ослаблять ее за счет его поглощения или выброса связывающих нейромедиатор белков. Кроме того, астроциты способны выделять сигнальные молекулы, регулирующие выброс медиатора аксоном. Концепция передачи сигналов между нейронами, учитывающая влияние астроцитов, называется трехсторонним синапсом.

Такое взаимодействие астроцитов и нейронов не передает конкретных информационных образов, но оно очень хорошо подходит на роль механизма, обеспечивающего распространение «поля активности», которое может управлять обучением синапсов и таким образом задавать пространственные координаты для новых детекторных паттернов.

Кроме астроцитов на поведение синапсов влияет еще и межклеточный матрикс. Матрикс – это множество молекул, произведенных клетками мозга и заполняющих межклеточное пространство. В статье (Dityatev A., Schachner M., Sonderegger P., 2010) показано, что изменение состава матрикса влияет на характер синаптической пластичности, то есть на обучение нейронов.

Импульсная активность нейронов создает точечный пространственный узор, который динамично меняется, кодируя информационные потоки. Эта активность изменяет состояние окружающей глиальной среды и среды матрикса таким образом, что создается нечто наподобие поля обобщенной активности (рисунок ниже).


Точечная активность и поле активности

Поле активности, с одной стороны, размывает точечную активность, создавая область, простирающуюся за пределы активных нейронов, с другой стороны, обладает инерционностью и продолжает существовать какое-то время после прекращения импульсной активности.

Если внутри этого поля активности мы создадим детектор текущего подаваемого образа, то он окажется поблизости от похожих на него детекторов. При этом похожесть может оказаться как похожестью по рецептивному полю, так и похожестью, возникающей за счет совмещения событий по времени.

В реальном мозге лучше всего пространственная организация изучена для зоны первичной зрительной коры. За счет преобразований, начинающихся еще в сетчатке, на первичную кору поступает сигнал, в котором основная информация – это линии, описывающие контуры объектов на исходном изображении. Нейроны первичной зрительной коры видят, в основном, небольшие фрагменты этих линий, проходящие через их рецептивные поля. Неудивительно, что существенная часть нейронов этой зоны – это детекторы линий, идущих под различными углами.

Экспериментально выявлено, что нейроны, располагающиеся вертикально друг под другом, реагируют на один и тот же стимул. Группу таких нейронов принято называть кортикальной мини колонкой. Вернон Маунткасл (В. Маунткасл, Дж. Эдельман, 1981) выдвинул гипотезу, что для мозга кортикальная колонка – это основная структурная единица переработки информации.

Мы ранее, говоря о паттернах нейронов детекторов, изображали их группами нейронов, распределенных в некой локальной области. Это было следствием того, что при моделировании, и соответственно, подготовке картинок использовались плоские нейронные сети. Реальная кора трехмерна. Объемность коры не влияет на наши рассуждения о возникновении и распространении волн идентификаторов. В трехмерной коре волны распространяются точно также как и в плоской. Но в объемной коре ничто не мешает нам, расположить нейроны-детекторы, образующие единый паттерн, вертикально друг под другом. Такое расположение ни хуже и не лучше любых других. Главное требование к паттерну – это случайность его узора. Так как связи нейронов распределены случайным образом, то расположенные вертикально в одной кортикальной колонке нейроны вполне можно считать случайным паттерном. Такое вертикальное расположение достаточно удобно при определении места создания детекторного паттерна. Не надо определять локальную область, а достаточно указать позицию, в которой требуется создать паттерн. Выбор позиции может быть, например, там, где поле активности максимально для всех свободных колонок некой окрестности. Можно предположить, что кортикальные миниколонки реальной коры – это и есть детекторные паттерны, описываемые в нашей модели.

Для традиционных моделей коры, не учитывающих волновые сигналы, объяснение того, что все нейроны миниколонки реагируют на один и тот же стимул, представляет определенное затруднение. Приходится предполагать, что это либо дублирование для обеспечения отказоустойчивости, либо попытка собрать вместе нейроны, реагирующие на один стимул, но настроенные на его определение в разных позициях общего рецептивного поля. Последнее обыгрывалось в неокогнитроне через использование плоскостей простых клеток. Волновая модель позволяет взглянуть на это с иной стороны. Можно предположить, что задача кортикальной мини колонки – это, узнав характерный стимул, запустить соответствующий волновой идентификатор. Тогда несколько десятков нейронов, образующих мини колонку и реагирующих совместно, — это и есть механизм запуска волны, то есть детекторный паттерн.

Организация ориентационных колонок в реальной зрительной коре образует так называемые «волчки» («pinwheel»). Такой «волчок» (рисунок ниже () имеет центр, куда сходятся колонки разных ориентаций, и расходящиеся хвосты, для которых характерна плавность смены предпочитаемого стимула. Один волчок образует гиперколонку. Хвосты разных гиперколонок переходят друг в друга, образуя ориентационную карту коры (рисунок ниже (A)).


Распределение ориентационных колонок в реальной коре, полученное оптическим методом (Николлс Дж., Мартин Р., Валлас Б., Фукс П., 2003)

На примере зрительной коры удобно сравнить реальное распределение ориентационных колонок и результаты моделирования с использованием поля активности.

Будем подавать на фрагмент коры линии под различными углами. Активность нейронов-детекторов будем считать, как косинус угла между поданным образом и образом на детекторе.



Нейрон с индексом имеет координаты на коре . Значение поля активности от нейрона в точке с координатами можно представить, например, через Гауссово распределение:



В каждой точке коры итоговое значение поля активности можно записать:



Будем размещать новые детекторы в такой свободной позиции, для которой значение максимально. Результат такого обучения показан на рисунке ниже.


Результат обучения детекторов (слева), поле активности (справа)

Как видно, результат моделирования очень похож на реальное распределение. Но надо отметить, что приведенный пример очень условен. В реальной коре каждая колонка несколько смещена относительно соседей и следит за немного другим фрагментом изображения. Это создает «хвосты» из детекторов, настроенных на одну ориентацию. Но при этом стимулы таких детекторов – это разные образы, основанные на разных рецептивных полях.

Пространственную самоорганизацию коры можно сопоставить с самоорганизацией материи в окружающем нас мире. Атомы, молекулы, предметы, планеты, звезды, галактики, вселенная – все это следствие существования четырех фундаментальных взаимодействий. Принято говорить о гравитационном, электромагнитном, сильном и слабом взаимодействии. Частицы материи создают вокруг себя поля, соответствующие взаимодействиям. Однотипные поля суммируются и формируют результирующее поле. Результирующие поля оказывают влияние на частицы, определяя их поведение. Где-то так же обстоит дело и с мозгом. Похоже, что кора может создавать несколько типов полей, обладающих разными свойствами. Каждое из полей оказывает свое воздействие на поведение нейронов. Совокупность этих взаимодействий, например, может определять алгоритм обучения синапсов и тем самым пространственную организацию нейронов-детекторов.

Нетрудно заметить, что пространственная группировка по обобщенной близости содержит внутреннее противоречие. В связи с этим вспоминается анекдот. Решил как-то лев поделить зверей на красивых и умных. И вот стоит растерянная обезьяна: «И что мне теперь, разорваться?». Сложности возникают, когда размещаемое понятие оказывается близко к другим, удаленным друг от друга понятиям. Например, если мы раскладываем книги по полкам библиотеки, то нам одновременно хочется сгруппировать их и по жанрам, и по авторам, и по языку оригинала, и по читательскому рейтингу. Но если книга только одна, то возникает определенная проблема.

В процессе самоорганизации коры может оказаться, что одно и то же понятие близко в обобщенном смысле сразу к нескольким другим, расположенным в разных местах коры. Не имеет смысла размещать детекторный паттерн компромиссно, пытаясь найти некое равноудаленное место. Во-первых, такого места может не быть, а во-вторых, это полностью нарушит принцип «похожее рядом». Не остается ничего другого, как создать несколько детекторных паттернов, каждый поблизости от своего локального максимума поля активности.

На первый взгляд, дублирование одного и того же понятия в разных местах выглядит некрасиво. Работая с информацией, всегда хочется прийти к ее интеграции, а не распылению. Но наша модель нейронной сети позволяет достаточно изящно снять возникшие противоречия. Каждый из детекторных паттернов, хотя и создается в разных местах коры, обучается на одну и ту же волну идентификаторов. При этом, если брать двухуровневую конструкцию, один из уровней фиксирует на себе фрагмент узора волны общего идентификатора. Это означает, что разбросанные по разным местам детекторные паттерны оказываются связаны между собой в единое понятие с общим идентификатором.

Такое поведение понятий – следствие задекларированного ранее дуализма. Понятие – это одновременно и паттерн и волна. Паттерны порождают волну, волна активирует паттерны. Пространственное положение паттернов, относящихся к одному понятию, характеризует понятие через его близость к другим понятиям. Положение паттернов на коре, по сути, очень многое говорит о свойствах и характеристиках соответствующего явления. Но если в картах Кохонена одному понятию соответствует одна область, как получается из парадигмы «победитель забирает все», то в нашей модели удается не только дать более богатое описание, но за счет дуализма еще и сохранить единство составляющих.

Самоорганизация по принципу «похожее рядом» не является для коры самоцелью. Позже мы покажем, что важнейшие для работы мозга алгоритмы требуют именно такой организации и практически нереализуемы вне ее.

А теперь не совсем банальная физическая аналогия. Основная идея квантовой физики заключается в том, что квантовая система может находиться не в любых возможных состояниях, а только в некоторых, допустимых для нее. При этом квантовая система не принимает никакого определенного значения, пока не произойдет измерение. Только в результате измерения система переходит в одно из разрешенных ей состояний. Под измерением понимается любое внешнее взаимодействие, которое заставляет квантовую систему проявить себя.

В квантовой физике вводится комплекснозначная функция, описывающая чистое состояние объекта, которая называется волновой функцией. В наиболее распространенной копенгагенской интерпретации эта функция связана с вероятностью обнаружения объекта в одном из чистых состояний (квадрат модуля волновой функции представляет собой плотность вероятности). Гамильтоновой системой называется динамическая система, описывающей физические процессы без диссипации. Пока квантовая система не вступит во взаимодействие, она является гамильтоновой. Описать поведение такой системы во времени и пространстве можно, описав эволюцию ее волновой функции. Эта эволюция определяется уравнением Шредингера.



где – гамильтониан – оператор полной энергии системы. Его спектр – это множество возможных состояний, в которых система может оказаться после измерения.

Когда происходит измерение, квантовая система принимает одно из разрешенных состояний. Это называется редукцией или коллапсом волновой функции. В процессе измерения система перестает быть изолированной, и ее энергия может не сохраняться, так как происходит обмен энергией с прибором.

Какое состояние примет квантовая система в момент измерения – дело случая. Но вероятность выбора каждого из состояний не одинакова, она определяется связанным с этим состоянием значением волновой функции.

В нашей модели детекторные паттерны создаются в позициях коры, где наблюдается описательная или временная близость нового понятия и понятий уже существующих. Тем самым формируется набор мест, описывающих вероятность проявления понятия в той или иной ситуации. Это можно сравнить со спектром гамильтониана полной энергии квантовой системы. Распространение волн идентификаторов можно сопоставить с эволюцией волновой функции. Описание, которое несет идентификатор, переходит в активность паттернов. Далее мы покажем, что при этом активируются не все паттерны, а только те, что могут описать непротиворечивую картину, соответствующую контексту происходящего. В этот момент наша система переходит в одно из возможных разрешенных состояний, что сильно напоминает коллапс волновой функции.

Использованная литература

Продолжение

Предыдущие части:
Часть 1. Нейрон
Часть 2. Факторы
Часть 3. Персептрон, сверточные сети
Часть 4. Фоновая активность
Часть 5. Волны мозга
Часть 6. Система проекций
Часть 7. Интерфейс человек-компьютер
Часть 8. Выделение факторов в волновых сетях
Часть 9. Паттерны нейронов-детекторов. Обратная проекция

Алексей Редозубов (2014)
искусственный интеллект