Рассказ 8-й. Обещанные картинки
Как если бы я считал «мышление» не имеющим силы, не зная, к а к я это делаю
(Р.Скиннер, Д.Клииз)
Мы знаем, как это работает, но всё-таки понять не можем. (При этом мы думаем, что понимание – это ценность). В прошлом рассказе я продемонстрировал попытки понимания (истолкования) поведения нейронной сети. Некоторые попытки были грубые и неуклюжие, некоторые правдоподобные и даже подтверждённые клинической практикой. Вернёмся к математике.
Итак, мозг никакие обьекты не сравнивает, не порождает формулы согласно правилам вывода, тем более он ничего не вычисляет (пока его не заставит препод).
По входным водействиям (на него) мозг вырабатывает ответные воздействия (на внешние предметы). (Заметим в скобках, что именно такое, обобщённое определение компьютеру дала дочь Байрона в 30-х гг 19 в.) То, что на выходе системы (наши действия), как правило, совсем другого рода, чем то, что поступает на вход. Солнечный свет и запах сосен – другое, чем наши ответные кувыркания на полянке. То есть мозг работает как отображение F: Y <- F(X), притом такое отображение, что множество Y выходных параметров вовсе не совпадает с множеством X входных параметров. Но внутри, в самом мозгу, нейроны и соединения расположены так, что выходные сигналы от групп нейронов могут оставаться внутри мозга. То есть в нейронной сети происходит многократное выполнение преобразований вида X <- F(X), где X - сигналы во «внутреннем формате» нейронов.
Итак, в нейронной сети «прогоняются» преобразования F: Xследующее <- F(Xпредыдщее), причём Xследующее c выхода снова подставляется на вход в скобки, и т.д. Такие процессы в математике хорошо изучены. Они называются «итерационные процессы». В 18 веке их начали применять для решения уравнений. Дело в том, что при определёнyых свойствах отображения F сигналы стабилизирутся. То есть через какое-то число итераций F уже почти не изменяет входной X, и получается приблизительное равенство X=F(X). А такой Х и есть приблизительное решение уравнения X=F(X). Обычно уравнение можно переписать в этом виде, причём разными способами в зависимости от того, какой X тащить в левую часть. И обычно можно подобрать при этом такую формулу F, что процесс СХОДИТСЯ.
В 18-м веке рассматривали в основном «хорошие», сходящиеся итерационные процессы, которые якобы могли иметь практическое применение для решения задач. Учёные поступали так, конечно, из-за морали, а аморальные учёные ориентировались на сходимость потому, что РАСХОДЯЩИЕСЯ итерации изучать было труднее. Сейчас мы рассмотрим картинки и обьекты, которые стали доступны лишь в наше компьютерное время…
Какие бывают виды расхождения итераций?
При многократной отработке X <- F(X) либо Х будет улетать куда-то далеко, либо будет крутиться неподалёку от начальной точки X0 в ограниченной области. При этом если Х один раз выскочил достаточно далеко, следующие улетят ещё дальше, и уже безвозвратно.
У начальной точки Х могут быть три варианта судьбы:
- первый: Х уткнётся в конкретное фиксированное место, и там останется (это – банальные и «полезные» сходящиеся итерации)
- второй: X улетит в бесконечность (это – расходимость такого сорта, которым особо не интересовались. Нейроны всё равно не пропустят, они «обрежут» сигнал большой мощности);
- третий: X будет попадать в разные места пространства, но все неподалёку от начального Х0.
Уже я словами изображаю картинки, давайте наконец посмотрим на них! Чтобы увидеть всё на экране (бумаге), предположим, что Х – точка на плоскости. В многомерном случае, полагаю, всё аналогично.
http://e-vi.org/FRIENDS/F1.GIFЭто очень модный, знаменитый обьект - фрактал, называемый множеством Мандельброта. Это и есть пришелец из мира высоких скоростей – чтобы вычислить цвет одной точки, нужно произвести многие тысячи операций. Бенуа Мандельброт открыл этот орнамент в 50-е гг 20 века с помощью экспериментальных компьютеров фирмы IBM. Про фрактал я скажу ещё через несколько строк, а пока смотрим на чёрненькую картинку внизу справа.
На маленькой картинке две не такие красивые, как множество Мандельброта, но всё же изящные мини-галактики, или два математических цветка. Они состоят из точек. Эти точки – те самые последовательные X, которые порождаются функией Мандельброта F. Начальная точка находится в месте смыкания малого и большого кругов вверху. Там на большой картинке крестик.
Точки на маленькой картинке разного цвета. Цвет определяет «возраст» точки, т е сколько итераций прошло до её появления в этом месте. Видим, что точки Х группируются в двух областях. Изображение судьбы (траектории) точки Х в процессе X<-F(X) называется ОРБИТОЙ.
Таким образом, паттерн F в мозгу живёт вроде итерационного процесса. Он пребывает то в состоянии, соответствующем левой спирали, то правой. Поскольку человек сидит спокойно, уровень сигнала на «выходах» паттерна недостаточен для того, чтобы запустить управляемое им действие. Человек сидит спокойно, а его состояние меняется от левой до правой спирали на маленькой чёрной картинке справа. Извне (или от других областей нейронной сети) на вход паттерна поступает дополнительный сигнал, который заставляет сработать поведение, соответствующее то ли левой, то ли правой спирали. Человек то ли обрадуется, то ли разозлится. То ли он всё время тапочком играет.
Возможно, эта “более математическая” модель имеет отношение к так называемым циклоидным состояниям психики. Болезнь называется МДП – маниакально-депрессивный психоз. Человек по нескольку дней пребывает в одном из двух ненормальных состояний: «депрессивном» или «маниакальном» (термины эти в разных отраслях психологии имеют разный смысл, это не та депрессия, которая бесчувствие у здорового человека). Здорового человека… МДП считается тяжёлой органической болезнью, и лечат её лекарствами или ужасными способами вроде тех, что описаны в рассказе 6. Между тем, возможно, это «информационная» болезнь, неверная программа (числа при синапсах), а сам компьютер (нервная система) в полном порядке.
С точки зрения наших моделей - когда ожидать поведения вроде МДП? Когда орбита состояний паттерна имеет неудачную форму; и главное, когда работает в основном ТОЛЬКО этот паттерн! Паттернов в мозгу много, и их предпочтительные состояния достигаются ими в разное время, а не одновременно. К тому же паттерны управляют совсем разными сторонами поведения. К тому же их состояние (текущее Х) зависит от наличия и силы внешней коррекции этого Х.
Для тех, кто запутался, напоминаем, что точка Х – это не точка в мозгу, а это состояние всего мозга или его части. Возможных состояний много, и каждое состояние мы изображаем цветной точкой на многомерной плоскости орбит. М-да, на многомерной плоскости : ) ….
Итак, циклоидные состояния должны возникать, если доминирует только один, притом «неудачный», паттерн, похожий на тот, что на маленькой картинке справа внизу. Если у него в голове только этот паттерн. Если жизнь пациента скудна. Если паттерны долгое время не менялись (как нам рассказывал Де Боно, паттерны имеют тенденцию 1)к упрочнению 2)к слиянию).
Вот любимое психологами сравнение. Человек ходит всё время по одной и той же местности. В конце концов его глаз «замыливается», и человек вместо местности начинает пользоваться её мысленной картой (либо ему сразу ДАЛИ карту). Как нам рассказывал Де Боно («центрирование»), человек может применять карту не от той местности – к совсем другой местности, которая показалась ему похожей на ту (или ему так велели). Если он не получает в ответ щелчка по носу, не падает в овраг, то он ещё больше укрепляется в убеждении подходящести этой карты. Сидя в одной и той же деревне, путешественник и вовсе перестаёт сверять местность с картой, и в конце концов в голове его остаётся только одна слишком простая карта от не пойми чего. Само наличие карты тормозит процесс сверки с местностью! Если доминирующий паттерн реализует итерационный процесс с двумя состояниями, имеем что-то вроде МДП; если итерационный процесс сходится (из почти любой начальной точки X0 в одну и ту же), тогда перед нами конвергентное мышление.
Образец такого конвергентного мышления только что Вам продемонстрирован. Математик, который занимался численными методами (это я), притягивает за уши «родную» модель к медицине. В самом деле, что ли, паттерны(?) МДП ты хочешь перестраивать словами, как Эрикссон?! Или фанатиков-изобретателей психотерапией лечить?
Сверяем с местностью. Пациент психиатров с виду вовсе не такой, как «здоровый» посетитель тренингов. Ему физически больно. Страшно. Он неправильно двигается, и скорее всего, вообще не воспринимает слов… Он и в комнате-то не удержится…
Это умозрительные построения.
То, что видит ум… То, что он хочет «понять».
Теперь наконец вернёмся к большой, разноцветной картинке. На ней много разных и красивых завитушек. Если посмотреть на какую-нибудь завитушку в микроскоп, можно увидеть внутри ещё завитушки; и ещё, и ещё, и так до бесконечности. Эта картинка бесконечно сложна. Притом те узоры, что внутри, похожи на те узоры, что на «более высоком» уровне, но не совпадают с ними. При бесконечном полёте вглубь фрактала мы будем встречать бесконечное разнообразие всё новых и новых форм и цветов. Формула, по которой вычисляется картинка (формула функции F) очень, очень проста. Да вот она: W=Z*Z+1.Откуда же красота и сложность? В натуре, на ровном месте целая новая вселенная.
Можно смотреть на картинку и пробовать «понимать», почему узоры имеют такую, а не другую форму; почему они именно так расположены относительно друг друга и почему они похожи на ракушки.
Смотря просто на картинку (результат), можно строить правдоподобные теории о её смысле, гармонии и о законах её устройства. При том ничего не зная про формулу F.
Мы пока не умеем изловить связь тем между фактом, что узор нам что-то говорит, и между простым, безличным механизмом вычисления узора. ВСЁ, что есть в узоре, полностью определено простой формулой, по которой считаем цвет точки. Но как именно оно определено, мы понимать не умеем. Мы интерпретируем солнечный свет и радугу, как бы смотря на них из другого, внемашинного мира. Этот мир может быть образным, литературным и поэтичным, а может быть и занаученным формализованным, как Каббала Лайтмана, но этот зрительский мир интерпретации не похож на действительный механизм построения радуги.
У нас в мозгу тоже ВСЁ определено набором чисел, которые характеризуют «проводимость» синапсов. Как устроен этот мешок с числами, мы знаем (знаем, что и как соединено и по каким формулам работает). Поведение животного (результат) больше похоже на очень сложный и красивый орнамент, в котором мы ХОТИМ увидеть какие-то свои законы…
Как работает, мы знаем; а результат (узор поведения) понять не можем. Строим предположения, которые связаны с нашими желаниями.
Необходимое замечание! Я не утверждаю, что мышление имеет фрактальную природу. Фрактал приведён только в качестве примера «похожей непонятности». Работу модели паттерна изображают орбиты, а не сам фрактал. Орбиты могут и не быть фрактальными. Фракталы могут не быть красивыми или «сложными».
Есть и другие похожие вещи, о которых мы тоже знаем принцип работы, да вдобавок мы сами их и сделали, но результат всё равно понять не можем. Например, это гетеродин в радиоаппаратуре или CDMA-модуляция в мобильном телефоне Skylink. Что голос извлекается из сигнала CDMA, это получается по формулам. Можно произвести формально правильные на каждом этапе математические выкладки, и доказать, что голос будет извлечён. Но иногда хочется ещё вдобавок как-то «понять» это помимо формул…
И в заключение ещё картинка.
http://e-vi.org/FRIENDS/F3.GIFЭтот фрактал тоже порождён простой формулой. Картинка, привычное дело, опять бесконечно сложная. «Закон устройства» её прямо очевиден. Она сделана этак овально из таких этаких овалов. Каждому зрителю должно быть ясно, что картина символизирует бесконечную сложность полушарий головного мозга. Только нечестивые еретики говорят здесь о яичках. Видим мы также противозаконную окружость, которая нагло пересекает поперёк все овалы несообрано ни с какими понятиями. Зная формулу, можно формально доказать, что эта окружность там есть. Но из самого вида картинки мы это понимать пока не умеем.
Программы просмотра фракталов здесь:
http://www.fractint.org/http://en.wikipedia.org/wiki/Fractinthttp://fractals.narod.ru/links.htmЛеди Ада Августа Лавлейс – дочь поэта лорда Байрона. Сотрудница изобретателя компьютера Чарльза Бэббеджа. Считается первым программистом (программисткой). Сам компьютер Бэббеджа не сохранился (сохранились его обломки, может, программистка его расколотила?), и так и не известно, работал ли он. Первый промышленный компьютер был построен через 15 лет в 50-е гг 19 в. Это был станок с программным управлением – ткацкий станок Шаккарда.
Задача для математиков
Каких итерационных процессов больше, сходящихся или расходящихся?
Рассмотрим модель
Пусть у нейрона всего 2 входных сигнала поступает с дендритов, и эти сигналы: Х1, Х2
Пусть у нейрона один аксон , на него выходит сигнал У
Пусть передаточная функция нейрона линейная, т е
У<=A1*X1 + A2*X2 где А1,А2 - веса синаптических связей
<= -стрелка, показывающая, что левая часть вычисляется по правой.
Намеренно сначала рассмотрим эту модель даже более примитивную. чем в теории нейросетей
Пусть таких нейронов всего 2. Пусть выход первого заведён на оба входа второго. Выход второго на оба входа первого. Нарисуйте. В числах:
Первый нейрон: Y1<=A11*X11+A12*X12
Второй нейрон: Y2<=A21*X21+A22*X22
Второй подключён к первому:
X11<=Y2
X12<=Y2
Первый ко второму:
X21<=Y1
X22<=Y2
Подставляем эти Хы в два первых выражения
Получаем
Y1<=A11*Y2+A12*Y2=Y2(A11+A12)
Y2<=A21*Y1+A22*Y1=Y1(A21+A22)
или
Y1<=B1*Y2
Y2<=B2*Y1
здесь Y1 и Y2 - сигналы на аксонах, B1=(A11+A12) и B2=(A21+A22) - это константы, определённые весами синаптич. связей.
Для моделирования работы этой пары нейронов выберем начальные Y1 Y2
и по формулам
Y1<=B1*Y2
Y2<=B2*Y1
пересчитаем новые Y1 Y2, потом подставим из в правую часть, получим новые, и т д
Это и есть итерационный процесс.
Возможны варианты того, куда придут и придут ли Y1 Y2 в результате длительного повторения итераций. Это описано в рассказе (8)
Если в процессе повторения итераций увидим, что вычисляемые пары Y1 Y2 перестают отличаться друг от друга, то итерации СХОДЯТСЯ, и полученные Y1 и Y2 - стабилизировавшееся состояние, куда мы пришли от начального.
Уже в такой формулировке задача почти нетривиальная, да и кое-что увидеть можно :)
Если же нейронов много, и выход каждого заведён на вход каждого (кроме самого себя), то имеем бездиагональную матрицу. Итерации сходятся, если модуль определителя матрицы <1
Если Вам интересен 1-й расскахз, то Вы на самом деле математик 
