Кащенко С.А., Майоров В.В. МОДЕЛИ ВОЛНОВОЙ ПАМЯТИ.
(Модели нейрона и взаимодействия нейронов, нейронные сети, память). № 43. Изд. стереотип.

Оглавление

Введение

Исследование структуры и принципов функционирования нервной системы человека и животных – одной из самых совершенных природных систем – является чрезвычайно интересной и перспективной задачей. В широком смысле изучение нервной системы осуществляется двумя существенно различающимися методами – движение идет как "сверху вниз" от высокоуровневых феноменов высшей нервной деятельности, так и "снизу вверх", начиная с изучения нейронов – элементарных составляющих нервной системы. По первому пути идет психология, исследуя внешние проявления деятельности нервной системы и пытаясь понять лежащие в их основе механизмы. Нейрофизиология выбирает второй путь и, начиная с изучения свойств нейронов и связей между ними, пытается получить представление о функционировании нервной системы в целом. На каждом из этих путей достигнуты значительные успехи, но ни один из них не дал исчерпывающего описания нервной системы в целом. Прорыв в понимании феномена мозга, возможно, произойдет тогда, когда эти два направления сблизятся, хотя это не означает, что все психические явления можно будет объяснить на уровне функционирования и взаимодействия отдельных нейронов и нейронных популяций.

Психологи и нейрофизиологи говорят на разных языках, объединяющим началом является математическое моделирование. Наиболее выдающимся достижением в рамках нейрофизиологического подхода стало понимание того факта, что уже простейшие принципы функционирования и взаимодействия нейронов, реализованные в виде простой математической модели, могут демонстрировать сложное поведение, характерное для высших животных и человека (память, внимание, способность к классификации). Именно это наблюдение стало отправной точкой развития нейроинформатики как отдельного направления исследований. Такие системы (так называемые искусственные нейронные сети) уже сейчас успешно применяются для решения практических задач и демонстрируют особенно заметные успехи в тех областях, для которых отсутствуют математические методы получения точного ответа.

Все искусственные нейронные сети, так или иначе, базируются на нашем понимании механизмов функционирования своего биологического прототипа, и прогресс в этой области неразрывно связан с изучением принципов работы нервной системы. Известно, что нервная система образована внешне относительно простыми структурными элементами, а все существенные ее свойства обусловлены взаимодействием этих элементов (коннекционизм). Известно также, что нейроны взаимодействуют между собой посредством генерации и распространения кратковременных электрических импульсов – спайков. Детали механизма взаимодействия нейронов (включая морфологию связей между нейронами) остаются изученными недостаточно. На самом деле об эффектах, обусловленных коллективным поведением нейронных популяций, известно не слишком много. Понятны некоторые, самые общие принципы. Например, нейронные системы способны адаптироваться к меняющимся условиям, т.е. им не нужны жесткие программы. Одновременно, последние, хотя бы в форме рефлексов, присутствуют в нервной системе. Экспериментальное изучение эффектов коллективного поведения нейронных систем затруднено. Эти системы слишком сложно устроены. Так, в мозге человека каждый нейрон находится под воздействием тысяч других нейронов и, соответственно, влияет на тысячи нейронов. Всего же, по современным оценкам, в мозге порядка 10¹⁰–10¹² клеток (моделирование функций всего мозга также отодвигается на неопределенный срок).

Другой сложной проблемой является представление информации в нервной системе – вопрос о "языках" мозга. Так или иначе, решая эти вопросы, нейроинформатика уже сейчас создает работоспособные модели, реализующие отдельные функции нервной системы.

Перечислим основные характеристики нейронной сети:

– устройство структурного элемента сети – нейрона;

– устройство связей между отдельными нейронами;

– топология связей между нейронами.

Ранние нейросетевые модели были основаны на простейших представлениях об устройстве нервной системы. Нейроны могли находиться в одном из двух состояний, связи между отдельными нейронами характеризовались числовым весом, топология сети использовалась простейшая – один слой, состоящий из нейронов, состояния которых принимались за векторный выход сети. Нейрон переходил в одно из состояний в зависимости от знака взвешенной суммы своих входов. Все эти предположения являются сильно идеализированными. Возбужденное состояние нейрона не является стационарным, биологический нейрон переходит в возбужденное состояние на короткое время, в течение которого формируется импульсный "выход" нейрона – спайк. Для спайков характерно относительное постоянство амплитуды и формы, следовательно, информация может кодироваться только теми или иными свойствами последовательности спайков.

Одной из гипотез относительно кодирования информации в нервной системе является гипотеза о частотном кодировании, согласно которой информация представляется частотой генерации спайков. Соответственно, нейрону можно условно приписать аналоговое состояние, характеризующее текущую частоту генерации спайков. Воздействие последовательности спайков на нейрон-приемник определяется состоянием синапса – контакта, посредством которого нейрон-передатчик действует на приемник. Числовой вес связи между нейронами является идеализированной моделью для процесса воздействия последовательности спайков на нейрон-приемник. Тем самым дальнейшее развитие искусственных нейронных сетей было связано с использованием все более реалистичных с биологической точки зрения представлений об устройстве нервной системы. Бинарные нейроны сменились аналоговыми нейронами, состояние каждого из которых является вещественным числом. Усложнялись также топологии связей между нейронами: сначала появились слоистые сети (многослойные персептроны), а затем появились и рекуррентные сети, или сети с обратными связями (например, сети Хопфилда).

Отметим, что вопрос о представлении информации в нервной системе является чрезвычайно важным. Так, использование гипотезы о частотном кодировании информации в значительной степени предопределяет как устройство искусственного нейрона, так и устройство синапса. В то же время, частотное кодирование информации входит в противоречие с современными экспериментальными данными относительно соотношения между временными свойствами последовательности спайков и скоростью обработки информации в нервной системе: частотное кодирование оказывается плохо приспособленным для быстрой обработки информации. К настоящему времени накопилось достаточное количество экспериментальных данных, позволяющих говорить о важности временных свойств последовательности спайков. В рамках волновой гипотезы информация в нервной системе представляется теми или иными временными (фазовыми) свойствами последовательности спайков. По сравнению с частотной волновая гипотеза предъявляет гораздо более строгие требования к адекватности используемой модели биологического нейрона. В связи с этим в последнее время активно развиваются биологически правдоподобные модели нейрона.

Выбор удобной, биологически правдоподобной модели нейрона составляет определенную сложность. Полученная из "первых принципов" (законов химической кинетики) модель Ходжкина–Хаксли оказывается плохо адаптированной для использования в составе нейронной сети из-за своей сложности. В связи с этим активно развиваются феноменологические модели биологического нейрона, более или менее точно отражающие его динамику, но достаточно простые для аналитического или численного исследования. Среди таких моделей следует отметить релаксационные модели Зимана и модели, основанные на использовании гармонических осцилляторов.

Среди важных вопросов нельзя не упомянуть о проблеме соотношения между статической и динамической информацией в нейронной сети и о способах представления этих типов информации (статическая информация представляет свойства нейронной сети как системы, преобразующей входные сигналы в выходные, в то время как динамическая информация соответствует сигналу на входе сети в данный момент времени). В классических нейронных сетях статическая информация обычно интегрирована в структуру сети в виде весов связей и, так или иначе, привносится в нее извне на этапе обучения (процесс настройки нейронной сети при решении конкретной задачи), в то время как динамическая информация представлена входами сети. Таким образом, в рамках классических нейронных сетей статическая и динамическая информация даже по-разному представлены. В нервной системе граница между статической и динамической информацией менее четкая. Обучение происходит одновременно с функционированием биологической нейронной сети, и часть информации на этом этапе из динамической превращается в статическую. Эти соображения наводят на мысль о том, что проведение четкой границы между статической и динамической информацией не соответствует биологической природе нейронных систем.

Настоящая книга посвящена разработке нейронных сетей, представление информации в которых в виде последовательностей спайков согласуется с волновой гипотезой. Последовательности спайков генерируют биологически правдоподобные модельные нейроны, описываемые феноменологическими уравнениями с запаздыванием. Модельные нейроны хорошо отражают динамику биологических нейронов, допуская при этом применение аналитических методов исследования. В работе предложены методы представления информации устойчивыми пакетами спайков, что позволяет приблизиться к решению вопроса о соотношении между статической и динамической информацией.

Краткий библиографический обзор

В настоящее время нет единой точки зрения на способы представления и хранения информации в мозге. Более того, неясно, возможно ли вообще единообразие, в чем нас убеждает известная монография К.Прибрама. Тем не менее, все модели нейронных сетей базируются на тех или иных представлениях о принципах обработки информации мозгом. Бесспорно, что нервные клетки (нейроны) обмениваются импульсами (спайками). Как показал Э.Эдриан  (см. также: Н.Грин и соавт. [с.272]), спайки имеют достаточно стабильную амплитуду, поэтому часто говорят, что нейроны реагируют на импульсное воздействие по закону "все или ничего". В рамках одного из подходов поступающая в нервную систему информация кодируется частотой следования спайков. Поскольку спайки могут объединяться в пачки (так называемые "берсты"), возможны различные модификации этого подхода – передача информации числом импульсов в берсте и т.д. Заметим здесь, что межимпульсные интервалы весьма вариабельны (см., например, Б.Бернс), поэтому, как считает А.А.Фролов, можно говорить о вероятностном кодировании (точнее, о кодировании случайными потоками). Так, в работе Е.А.Тимофеева  предложена и исследована модель нейронной сети, в которой ее состояние описывается пространственным распределением плотностей случайных бинарных потоков, генерируемых нейронами. На входах каждого нейрона потоки по определенному правилу смешиваются со случайными потоками, исполняющими роль синаптических весов. В зависимости от суммарного входного потока формируется выходной поток нейрона.

На частотном подходе основана детекторная модель нейрона, в которой искусственно вводится понятие интенсивности воздействия на нейрон. В качестве характеристики интенсивности неявно выбирается частота следования спайков. Таким образом, состояние нейрона характеризуется частотой импульсации, состояние ассоциации нейронов отражает распределение частот импульсации ее элементов, а фазовые отношения не учитываются. Согласно гипотезе, выдвинутой Д.Хеббом  и позднее развитой Дж.Экклсом, нейроны реагируют на внешнее воздействие в зависимости от текущих синаптических проницаемостей – распределения синаптических весов, которые характеризуют эффективность входов. Синаптические проницаемости могут меняться со временем (пластичность синапсов), что обеспечивает синтез поступающей информации и прежнего опыта. Таким образом, согласно синаптической гипотезе, информация находит отражение в виде определенной структуры синаптических проницаемостей. Однако следует заметить, что реакция нейрона зависит не только от состояния его входов (сигналов и синаптических проницаемостей), но и от текущего состояния самого нейрона. Например, после импульса нейрон невосприимчив к воздействию (состояние рефрактерности, см., например, Р.Эккерт).

Детекторный подход является весьма продуктивным. Принято считать, что детекторное направление берет начало с работ Питца и Мак-Каллока  и Хебба. В дальнейшем оно было развито в работах Ф.Розенблатта, М.Минского и С.Пейперта, В.Л.Дунина-Барковского. Различные точки зрения в рамках детекторного направления рассматриваются и сравниваются в работах А.А.Фролова и И.П.Муравьева. Отметим, что у В.Маунткастла и Д.Эдельмена в качестве детекторов выступают нейронные модули – так называемые миниколонки.

Из синаптической теории вытекает, что главная особенность работы мозга в процессе восприятия, хранения и воспроизведения информации – коллективизм функционирования его структур. Принцип коллективизма заложен во всех моделях нейронных сетей и отразился, например, в нейросетевой модели Кохонена. На нем также реально основаны работы Дж.Хопфилда  и Л.Чуа  по моделям сетей из нейроподобных детекторных элементов, как дискретных, так и аналоговых – операционных усилителей. В сетях этого типа в процессе запоминания (обучения) на соответствующем фазовом портрете системы образуется набор устойчивых состояний равновесия (финишные состояния), которые и хранят информацию. В процессе воспроизведения под действием внешнего сигнала сеть попадает в бассейн притяжения одного из этих состояний.

В общем случае, описывающая сеть система уравнений имеет (за счет обратных связей) и более сложные аттракторы, включая хаотические. До середины 1990-х годов присутствия сложных режимов старались избежать, поскольку казалось, что их трудно интерпретировать. Например, предположение о симметрии связей позволяет доказать, что все траектории в сети Хопфилда стремятся к финишным состояниям. В то время нам представлялось, что интерпретация периодических режимов напрашивается сама собой. Например, достаточно взять знаки фазовых переменных любой аналоговой сети (без финишных состояний), и мы получим последовательность бинарных векторов, которую можно рассматривать как последовательность образов. Сейчас это хорошо известно.

Применительно к восприятию зрительной информации, детекторное направление получило серьезное развитие в исследованиях Е.Н.Соколова и соавт., где разрабатывается теория кодирования информации номером канала. Она основана на концепции рефлекторной дуги. Согласно данным работам, в ответ на стимул срабатывает канал (цепочка нейронов), входы которого лучше всего настроены на параметры сигнала (векторы синаптических весов и воздействия коллинеарны или почти коллинеарны). Аналогичный механизм кодирования для зрительного анализатора детально описан Д.Хьюбелом и Т.Визелом.

Сети, имеющие финишные состояния, уже давно используются для решения прикладных задач. Представление о круге приложений можно получить из. Применению нейронных сетей для вычислений посвящена монография А.И.Галушкина. Даже трехслойные клеточные сети можно с успехом использовать для выделения траекторий движущегося объекта на фоне интенсивных помех (А.А.Короткин, В.А.Панкратов). Более того, объединенные в микроколонки персептроны успешно справляются с выделением края изображения. Тем не менее, сети с финишным состоянием, моделирующие детекторный подход, статичны, как и информация, хранимая в них. По поводу классических нейронных сетей отсылаем к содержательному обзору А.Б.Потапова и М.К.Али, в котором представлены различные типы таких сетей, рассматриваются правила выбора весов связей (обучение), обсуждается динамика широкого класса сетей, не имеющих финишных состояний.

Альтернативным частотному является фазовый подход к кодированию информации в нервной системе. Согласно фазово-частотному подходу к хранению информации в мозге, чрезвычайно важную роль играет согласование работы нейронов не только по пространству, но и по времени. Нейроны обладают свойством временной селективности. Одно и то же воздействие в зависимости от состояния может привести или не привести к генерации импульса. По мнению Н.П.Бехтеревой, кодирование информации – не статический, а динамический процесс, связанный с образованием ансамблей когерентно работающих нейронов. Учет фаз колебаний приводит к новому качеству: кодирование информации осуществляется в виде волн нейронной активности. Этот подход можно назвать волновым.

Гипотеза о фазово-частотном кодировании сигналов в нервной системе была также разработана А.Н.Лебедевым. Представления о волновых кодах оказались полезными для объяснения ряда психологических феноменов, проявляющихся в скорости поиска, в быстроте принятия решения в ситуации выбора. А.Н.Лебедев главенствующую роль придает волнам медленной активности. Однако, как показано в ряде работ, между волнами медленной активности и импульсными потенциалами существует тесная связь. Гипотеза А.Н.Лебедева объясняет феномен памяти с позиции самоорганизации колебаний и не использует возможные механизмы закрепления сведений, основанные на модификации синаптических проводимостей. Перечисленные работы А.Н.Лебедева по волновому кодированию и хранению информации в мозге основаны на экспериментальном материале, но выполнены во многом на описательном и эмпирическом уровне. Попытка формализовать представления А.Н.Лебедева была предпринята в.

Волновой подход представляют сети с нестационарным поведением. Их можно разделить на два класса. В первом случае элементы сети не обладают собственной авторитмичностью, но вся система может функционировать в колебательном режиме. Примером такой сети является сеть Винера, которая служит для описания процесса распространения возбуждения по сердечной мышце. Колебательные режимы в сети Винера изучались в. В исследованиях А.А.Фролова, Г.И.Шульгиной и соавт.  развивается модель нейронной системы со стационарным поведением, для которой, однако, показано, что периодическое воздействие на общий вход ассоциативной сети – части системы – является неотъемлемым условием запоминания и воспроизведения информации. Более подробную информацию об осцилляторных сетях, состоящих из неосцилляторных элементов, можно получить в обзоре.

Во втором случае рассматриваются нестационарные сети, состоящие из нейронных осцилляторов. Сети естественным образом возникают при моделировании обонятельной и зрительной систем человека и животных. Осцилляторные нейронные сети также можно разделить на два класса по типам элементов – близких и весьма далеких от гармонических осцилляторов. В первом случае рассматривается популяция связанных между собой близких к гармоническим осцилляторов (например, генераторов Ван-дер-Поля). Распределение фаз и амплитуд колебаний можно интерпретировать как код образа. Весьма подробный обзор, посвященный сетям из близких к гармоническим осцилляторов, представлен коллективом: Борисюк Г.Н., Борисюк Р.М., Казанович Я.Б. и др. в  (см. также принадлежащий данному коллективу обзор  и библиографию в нем). Несмотря на разнообразие методов изучения этих сетей, как нам представляется, все они укладываются в следующую схему. Осуществляется переход к медленным переменным: амплитуды-фазы. В терминах этих переменных выдвигаются предположения о структуре взаимодействия (иногда характер взаимодействия оговаривается в рамках исходных переменных). Далее, зачастую все амплитуды считаются одинаковыми, а соответствующие уравнения опускаются. Полученный объект называется системой фазовых осцилляторов. Ставится задача обучения: следует распорядиться синаптическими весами так, чтобы система фазовых осцилляторов имела устойчивый режим с заранее заданным распределением фаз (стационарный или более сложный). Эту задачу в ряде случаев удается решить аналитически. Например, в  указано правило выбора весов такое, что заранее заданная часть осцилляторов функционирует в фазе, а остальные – в противофазе.

На наш взгляд, можно строго обосновать этот метод только вблизи точки бифуркации, когда у парциальных нейронных генераторов рождаются близкие к гармоническим колебания. В этом случае строится нормальная форма, т.е. система приближенных уравнений для амплитуд и разностей фаз колебаний парциальных генераторов. Если нормальная форма имеет устойчивое состояние равновесия, то можно доказать, что исходная система имеет устойчивое периодическое или почти периодическое решение (тор). Периодическим решениям и торам соответствуют торы исходной системы. Если же у нормальной формы присутствуют хаотические режимы, то связать их с возможными хаотическими режимами исходной системы в настоящее время не представляется возможным. Тем не менее, переход к системе для амплитуд и разности фаз очень полезен. Он позволяет выдвинуть разумные гипотезы о структуре колебаний, которые затем можно проверить численно. Дабы не быть категоричными, здесь же отметим, что нормализация возможна и для сингулярно возмущенных систем (собственно, она и осуществляется в данной книге).

Соотнося сказанное с биологическими данными, отметим следующее. Во-первых, колебания, близкие к гармоническим, на наш взгляд, не типичны для нервной системы. В нормальном состоянии отдельные ее элементы – нейроны генерируют кратковременные импульсы – спайки. Как уже говорилось, посредством передачи импульсов (во всяком случае, в рамках главной гипотезы) осуществляется связь между нейронами. Усредненные по нейронным ассоциациям колебания после снятия импульсной составляющей также далеки от гармонических, что отражается, например, в асимметрии волны альфа-ритма человека. Во-вторых, возможность перехода к фазовым осцилляторам предполагает "однородность" во времени взаимодействия нейронных осцилляторов. Обратим еще раз внимание, что в нервной системе как отдельные нейроны, так и нейронные ассоциации обладают свойством абсолютной и относительной рефрактерности (невосприимчивости или слабой восприимчивости к внешнему воздействию на определенных промежутках времени). В частности, биологический нейрон во время генерации спайка и на некотором промежутке времени после спайка неспособен (или почти неспособен) воспринимать воздействие. Тем самым процесс взаимодействия сильно неоднороден во времени. Рефрактерность учитывается в  (естественно, не в рамках гармонического приближения).

Сети из осцилляторов, далеких от гармонических, в настоящее время активно изучаются (см., например, обзор М.И.Рабиновича и соавт.  и библиографию в нем, также см. обзоры). Часто используется классическая модель Ходжкина–Хаксли (нейрон представлен четырьмя обыкновенными дифференциальными уравнениями) и ее модификации, которые сначала происходили в сторону упрощения – число уравнений уменьшалось, а затем в сторону усложнения – число уравнений росло. Последнее связано с моделированием сложных, в том числе и хаотических, режимов (достаточно простая модель сети несколько другого типа представлена в работе М.И.Рабиновича). Идеологически близкими являются модели Вилсона–Кована (Wilson–Cowan), Роуза–Хиндмарша (Rose–Hindmarsh), Шиллена–Кенига (Schillen-Konig) и др. Изучаются сети, элементы которых описываются уравнениями Фитц-Хью–Нагумо (Fitz-Hugh–Nagumo) (и близкая к ним модель Зимана). Систематическое описание используемых формальных нейронов и некоторые результаты по организации колебаний в соответствующих сетях можно найти в обзорах М.И.Рабиновича и соавт., а также в работах. Автоволновые процессы в нелинейных возбудимых средах рассматриваются и сопровождаются подробной библиографией в.

Ввиду сложности нелинейных моделей обычно рассматриваются малые нейронные сети, однако можно упростить модель, переходя к фазовым переменным с использованием функции взаимодействия (так называемая H-функция Курамото, см. также). На этом пути трудно доказать теоремы о связи решений фазовых уравнений и исходной системы. Дополнительно при этом исчезает специфика модели – начинает казаться, что в качестве формального нейрона можно взять любой автогенератор, однако это не так. Авторами данной книги в работе  была рассмотрена сеть, элементы которой описываются уравнениями Хатчинсона (достаточно простое уравнение для системы с возобновляемым ресурсом, учитывающее задержку восстановления). Нейроны располагались в узлах правильной четырехугольной решетки, лежащей на плоскости, связи были локальными. Аналитически удалось показать существование интересных колебательных режимов, однако при переходе к треугольной решетке ряд режимов исчезал (нарушался баланс между временем распространения волны по "треугольникам" и временем восстановления ресурса). Этого не наблюдается, если переходить к фазовым осцилляторам.

Отметим также важность проблемы внимания в нейронных системах. В процессе обработки входной информации происходит актуализация части статической информации, так или иначе заложенной в структуру нейронной сети. Так, в сетях Хопфилда происходит актуализация одного из запомненных на этапе обучения бинарных паттернов, но, в то же время, наблюдаются эффекты ложной памяти, когда актуализируется образ, отсутствующий в обучающей выборке. Для борьбы с проблемой ложной памяти и построения автоассоциативных запоминающих систем в последнее время были предложены различные подходы, основанные на использовании хаотических и стохастических режимов и их синхронизации. Здесь следует отметить работы Г.Г.Малинецкого и Е.М.Ижикевича, в которых элементами сетей являются нейроны со стохастической динамикой. Показано, что данные сети выгодно отличаются от классических в плане борьбы с ложными образами, кроме того, у такой сети имеется состояние "не знаю", соответствующее неопознанному входному паттерну. В работах А.С.Дмитриева и соавт.  построены хаотические системы, хранящие информацию в виде неустойчивых циклических траекторий. В них процедуры записи, хранения и воспроизведения информации основываются на управлении и синхронизации стохастических колебательных процессов. Другие аспекты проблемы внимания, связанные с выделением из массива поступающей сенсорной информации наиболее важной ее части, рассматриваются в работах  (модель "нейролокатора").

Таким образом, в настоящее время перспективы развития новых подходов к проблеме обработки информации неразрывно связываются с идеями нелинейной динамики, в рамках которых носителем информации является не стационарное распределение битовой величины, а сложный, вообще говоря, не периодический режим динамической системы. Об этом постоянно пишет Г.Г.Малинецкий. По мнению ряда биологов (например, Ф.Крик), осцилляторным сетям принадлежит будущее. С их помощью более естественно объяснять процессы обработки информации в мозге.

Сети импульсных нейронов, описываемые дифференциальными уравнениями с запаздыванием

В работах  предложено дифференциальное уравнение с запаздыванием для осцилляторного биологически правдоподобного нейронного элемента, колебания которого весьма далеки от гармонических. Там же численно исследовалась полносвязная сеть диффузионно-связанных нейронов. Эти сети мы условно называем сетями импульсных нейронов. Модель развивалась в цикле публикаций авторов данной книги (ряд работ написан совместно с И.Ю.Мышкиным). Показано, что система дифференциальных уравнений с запаздыванием, описывающих модель, допускает возможность не только компьютерного, но и аналитического исследования с помощью асимптотических методов. Удалось решить вопросы о структуре, планировании и синхронизации колебательных режимов. Также в работе И.В.Парамонова была исследована модель импульсного нейрона с переменным запаздыванием.

Опираясь на асимптотические формулы, Г.В.Шабаршина предложила аксиоматическую модель – сеть нейронных клеточных автоматов. Между колебательными режимами в аксиоматической модели и в исходной системе, описываемой уравнениями с запаздыванием, как правило, наблюдается однозначное соответствие. Например, Г.В.Шабаршина исследовала самоорганизацию слабо неоднородной сети нейронных клеточных автоматов в периодическую последовательность синхронно функционирующих подмножеств автоматов. Позднее Н.С.Лагутина обнаружила такую самоорганизацию в рамках исходной модели.

Модель нейрона  в определенном смысле универсальна. Она описывает как нейроны-пейсмекеры (автогенераторы), так и нейроны-детекторы. Планирование волн в кольцевых структурах ассоциаций нейронов-детекторов изучалось совместно с М.Л.Мячиным. Детекторный вариант С.Е.Ануфриенко использовал для моделирования процесса сальтаторного проведения импульсов по миелинизированным нервным волокнам.

Полученные для нейронов-детекторов асимптотические формулы и модель Г.В.Шабаршиной позволили Е.В.Коновалову предложить аксиоматическую модель обобщенного нейронного автомата (разновидность интегративно-порогового элемента), который функционирует в непрерывном времени и может быть как автогенератором, так и детектором. Из данных элементов конструируется среда, на которой моделируется волновая память.

Для моделирования нестационарных сетей, состоящих из элементов, не являющихся осцилляторами, в работах предложена конструкция, названная сетью W-нейронов (разновидность интегративно-пороговых элементов). W-нейроны функционируют в дискретном времени. Каждый из них последовательно проходит состояния рефрактерности и ожидания. Если в состоянии ожидания нейрон получает достаточно сильное воздействие, то сам генерирует импульс, а затем переходит в рефрактерное состояние. Идея такого элемента базируется на биологических данных. Сеть может запоминать и воспроизводить последовательности бинарных векторов (последовательность образов). В режиме воспроизведения сети предъявляется часть последовательности (возможно, искаженная). После инициализации сеть воспроизводит всю последовательность. При определенном способе инициализации сеть может объединять части нескольких записей в одну единую последовательность.

W-нейрон можно модернизировать так, что, в зависимости от силы воздействия, он будет реагировать конечной последовательностью единичных импульсов (пачкой). Это существенно повышает возможности нейронной сети для хранения и воспроизведения информации. Сеть, представляющая собой кольцо из ассоциаций W-нейронов (модулей), в котором на каждый нейрон каждого модуля действуют все нейроны двух предыдущих модулей, может по-разному реагировать на одинаковые векторы, содержащиеся в запомненной последовательности бинарных векторов.

Сеть из W-нейронов также может успешно использоваться для решения задачи планирования безопасных путей точечных роботов. В статье рассматривается задача планирования оптимальных путей для двух точечных роботов на правильной треугольной решетке, в которой часть вершин исполняет роль препятствий. При движении роботы должны огибать препятствия без взаимных столкновений. Основная идея нахождения безопасных кратчайших путей состоит в замене движения двух роботов на перемещение одного обобщенного робота по специально построенному множеству в четырехмерном пространстве. Для решения задачи была использована нейронная сеть, элементами которой являются W-нейроны. Аналогичный подход был использован в работе.

В работе С.Е.Ануфриенко предложил модель непрерывных нейронов Винера, основанную на дифференциальном уравнении с запаздыванием, и рассмотрел распространение волн в клеточных нейронных сетях из таких нейронов.

В работе нейронная сеть из импульсных нейронов (в варианте) была использована для формирования текстурных признаков изображения.

Обзор содержания книги

В главе 1 на основе биологических предпосылок предлагается дифференциально-разностное уравнение, описывающее динамику мембранного потенциала (количественной характеристики состояния) нейрона. Проводится анализ уравнения с помощью специальных асимптотических методов. Решения бывают двух типов. Для одного характерно наличие кратковременных и высокоамплитудных импульсов (спайков), разделенных между собой промежутками медленного изменения. Форма спайков и участки медленной эволюции мембранного потенциала между ними неплохо согласуются с экспериментальными данными. Другой тип решений соответствует безымпульсному развитию процессов в нейроне, что также наблюдается в экспериментах. Модель пригодна для описания двух типов нейронов: пейсмекеров (автогенераторов) и детекторов. Для последних импульс (спайк) есть ответ на внешнее воздействие.

В главе 2 моделируется результат внешнего воздействия на нейрон. Рассматриваются электрическое и два типа синаптических воздействий (электрические и химические синапсы, т.е. контакты между нейронами). Анализ соответствующих уравнений показывает, что периодическое импульсное воздействие навязывает нейрону свою частоту. В ответ на каждый внешний импульс нейрон генерирует свой собственный спайк. Если внешние "импульсы" достаточно продолжительны, то воздействие приводит к колебаниям нового типа, где ответные спайки нейрона объединяются в пачки (группировки). Оба типа активности нейрона, как ответ на воздействие, наблюдаются в биологических экспериментах.

В главе 3 рассматриваются кольцевые нейронные системы (каждый элемент связан с двумя соседними), для описания которых используются системы дифференциально-разностных уравнений. С помощью асимптотических методов аналитически получены значения синаптических весов (коэффициентов, характеризующих силу взаимодействия нейронов), которые гарантируют существование в кольце волн наперед заданной структуры. Аналогичная задача решена для кольца нейронов, где каждый нейрон действует на два последующих элемента.

В главе 4 изучаются ориентированные однородные кольцевые структуры из нейронных модулей, содержащих возбудительные и тормозные элементы (нейроны). В каждом модуле любой возбудительный элемент имеет равный доступ ко всем нейронам данного модуля и возбудительным нейронам следующего модуля. Тормозные нейроны могут действовать только на возбудительные элементы того же модуля. Показано, что в популяции внутри каждого модуля часть возбудительных элементов синхронизирует генерацию спайков, а у остальных импульсация подавлена. Между группировками спайков нейронов соседних модулей возникают временные рассогласования, однозначно определяемые числом незаторможенных возбудительных нейронов. В модулях состав и численность групп синхронно функционирующих возбудительных нейронов зависит от начальных условий. Если интерпретировать пространственное распределение спайков (паттерн) в модуле как образ, то сеть может бесконечно долго хранить заданную последовательность образов. Информативными могут быть как сами паттерны, так и их временное распределение.

В главе 5 предложена модель адаптации синаптических весов в кольцевой нейронной структуре. Под влиянием внешней периодической последовательности импульсов происходит модификация синаптических весов. По окончании адаптации и после отключения внешнего сигнала нейронное кольцо генерирует копию внешней импульсной последовательности.

В главе 6 рассмотрен механизм взаимодействия двух нейронных колец. Любой нейрон каждого кольца потенциально равным образом может действовать на любой нейрон другого кольца (связи не имеют адреса). В результате функционирования нейронной структуры для идентичных колец наступает синхронизация их колебаний (во всяком случае, если первоначально колебания не слишком отличались по фазе).

В главе 7 рассматриваются вопросы организации колебаний в однородных популяциях диффузионно связанных нейронов. Рассматриваются сети с топологией отрезка, окружности и плоскости. Установлено существование колебательных режимов типа ведущих центров. На окружности могут существовать бегущие волны. На плоскости практически любая кривая может служить циклически повторяющимся фронтом волны начала импульсов. Для полносвязных нейронных сетей асимптотическими методами доказано существование следующих двух типов колебаний:

1. Множество нейронов можно произвольно разбить на два подмножества. Нейроны, принадлежащие каждому из подмножеств, генерируют импульсы практически синхронно. Импульсы нейронов, принадлежащих разным подмножествам, перемежаются во времени. Дается упрощенная интерпретация явления. Пара подмножеств, взятых в одном порядке, рассматривается как изображение, а в другом порядке – как его негатив. Нейронная сеть может бесконечно долго предъявлять наблюдателю изображение и его негатив.

2. Можно произвольно разбить множество нейронов на три подмножества. Импульсы нейронов в каждом из подмножеств происходят синхронно. Через одни и те же промежутки времени в цикле последовательно начинаются импульсы нейронов первого, второго, третьего и снова первого и т.д. подмножеств. Таким образом, происходит самоорганизация полносвязной сети в три нейронных модуля.

В этой же главе 7 проводится компьютерный анализ системы уравнений полносвязной однородной сети диффузионно взаимодействующих нейронов. Установлено существование сложных режимов. Если на систему, находящуюся в таком режиме, действует внешняя последовательность импульсов, то появляется волновой пакет (группировки импульсов), несущий на себе черты внешнего воздействия. Группировки импульсов через некоторое время разрушаются. Явление можно интерпретировать как кратковременное хранение (запоминание) волновых пакетов и их последующее забывание.

В главе 8 применительно к человеку экспериментально проверяется одно из феноменологических следствий модели: чем сложнее режим колебаний в нейронной популяции, тем адекватнее ее реакция на внешнее воздействие. Исследуется электроэнцефалограмма человека. Ее сложность оценивается числом, которое названо псевдокорреляционой размерностью (ПКР). Формализм вычисления ПКР почти полностью совпадает с процедурой Грассбергера–Прокаччио вычисления корреляционной размерности. Далее, для индивидуума с помощью специального психологического теста определяется объем кратковременной памяти на десятичные числа. Показано, что статистически достоверно объем кратковременной памяти положительно коррелирует с ПКР.

В последней главе 9 исследуются так называемые вызванные потенциалы (ВП) мозга, индуцированные предъявленными человеку цветовыми стимулами. Результаты анализа свидетельствуют о том, что в ВП для стимулов разного цвета циклически наблюдаются зоны различия. Данные зоны разделены промежутками отсутствия различий в ВП. Факт подтвержден двумя независимыми методами. Представляется, что можно интерпретировать цикличность присутствия зон различия как косвенное подтверждение гипотезы о волновом кодировании информации в мозге человека. Предложенные методы дают возможность с большой вероятностью идентифицировать стимул по соответствующему вызванному потенциалу.

В приложении A излагается метод шагов интегрирования дифференциально-разностных уравнений с запаздыванием. В приложении B уточняется период решения уравнения нейрона. Выделяется слагаемое первого порядка малости по величине, обратной к большому параметру. В приложении C рассмотрена модель проведения возбуждения по миелинизированному нервному волокну. В приложении D введена модель нейронного клеточного автомата, аксиоматизирующая описанную в разделах :1.6 и 2.3 динамику нейрона. В приложении E предложена конструкция, названная сетью W-нейронов, которая может запоминать и воспроизводить последовательность бинарных паттернов. Здесь же на основе сети из W-нейронов решается задача планирования оптимальных путей движения для точечных роботов на правильной треугольной решетке.

Благодарности

Авторы приносят благодарность М.Л.Мячину за всестороннюю помощь в работе над книгой. Без этой помощи появление книги на свет было бы невозможно.

При подготовке материала книги были использованы следующие свободно распространяемые программы: издательская система TEX Д.Кнута, макропакет LATEX2e; системы подготовки научной графики METAPOST и GNUPlot.

Об авторе

Кащенко Сергей Александрович

Доктор физико-математических наук, профессор, заведующий кафедрой математического моделирования Ярославского государственного университета им. П. Г. Демидова. Директор научно-образовательного центра «Нелинейная динамика».

Основные научные интересы: нелинейная динамика, синергетика. Автор более 250 научных работ, в том числе книги «Динамика моделей на основе логистического уравнения с запаздыванием» (М.: URSS); соавтор монографий «Управление риском» (М., 2000), «Новое в синергетике: взгляд в третье тысячелетие» (М., 2002), «Нелинейные волны» (Нижний Новгород, 2005), «Модели волновой памяти» (М.: URSS), «Релаксационные колебания в лазерах» (М.: URSS).