Методические указания к лабораторным работам по курсу ''Нейрокомпьютерные системы''

Министерство образования Российской Федерации ОРЕНБУРГСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ Кафедра программного обеспечения вычислительной техники и автоматизированных систем

Д.Л. Домашова В.А. Стенюшкина В.Н. Тарасов МЕТОДИЧЕСКИЕ УКАЗАНИЯ к лабораторным работам по курсу "Нейрокомпьютерные системы "

Оренбург 2000

ББК 32.973-0181Я7 Д 91 УДК 681.3(07)

Методические указания для выполнения лабораторных работ по курсу «Нейрокомпьютерные системы» для студентов 5-го курса по специальности 220400 Содержание 1 Основные направления в исследованиях по искусственному интеллекту..... 4 1.1 Два подхода в исследованиях по искусственному интеллекту ....................... 4 1.2 Нейрокомпьютеры ................................................................................................... 6 1.3 Нейроподобные сети и нейрокомпьютеры ......................................................... 6 1.4 Некоторые сведения о мозге .................................................................................. 7 2 Модели нейронных сетей........................................................................................... 9 2.1 Формальный нейрон................................................................................................ 9 2.2 Нейроподобная сеть ...............................................................................................10 2.3 Обученние нейроподобной сети...........................................................................10 2.4 Перцептрон ..............................................................................................................11 2.5 Обучение перцептрона ..........................................................................................12 2.6 Алгоритм обучения многослойного персептрона. Дельта - правило ..........13 3 Ансамблевые нейронные сети ................................................................................16 3.1 Общие принципы организации ансамблевых сетей .......................................16 3.2 Сеть Хопфилда........................................................................................................18 4 Нейроподобные сети с ансамблевой организацией ............................................20 4.1 Нейроподобные сети с системой усиления - торможения..............................20 4.2 Стохастические нейроподобные сети. А-сети...................................................21 4.3 Стохастический нейрон ........................................................................................23 4.4 Стохастическая нейроподобная сеть..................................................................24 5 Нейронные поля ........................................................................................................26 5.1 Промежуточное нейронное поле .........................................................................26 5.2 Разностное поле.......................................................................................................27 5.3 Блокирующее поле .................................................................................................28 5.4 Связи между нейронными полями .....................................................................28 5.5 Суммирующее поле................................................................................................31 5.6 Ассоциативное нейронное поле ...........................................................................32 5.7 Описание работы ассоциативного поля ............................................................33 5.8 Свойства ассоциативного поля ...........................................................................38 6 Темы лабораторных работ ......................................................................................41 6.1 Моделирование работы простого перцептрона ...............................................41 3

6.2 Моделирование работы многослойного перцептрона ....................................41 6.3 Моделирование работы нейронных полей........................................................41 6.4 Моделирование работы ассоциативного нейронного поля ...........................41 Список использованных источников.......................................................................43

1 Основные направления в исследованиях по искусственному интеллекту 1.1 Два подхода в исследованиях по искусственному интеллекту Разделение работ по искусственному интеллекту (ИИ) на два направления связано с существованием двух точек зрения на вопрос, каким образом строить систему искусственного интеллекта (СИИ). Сторонники одной точки зрения убеждены, что "важнее всего результат", т.е. хорошее совпадение в поведении искусственно созданных и естественных интеллектуальных систем, а что касается внутренних механизмов формального поведения, то разработчик ИИ вовсе не должен копировать или даже учитывать особенности естественных, живых аналогов. Другая точка зрения состоит в том, что именно изучение механизмов естественного мышления и анализ данных о способах формирования разумного поведения человека могут создать основу для построения СИИ, причем построение это должно осуществляться, прежде всего, как моделирование, воспроизведение техническими средствами принципов и конкретных особенностей функционирования биологических объектов: - рассматривает продукт интеллектуальной деятельности человека, изучает его структуру и стремится воспроизвести этот продукт средствами современной техники ("машинный интеллект"); - рассматривает данные о нейрофизиологических и психологических механизмах интеллектуальной деятельности и разумного поведения человека. Оно стремится воспроизвести эти механизмы с компьютерной техники или иных технических устройств (не обязательно ЭВМ) ("искусственный разум"). Эвристика - означает некоторое произвольное правило, стратегия, хитрость, догадку и т.п. средство, которое эффективно ограничивает объем поиска решений задач ("умный взгляд"). Непосредственным объектом моделирования в области ИИ является структура и процессы в нервной системе человека и животных. При модельном подходе к изучению нервной системы в поле зрения исследователя в первую очередь оказываются нервные клетки - нейроны и структура из 4

взаимосвязей клеток - нейронные сети. (Кора больших полушарий головного мозга человека содержит около 14 млрд. нейронов). Искусственный интеллект Моделирование результатов интеллектуальной деятельности (машинный интеллект)

Моделирование механизмов (нейроподобные сети)

Моделирование биологических систем (искусственный разум)

Моделирование информационных процессов Эвристическое программирование

Комплексный подход (Эвристическое моделирование)

Рисунок 1.1 - Схема искусственного интеллекта Устройство и законы функционирования нейронов весьма сложны, следовательно, при моделировании нейронов пользуются их упрощенными описаниями. Такие упрощенные модели нейронных сетей называются нейроподобными сетями. Можно разделить два способа организации нейроподобных сетей: 1) узлами сети являются формальные элементы, описывающие отдельные нейроны (Маккалок и Питтс); 2) узлами являются формальные элементы, соответсвующие не отдельным нейронам, а их особым совокупностям - нейронным ансамблям. Под нейронным ансамблем понимается такая совокупность взаимосвязей нейронов, которая возбуждается вся целиком при возбуждении некоторой её части. Как объект модельного описания нейронный ансамбль отличается от отдельного нейрона двумя основными особенностями: 1) выходное возбуждение ансамбля изменяется непрерывно, а не по закону "да - нет". Ансамбль соответственно может быть описано как нелинейный преобразователь аналоговой информации, задаваемой набором определенных статических и динамических характеристик; 5

2) ансамбль может быть поставлен в соответствие некоторой содержательной единице - понятию, образу и другому элементу, принимающему участие в процессе мысленной деятельности, следовательно, нейроподобная сеть, узлы которой соответствует ансамбль, становится сетью с семантикой.

1.2 Нейрокомпьютеры С начала 80-х годов в области исследований по искусственному интеллекту начало быстро развиваться направление работ, связанное с созданием нового класса устройств ВТ-нейрокомпьютеров. По сравнению с ЭВМ традиционных типов нейрокомпьютеры обладают рядом необычных свойств. Так, их программирование осуществляется не заданием последовательностей команд, а предъявлением образов, примеров решения задач из нужного класса. Нейрокомпьютеры хорошо распознают образы различных классов, причем время распознавания не зависит от количества распознаваемых образов. Нейрокомпьютер - это программно-техническая система (её можно назвать так же сисциализированной ЭВМ), которая реализует, или, как говорят, обсчитывает некоторую формальную модель естественной нейронной сети. Необычные свойства нейрокомпьютеров являются модельным отображением тех особенностей, которые присущи процессам переработки информации в живых организмах. Для каждого объекта может быть построено множество моделей, отличающихся друг от друга исходными концепциями, уровнем обобщений и т.д.

1.3 Нейроподобные сети и нейрокомпьютеры Ученых всегда интересовало устройство человеческого мозга и принципы его функционирования. Попытки создать искусственный разум "снизу-вверх" предпринимались еще с 40-х годов специалистами по "нейронной кибернетике". Они стремились разработать само организующие системы, способные обучаться интеллектуальному поведению в процессе взаимодействия с окружающим миром, причем компонентами их систем обычно являлись модели нервных клеток. Но, техника была недостаточно развита и это привело к упрощенным представлениям о работе мозга. Нехватка вычислительных ресурсов подтолкнула многих исследователей к попыткам вместо моделирования небольших нейронных непосредственно запрограммировать выполнение интеллектуальных функций высокого уровня, которые, как считалось, имело логическую природу. Т.о. к концу 50-х годов сформировался более обобщенный и независимый 6

логико-символьный подход к моделированию интеллекта "сверху - вниз". Его развитие породило такие направления исследований, как эвристический прием и машинный интеллект и способствовало угасанию интереса к нейронным сетям. К концу 70-х годов созрели условия для возрождения интереса к нейросетевым моделям ИИ. Этому способствовал большой объем новых знаний, полученные за 25 лет при экспериментальном исследовании мозга, которые можно было применять при построении моделей. А так же появились ЭВМ с возможностью параллелизации. Начало 80-х годов было отмечено ростом интереса к моделям нейронных сетей среди широкой научной деятельности. Поворотом послужила публикация американского биофизика Хопфилда, в которой была установлена аналогия между моделью нейронной сети Хебба и определенным классом физических систем. С 1986 года - бурное развитие нейрокомпьютеров. Возникли фирмы, связанные с нейросетевой технологией, которое к концу 80-х годов насчитывалось более сотни.

1.4 Некоторые сведения о мозге Мозг является, пожалуй, самой сложной из известных нам систем переработке информации. В нем 100 млрд. нейронов, каждый из которых имеет в среднем 10000 связей. При этом мозг чрезвычайно надежен: ежедневно погибает большое количество нейронов, а мозг продолжает функционировать. Рассмотрим строение нейрона: - вид клеток обладающих электрической активностью (Рисунок 1.2). Каждое окончание имеет вид утолщения, называемого синоптической бляшкой (или синапсом). Входные сигналы дендритного дерева взвешиваются и суммируются на пути к аксонному холмику, где генерируются выходы, импульс (снайк) или пачка импульсов, следовательно, наличие импульса (или интенсивен.) является функцией взвешенной суммы входных сигналов. Выходной сигнал проходит по ветвям аксона и достигает синапсов, которые соединяют аксоны с дендритами других нейронов.

7

Рисунок 1.4 - Строение нейрона Через синапсы сигнал трансформируется в новый входной сигнал для смежных нейронов. Этот входной сигнал может быть положительным и отрицательным (возбуждающим или тормозящим) в зависимости от вида синапсов. Нейроны: рецепторные (обеспечивают ввод в мозг сенсорной информации; трансформируют сигналы поступающие на органы чувств); эффекторные (передают приходящие на них сигналы исполнительным органам); промежуточные (осуществляют обработку информации, получаемой от рецепторов, и формируют управляющие сигналы для эффекторов).

8

2 Модели нейронных сетей 2.1 Формальный нейрон

Рисунок 2.1 На нейрон поступает набор входных сигналов x1,…, xm (вектор Х), представляющий собой выходные сигналы других нейронов. Каждый входной сигнал умножается на соответствующий вес связи w1, …, wm: wi>0 - для возбужденных, wi<0 - для тормозящих. Взвешенные весами связей входные сигналы поступают на блок суммации (тело клетки), где осуществляется их алгебраическая суммация и определяется уровень возбуждения нейроподобного элемента S :

S =

m

∑

i =1

wi xi

(2.1)

Выходной сигнал нейрона y определяется путем пропускания уровня возбуждения S через нелинейную функцию f : y = f ( S − Q)

где Q - некоторое постоянное смещение (аналог порога нейрона). Обычно используются простейшие нелинейные функции: - бинарные 1, при S > 0 y= 0, при S ≤ 0

(2.2)

- сигмовидная y=

1 1 + e − ( S −Q )

(2.3)

9

2.2 Нейроподобная сеть Нейроподобная сеть представляет собой совокупность формальных нейронов, определенным образом соединенных друг с другом и с внешней средой. Входной вектор (координирующее входное воздействие или образ внешней среды) подается на сеть путем активации входных нейроподобных элементов. Множество выходных сигналов нейронов сети y1, …, yn называют вектором выходной активности, или паттерном нейронной сети. Веса связей нейронов сети удобно представлять в виде матрицы W, где wij вес связи между i и j-м нейронами. В процессе функционирования сети осуществляется преобразование входного вектора в выходной. Конкретный вид выполняемого сетью преобразования информации обуславливается не только характеристиками нейроподобных элементов, но и особенностями ее архитектуры, т.е. той или иной топологии межнейронных связей, выбором определенных функционирования сети нейроподобных элементов для входа и выхода, направлением и способами управления и синхронизации информационных потоков между нейронами и т.д.

2.3 Обученние нейроподобной сети Одно из важнейших свойств нейроподобной сети - способность к самоорганизации, самоадаптации с целью улучшения качества функционирования. Это достигается обучением сети, алгоритм которого задается набором обучающих правил. Обучающие правила определяют, каким образом изменяются связи в ответ на входное воздействие. Самуэль сумел настроить небольшой компьютер и научить его играть в шашки (1947г). В 1949году - перешел в лабораторию IBM. В 1962году - стала играть в шашки лучше местного чемпиона штата. В программе была предусмотрена возможность накапливать опыт и действовать исходя из него. Давая численные оценки разным вариантам, программа принимала во внимание, насколько удачным оказывались подобные коды (в программе т.о. машиной руководили не только встроенные эвристики, но и "мудрость" рожденная опытом подобно человеку, машина приобретала способность учится на собственных ошибках). Многие плавила обучения являются развитием высказанной Хеббом идеи о том, что обучение основано на увеличение силы связи (синоптического веса) между одновременно активными нейронами. 10

Т.о. часто используемые в сети связи усиливаются, что объясняет феномен обучения путем повторения и привыкания:

wij (t + 1) = wij (t ) + αyi y j

(2.4)

где wij - значение веса связи от i-го к j-му нейрону до и после его изменения α - скорость обучения

2.4 Перцептрон Для сетей такого типа характерно отсутсвие обратных связей между формальными нейронами, организованные в слои. В середине 50-х годов была предложена одна из первых моделей нейронных сетей, корорая вызвала большой интерес из-за своей способности обучаться распознованию простых образов.

Рисунок 2.4 - Модель нейроновых сетей Первую подобную модель предложил Ф. Розенблатт: - рецепторный слой содержит элементы, способствующие реагировать на те или иные сигналы-раздражение (освещение или неосвещение). Каждый фотоэлемент вырабатывает на выходе двоичный сигнал (0-темно, 1-свет); - 1-ый ассоциативный слой; - выходы фотоэлементов соединены с входами формальных нейронов, нахо11

дящихся на 1-ом слое; - 2-ой ассоциативный слой; - формальный нейрон суммирует с некоторыми весами, присущим входам этого нейрона, входные (возбужд. и торм.) сигналы и полученную сумму сравнивает с порогом, определенным для него. Если порог превышен, то нейрон выдает на выходе 1, иначе 0. Работа любого слоя однотипна. Нейроны промежуточных слоев на входах имеют выходы с верхнего слоя; - слой решающих элементов; - после проработки всех слоев, полученные результирующие сигналы поступят к решателям-элементам последнего слоя перцептрона; - выход(Рисунок 2.4). Решатели представляют собой сумматоры, вычисляющие суммы единичных сигналов, поступивших на и вход. Каждый решатель соответствует одному одному из распозноваемых образов (например, если перцептрон з. распознает все буквы русского алфавита, то число решателей должно быть равно 33). Сравнивающее устройство производит сравнение чисел, выданных решателями, и выдает на вход имя того образа, которого соответствует максимальная сумма.

2.5 Обучение перцептрона Для того, чтобы перцептрон смог распозновать и правильно классицифицировать изображения, поступающие на его вход необходим этап его настройки (обучения) на множество входных изображений и заданное множество классов изображений (образов). Обучение происходит следующим образом: (алгоритм называется процедурой сходимости перцептрона Розенбланта и является вариантом Хеббовского правила изменения весов связей с учителем). Вектор весов wi устанавливается впроизвольное состояние. На сетчатку (входная матрица) поочередно подают образы из обучающей выборки, которые трансформируется в выходной сигнал у решающего элемента. При правильном отклике ничего не изменяют. При неправильном отклике у=0 (т.е д.б у=1) веса всех связей от активных элементов сетчатки увеличивают, а при неправильном отклике у=1 - уменьшают. Величина изменения связи определяет степень адаптции. Если решение существует, оно будет достигнуто при циклической подаче образов обучающей выборки за конечное число шагов при любом начальном выборе связей.

12

2.6 Алгоритм обучения многослойного персептрона. Дельта - правило Детерминированная версия алгоритма, получившая название «back propagation» - алгоритм обратного распространения ошибки. Этот алгоритм является обобщением одной из процедур обучения простого персептрона, известной, как правило, Уидроу-Хоффа (или дельта-правило), и требует представления обучающей выборки.

Рисунок 2.6 - Алгоритм обратного распространения ошибки Выборка состоит из набора пар образов (вход-выход), между которыми надо установить соответствие, Рассмотрим многослойную нейроподобную сеть с прямыми связями. Входные элементы (блоки) образуют нижний слой сети, выходные - верхний. Между ними может быть много слоев скрытых блоков. Сообщения только (снизу - вверх). С точки зрения распознавания образов входной вектор соответствует набору признаков, а выходной - классу образов. 1) Перед началом обучения связям присваиваются небольшие случайные значения; 2) На сеть подается входной вектор, устанавливая в нужное состояние входные элементы. Затем входные сигналы распространяются по сети, порождая некоторый выходной вектор. 3)Для описания характеристики вход - выход нейроподобных элементов используют сигмовидную нелинейность вида (2.3). Полученный выходной вектор сравнивают с требуемым.. Если они совпадают, обучение не происходит. В противном случае вычисляется разница между фактическими и требуемыми выходными значениями. На основании этой информации об ошибке производится модификация связей в соответствии с обобщенным дельта - правилом, которое имеет вид: 13

∆ p wij = ηδ jp y ip

(2.5) где изменение в силе связи wij для p-й обучающей пары пропорционально произведению сигнала ошибки δj-го блока, получающего входной сигнал по этой связи, и выходного сигнала блока i, посылающего сигнал по этой связи. η-коэффициент, определяющий скорость обучения (маленькая величина). Определение сигнала ошибки является рекурсивным процессом, который начинается с выходных блоков (с конца). Для выходного блока сигнал ошибки δ ip = y j ′ (d jp − oip ) (2.6) где dj и oj - желаемое и действительное значения выходного сигнала j-го блока; уj' - производная нелинейности блока. Сигнал ошибки для скрытого блока определяется рекурсивно через сигнал ошибки блоков, с которым соединен его выход, и веса этих связей: δ ip = y j ′ ∑ δ kp wkj (2.7) k

Для используемой сигмовидной нелинейности: ′ y j = y j (1 − y j ) , (2.8) т. к. 0 ≤ yj ≤ 1, то производная максимальна при уj = 0,5 и равна нулю при уj = 0 или 1. Соответственно веса изменяются максимально для блоков, которые еще не выбрали свое состояние (если уj = 0 или 1 - оно выбрано). Т. к. при конечных весах выходные сигналы блоков не могут достигать значений 0 или 1, поэтому 0, если y j 〈 0.1 yj =  1, если y j 〉 0.9

Модификация весов производится после предъявления каждой пары вход выход. Причем, если коэффициент η, определяющий скорость обучения, мал, то можно показать, что обобщенное дельта-правило достаточно хорошо аппроксимирует минимизацию общей ошибки функционирования сети D методом градиентного спуска в пространстве весов. Общая ошибка функционирования сети определяется так: D=

1 (o jp − d jp ) 2 ∑∑ 2 p j

(2.9)

Обучение продолжается до тех пор, пока ошибка не уменьшится до заданной величины. Эмпирические результаты свидетельствуют о том, что при малых η система находит достаточно хороший минимум D. 14

Недостаток алгоритма обратного распространения: во многих случаях для сходимости может потребоваться многократное (сотни раз) предъявление всей обучающей выборки. Повышения скорости обучения добиваются, например, использованием информации о второй производной D, увеличением η. В последнем случае избежать осцилляций позволяет инерционный член: ∆wij (t + 1) = ηδ j y j + α∆wij (t )

где α - экспоненциально затухающий множитель, определяющий относительное воздействие текущего и прошлых градиентов на изменение веса. В настоящее время многослойные персептроны являются наиболее популярной моделью нейронных сетей. Т. к. с их помощью удалось продемонстрировать решение ряда задач, в том числе классической для персептронов задачи «исключающего ИЛИ», задачи синтеза речи по тексту, а также задач, требующих принятия экспертных решений. Возможно, что подобные многослойным персептронам нейронные структуры используются мозгом для предварительной обработки сенсорной информации, например, при выделении признаков.

15

3 Ансамблевые нейронные сети 3.1 Общие принципы организации ансамблевых сетей Минский и Пейперт отмечали, что недостатки простых персептронов можно преодолеть как с помощью многослойных сетей, так и введением в сеть обратных связей, допускающих циркуляцию сигналов по замкнутым контурам. Использовать свойства такого рода сетей для моделирования функций мозга еще в 1949 г. предложил Хебб. Согласно взглядам Хебба нервные клетки мозга соединены друг с другом большим количеством прямых и обратных возбуждающих связей и образуют нейронную сеть. Каждый нейрон осуществляет пространственно-временную суммацию приходящих к нему сигналов от возбужденных нейронов, определяя потенциал на своей мембране. Когда потенциал на мембране превышает пороговое значение, нейрон возбуждается. Нейрон обладает рефрактерностью и усталостью. Эффективность связей может изменяться в процессе функционирования сети, повышаясь между одновременно возбужденными нейронами. Это приводит к объединению нейронов в клеточные ансамбли - группы клеток, которые чаще всего возбуждались вместе, и к обособлению ансамблей друг от друга. Итак нейронный ансамбль - такая совокупность взаимосвязанных нейронов, которая возбуждается вся целиком при возбуждении некоторой ее части. Различные ансамбли могут пересекаться: один и тот же нейрон может входить в разные ансамбли. Электрическая активность мозга обусловлена последовательным возбуждением отдельных ансамблей. Как объект модельного описания нейронный ансамбль отличается от отдельного нейрона двумя основными особенностями: 1 - выходное возбуждение ансамбля изменяется непрерывно, а не по закону "да - нет" (дискретно). Следовательно, ансамбль может быть описан как нелинейный преобразоавтель аналоговой информации, задаваемой набором определенных статических и динамических характеристик. 2 - ансамбль может быть поставлен в соответствие некоторой содержательной единице - понятию, образу и другому элементу, принимающему участие в процессе мысленной деятельности. Следовательно, нейроподобная сеть, узлы которой соответствует ансамблям, становится сетью с семантикой, семантической сетью. Это обстоятельство решающим образом изменяет подход к проблеме синтеза сетей и содержательной интерпретации, протекающих в них процессах Идеи Хебба оказали большое воздействие на представления о работе мозга и послужили основой для создания нейронных моделей долговременной памяти. Ансамблевую нейронную сеть можно рассматривать как структуру, реали16

зующую функции распределенной ассоциативной памяти. Формирование ансамблей в такой сети соответствует запоминанию образов (признаков, объектов, событий, понятий), закодированных паттерном активности нейронов (выходной вектор у), а сформированные ансамбли являются их внутренним представлением. Процесс возбуждения всего ансамбля при активации части его нейронов можно интерпретировать как извлечение запомненной информации по ее части - ключу памяти. Модель ансамблевой сети состоит из большого количества нейроподобных элементов, каждый из которых обычно соединен со всеми другими элементами сети. - входной образ подается на сеть путем активации нужных нейроподобных элементов. В отличие от персептрона ансамблевая сеть может обучаться как с учителем, так и без него. Обучение производится по правилу Хебба: ω ij (t + 1) = ω ij (t ) + α * y i * y j или одному из его вариантов. Значение коэффициента а. при обучении с учителем определяет величину подкрепления, а при обучении без учителя эта величина может быть установлена постоянной. Правило Хебба формирует симметричную матрицу связей. - в процессе обучения при подаче на сеть набора входных образов - в сети формируются ансамбли, которые могут иметь сложную структуру, отражающую свойства среды. Связность внутри групп нейроподобных элементов, которые наиболее часто возбуждались одновременно, будем значительно выше, чем в среднем по сети. Так образуются ядра ансамблей, в которых накапливаются комбинации признаков, наиболее часто встречающиеся во входных образах. Их можно рассматривать как внутреннее представление образов-прототипов классов, объективно существующих во внешней среде. Более редкие комбинации возбужденных нейроподобных элементов образуют бахрому ансамблей, где фиксируются индивидуальные особенности образов. - при подаче на обученную ансамблевую сеть некоторого входного образа путем установки начального паттерна активности (вых. у) осуществляется восстановление наиболее близкого к нему образа из числа запомненных в сети. Сеть представляют самой себе, и в ней начинается обычный процесс (в зависимости от используемого алгоритма) изменения состояний нейроподобных элементов. При этом из-за наличия только возбуждающих связей возникает проблема регулирования уровня активности сети, т. е. количества одновременно активных элементов Для этого существуют конкретные внутри сетевые и внешние механизмы. Если уровень активности сети поддерживается примерно равным величине ансамбля, то межансамблевая конкуренция приводит к релаксации сети из начального к устойчивому конечному состоянию, соответствующему запомненному об17

разу

3.2 Сеть Хопфилда Хотя многочисленные результаты моделирования демонстрировали стабильность ансамблевых сетей с обратными связями и хеббовским правилом обучения (эволюцию сети к устойчивому состоянию), отсутствие математического обоснования такого поведения препятствовало их популярности. Положение изменилось с появлением работ в 1982 г. американский биофизик Джон Хопфилд, где было определено подмножество нейронных сетей с обратными связями, которые гарантированно достигают устойчивого состояния. Хопфилд рассмотрел поведение модели полно связной сети бинарных нейроподобных элементов с симметричными связями ω ij = ω ji . Элементы функционировали в асинхронном режиме, т. е. каждый нейрон в случайные моменты времени с некоторой средней частотой определял свое состояние в соответствии с правилом. n  1, S = ∑ ω i xi > Q можно взять Q = 0 y= i =1 0, S ≤ 0 

(3.1)

Это позволило описать поведение сети как релаксационный процесс, при котором минимизируется энергетическая функция Е (функция Ляпунова, гамильтониан) модели: Е=−

1 ∑ ∑ ω ij yi y j + ∑i Qi yi 2 i j

(3.2)

где wii — матрица связей; у и Q — состояние и порог модельного нейрона. Изменение Е при изменении состояния нейрона (учитывая симметрию wii и полагая Q=0) ∆E = − ∆y i ∑ ω ij y j (3.3) j

Так как знак ∆yi совпадает со знаком

∑ω

ij

y j , ясно, что Е по мере срабаты-

j

вания нейронов будет монотонно убывать, а так как Е ограничена, будет достигнуто состояние ее минимума. Таким образом, эволюция сети из любого начального состояния приводит к состоянию, соответствующему локальному минимуму Е. Далее Хопфилд исследовал сеть с нейроподобными элементами, имеющими сигмовидную характеристику. Состояния нейронов такой сети изменяются одновременно и непрерывно, и сеть описывается системой дифференциальных уравнений. Хопфилд доказал сходимость и такой сети к стабильным энергетическим минимумам и нашел соответствие между ее устойчивыми состояниями и ус18

тойчивыми состояниями сети с бинарными элементами. Если сделать минимумами энергии заданный набор паттернов нейронной активности (образов), оба варианта сети Хопфилда смогут выполнять функции ассоциативной памяти, «скатываясь» к тому образу, в чей «бассейн притяжения» попадает начальный паттерн активности нейронов сети. Пример восстановления сетью из 40 нейронов, которые расположены в виде матрицы 5х8, запомненного в сети изображения буквы «Е». Из поданного на сеть зашумленного изображения (слева) восстанавливается правильное изображение (справа). Одним из способов получения нужной энергетической функции является формирование матрицы связей в соответствии с вариантом хеббовского правила: L

ω ij = ∑ (2 z ip − 1)(2 z jp − 1)

(3.4)

p =1

где ZP — образы, которые надо запомнить в сети; L — их количество. Это правило, как и правило Хебба обеспечивает формирование симметричной матрицы связей, однако постулирует увеличение веса связей между не только одновременно активными, но и одновременно неактивными нейронами, а также его уменьшение между нейронами, находящимися в разном состоянии. Такое правило допускает существование тормозящих модифицируемых связей между нейронами, и даже переход возбуждающих связей в тормозящие. Оно позволяет сети автоматически само регулировать уровень активности и работать с ненулевым порогами нейронов. Однако при этом значительно снижается емкость памяти сети - количество случайных образов, которое можно записать в сеть с возможностью восстановления, не превышает 0.14 количества нейронов. Кроме того, в дополнение к энергетическим минимумам, соответствует запомненным образам, возникают ложные минимумы функции Е. Положение еще осложняется для с коррелированных образов, которые после запоминания не становятся минимумами Е

Рисунок 3.2

19

4 Нейроподобные сети с ансамблевой организацией 4.1 Нейроподобные сети с системой усиления - торможения При построении данных систем ИИ эффективно используются данные о естественных нейронных сетях, общие принципы и механизмы их функционирования. Они дополняются правдоподобными эвристическими предположениями. Модели, построенные на основе гипотезы такого рода, являются, соответственно, эвристическими. Основным критерием пригодности данных гипотез является эффективность порождаемых с их помощью моделей. Данный подход к построению систем ИИ - эвристическим моделирования. Системы ИИ при этом строятся в виде нейроподобных сетей. Используемые гипотезы: а) функциональной основной единицей сети является не отдельный нейрон, а нейронный ансамбль. Изменениям активности ансамблей в процессе работы сети сопоставляются изменения активности (актуальности) соответствующих понятий и образов в процессе мышления; б) активность нейронной сети контролируется специфической системой усиления - торможения - СУТ. Влияние СУТ на нейронную сеть двойственно: вначале она выделяет наиболее активный в данный момент ансамбль, увеличивает его активность и притормаживает все остальные. Затем воздействие СУТ постепенно ослабевает, и в момент, когда наиболее активным становится другой ансамбль, СУТ переключается на него. Эти процессы воздействия СУТ на выбранный ансамбль и всю остальную сеть повторяются, в результате происходят новые переключения СУТ. Образ или понятие, соответствующие ансамблю, выделенному СУТ, считаются осознанными. Переключения СУТ формируют «поток сознания». Активность ансамблей, не выделенных СУТ, составляет «подсознательный» компонент мышления. Механизмы Механизмы СУТ сопоставляются механизмам - внимания. Ближайшим нейрофизиологическим аналогом СУГ является, возможно, ретикулярная фармация головного мозга. Существуют два направления по построению систем ИИ на основе данных rипотез: - формальный нейроподобный элемент ставится в соответствие целостному нейронному ансамблю. Это приводит к рассмотрению нейроподобных сетей особого типа - активных семантических •сетей, называемых М-сетями. - формальный нейроподобный элемент ставится в соответствие отдельному нейрону. При этом в нейроподобной сети моделируются процессы формиро20

вания ансамблей. Такие сети называются А - сетями. В обоих типах сетей реализуются функции СУТ: - в М - сетях — алгоритмически - в А - сетях — структурно. М-сети были использованы для построения систем ИИ, управляющих действиями автономных подвижных роботов. М-сети являются удобным средством представления экспертных знаний и построения систем принятия решений. Но их обучение связано с большими затратами ресурсов. СУТ обеспечивает устойчивую работу сети А - сети были прежде всего использованы для обработки сигнальной информацией. В них возможны реализации процессов обобщения и распознавания образов, логического вывода, обработки сложных временных последовательностей. В них эффективно реализуются процессы индуктивного обучения. Строятся многоуровневые А - сетей. Возможна функционально эквивалентное отображение М - сети в структуру А - сети.

4.2 Стохастические нейроподобные сети. А-сети Системы ИИ строятся для работы с реальными объектами внешнего мира. Особенность таких объектов очень большое разнообразие признаков, с помощью которых они описываются. Еще шире разнообразие самих объектов. Следовательно, для того чтобы выявить какие-либо закономерности, объекты приходится группировать в различные классы,. Существуют различные возможности определить класс объектов: - перечислить все объекты этого класса - перечислить набор признаков, характерных для класса объектов - определить некоторую процедуру распознавания, которая для любого реального объекта даст ответ, принадлежит он к данному классу или нет. Первый способ не дает возможности построить систему знаний. Вторым способом пользовались на протяжении последних десятилетий предпринималось, но! попытки построить сложные иерархические структуры на этой основе приводят к таким громоздким выражениям, что практически пользоваться ими невозможно. Наиболее популярный путь построения систем знаний заключается в том, что : - классу объектов сразу же приписывается имя, которое само по себе не несет никаких признаков объектов, но представляет целый их класс во всех дальнейших процедурах обработки информации; - в каком-то отдельном месте записывают свойства класса, имеющего данное имя. 21

Такой подход порождает две категории проблем: - в различных случаях оказываются существенными самые разные признаки объектов, а застывшая классификация, отраженная в именах классов, приводит к негибкости всей системы; - имена классов ничего не говорят о близости этих классов друг к другу, о наличии у них общих свойств или различий. Каждый раз, когда нужна эта информация, приходится специально обращаться к записям свойств классов, что в сложной системе знаний порождает громоздкие поисковые процедуры. Нейроподобные сети с ансамблевой организацией (А - сети) разрабатываются для систем знаний, в которых имя класса не будет оторвано от признаков этого класса, и на всех уровнях обработки информации оно будет участвовать наравне и одновременно с набором признаков. Основная идея заключается в том. что и имя класса, и каждый из признаков объекта, и вообще любые функциональные элементы такой системы знаний представляют собой подмножества нейронов в определенных нейронных полях. Эти подмножества оформляются в виде нейронных ансамблей, богатых внутри ансамблевыми возбуждающими связями и поэтому выступающих при работе нейроподобной сети как единое целое. При переходе на верхние уровни иерархии такие ансамбли объединяются между собой, что позволяет слить в единое целое нейроны-представители имени класса и нейроны-представители различных признаков. Сформированный таким образом нейронный ансамбль выступает в дальнейшем как информационный элемент, несущий в своей структуре, как имя, так и отдельные признаки объектов (Рисунок 4.2).

Рисунок 4.2 - Структура нейронного ансамбля Получается структура, которая в принципе должна привести к решению названных выше проблем.

22

4.3 Стохастический нейрон

Рисунок 4.3 - Стохастический нейрон Стохастический нейрон имеет: - множество установочных входов {Sk}, k = 1, e - множество возбуждающих входов {g i }, i = 1, n - множество тормозящих входов {r j }, j = 1, m - один тактирующий вход С - один выход Q. Возбуждающие входы имеют синоптические веса wij. Все входные и выходные сигналы и синоптические веса у стохастического нейрона могут принимать значения только: «0» или «1». Если сигнал на входе принимает значение «0», то сигнал отсутствует, если «1» - сигнал присутствует. Работа нейрона: - на входе нейрона непрерывно вычисляется величина входного возбуждения m

E = ∑ wi g i

(4.1)

i =1

где wi - синаптические веса нейрона; qi - сигналы c возбуждающего входа. - стохастический нейрон содержит управляемый генератор шума, на выходе которого в любой момент времени может быть либо «0», либо «1», причем вероятность того, что на выходе окажется «1», равна р, является функцией от Е (величина входного возбуждения): p=f(E). (4.2) - состояние на выходе нейрона q может изменяться только в моменты прихода тактирующего сигнала на вход С. Если в такой момент на входах {rj} и {Sk} отсутствуют сигналы, то на выход нейрона передается текущее состояние управляемого генератора шума. 23

Если на входах {rj} сигналов нет, а хотя бы на одном из входов {Sk} сигнал присутствует, то на выходе нейрона q устанавливается состояние «1», независимо от состояния генератора шума. Если хотя бы на одном из тормозящих входов {rj} присутствует сигнал, то на выходе q устанавливается «0» независимо от других сигналов. - в процессе работы стохастической нейроподобной сети синоптические веса у стохастического нейрона могут изменяться. Изменения весов аналогично изменению состояния на выходе нейрона происходят только в момент появления тактирующего сигнала Zr, который сопровождается посылкой величины подкрепления Ef (-l ≤Ef≤ +1). Правило изменения синоптических весов при появлении сигнала Z. Пусть qi (q = 0 или 1) — состояние выхода i-ro нейрона и qj (q = 0 или 1) — состояние выхода j-го нейрона. Пусть wij — синоптический вес связи между i-м и j-м нейронами до прихода сигнала Zr a wij* — синоптический вес после прихода Zr Тогда wij ∪ (qi & q j & ε ), при Ef ≥ 0 wij =  wij & qi & q j & ε ), при Ef ≤ 0

(4.3)

где ε — двоичная случайная величина, ε = 0 или 1, у которой М(ε)=|Ef| (4.4) М (ε) — математическое ожидание случайной величины. Функцию f(Е) в выражении Ef мы будем называть характеристикой нейрона. Она может быть различной, мы будем использовать 2 её вида:  0.6 2 при E ≤ z C1 E , C1   0 .5 0.5 0.5  − E ) z , при z ≤ E ≤ 2z f1 ( E ) = 1 − C1 (2 z C1 C1 C1   0.5 1, при E ≥ 2 z степенная хха - ка C1  если E ≤ E 0 0,  f 2 ( E ) =  E0 гиперболичекая хха - ка 1 − E , иначе

(4.5)

(4.6)

где Е0 — константа; C1 — константа; z = 2, 3, 4, ... Соответствующие функциям нейроны - степенным и гиперболическим нейроном.

4.4 Стохастическая нейроподобная сеть Стохастической нейроподобной сетью будем называть множество стохастических нейронов, удовлетворяющее следующим требованиям: 24

- некоторые входы стохастических нейронов могут быть подключены к выходам нейронов. При этом соблюдается правило: к одному выходу может быть подключено любое количество входов, но к одному входу может быть подключен только один выход. - некоторые входы нейронов могут быть подключены к внешним устройствам, которые генерируют двоичные сигналы. Такие входы называются входами нейронной сети. - считается, что на входах нейронов, которые остались не подключенными, сигналы отсутствуют (т. е. значения всегда равны нулю). - некоторые выходы нейронов могут быть подключены к внешним устройствам. Такие выходы называются выходами нейронной сети. - на дискретной последовательности моментов времени t = 0,1,2,.... должна быть задана процедура, определяющая для каждого нейрона моменты ti* ({t*}⊂{t}) подачи сигналов на его тактирующий вход С, а также сигнал Zr. - для момента времени t = 0 должны быть заданы состояния всех входов, выходов и значения синоптических весов. - в сети существуют нейроны, на выходе которых всегда есть единичный сигнал (постоянно возбужденные нейроны). Нейронное поле - множество нейронов, выполняющих одинаковую функцию. У нейронного поля должно быть задано единое для всех нейронов правило подключения их входов и выходов к выходам и входам других нейронов.

25

5 Нейронные поля 5.1 Промежуточное нейронное поле

Рисунок 5.1 Правило соединений входов и выходов: - выход каждого нейрона промежуточного поля выводится за пределы этого поля (внешние выходы). Выход каждого нейрона подключается к одному из установочных входов этого же нейрона. - другой установочный вход каждого нейрона выводится за пределы промежуточного поля (внешние входы). - один из тормозящих входов каждого нейрона подключается к общей точке всего промежуточного поля, которая подключается к внешнему выводу R промежуточного поля. - все тактирующие входы нейронов объединяются и подключаются к внешнему выводу С промежуточного поля. Условное обозначение промежуточного поля. А - соответствует множеству, содержащему п внешних входов. Q - множеству, содержащему п внешних выходов. Работа промежуточного поля: Обозначим: а ( а = а1, …, аn) - вектор состояний входов q ( q = q1, …, qn) - вектор состояний выходов с - состояние синхровхода, r - состояние входа R промежуточного поля. а , q , r, c - булевы переменные зависят от времени, 26

1 -единичный вектор, 0 нулевой вектор

Пусть при t = 0 (в начальный момент) а = 0 ; q = 0 ; r=0; c=0. Пусть также тактовые сигналы поступают на вход С в каждый момент времени (t=1, 2, 3, ...) и пусть тормозящий сигнал поступает на вход R через т тактов. Отсюда видно, что промежуточное поле осуществляет так называемый дизъюнктивный ввод сигналов, поступающих на входы ( а ) в последовательные такты времени. K моментам времени ti относятся только значения сигнала с, остальные величины определены в промежутке между ti и ti+1 Так, а (3) — значение вектора а в интервале 3
1

0

а (1)

0

2

1

0

а (2)

а (1)

3

1

0

а (3)

а (1)

∪ а (2)

4

1

1

а (4)

а (1)

∪ а (2) ∪ а (3)

5

1

0

а (5)

0

6 7 8

1 1 1

0 0 1

а (6)

а (5)

а (7)

а (5)

9

1

0

а (8) а (9)

∪ а (6) а (5)∪ а (6) ∪ а (7) 0

5.2 Разностное поле В разностном поле объединяются все тактирующие входы, а за пределы поля выводятся по одному установочному входу, по одному тормозящему входу и выходы каждого нейрона. Тактирующий импульс на вход С подается на каждом временном такте. Выходной вектор q имеет единицы в тех и только в тех разрядах, в которых единицы присутствуют в векторе a , но отсутствуют в векторе b

27

Рисунок 5.2

5.3 Блокирующее поле Объединяются между собой все тактирующие входы, объединяются также тормозящие входы (по одному от каждого нейрона). Выводятся за пределы поля выходы нейронов и по одному установочному входу от каждого нейрона. Тактируется на каждом временном такте. Работа блокирующего поля описывается следующим выражением: a (t − 1), q (t ) =  0,

если r (t − 1) = 0 если r (t − 1) = 1

(5.1)

Рисунок 5.3

5.4 Связи между нейронными полями Для связей могут использоваться дополнительные входы, которые не были показаны на схемах нейронных полей, но приведены в схеме стохастического нейрона. Виды связей: проекционные, стохастические, суммирующие. а) Проекционные связи соединяют выходы нейронов одного доля с установочными или тормозящими входами нейронов другого (или того же самого) поля. Рассмотрим два типа проекционных связей: прямые и перекрестные. Пусть i (i = 1, 2, ..., n) — номер нейрона в простом нейронном поле, п четное 28

число. Пусть QAI - выход i-го нейрона, принадлежащего полю A, SBj - любой из установочных входов j-го нейрона, принадлежащего полю В, RBj - любой из тормозящих входов j-го нейрона, принадлежащего полю В. Если выход l-го нейрона Ql соединен с входом m-го нейрона (например, Sm,), будем обозначать Ql — Sm. Поле А связано с полем В: 1) прямыми установочными проекционными связями, если ∀ i (( j = i ), (QAi − SB j )) (5.2) 2) прямыми тормозящими проекционными связями, если ∀ i (( j = i ), (QAi − RB j )) (5.3) 3) перекрестными установочными проекционными связями, если n ∀ i (( j = (i + ) mod n), (QAi − SB j )) 2

(5.4)

4) перекрестными тормозящими проекционными связями, если n ∀ i (( j = (i + ) mod n), (QAi − RB j )) 2

(5.5)

Рисунок 5.4 б) Стохастические связи между двумя полями определим через процедуру их формирования. 1) Стохастические установочные связи поля А и В - задаем параметр k, равный общему количеству устанавливаемых 29

связей, причем k < п. - выбираем целое случайное число α из последовательности равномерно распределенной на интервале [1, n]. Аналогично выбираем случайное число β, причем α и β независимы. Выход нейрона из поля А с номером α (аα) соединяем с одним из свободных установочных входов нейрона из поля В, имеющего номер β (bβ). - повторяем операцию по п. 2 К раз. 2) Стохастические тормозящие связи . - задаем параметр К, равный общему количеству тормозящих связей, причем К= kn, где k — положительное целое число. - в поле В выбираем нейрон с номером β, у которого еще не были установлены тормозящие связи. - выбираем целое случайное число α из последовательности, равномерно распределенной на интервале [1, n]. Устанавливаем связь между выходом нейрона аα и одним из тормозящих входов нейрона bβ. - повторяем операцию по п. 3 k раз. - повторяем последовательность операций по п.. 2—4 п раз.

Рисунок 5.5 Если одна и та же пара нейронов будет иметь более одной связи, соединяющей эти нейроны, то их действие эквивалентно действию одной связи. в) Суммирующие связи поля А с полем В ∀ i (QAi − g i B1 ) & (QAi − g i B2 ) & ... & (QAi − g i Bn )

(5.6)

где QАi - выход i-ro нейрона, принадлежащего полю A; giBj - i-й возбуждающий вход j-го нейрона, принадлежащего полю В; i, j - 1, 2, .... п. Пример суммирующих связей поля А с полем В н условное обозначение таких связей приведены на рисунке 5.4.3 (а, б). Поскольку суммирующие связи про30

ходят через возбуждающие входы, имеющие свои синаптические веса, мы будем описывать эти веса стохастической двоичной матрицей W (рис. 5.4.4). Каждый элемент этой матрицы Wij представляет собой случайное число, принимающее значения «О» или «I», причем вероятность появления «I» численно равна синоптическому весу возбуждающего входа giBi.

Рисунок 5.6 (а, б).

Рисунок 5.7

5.5 Суммирующее поле В суммирующем нейронном поле только тактирующие входы нейронов объединяются. Остальные входы, равно как и выходы нейронов, порознь выводятся за пределы поля для подключения к выходам нейронов других полей. А - установочный вход Н - суммирующий вход В - тормозящим вход С - тактирующим вход. Чтобы определить функции суммирующего поля, нужно определить тип стохастических нейронов, входящих в поле (степенные или гиперболические), указать параметры характеристик нейронов, определить матрицу W синоптических весов и правило тактирования. Считается, что все нейроны одного суммирующего поля имеют одинаковый тип характеристик и одинаковые значения параметров. Различными могут быть только синоптические веса.

31

Рисунок 5.8

5.6 Ассоциативное нейронное поле Ассоциативное поле, является составным нейронным полем, включающим два суммирующих поля (S1 и S2) и одно промежуточное (Z.). От суммирующего поля S1 к промежуточному идут проекционные установочные связи, а к полю S2 суммирующие связи. От суммирующего поля S2 к промежуточному полю Z идут проекционные тормозящие связи. От промежуточного поля Z. к полю S1 идут суммирующие связи. Кроме того, на тормозящие входы промежуточного поля подается внешний сигнал R1, при поступлении которого блокируется передача сигналов от входов поля на выходы. Аналогичный блокирующий внешний сигнал подается на тормозящие входы поля S2. На установочные входы и на тормозящие входы поля S1 поданы внешние проекционные связи, установочные S и тормозящие R2. Выходами ассоциативного поля служат выходы промежуточного поля Z.. Внешним синхровходом ассоциативного поля служит синхровход С1 суммирующего поля S1. Для остальных синхровходов С2 и СЗ правило синхронизации определяется следующим образом: если С1(t)= 1, то (С2(t + 1) = 1 & С3(t + 2) = 1), если С1(t)= 0, то (С2(t + 1) = 0 & С3(t + 2) =. 0), т. е. импульс на вход С2 подается с задержкой на один такт по отношению с С1, а на вход СЗ - с задержкой на два такта по отношению к С1. Добавим еще правило: 32

если C1(t)= 1, то (С1(t + 1)=0&С1(t + 2)=0) т. е. синхроимпульсы на вход С1 могут подаваться не чаще одного раза за три временных такта. Матрица синоптических весов W1 имеет внешний вход синхронизации, по которому поступает сигнал подкрепления Zr, в сопровождении величины подкрепления Ef. Поэтому синоптические веса в матрице W1 могут изменяться в процессе работы сети. Пусть в начальный момент все синоптические веса в матрице W\ равны нулю. Матрица W2 не имеет входа Zr (точнее, сигнал на этом входе всегда равен нулю), и синоптические веса в этой матрице не изменяются. В начальный момент времени и далее все они равны единице. Нейроны, входящие в состав поля S1, имеют степенную характеристику, нейроны поля S2 имеют гиперболическую характеристику. Вид - характеристики нейронов поля Z значения не имеет, поскольку здесь не используются суммирующие связи.

Рисунок 5.9

5.7 Описание работы ассоциативного поля Работа ассоциативного поля начинается с формирования нейронных ансамблей подмножество нейронов, между которыми образуются возбуждающие связи с ненулевыми синоптическим весами. 1-й режим На вход R3 ассоциативного поля непрерывно подается сигнал, который блокирует суммирующее поле S2. На выходах этого поля все время нули, которые не препятствуют работе промежуточного поля Z.. Пусть x =(x1, …xn) произвольный двоичный вектор. n

M ( x ) = ∑ xi i =1

Вектор x будем называть ансамблем, если его единичные элементы соответствуют нейронам, входящим в ансамбль, а величину М(х) — размером ансамб33

ля. Пусть в начальный момент времени (t = 0) на выходах всех нейронов отсутствуют сигналы. Сформируем на входах ассоциативного поля последовательность сигналов, представленную в таблице 2. Таблица 2 Входы Выходы C1 C2 S Z Ef R1 aS1 QZ 0 0 0 0 0 0 x1 0 0 0 0 0 1 1 0 0 x1 0 0 0 0 2 0 0 0 x1 0 p(ε 1) 1 3 0 1 0 0 x1 x1 y 0 0 0 4 1 0 0 x1 0

0

0

1

y

x1

1

x2

0

0

0

y

0

1 0

0 0

0

0 0

0 0

0 0

x2

0

x2

0

0 1 0 0 1 0 0

1 0 0 1 0 0 1

0

1 0 0 0 0 0 1

p(ε 2)

0 0 1 0 0 0 0

x2

x2

y

x2

y

x2

y

0

x3

0

x3 x3

0 x3

5

0

6

0

7 8 9 10 11 12 13 14 15

0 0 0 x3

0 0 0

0 0 0 0 0

p(ε 3)

На первом такте: синхроимпульс С1 приводит к подаче на выходы поля QS1 вектора x , поступившего на установочное входы S. Никаких других сигналов на выходах не будет, т.к. на выходах QZ. нулевой вектор, входные возбуждения нейронов поля m

S1, вычисляемые по формуле E = ∑ wij g i , также будут нулевыми, и вероятность i =1

того, что генератор шума окажется в единичном состоянии, равна нулю (см. выражение (4.5)). Поэтому на выходах QS1 после первого тактирующего импульса появляется вектор x 1, который сохраняется здесь до появления нового тактирующего импульса С1 (t4). По правилам тактирования ассоциативного поля синхроимпульс C3 подается на промежуточное поле Z с запаздыванием на два такта, т. е. в момент t3. К 34

этому времени на входах R1 сигналов нет, и нет тормозящих сигналов от поля S2. Поэтому вектор x полностью передается на выходы QZ промежуточного поля (строка 3 в таблице). Таким образом, на третьем такте времени вектор x оказывается на выходах обоих полей S1 и Z, связанных с матрицей W1. В этот же момент на вход Zr, матрицы W1 подается сигнал подкрепления в сопровождении величины подкрепления Ef. Полагаем Ef > 0. Тогда по формуле (4.3) изменения весов W1 на этом такте работы сети веса синоптических соединений, связывающих возбужденные нейроны, изменяются. В каждом из таких соединений с вероятностью р(ε) = |Ef| появится единица. Полагаем, что в результате этой процедуры в ассоциативном поле А сформирован ансамбль X1, учитывая при этом множество номеров нейронов, для которого характеристической функцией является вектор x1 . Синоптические связи между нейронами из множества X1 будем называть внутри ансамблевыми. Пример образования внутри ансамблевых связей в матрице W1 (* - отмечены клетки матрицы связей, соответствующие синоптическим соединениям возбужденных нейронов). Пусть р (ε) = |Ef| = 0,5.

Рисунок 5.10 Все помеченные звездочкой элементы матрицы W1 взаимно однозначно соответствуют элементам прямого декартового произведения W* = X1*Х1. Множество W* определяет те синоптические связи, веса которых при формировании ансамбля X1 могут стать единичными. Значения каждого элемента, отмеченного звездочкой, определяется случайной процедурой, при которой с вероятностью р(ε) устанавливается единица, а с вероятностью 1 - р (ε) сохраняется нуль. После третьего такта времени матрица W1 уже ненулевая, ненулевое значение и на выходе поля Z, поэтому при подаче синхроимпульса С1 в четвертом такте времени на выходе поля S1 за счет передачи возбуждения через матрицу W1 появится какой-то ненулевой вектор у , который будет мешать формированию нового вводимого ансамбля Х2, если не принять специальных мер. Поэтому на пятом такте перед появлением синхроимпульса C3 на вход R1 35

промежуточного поля Z подается сигнал, и на выходах этого поля на время t6— t8 устанавливается нулевое состояние. Теперь уже по возбуждающим связям (через матрицу W1) поле S1 не получает сигналов, и можно без помех ввести через установочные входы S новый вектор x 2 , соответствующий ансамблю Х2. Это делается на шестом такте. В результате, начиная с седьмого такта из выходах поля S1 появляется вектор x 2 , а в девятом такте он появляется и на выходах поля Z. В этом же девятом такте на вход Zr, матрицы W1 подается сигнал подкрепления и происходит формирование внутри ансамблевых связей для ансамбля Х2. Правило формирования связей определяется выражением (4.3), поэтому при положительном Ef>0 в матрице W на месте нулевых элементов могут появиться единичные, но единичные элементы не могут перейти в нулевые. Аналогично формируется ансамбль ХЗ и, если необходимо, другие ансамбли. В дальнейшем мы будем чаще всего рассматривать ассоциативные поля, в которых уже есть сформированные ансамбли. 2 режим Рассмотрим основной режим работы ассоциативного поля, при котором на входе R3 отсутствует сигнал, т.е. суммирующее поле S2 не заблокировано. Пусть в некоторый момент времени на выходе поля S1 появился вектор x , причем М( x )>Е0, т. е. суммарное количество единиц в векторе x больше, чем порог срабатывания гиперболического нейрона в поле S2. Поскольку матрица W2 содержит только единичные элементы, возбуждение на входе каждого из нейронов поля S2 имеет вид Е=М(х), (5.8) а вероятность появления единицы на выходе каждого нейрона определится из выражения (4.6): p1 = 1 −

E0 E0 = 1− E M (x)

(5.9)

Теперь при подаче синхросигнала СЗ на выходе промежуточного поля Z, появится вектор z , отличающийся от x . Можно записать следующие выражения: ∀ i (( xi = 0) → ( z i = 0)) (5.10) ∀ i (( xi = 0) → ( z i = ξ i )) (5.11) где ξ i , — случайная двоичная величина, равна единице, если выход i-го нейрона в поле S2 равен нулю. Учитывая выражение (5.12), можно записать: p1(ξ i ) = 1 − p1 =

E0 M (x)

Очевидно, что сумма всех элементов вектора z - случайная величина. 36

(5.12)

Если обозначить ее математическое ожидание через М ( z ), то из (4.19) очевидно, что М ( z ) = М ( x ) • p1 ( ξ i ), подставляя в последнее p1( ξ i ) из выражения (4.20), получаем M( z )=E0 (5.13) Выражение (5.13) описывает очень важное свойство ассоциативного нейронного поля: при достаточно большом (по количеству нейронов) возбуждении на входе ассоциативного поля количество возбужденных нейронов на его выходе остается приблизительно постоянным. Оно колеблется вокруг порога Е0 срабатывания гиперболических нейронов в суммирующем поле S2. Таким образом, поле S2 играет роль стабилизатора суммарной активности нейронов на выходе ассоциативного поля. Именно поле S2 позволяет получить свойства, которыми обладают семантические сети с системой усиления и торможения (СУТ). Поэтому мы будем называть поле S2 системой усиления. и торможения (СУТ). несмотря на то что в действительности у этого поля остались только функции торможения. В целом, последовательность работы ассоциативного поля в основном режиме выглядит следующим образом: - в некоторый момент времени t(i) на входы ассоциативного поля S поступает внешний сигнал x (i). - в этот же момент времени вектор состояния выходов поля q (i) умножается на матрицу синоптических весов W1, в результате чего появляется вектор входных возбуждений Е (i), управляющий генераторами шума в стохастических нейронах. К моменту поступления синхроимпульса на вход С1 генераторы шума формируют стохастический двоичный вектор у (i), который в момент поступления синхроимпульса дизъюнктивно объединяется с вектором x (i) и передается на выходы поля S1 q ( S1) = x (i) ∪ y (i) . В зависимости от количества единиц в векторе q (S1) формируется тормозящий стохастический вектор q (S2) на выходе поля S2, который пропускает на выходы q поля Z только часть единичных составляющих вектора q (S1): q = q {Sl)¬ q (S2) (5.14) причем М ( q ) = Е0. Формирование выходного вектора q завершается в момент времени t(i+3). В это же время на входы ассоциативного поля S может быть подано новое входное воздействие x (i + 3), и весь цикл работы повторяется.

37

5.8 Свойства ассоциативного поля Рассмотрим достаточно большое ассоциативное нейронное поле, в котором сформированы ансамбли x (i), i=1,2, ...., N, причем размеры ансамблей значительно меньше размеров нейронного поля. Обозначим α — относительный размер ансамбля, α=

M (x) n

(5.15)

где М ( x ) - размер ансамбля; п - количество нейронов в простом нейронном поле. При малых относительных размерах ансамблей выполняется неравенство α<<1. Будем считать, что все ансамбли сформированы из взаимно независимых случайных векторов x (i). Пересечение любых двух таких векторов мало: при i ≠ j : М ( x (i) & x (j)) = αМ( x ). Посмотрим, как поведет себя ассоциативное поле, если на его вход подать вектор, соответствующий одному из сформированных ансамблей, но искаженный шумом. Пусть вектор y содержит v единичных элементов, из которых и элементов принадлежат одному из, ансамблей (первый ансамбль), а остальные (v — и) выбраны наугад. Обозначим β = u/v — доля единичных элементов, принадлежащих первому ансамблю. Будем считать, что β > α, следовательно, количество единичных y , случайно совпадающих с другими ансамблями, меньше и. Также полагаем, что М( y ) > Е0, т.е. количество единичных элементов вектора y больше порога срабатывания СУТ. Подадим y на входы S ассоциативного поля А и одновременно подадим сигнал R1 гашения поля Z, после чего подадим синхросигнал С1. Через два такта на выходах ассоциативного поля появится вектор q , который будет содержать какую-то часть единиц, совпадающих с ансамблем x (1). Покажем, что эта часть останется равной β. T.е. доля единичных элементов, принадлежащих некоторому подмножеству, после тормозящего воздействия СУТ (поля S2) не изменяется, она сохраняется при формировании выходного вектора ассоциативного поля на том же уровне. Возникает вопрос: как будет изменяться выходной вектор q при работе ассоциативного поля, если на входы поля сигналы в дальнейшем не подаются (кроме синхросигнала С1). Утверждается, что: 38

- при некоторых условиях величина β начнет увеличиваться и достигнет значения, близкого к единице, т.е. на выходе ассоциативного поля возбужденными будут нейроны, принадлежащие почти исключительно ансамблю Х1. Таким образом, ассоциативное поле «восстановит» ансамбль из зашумленного сигнала ; - при других условиях величина β начнет уменьшаться, и в конце концов доля нейронов, принадлежащих ансамблю Х1, ничем не будет отличаться от доли нейронов, принадлежащих любым другим ансамблям. В таких случаях будем говорить, что ассоциативное поле не в состоянии распознать предъявленный на фоне шума ансамбль. Справедливы 3 основных случая: 1 случай. Одно устойчивое состояние равновесия при малых значениях β (β=β1). В этом случае параметры сети таковы, что она не может выделить из шума сформулированный в ней ансамбль. Кроме того, даже в том случае, когда ансамбль подается на вход сети не зашумленным, сеть не в состоянии удержать его возбуждения: она переходит в состояние, когда все нейроны возбуждаются с равной вероятностью. 2 случай. Два устойчивых состояния (β=β2 и β=β4) и дело неустойчивое состояние равновесия (β=β3). Этот случай соответствует таким параметрам сети, при которых существует состояние неустойчивого равновесия (β=β3). Есть при таких параметрах на вход подать вектор, имеющий достаточно много единичных элементов, совпадающих с ансамблей Х1 (β=β3), то сеть перейдет к состоянию, в которым будут возбуждены в основном нейроны этого ансамбля (β=β3). Если в исходном векторе мало элементов, соответствующих ансамблю Х1 (β=β3), сеть не восстановит ансамбль, а перейдет к состоянию, в котором вероятность возбуждения всех нейронов примерно одинакова. 3 случай. Одно устойчивое состояние равновесия при больших значениях β (β=β3). В этом случае из любого начального состояния сеть переходит в состояние с высоким β (β=β5). Здесь необходимо учесть, что β>α, в противном случае сеть восстановит не ансамбль Х1, а какой-нибудь другой ансамбль, который случайно будет иметь наибольшее количество общих единичных элементов с входным вектором. Очевидно, что ассоциативное поле можно считать работоспособным только в случаях 2 и 3. Определение. Количество ансамблей N, которые можно сформировать не нарушая работоспособности нейронной сети, называют информационной емкостью этой сети. 39

Можно определить, насколько малым может быть нейронный ансамбль по отношению ко всей сети, чтобы сеть еще могла удержать его в возбужденном состоянии и восстанавливать, если он в какой-то мере искажен шумом. Однако, практически интереснее знать не эти отдельные характеристики ассоциативного поля, а условия, при которых оно способно восстанавливать ансамбль при заданной степени его зашумленности. До сих пор мы анализировали процессы, связанные с возбуждением одного нейронного ансамбля на фоне случайных помех. Пусть теперь на вход ассоциативного поля подается вектор х , содержащий единичные элементы, принадлежащие нескольким сформулированным нейронным ансамблям. Пусть это будут ансамбли х1, х2, …,хm, и пусть во входном векторе доли единичных элементов, принадлежащих х1, х2, …,хm соответственно равны β1,β2,…,βm, а оставшиеся ()единичных элементов выбраны случайно к=1. Утверждается, что в этом случае в конечном итоге на выходе окажется возбужденным только один из этих ансамблей( или ни одного, если все βк малы или превышена информационную емкостью сети).

40

6 Темы лабораторных работ 6.1 Моделирование работы простого перцептрона Постановка задачи: Осуществить моделирование процесса функционирования нейроподобной сети, содержащий формальные нейроны с бинарной входной функцией, для распознавания небольшого количества простых образов, осуществив процесс обучения перцептрона. Цели лабораторной работы: Изучить процесс функционирования простого перцептрона, исследовать устойчивость процесса обучения (сходимости перцептрона).

6.2 Моделирование работы многослойного перцептрона Постановка задачи: Осуществить моделирование процесса функционирования многослойного перцептрона, использовав алгоритм обратного распознавания ошибки (дельтаправило), для распознавания небольшого количества простых образов. Цели лабораторной работы: Изучить алгоритм обучения многослойного перцептрона по дельта правилу, исследовать устойчивость процесса обучения, указать недостатки модели.

6.3 Моделирование работы нейронных полей Постановка задачи: Осуществить моделирование работы промежуточного, блокирующего, разностного, суммирующего нейронных полей. Цели лабораторной работы: Изучить процессы функционирования нейронных полей, виды связей между полями.

6.4 Моделирование работы ассоциативного нейронного поля Постановка задачи: Осуществить моделирование работы ассоциативного нейронного поля. 41

Цели лабораторной работы: Изучить процессы функционирования ассоциативного нейронного поля, процессы работы поля в двух режимах: Режим 1. При заблокированном суммирующем поле S2. Режим 2. В основном режиме работы, изучить свойства ассоциативного нейронного поля.

42

Список использованных источников 1) М. Амосов Нейрокомпьтерны и интелект. М.: Наука 1990. 327с. 2) Ф. Розенблатт Принципы нейродинамики. М.: Мир 1984. 221с. 3) М. Минский, С. Пайперт Персептроны. М.: Мир 1984. 308с.

43