Нейронные сети и нейрокомпьютеры

Министерство образования Российской Федерации Санкт-Петербургский государственный электротехнический университет “ЛЭТИ”

РАБОЧАЯ ПРОГРАММА дисциплины “Нейронные сети и нейрокомпьютеры” Для подготовки дипломированных специалистов по направлению: 657100 – “Прикладная математика” по специальности 073000 – “Прикладная математика”.

Санкт-Петербург 2001

1

Санкт-Петербургский государственный электротехнический университет “ЛЭТИ”

“УТВЕРЖДАЮ” Проректор по учебной работе проф. ___________ Ушаков В.Н. “_____”_______________2001 г.

РАБОЧАЯ ПРОГРАММА дисциплины “Нейронные сети и нейрокомпьютеры” Для направления 657100 – “Прикладная математика”: по специальности 073000 – “Прикладная математика”. Факультет компьютерной техники и информатики Кафедра математического обеспечения ЭВМ Курс – 5 Семестр – 10 Лекции

30 ч.

Экзамен (или текущий контроль)

10 семестр

15 ч.

Зачет

10 семестр

Практические занятия (или семинары) Лабораторные занятия Курсовое проектирование Аудиторные занятия Самостоятельные занятия Всего часов

45 ч. 45 ч. (число часов из учебного плана) 90 ч.

2001

2

Рабочая программа обсуждена на заседании кафедры математического обеспечения и применения ЭВМ “____”_______________2001 г., протокол №______. Рабочая программа составлена в соответствии с государственным образовательным стандартом по направлению 657100 –“Прикладная математика” и специальности 073000 “Прикладная математика Рабочая программа согласована с рабочими программами изученных ранее дисциплин: 1)Теория вероятностей и математическая статистика 2)Анализ и интерпретация данных Рабочая программа одобрена методической комиссией факультета компьютерных технологий и информатики “____”_____________2001г.

3

Цели и задачи дисциплины 1. Изучение основных принципов организации информационных процессов в нейрокомпьютерных системах; 2. Формирование навыков разработки и реализации программных моделей нейрокомпьютерных систем. Требования к уровню освоения дисциплины В результате изучения дисциплины студенты должны: - знать основные принципы организации информационных процессов в нейрокомпьютерных системах; основные архитектуры нейрокомпьютерных систем и области их применения; основные способы и правила обучения нейрокомпьютерных систем; - иметь навыки разработки и реализации программных моделей нейрокомпьютерных систем; уметь делать оценки и сравнивать качество обучения и функционирования различных моделей нейрокомпьютерных систем. Иметь представление о современных достижениях в области разработки и коммерческом использовании нейрокомпьютерных систем и нейрокомпьютеров. Содержание рабочей программы Тема 1. Введение в нейронные вычисления Предмет дисциплины, её структура и содержание. Биологические нейронные сети. Особенности биологических вычислительных систем в отличие от искусственных с традиционной архитектурой. Некоторые задачи, решаемые с помощью искусственных нейронных сетей (ИНС). Очерк истории нейроинформатики. Тема 2. Принципы организации и функционирования ИНС Основные определения для ИНС. Нейронная сеть. Межнейронные связи. Искусственный нейрон. Постановка задачи обучения ИНС. Классификация законов и способов обучения. Архитектуры ИНС Тема 3. Первые ИНС. Персептрон. Адаптивный линейный элемент Однослойный персептрон. Представляемость персептрона. Проблема “Исключающее ИЛИ”. Преодоление ограничения линейной разделимости. Обучение персептрона. Дельта-правило. Проблемы обучения персептрона. Адаптивный линейный элемент. Закон обучения Уидроу. Сходимость алгоритма Уидроу. Тема 4. Ассоциативные сети Линейный ассоциатор. Закон обучения Хебба. Рекуррентные ассоциативные сети. Сеть Хопфилда. Алгоритм функционирования сети Хопфилда, емкость памяти. Сеть “Brain State in a Box”. Двунаправленная ассоциативная память. Стохастическое обучение. Машина Больцмана. Тема 5. Сети преобразования данных Задача преобразования данных. Классы сетей преобразования данных. Теорема Колмогорова. Сеть обратного распространения ошибки. Закон обучения Backpropagation. Радиальная базисная функция. Самоорганизующиеся карты Кохонена. Закон обучения Ко-

4

хонена. Звезды Гроссберга. Закон обучения Гроссберга. Сеть встречного распространения. Обучение соревнованием, фильтрацией. ИНС для пространственно-временной обработки сигнала. Тема 6. Подготовка данных для обучения ИНС “Проклятие размерности”. Избыточность входных данных. Генетические алгоритмы. Отбор входных данных для обучения сети с помощью генетических алгоритмов. Тема 7. Перспективы развития и применения ИНС и нейрокомпьютеров Проблемы реализации ИНС. Методы реализации ИНС. Нейрокомпьютеры. Основные характеристики нейрокомпьютеров. Заключение. Перечень лабораторных работ №

Наименование работы

Номер темы 2

1

Изучение модели формального нейрона

2

Моделирование и исследование простого персептрона и адаптивного линейного элемента

3

3

Исследование сети Хопфилда

4

4

Исследование машины Больцмана

4

5

Исследование многослойного персептрона

5

6

Исследование самоорганизующихся сетей Кохонена

5

7

Отбор обучающих данных с помощью генетических алгоритмов

6

5

Распределение учебных часов по темам и видам занятий Объем учебных часов

№ темы

1 2 3 4 5 6 7

Название разделов и тем

Лекции

Введение в нейронные вычисления Принципы организации и функционирования ИНС Первые ИНС. Персептрон. Адаптивный линейный элемент Ассоциативные сети Сети преобразования данных

2

Подготовка данных для обучения ИНС Перспективы развития и применения ИНС и нейрокомпьютеров ИТОГО:

Лабор. занятия

Практ. занятия

Аудит. занятия

Самост. работа

Всего

Семестр

2

2

4

10

2

2

4

10

14

10

4

2

6

10

16

10

6 12

4 5

10 17

8 8

18 25

10 10

2

2

4

5

9

10

2

2

4

10

45

45

90

2 30

15

Методика текущего контроля В течение семестра проводятся зачеты по теоретическим вопросам, исследуемым в рамках лабораторных работ. Вопросы к зачету студенты получают вместе с заданием на очередную лабораторную работу. После выполнения лабораторной работы и защиты отчета им предлагается сдать зачет по теоретическим вопросам. По результатам зачетов по 7 лабораторным работам выставляется общая оценка, которая и является итоговой оценкой текущего контроля. График текущего контроля Номер промежуточного зачета 1 2 3 4 5 6 7 Итоговая

Тема 1 лаб. работы

2

2 3 4 4 5 5 6

Х

3

4

5

6

7

8

9

10

11

12

13

14

15

Зач

Х Х Х Х Х Х Х

6

ЛИТЕРАТУРА Основная

№ 1 2

Название, библиографическое описание Лисс А.А., Степанов М.В. Нейронные сети и нейрокомпьютеры: Учеб. пособие. – ГЭТУ. – СПб., 1997. – 64 с. Тимохин В.И., Степанов М.В., Лисс А.А., Хлыстунов А.В. Основы организации и функционирования искусственных нейронных сетей: Методические указания к лабораторным работам по дисциплине «Искусственные нейронные сети и нейрокомпьютеры». – ГЭТУ. – СПб., 1994. – 32с.

Л

Лр

Кп (р)

К-во экз. в библ. (на каф.)

Гриф

Уч 53 Ф4

10

10

Уч 16 Ф4

Дополнительная № 1 2 3 4 5 6

Название, библиографическое описание

К-во экз. в библ. (на каф.)

Горбань А.Н. Обучение нейронных сетей. – М.: СП «ParaGraph», 1990. – 0 160 с. Кохонен Т. Ассоциативная память. – М:. Мир,1980. - 240с. 9 Розенблатт Ф. Принципы нейродинамики. - М.:Мир,1965. - 480с. 0 Уч 0 Терехов В.А., Ефимов Д.В., Тюкин И.Ю., Антонов В.Н. Нейросетевые сисФ4 темы управления. – СПб:Изд. СПб университета,1999. – 265 с. Уоссермен Ф. Нейрокомпьютерная техника. - М.:Мир,1992. – 240 с. 0 Галушкин А.И. Теория нейронных сетей. Кн.1: Учеб. пособие для вузов / 0 Общая ред. А.И. Галушкина. – M.: ИПРЖР, 2000. – 416 с.

7

Автор: к.т.н.

Лисс А.А.

Рецензент к.т.н., доцент

Крайников А.В.

Зам. зав. кафедрой МО ЭВМ к.т.н., доцент

Ивановский С.А.

Декан факультета КТИ д.т.н., проф.

Герасимов И.В.

Программа согласована: Зав. отделом учебной литературы

Смирнова О.Н.

Председатель методической комиссии факультета КТИ к.т.н., доцент Руководитель методического отдела к.т.н., доцент

Чугунов Л.А. Марасина Л.А.

8