В книге описываются многочисленные результаты, полученные советскими и зарубежными авторами при изучении различных аспектов теории обучения распознаванию образов. Наряду с постановкой задачи обучения подробно излагаются методы её решения. Особое внимание уделено исследованию сходимости рекуррентных процедур обучения, самообучения и адаптации. В работе нашли отражение основные подходы к задаче обучения.

Книга рассчитана на научных работников, занятых в области теоретической и технической кибернетики. Кроме того, она может служить учебным пособием для студентов и аспирантов, специализирующихся по теории обучаемых и адаптивных систем.

В монографии последовательно излагается подход к задаче распознавания образов, получивший в литературе название экстраполяционного (геометрического). В рамках этого подхода могут быть выделены четыре темы, составившие основное содержание данной работы.

Первая тема — теория конечно-сходящихся алгоритмов, успешно разрабатываемая группой сотрудников Ленинградского университета под руководством В. А. Якубовича.

Вторая тема — статистические методы в теории обучаемых систем — содержит краткое описание методов, на которых основано значительное большинство работ по распознаванию образов. В книге эта тема занимает сравнительно скромное место, поскольку, во-первых, в настоящее время имеются хорошие книги, посвящённые статистическим методам в теории распознавания, и, во-вторых, теория распознавания образов, по глубокому убеждению автора, содержит (или должна содержать) нечто, отличающееся от математической статистики. В рамках второй темы видное место занимают замечательные исследования В. Н. Вапника и А. Я. Червоненкиса по методам обучения с помощью минимизации эмпирического риска.

Третья тема — методы стохастической аппроксимации — основана на работах Я. 3. Цыпкина по теории обучения и адаптации, написанных всегда ярко и увлекательно, и на фундаментальных исследованиях по теории рекуррентных стохастических процедур обучения, результаты которых изложены в известной книге М. А. Айзермана, Э. М. Бравермана, Л. И. Розоноэра — создателей метода потенциальных функций.

Четвёртая тема — обучение без учителя — посвящена описанию некоторых подходов, предложенных упомянутыми выше авторами к этой интересной проблеме.

Книга содержит также Дополнение, в котором рассмотрен ряд задач адаптивного управления в постановке, допускающей решение на основе метода конечно-сходящихся алгоритмов.

Выбор материала определялся вкусами автора, но автор надеется, что основные методы и направления современной теории обучаемых опознающих систем нашли в книге своё отражение.

В указатель литературы вошли в основном работы, оказавшие влияние на формирование взглядов автора на существо теории распознавания и обучения. К сожалению, невозможно даже перечислить всех авторов, посвятивших свои научные исследования проблемам обучения, самообучения и адаптации. Сравнительно более подробно представлены работы участников научного семинара кафедры теоретической кибернетики Ленинградского университета. Основной текст книги не содержит ссылок на конкретные работы. Необходимые пояснения даются в комментариях, помещённых в конце книги.

В работах по распознаванию образов обычно рассматриваются и конкретные приложения для предлагаемых методов. В данной книге таких приложений нет. Это объясняется её направленностью — дать математические основы методов, используемых в теории обучения и адаптации; конкретные примеры использования методов можно найти в работах, приведённых в указателе литературы.

В связи с тем, что основу книги составил курс лекций, читаемых автором студентам математико-механического факультета Ленинградского университета, специализирующимся в области теоретической кибернетики, она может быть использована как учебное пособие, поэтому в конце каждой главы приведены упражнения. Для понимания первых трёх глав и Дополнения достаточно знания высшей математики в объёме курсов втуза, для усвоения же остального материала требуется хорошее знание теории вероятностей в объёме курсов читаемых на математических факультетах университетов. Формально все используемые понятия и факты приведены в гл. 4, однако свободное владение этим материалом требует достаточно высокой математической культуры…

ПРЕДИСЛОВИЕ

Предисловие	3
Основные условные обозначения	5

Введение	8

§ В.1. Физиологические модели восприятия и персептрон Ф. Розенблатта	9
§ В.2. Терминология и обозначения	14
§ В.З. Степень априорной информации о классах изображений	18

Часть первая. МЕТОД КОНЕЧНО-СХОДЯЩИХСЯ АЛГОРИТМОВ

Г л а в а 1. Детерминированные обучаемые опознающие системы	21

§ 1.1. Задача об экстраполяции функции	—
§ 1.2. Рекуррентные алгоритмы обучения	23
§ 1.3. Среднеквадратичное приближние	27

Г л а в а 2. Алгоритмы обучения с поощрением	34

§ 2.1. Основная теорема	—
§ 2.2. Частные случаи основной теоремы	36
§ 2.3. Доказательство основной теоремы	43
§ 2.4. Замечания к основной теореме	46
§ 2.5. Применение основной теоремы к задаче построения обучаемых
опознающих систем	49
§ 2.6. Алгоритм «наилучшего» разделения выпуклых оболочек двух
множеств	51
§ 2.7. Алгоритм разделения выпуклых множеств, заданных
на единичном кубе	56

Г л а в а 3. Нелинейная разделимость классов изображений	60

§ 3.1. Переход в спрямляющее пространство	61
§ 3.2. Полнота пороговых функций	63
§ 3.3. Понятие о комитете неравенств	65
§ 3.4. Рекуррентные процедуры построения комитета неравенств	69

Г л а в а 4. Некоторые сведения из теории вероятностей	74

§ 4.1. Основная теоретико-вероятностная схема	—
§ 4.2. Сходимость последовательностей случайных величин	77
§ 4.3. Теорема Радона-Никодима	78
§ 4.4. Независимые события и случайные величины	79
§ 4.5. Условные математические ожидания и вероятности	—
§ 4.6. Теорема Дж. Л. Дуба о сходимости супермартингалов	81
§ 4.7. Теорема П. Леви (обобщение закона «нуль или единица» Бореля)	83

Г л а в а 5. Стохастические аналоги конечно-сходящихся алгоритмов	86

§ 5.1. Конечно-сходящиеся алгоритмы в случае стохастически
независимой тренировочной последовательности	—
§ 5.2. Стохастический вариант основной теоремы о сходимости
алгоритмов обучения с поощрением	88
§ 5.3. Правило останова процесса обучения	91
§ 5.4. Стохастические аналоги рекуррентных процедур построения
комитетов неравенств	94
§ 5.5. Алгоритмы обучения с поощрением и случайный поиск	99
§ 5.6. О многослойных персептронах	101

Часть вторая. ОСНОВЫ СТАТИСТИЧЕСКОЙ ТЕОРИИ
ОБУЧАЕМЫХ ОПОЗНАЮЩИХ СИСТЕМ

Г л а в а 6. Вероятностная постановка задачи о построении
обучаемой опознающей системы	104

§ 6.1. Распознавание образов как задача теории статистических решений	—
§ 6.2. Пример на использование статистических методов	108
§ 6.3. Понятие о последовательном критерии отношения вероятностей
Вальда	111
§ 6.4. Оптимальные (байесовы) критерии в многоальтернативной задаче
распознавания	117

Г л а в а 7. Методы обучения, основанные на минимизации
эмпирического риска	121

§ 7.1. Решающее правило и эмпирический риск	123
§ 7.2. Конечный класс решающих правил	125
§ 7.3. Понятие о функции роста	126
§ 7.4. Достаточные условия равномерной сходимости	129
§ 7.5. Применение теоремы о равномерной сходимости (по вероятности)
в теории обучаемых опознающих систем	132
§ 7.6. Об упорядочении класса решающих правил	135

Часть третья. МЕТОД СТОХАСТИЧЕСКОЙ АППРОКСИМАЦИИ

Г л а в а 8. Процедура Роббинса-Монро	137

§ 8.1. Постановка задачи	138
§ 8.2. Условие сходимости процедуры Роббинса-Монро	141
§ 8.3. Оценка скорости сходимости процедуры Роббинса-Монро	148
§ 8.4. Псевдоградиентные процедуры стохастической аппроксимации	150

Г л а в а 9. Метод потенциальных функций в теории обучаемых систем	156

§ 9.1. Идея метода и общая рекуррентная процедура	157
§ 9.2. Функционалы, экстремизируемые процедурами метода
потенциальных функций	160
§ 9.3. Обучение распознаванию изображений (детерминированная
постановка задачи)	162
§ 9.4. О сходимости процедур метода потенциальных функций	163
§ 9.5. Вероятностная постановка задачи обучения	165
§ 9.6. Восстановление плотности вероятности	167
§ 9.7. Непосредственная аппроксимация степени достоверности	170

Часть четвёртая. САМООБУЧЕНИЕ

Г л а в а 10. Общая постановка задачи о самообучении	174

§ 10.1. Свойства функционала среднего риска в задаче о самообучении	—
§ 10.2. Рекуррентные процедуры самообучения	179
§ 10.3. Теоремы о сходимости алгоритмов самообучения и идея
их доказательства	181
§ 10.4. Доказательство теоремы о сходимости процедуры самообучения	184
§ 10.5. Модификация алгоритма самообучения	187

Дополнение. СИНТЕЗ АЛГОРИТМОВ АДАПТИВНОГО УПРАВЛЕНИЯ

§ Д.1. Постановка задачи об адаптивном управлении	191
§ Д.2. Задача об адаптивной стабилизации линейного объекта управления	195
§ Д.З. Алгоритмы функциональной идентификации объекта управления	201
§ Д.4. Принцип исключения в задаче о синтезе адаптивного регулятора	203
§ Д.5. Примеры использования принципа исключения	205
§ Д.6. Задача об адаптивном управлении манипулятором	209
§ Д.7. Общая постановка задачи об адаптивном управлении	212

Комментарии	218
Указатель литературы	224

Книги на ту же тему

Статистические методы поиска, Растригин Л. А., 1968
Стохастические модели обучаемости, Буш Р., Мостеллер Ф., 1962
Последовательные методы в распознавании образов и обучении машин, Фу К., 1971
Методы распознавания: Учебное пособие для вузов. — 3-е изд., перераб. и доп., Горелик А. Л., Скрипкин В. А., 1989
Адаптация и обучение в автоматических системах, Цыпкин Я. З., 1968
Голографическое опознавание образов, Василенко Г. И., 1977
Автоматизация синтеза и обучение интеллектуальных систем автоматического управления, Макаров И. М., Лохин В. М., ред., 2009
Анализ информационно-поисковых систем, Мидоу Ч. Т., 1970
Неадаптивное и адаптивное управление манипуляционными роботами, Вукобратович М., Стокич Д., Кирчански Н., 1989
Нейросетевые системы управления, Терехов В. А., Ефимов Д. В., Тюкин И. Ю., 2002
Нейросетевые системы управления, Терехов В. А., Ефимов Д. В., Тюкин И. Ю., 2002
Техническая кибернетика. Учебник для радиотехнических вузов, Гитис Э. И., Данилович Г. А., Самойленко В. И., 1969
Основы кибернетики, Джордж Ф., 1984

elapsed time 0.020 sec

/Наука и Техника/Математика

ОГЛАВЛЕНИЕ

Книги на ту же тему