Синтез алгоритмов нейросетевого распознавания образов и восстановления зависимостей в условиях непараметрической неопределенности тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Зарипова, Юлия Хайдаровна

• Зарипова, Юлия Хайдаровна
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Зарипова, Юлия Хайдаровна

Введение.

ГЛАВА 1. Инструментарий интеллектуального анализа данных и роль синтеза нейросетевых прогностических моделей в его составе.

1.1 Задачи и методы интеллектуального анализа данных.

1.1.1 Виды задач и этапы интеллектуального анализа данных.

1.1.2 Анализ методов интеллектуального анализа данных.

1.1.3 Практическое применение процедур интеллектуального анализа данных.

1.2 Синтез прогностических моделей на основе эмпирических данных.:.

1.2.1 Структура системы, реализующей прогностическую модель, на примере распознавания образов.

1.2.2 Этапы обучения прогностической модели.

• 1.3 Задачи синтеза прогностических моделей.

1.3.1 Оптимальное решающее правило в задаче классификации.

1.3.2 Методы синтеза прогностических моделей.

1.3.3 Функция среднеквадратической регрессии.

1.3.4 Постановка задачи обучения по эмпирическим данным.

1.4 Подходы к нейросетевому решению задач интеллектуального анализа данных.

1.4.1 Архитектура нейронных сетей прямого распространения.

1.4.2 Нейросетевые прогностические модели: классификатор и регрессионная модель.

ГЛАВА 2. Процедуры синтеза и применения прогностических моделей в интеллектуальной информационно-аналитической системе.

2.1 Интеллектуализация процедур распознавания образов и восстановления зависимостей.

2.1.1 Этапы синтеза нейросетевых моделей.

2.1.2 Виды гибридных интеллектуальных систем.

2.1.3 Архитектура гибридной интеллектуальной информационно-аналитической системы.

2.2 Снижение размерности пространства признаков.

2.2.1 Способы снижения размерности пространства признаков.

2.2.2 Алгоритмы отбора атрибутов.

2.2.3 Повышение эффективности отбора атрибутов на основе предварительной оценки информативности признаков.

2.3 Анализ качества прогностических моделей на основе теоретико-информационного подхода.

2.3.1 Определение близости условных распределений.

2.3.2 Определение точности восстановления зависимостей.

2.3.3 Оценка качества классификации.

2.4 Оценка эффективности бинарных классификаторов на основе минимального среднего риска.

ГЛАВА 3. Методы и алгоритмы обучения нейросетевых прогностических моделей.

3.1 Байесовская методология.

3.1.1 Структурно-параметрический синтез нейросетевых моделей на основе байесовской методологии.

3.1.2 Семейство алгоритмов обучения нейросетевых моделей.

3.2 Обучение нейросетевых классификаторов.

3.2.1 Синтез классификатора на основе нейронной сети с радиальными базисными функциями.

3.2.2 Синтез классификатора на основе вероятностной нейронной сети.

3.2.3 Моделирование алгоритмов нейросетевой классификации.

3.3 Обучение нейросетевых моделей для восстановления зависимостей.

3.3.1 Восстановление зависимостей на основе обучения нейронных сетей.

3.3.2 Моделирование алгоритмов нейросетевого восстановления зависимостей.

3.4 Способ синтеза прогностической модели с непрерывными и номинальными факторными переменными.

ГЛАВА 4. Реализация и применение разработанных алгоритмов.

4.1 Алгоритмическое и программное обеспечение нейросетевой классификации и восстановления зависимостей.

4.2 Применение разработанных процедур для задач распознавания образов.

4.2.1 Распознавание объектов на изображениях при помощи нейросетевого классификатора.

4.2.2 Применение нейросетевого классификатора в сейсмоакустической системе рубежного контроля.

4.2.3 Применение нейросетевого классификатора для фильтрации спама.

4.3 Применение разработанных процедур для задач восстановления зависимостей.

4.3.1 Расчет зон покрытия базовых станций в сетях подвижной радиосвязи.

4.3.2 Анализ моделей энергопотребления организаций.

4.3.3 Восстановление осевой линии подземного трубопровода на основе измерительных данных.

Введение диссертации (часть автореферата) на тему «Синтез алгоритмов нейросетевого распознавания образов и восстановления зависимостей в условиях непараметрической неопределенности»

Актуальность темы

В различных областях человеческой деятельности повседневно возникают задачи поддержки принятия решений, выявления закономерностей, анализа данных, прогнозирования, диагностики и распознавания образов. Для решения этих задач необходимы универсальные и надежные подходы, использующие в качестве исходной информации эмпирические данные об объектах или процессах. Выборки эмпирических данных в виде наборов векторов признаков объектов могут быть использованы для решения таких задач, как распознавание образов; прогнозирование ситуаций или процессов; кластерный анализ; выявление значимых признаков и т.д.

Большой вклад в развитие теории машинного обучения, распознавания образов, классификации и восстановления зависимостей внесли отечественные ученые: Айзерман М.А., Браверман Э.М., Розоноэр Л.И., Мазуров В.Д., Ивахненко А.Г., Лбов Г.С., Вайнцвайг М.Н., Глушков В.М., Михале-вич B.C., Пугачев B.C., Айвазян С.А., Вапник В.Н., Рудаков К.В. Рязанов В.В., Дюкова Е.В., Журавлев Ю.И., Сенько О.В., Воронцов К.В., Загоруйко Н.Г., Миркес Е.М., и многие другие исследователи России и СНГ.

Один из подходов к построению прогностических моделей представляют нейронные сети (НС), которые благодаря способности к обучению находят применение для решения различных практических задач, в том числе для идентификации нелинейных систем, прогнозирования, обнаружения сигналов, а также в системах связи и управления. Первые результаты в области искусственных нейронных сетей получены зарубежными учеными W. McCulloch, W. Pitts, F. Rosenblatt, D. Hebb. Дальнейшие исследования в области нейронных сетей, в том числе алгоритмов их обучения и применения для распознавания образов и восстановления зависимостей проводили отечественные ученые Галушкин А.И., Круглов В.В., Борисов В.В., Горбань А.Н.,

Аведьян Э.Д., Терехов В.А., Головко В.А., а также зарубежные ученые J. Hopfield, Т. Kohonen, D.J.C. МасКау, С. Bishop, S. Haykin, М.Е. Tipping и др.

Возможностей отдельного типа нейросетевых прогностических моделей, как правило, недостаточно для универсального использования в практической деятельности, поскольку разнообразные типы НС демонстрируют свою эффективность на различных типах задач. В связи с этим возникает необходимость создания информационно-аналитической системы, включающей разнообразные подходы и обладающей возможностью автоматического выбора как типа прогностической модели, так и алгоритма ее обучения.

Несмотря на заметный прогресс в области нейросетевых технологий и множество успешных практических применений НС, отсутствуют однозначные рекомендации по их практической реализации.

Таким образом, актуальным является исследование, направленное на формирование методов автоматизации выбора из нескольких возможных вариантов решения, наиболее подходящего для поставленной задачи.

Важной задачей при построении прогностических моделей является выбор исходного описания объектов. Существует ряд принципиальных и технических проблем, связанных с процедурами снижения размерности при большом количестве признаков, а также при обучении прогностических моделей в условиях сравнительно малых обучающих выборок. Кроме того, существуют сложности, связанные с решением задач при наличии непрерывных и номинальных признаков.

Повышение эффективности алгоритмов обучения НС необходимо для обеспечения высокой достоверности принятия решений в информационно-аналитических системах. Таким образом, разработка алгоритмов снижения размерности, а также обучения НС для задач с разнородными входными данными с учетом специфики отдельных видов НС, в частности процедур структурной оптимизации, является актуальной.

Предметом исследования в диссертационной работе являются алгоритмы и процедуры нейросетевого распознавания образов и восстановления зависимостей.

Цель и задачи диссертационной работы

Целью работы является повышение эффективности аналитической обработки информации, а также достоверности принимаемых решений с использованием нейросетевых процедур распознавания образов и восстановления зависимостей.

Поставленная цель достигается решением следующих задач.

1. Сформировать архитектуру системы обработки информации и принятия решений на основе интеллектуализации процедур выбора прогностических моделей с учетом специфики отдельных задач анализа данных.

2. Разработать информативные показатели качества решения задач классификации и восстановления зависимостей, предназначенные для сравнительного анализа эффективности алгоритмов синтеза нейросетевых прогностических моделей.

3. Синтезировать процедуры отбора атрибутов, работоспособные при большом количестве признаков.

4. На основе байесовской методологии разработать алгоритмы структурно-параметрического синтеза нейронных сетей с учетом особенностей их архитектуры для решения задач классификации и восстановления зависимостей.

5. Сформировать способ синтеза прогностических моделей и выявления скрытых закономерностей при наличии как непрерывных, так и номинальных признаков.

Методы исследования г

В диссертационной работе методы исследования базируются на сочетании теории искусственного интеллекта, теории искусственных нейронных сетей, теории информации, теории статистических решений, байесовской методологии, а также методах оптимизации и математического моделирования.

Научная новизна

1. Предложена новая архитектура системы аналитической обработки информации и принятия решений, отличающаяся использованием при выборе прогностической модели знаний экспертов, формальных характеристик качества решения отдельных задач и оценок субъективной удовлетворенности пользователей.

2. Получен показатель близости условных распределений вероятностей, основанный на обобщении информационного расстояния Кульбака-Лейблера, позволяющий оценивать качество прогностических моделей. Предложен способ оценки точности бинарных классификаторов, основанный на развитии метода минимума среднего риска и не требующий задания значений функции потерь.

3. Разработан способ отбора атрибутов, отличающийся предварительной оценкой их информативности, что позволяет значительно снизить вычислительную сложность алгоритма поиска подмножества значимых признаков.

4. Разработаны алгоритмы структурно-параметрического синтеза нейронных сетей, отличающиеся от метода релевантных векторов процедурой структурной оптимизации, способствующей уменьшению сложности синтезируемых прогностических моделей.

5. Разработан способ синтеза прогностических моделей, позволяющий выявлять скрытые закономерности при наличии непрерывных и номинальных признаков.

Практическая значимость работы

Полученные в диссертационной работе результаты могут быть использованы при построении информационно-аналитических систем: распознающих систем, систем поддержки принятия решений; а также в составе интеллектуальных систем управления сложными техническими объектами и систем обнаружения. Реализация разрабатываемых процедур в системах диагностики, управления и информационно-аналитических системах будет способствовать снижению риска принятия ошибочных решений, а также повышению эффективности управления за счет интеллектуализации процессов обработки информации.

Результаты диссертационной работы нашли применение в трех НИР. В рамках ФЦНТП «Исследования и разработки по приоритетным направлениям развития науки и техники» выполнены следующие НИР:

• по государственному контракту № 02.442.11.7378 на тему «Приобретение знаний и логический вывод в распределенных гибридных интеллектуальных системах» (отчет о НИР, инв. № 02200607048);

• по государственному контракту № 02.442.11.7033 на тему «Интеллектуальный нейросетевой анализ данных и принятие решений в информационно-аналитических распределенных системах» (отчет о НИР, инв. № 02200604002).

По проекту с ФГУП ФНПЦ НИИИС им. Ю.Е. Седакова выполнена разработка нейросетевых систем и технологий технической диагностики, мониторинга и автоматизированного управления сложными техническими объектами и технологическими процессами.

Разработанные алгоритмы нашли применение для распознавания образов на изображениях, распознавания объектов по сейсмоакустическим сигналам, для восстановления рельефа местности, для восстановления осевой линии подземного газопровода по данным измерений, для построения моделей энергопотребления в учреждениях.

Часть материалов диссертационной работы использована в учебном процессе на кафедре «Электроника и сети ЭВМ» Нижегородского государственного технического университета им. P.E. Алексеева при проведении занятий для магистрантов по направлению подготовки 230200 «Информационные системы».

Апробация работы

Основные положения и результаты диссертационной работы доложены и обсуждены на следующих научно-технических семинарах и конференциях.

1. Научно-технические семинары кафедры ЭСВМ 2006-2010 г.г.;

2. 16-я Международная научно-практическая конференция по графическим информационным технологиям и системам — КОГРАФ (г. Нижний Новгород, 2006 г.);

3. Международная научно-техническая конференция «Информационные системы и технологии» — ИСТ- (г. Нижний Новгород, 2006, 2007, 2009, 2010 г.г.);

4. 12-я, 13-я и 15-я Нижегородская сессия молодых ученых. Технические науки (г. Нижний Новгород, 2007, 2008, 2010 г.г.);

5. Международная молодежная научно-техническая конференция «Будущее технической науки» (г. Нижний Новгород, 2007, 2008, 2010 г.г.);

6. Восьмой и Девятый Международный симпозиум «Интеллектуальные системы» - INTELS'2008 (г. Нижний Новгород, 2008 г.) и INTELS'2010 (г. Владимир, 2010 г.);

7. Конференция «Распознавание образов и анализ изображений: Новые информационные технологии» - PRIA-9-2008 (г. Нижний Новгород, 2008 г-);

8. Конференция «Технологии Microsoft в теории и практике программирования» (г. Нижний Новгород, 2009 г.);

9. XI и X Всероссийская научно-техническая конференция — «Нейроин-фор-матика-2009» и «Нейроинформатика-2010» (г. Москва, 2009 и 2010 г.г.).

Публикации

Основное содержание диссертации опубликовано в трех отчетах по НИР и в 26 печатных работах. Из них 3 статьи в научно-технических журналах, 20 публикаций в сборниках трудов и материалов научно-технических конференций, в том числе Всероссийских и Международных, и 3 свидетельства Роспатент об официальной регистрации программ для ЭВМ.

Две статьи опубликованы в журналах «Нейрокомпьютеры: разработка, применение» и «Информационно-измерительные и управляющие системы», которые входят в перечень изданий, рекомендованных ВАК для публикации результатов диссертационных работ.

Основные положения диссертационной работы, выносимые на защиту

1. Предложенная архитектура системы аналитической обработки информации и принятия решений обеспечивает накопление информации об эффективности прогностических моделей и автоматизацию их выбора с учетом специфики решаемых задач.

2. Разработанный показатель определения близости условных распределений позволяет оценивать точность прогностических моделей в задачах распознавания образов и восстановления зависимостей.

3. Предложенная процедура предварительного ранжирования признаков по их информативности позволяет значительно снизить вычислительную сложность алгоритмов отбора атрибутов.

4. Разработанные алгоритмы структурно-параметрического синтеза нейронных сетей на основе байесовской методологии позволяют преодолеть эффект переобучения и получать модели, аппроксимирующая способность которых согласована с доступными эмпирическими данными.

5. Предложенный алгоритм синтеза прогностических моделей при наличии непрерывных и номинальных признаков способствует выявлению и группировке близких зависимостей за счет процедуры кластеризации.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Зарипова, Юлия Хайдаровна

Выводы по главе 4

Разработанное алгоритмическое и программное обеспечение реализует алгоритмы обучения различных типов нейронных сетей, методы предварительной обработки данных, включая процедуры отбора входных признаков, а также оценку эффективности нейросетевых прогностических моделей.

Программное обеспечение может эффективно использоваться как для статистического моделирования, так и для работы с реальными данными и решения различных практических задач распознавания образов и восстановления зависимостей.

ЗАКЛЮЧЕНИЕ

Работа посвящена решению задачи синтеза прогностических моделей по эмпирическим данным на основе обучения нейронных сетей. Эта задача решена на основе развития байесовской методологии, которая предоставляет единую и последовательную концептуальную основу для формирования целевых функций как параметрической, так и структурной оптимизации нейро-сетевых моделей. Основные результаты диссертационной работы состоят в следующем.

1. Сформирована архитектура системы обработки информации и принятия решений, основанная на интеллектуализации процедур выбора прогностических моделей с использованием знаний экспертов и формальных характеристик качества решения отдельных задач, а также оценок субъективной удовлетворенности пользователей.

2. На основе теоретико-информационного подхода разработан показатель близости условных распределений вероятности, позволяющий анализировать качество алгоритмов синтеза нейронных сетей при решении задач распознавания образов и восстановления зависимостей.

3. На основе развития метода минимума среднего риска предложен способ оценки точности бинарных классификаторов, не требующий задания значений функции потерь.

4. Разработаны процедуры отбора атрибутов, работоспособные при большой размерности входных данных за счет предварительной оценки информативности признаков, не требующей применения процедуры обучения, с последующим поиском среди отобранных признаков подмножества наиболее значимых.

5. Разработаны алгоритмы структурно-параметрического синтеза отдельных видов нейронных сетей, обеспечивающие упрощение синтезируемых моделей, характеризующихся меньшей склонностью к переобучению по сравнению с известным методом релевантных векторов.

6. Сформированы процедуры синтеза прогностических моделей, включающие в себя алгоритмы кластеризации и позволяющие обнаруживать скрытые закономерности при наличии непрерывных и номинальных факторных переменных.

7. Разработано алгоритмическое и программное обеспечение нейросе-тевого распознавания образов и восстановления зависимостей, использованное для моделирования, и решения ряда практических задач.

Результаты диссертационной работы предлагается использовать при построении информационно-аналитических систем, систем поддержки принятия решений, а также в составе интеллектуальных систем управления сложными техническими объектами.

Список литературы диссертационного исследования кандидат технических наук Зарипова, Юлия Хайдаровна, 2010 год

1. Айвазян, С.А. Прикладная статистика: Исследование зависимостей / С.А.Айвазян, И.С. Енюков, Л.Д. Мешалкин М.: Финансы и статистика, 1985.-488 с.

2. Айзерман, М.А. Метод потенциальных функций в теории обучения машин / М.А. Айзерман, М.А. Браверманн, Л.И. Розоноер. М.: Наука, 1970.-240 с.

3. Алгоритмы и программы восстановления зависимостей / Под ред. В.Н. Вапника. М.: Наука. Гл. ред. физ.-мат. лит., 1984. - 816 с.

4. Баранов, В.Г. Нейросетевые алгоритмы распознавания образов / В.Г. Баранов, В.В. Кондратьев, B.P. Милов, Ю.Х. Зарипова. // Нейрокомпьютеры: разработка, применение. 2007. - № 11. - С. 20 - 27.

5. Баранов, В.Г. Интеллектуализация системы распознавания образов на основе сравнения эффективности методов классификации/ В.Г. Баранов, В.Р. Милов, Ю.Х. Зарипова. // Информационно-измерительные и управляющие системы. 2010. № 2. - Т.8. - С. 35 - 38.

6. Баранов, В.Г., Милов В.Р., Зарипова Ю.Х. Свидетельство об официальной регистрации программы для ЭВМ № 2006613557. Распознавание образов на основе вероятностной нейронной сети.

7. Баранов, В.Г., Милов В.Р., Зарипова Ю.Х. Свидетельство об официальной регистрации программы для ЭВМ № 2006613489. Структурно-параметрический синтез полиномиальных и нейросетевых регрессионных моделей.

8. Баранов, В.Г., Милов В.Р., Зарипова Ю.Х., Б.А. Суслов, И.В. Шалашов

9. Свидетельство об официальной регистрации программы для ЭВМ № 2008612308. Программный комплекс статистического моделирования процедур нейросетевой классификации.

10. Баранов, В.Г. Байесовская методология синтеза нейросетевых классификаторов / В.Г. Баранов, В.Р. Милов, Ю.Х. Зарипова. // Труды НГТУ: Системы обработки информации и управления / НГТУ. Н.Новгород. -2007. Т. 65, Вып. 14. - С. 5 - 12.

11. Барсегян, A.A. Методы и модели анализа данных: OLAP и Data Mining / A.A. Барсегян, М.С.Куприянов, В.В.Степаненко, И.И. Холод СПб.: БХВ-Петербург, 2004. - 336 с.

12. Вапник, В.Н. Восстановление зависимостей по эмпирическим данным / В.Н. Вапник М.: Наука, 1979. - 448 с.

13. Ветров, Д.П. Алгоритмы выбора моделей и построения коллективных решений в задачах классификации, основанные на принципе устойчивости / Д.П. Ветров, Д.А. Кропотов. М.: «КомКнига», 2007. - 106 с.

14. Вучков, И.Н., Бояджиева JI.H., Солаков Е.Б. Прикладной линейный регрессионный анализ: Пер. с болг. / И.Н. Вучков, JI.H. Бояджиева, Е.Б. Солаков М.: Финансы и статистика, 1987.-23 8с.

15. Галушкин, А.И. Об алгоритмах адаптации в многослойных системах распознавания образов / А.И. Галушкин // Доклады АН УССР, №1, А, 15-21,91, 1973.

16. Галушкин, А.И. Синтез многослойных систем распознавания образов / А.И. Галушкин М.: Энергия, 1974.

17. Галушкин, А.И. Теория нейронных сетей. Кн. 1 / А.И. Галушкин М.: ИПРЖР, 2000.-416 с.

18. Гиг ван, Дж. Прикладная общая теория систем: Пер. с англ. В 2-х кн. / Дж. Ван Гиг М.: Мир, 1981. - 733 с.

19. Глущенко, В.В. Прогнозирование / В.В. Глущенко М.: Вузовская книга, 2000. - 208 с.

20. Головко, В.А. Нейронные сети: обучение, организация, применение. Кн.4 / В.А. Головко, общ. ред. А.И. Галушкина. М.: ИПРЖР, 2001. -256 с.

21. Горбань, А.Н. Обучение нейронных сетей / А.Н. Горбань М.: СП параграф, 1990.- 159 с.

22. Деврой, JI. Непараметрическое оценивание плотности. L1-подход: Пер. с англ / JI. Деврой, JL Дьерфи М.: Мир, 1988. - 408с.

23. Дубров, A.M. Многомерные статистические методы / A.M. Дубров, B.C. Мхитарян, Л.И. Трошин М.: Финансы и статистика, 1998. 7 352 с.

24. Дюк, В. Data mining / В. Дюк, А. Самойленко СПб.: Питер, 2001,368 с.

25. Зарипова, Ю.Х. Программное обеспечение нейросетевой классификации на основе вероятностной и RBF-сетей / Ю.Х. Зарипова // XII Нижегородская сессия молодых ученых, секция информационные системы: Сб. науч. тр. Н.Новгород, 2007 - С. 8 - 9.

26. Зарипова, Ю.Х. Сравнение алгоритмов классификации на основе вероятностной и РБФ-сетей / Ю.Х. Зарипова // VI Международная молодежная научно-технической конференция «Будущее технической науки»: Сб. науч. тр. НГТУ. - Н.Новгород, 2007. - С. 5- 6.

27. Зарипова, Ю.Х. Система управления и диагностики технических процессов / Ю.Х. Зарипова, И.В. Шалашов, Б.А. Суслов // Первый областной конкурс молодежных инновационных команд «РОСТ»: Каталог. Н.Новгород, 2007. - с. 146 - 148.

28. Зарипова, Ю.Х. Алгоритмы нейросетевой классификации на основе РБФ-сетей / Ю.Х. Зарипова // XIII Нижегородская сессия молодых ученых, секция информационные системы: Сб. науч. тр. Н.Новгород, 2008.-С 12-13.

29. Зарипова, Ю.Х. Процедуры отбора значащих признаков в задаче распознавания образов / Ю.Х. Зарипова // VII Международная молодежная научно-техническая конференция «Будущее технической науки»: Сб. науч. тр. НГТУ. - Н.Новгород, 2008. - С 15 - 16.

30. Зарипова, Ю.Х. Нейросетевая классификация в сейсмоакустических системах наблюдения / Ю.Х. Зарипова. // Международная науч.-техн. конф. «Информационные системы и технологии. ИСТ-2009»: Сб. науч. тр. НГТУ. - Н.Новгород, 2009. - С. 132 - 133.

31. Зарипова, Ю.Х. Использование нейронных сетей для распознавания образов в сейсмоакустической информационной системе / Ю.Х. Зарипова. // XV Нижегородская сессия молодых ученых, секция информационные системы: Сб. науч. тр. Н.Новгород, 2010. - С 46-47.

32. Зарипова, Ю.Х. Процедура сравнения эффективности бинарных классификаторов / Ю.Х. Зарипова, А.Ю. Эпштейн // IX Международная молодежная научно-техническая конференция «Будущее технической науки»: Сб. науч. тр. НГТУ. - Н.Новгород, 2010. - С 20.

33. Иванов, А.К. Аппроксимация зависимостей функциями многих переменных в задачах разработки АСУ / А.К. Иванов // Известия АН. Теория и системы управления. 1999. - № 3. - С. 60 - 67.

34. Иванов, Г.А. Критерий сравнения моделей аппроксимирующих экспериментальные данные и его свойства / Г.А. Иванов, И.А. Кривошеев // Измерительная техника. 2001. - № 8. - С. 6 - 11.

35. Ивахненко, А.Г. Самоорганизация прогнозирующих моделей / А.Г.

36. Ивахненко, Й'.А. Мюллер -К.: Техниса, 1985. 223 с.

37. Иган, Дж. Теория обнаружения сигналов и анализ рабочих характеристик. Пер. с. англ;./ Дж. Иган М.: Наука. Главная редакция физико-математической литературы;, 1983. - 216 с.

38. Искусственный, интеллект. В 3-х кн. Кн. 2. Модели и методы: Справочник/ Под ред. Д.А. Поспелова. - М. Радио и связь, 1990. - 304 с.

39. Калан, Р. Основные концепции нейронных сетей / Р. Каллан М:: Вильяме, 2001. - 287 с.

40. Кондратьев, В.В. Идентификация нелинейных систем на основе структурно-параметрического синтеза нейронных RBF-сетей/ В .В. Кондратьев, В .Р. Милов // Доклады АН. 2002'; •- Т. 386, № 3. - С. 318 -321. , ;

41. Кондратьев, В.В. Структурно-параметрический синтез нейросетевого классификатора / В.В. Кондратьев, В.Р. Милов // Наукоемкие технологии. 2003. - Т. 4, № 2. - С. 101 106.

42. Левин, С.Ф. Теория измерительных задач идентификации / С.Ф; Левин // Измерительная техника. 2001. - № 7. - С. 8 - 17.

43. Назаров; A.B. Анализ прогнозирующих свойств нейронных сетей прямого распространения, по результатам экспериментальных исследований / А.В. Назаров, Г.И. Козырев, C.B. Шкляр // Нейрокомпьютеры: разработка, применение. 2002. - № 3 - С. 15 - 19.

44. Матвейкин В.Г. Использование байесовского подхода в обучении нейронных сетей / В.Г. Матвейкин, C.B. Фролов // Информационные технологии. 1998. - № 10. - С. 27 - 35.

45. Милов, В.Р. Обучение нейронных RBF-сетей на основе процедур структурно-параметрической оптимизации /В.Р. Милов // Нейрокомпьютеры: разработка и применение. 2003. - № 5. - С. 29 - 33.

46. Милов, В.Р. Адаптивная обработка сигналов на основе рекуррентного алгоритма с регуляризацией по методу наименьших квадратов /В.Р. Милов // Известия Вузов. Приборостроение. 2003. - Т. 46, № 10. - С. 11-17.

47. Милов, В.Р. Восстановление многомерных нелинейных зависимостей по экспериментальным данным / В.Р. Милов // Вестник ВГАВТ: Надежность и ресурс в машиностроении / ВГАВТ. Н.Новгород. - 2003. -Вып. 4.- С. 163- 168.

48. Милов, В.Р. Структурно-параметрическая оптимизация многослойных нейронных сетей / В.Р. Милов // Нейрокомпьютеры: разработка, применение. 2003. - № 10- 11. - С. 3 -9.

49. Милов, В.Р. Структурно-параметрический синтез нейронных сетей с последовательными связями на основе байесовской методологии / В.Р. Милов // VII Всероссийская науч.-техн. конф. «Нейроинформатика-2005»: Сб. науч. тр. 4.1. М.: МИФИ, 2005. - С. 18 - 25.

50. Милов, В.Р. Процедуры интеллектуального распознавания образов с применением нейронных сетей / В.Р. Милов, Ю.Х. Зарипова // Восьмой Международный симпозиум «Интеллектуальные системы» (ШТЕЬ8'2008): Сб. науч. тр. Н.Новгород, 2008. - С. 109 - 113.

51. Милов, В.Р. Сравнение эффективности алгоритмов классификации / В.Р. Милов, Зарипова, Ю.Х. // Международная науч.- техн. конф. «Информационные системы и технологии. ИСТ-2008»: Сб. науч. тр. -НГТУ. Н.Новгород, 2008. - С. 78 - 79.

52. Милов, В.Р. Обучение нейронных ИВР-сетей на основе байесовской методологии и решение задачи восстановления зависимостей / В.Р. Милов, Я.Я. Махмудов // Нейрокомпьютеры: разработка, применение.-2005.-№4.-С. 23-31.

53. Надарая, Э.А. Об оценке регрессии / Э.А. Надарая // Теория вероятности и ее применения. 1964. - Т. 9, № 1. - С. 157 - 159.

54. Нейрокомпьютеры в системах обработки сигналов. Кн. 9 / Под ред. Ю.В. Гуляева и А.И. Галушкина. М.: Радиотехника, 2003. - 224 с.

55. Нейронные сети: история развития теории / Под ред. А.И. Галушкина, Я.З. Цыпкина М.: Радиотехника, 2001.

56. Нейронные сети. STATISTICA Neural Networks: Пер. с англ. М.: Горячая линия - Телеком, 2000. - 182 с.

57. Обобщенный спектрально-аналитический метод обработки информационных массивов. Задачи анализа изображений и распознавания образов / Ф.Ф. Дедус, С.А. Махортых, М.Н. Устинин, А.Ф. Дедус; Под общ. ред. Ф.Ф. Дедуса. М.: Машиностроение, 1999. - 357 с.

58. Осовский, С. Нейронные сети для обработки информации / С. Осов-ский М.: Финансы и статистика, 2002. - 344 с.

59. Пащенко, Ф.Ф. Методы и системы управления и идентификации на основе знаний /Ф.Ф. Пащенко, K.P. Чернышев // Автоматика и телемеханика. 2000. - № 2 - С. 3 - 28.

60. Райфа, Г. Прикладная теория статистических решений / Г. Райфа, Р.

61. Шлейфер М.: Статистика, 1977. - 360 с.

62. Репин, В.Г Статистический синтез при априорной неопределенности и адаптация информационных систем / В.Г. Репин, Г.П. Тартаковский М.: Сов. радио, 1977. - 432 с.

63. Савчук, В.П. Байесовские методы статистического оценивания: Надежность технических объектов / В.П. Савчук М.: Наука, 1989. - 328 с.

64. Современные методы идентификации систем: Пер. с англ. / Под ред. Эйкхофа. М.: Мир, 1983. - 400 с.

65. Терехов, В.А. Нейросетевые системы управления / В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин. В.Н. Антонов. СПб: Изд-во С.-Петербургского ун-та, 1999. - 265 с.

66. Хайкин, С. Нейронные сети: полный курс: Пер. с англ. / С. Хайкин -М.: Издательский дом «Вильяме», 2006. 1104 с.

67. Цыпкин, Я.З. Информационная теория идентификации / Я.З. Цыпкин -М.: Наука, 1995. 336 с.

68. Шрейдер, Ю.А. Системы и модели / Ю.А. Шрейдер, A.A. Шаров М.: Радио и связь, 1982. - 151 с.

69. Эйкхофф, П. Основы идентификации систем управления. Оценивание параметров и состояния: Пер. с англ. В.А. Лотоцкого и A.C. Манделя / Под ред. Н.С. Райбмана М.: Мир, 1975 - 683 с.

70. Эфрон, Б. Нетрадиционные методы многомерного статистического анализа: Сб. статей: Пер. с англ. / Б. Эфрон М. Финансы и статисти1. Ka, 1988. 263 c.

71. Anders, U. Model selection in neural networks / U. Anders, O. Korn // Neural Networks. 2000. - N 12. - P. 543 - 555.

72. Bishop, C.M. Neural Networks for pattern recognition / C.M. Bishop Oxford: Oxford University Press, 1995. - 504 p.

73. Bishop, C.M. Bayesian regression and classification / C.M. Bishop, M.E. Tipping // Advances in Learning Theory: Methods, Models and Applications. IOS Press, NATO ASI Series in Computer and Systems Sciences. Amsterdam, 2003. - P. 267 - 288.

74. Ghiselli, E.E. Measurement Theory for the Behavioral Sciences / E.E. Ghi-selli, J.P. Camp-bell, S. Zedeck. San Francisco: Freeman, 1981. - 494 p.

75. Girosi, F. Regularization theory and neural networks architectures / F. Girosi, M. Jones, T. Poggio // Neural Computation. 1996. - V. 7. - P. 219269.

76. Good, I.J. Some history of the hierarchical Bayesian methodology / I.J. Good // Trab. Estadist. Invest. Oper. 1980. - V.31, N. 1. - P. 489 - 504.

77. Hong, X. Nonlinear model structure detection using optimum experimental design and orthogonal least squares / X. Hong, C.J. Harris // IEEE Transactions on Neural Networks. 2001. - V. 12, N. 2. - P. 435 - 439.

78. Hornik, K. Multilayer feedforward networks are universal approximators / K. Hornik, M. Stinchcomb, H. White // Neural Networks. 1989. - V. 2, N. 5.-P. 359-366.

79. MacKay, D. J. C. The evidence framework applied to classification networks / D. J. C. MacKay // Neural Computation. 1992. - V. 4, N. 5. - P. 698

80. MacKay, D.J.C. Bayesian interpolation / D.J.C. MacKay // Neural Computation. 1992. - V. 4, N. 3. - P. 415 - 447.

81. MacKay, D.J.C. Bayesian framework for backpropagation networks / D.J.C. MacKay // Neural Computation. 1992. - V. 4, N. 3. - P. 448-472.

82. McCulloch, W.S. A logical calculus of the ideas immanent in nervous activity / W.S. McCulloch, W. Pitts Bulletin of Mathematical Biophysics,1943, vol. 5, pp. 115-133.

83. Minsky, M. Perceptrons / M. Minsky, S. Papert MIT Press, 1969.

84. Moody, J. Fast learning in networks of locally tuned processing units / J. Moody, C.J. Darken // Neural Computation. 1989. - V. 1, N. 2. - P. 281 -294.

85. Neal, R. Bayesian Learning for Neural Networks / R Neal. Springer-Verlag, 1996.

86. Neurocomputing. Foundation of Ressearch. / Ed. J.A. Andersen, E. Rosenfeld. The MIT Press. 1988.

87. Nilson, N. Learning Machines / N. Nilson McGraw-Hill Book Co., 1965.

88. Orr, M.J.L. Introduction to Radial Basis Function Networks / M.J.L. Orr -Edinburgh: Centre for Cognitive Science, 1996.

89. Pagallo, G. Boolean feature discovery in empirical learning / G. Pagallo, D. Haussler // Machine Learning. 1990. - 5. - P. 71-99.

90. Park, J. Universal approximation using radial basis function networks / J. Park, I.W. Sandberg // Neural Computation. 1991. - V. 3, N. 2. - P. 246

91. Principe, J.C. Neural and adaptive systems: fundamentals though simulations / J.C. Principe, N.R. Euliano, W.C. Lefebvre John Wiley and Sons. - 2000. - 656 p.

92. Rosenblatt, F. The perceptron: a probabilistic model for information storage and organization in the brain / F. Rosenblatt Psychological Review, 1958, vol. 65, pp. 386-408.

93. Rosenblatt, F. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms / F. Rosenblatt New York, Spartan, 1962.

94. Snelson, E. Compact approximations to Bayesian predictive distributions / E. Snelson, Z. Ghahramani // Proceedings of the 22 international conference on Machine learning. Bonn, 2005. - P. 840 - 847.

95. Schwenker, F. Three learning phases for radial-basis function networks / F. Schwenker, H.A. Kestler, G. Palm // Neural Networks. 2001. - № 14. -P. 439-458.

96. Sherstinsky, A. On the efficiency of the orthogonal least squares training method for radial basis function networks / A. Sherstinsky, R.W. Picard // IEEE Transactions on Neural Networks. 1996. - V. 7, N 1. - P. 195 -200.

97. Shibata, R. An optimal selection of regression variables / R. Shibata // Biometrika.- 1981.-V. 68.-P. 45-54.

98. Tipping, M.E. Sparse Bayesian learning and the relevance vector machine. / M.E. Tipping // Journal of Machine Learning-Research. 2001. - V. 1. - P. 211 -244.

99. Tipping, M.E., Faul A.C. Fast Marginal likelihood maximization for sparse Bayesian models / M.E. Tipping // 9 International workshop on Artificial Intelligence and Statistics, Kew West, Jan 3-6, 2003.

100. Vapnik, V. The nature of statistical learning theory / V. Vapnik New York: Springier Verlag, 1995.

101. Ye, N. The handbook of data mining / N. Ye London, 2003.

102. Zhu, Q. A global learning algorithm for a RBF network / Q. Zhu, Y. Cai, L. Liu // Neural Networks. 1999. - N 12. - P. 527 - 540.