Обработка неточно заданной информации с помощью нейросетей тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат физико-математических наук Щемель, Антон Леонидович

• Щемель, Антон Леонидович
• кандидат физико-математических наук
• 2002

Оглавление диссертации кандидат физико-математических наук Щемель, Антон Леонидович

СОДЕРЖАНИЕ.

Введение.

1. Нейросетевые технологии для анализа специализированных баз данных.

1.1. Общие принципы построения нейросетевых алгоритмов

1.2. Персептрон Розенблатта.

1.3. Сеть Хопфилда.

1.4. Звезды Гроссберга.

1.5. Карта самоорганизации Кохонена.

1.6. Нейронная сеть встречного распространения.

1.7. Алгоритм Двойственного Функционирования.

1.8. Нейросетевой итерационный метод главных кривых для данных с пробелами.

2. Метод многомерной нелинейной регрессии данных.

2.1. Постановка задачи обработки данных.

2.2. Принципы построения алгоритма обработки данных.

2.3. Обобщение метода наименьших квадратов.

2.4. Преобразование данных перед обработкой.

2.5. Процедура оптимизации.

2.6. Быстрый метод перекрестной проверки.

3. Восстановление скрытых параметров при обработке данных.

3.1. Постановка задачи восстановления скрытых параметров

3.2. Алгоритм решения задачи восстановления скрытых параметров.

3.3. Пример анализа пространственно-случайного поля.

4. Программный комплекс "Модели" для обработки данных

4.1. Общая характеристика комплекса программ.

4.2. Процедура размещения данных в программе.

4.3. Процедура синтеза модели.

4.4. Процедура "Коррекция задачника".

4.5. Процедура "Результат".

4.6. Функция "НМОДЕЛЬ".

4.7. Функция "ПРОГНОЗ".

4.8. Группа функций категории "ССЫЛКИ и МАССИВЫ"

4.9. Рекомендации для программиста-пользователя.

4.10. Создание и обучение нейросетевых моделей в вычислительной среде Матлаб.

4.11. Эффективность работы комплекса программ.

5. Примеры практического применения реализованных методов.

5.1 Оценка сейсмической опасности.

5.1.1. Прогноз сильных землетрясений.

5.1.2 Нейросетевой анализ каталога землетрясений.

5.1.3 Статистические характеристики модельных распределений сейсмособытий.

5.1.4 Возможность прогнозирования сейсмических сотрясений на территории Красноярского края.

5.2. Исследование наводнений в период весенних паводков.

5.3. Метод многомерной нелинейной регрессии данных наблюдений о цунами.

5.3.1 Краткое описание экспертной системы для оценки цунамиопасности, применительно к побережью Приморья в Японском море.

5.3.2 Использование информации гидрофизической подсистемы оперативного прогноза о цунами.

Введение диссертации (часть автореферата) на тему «Обработка неточно заданной информации с помощью нейросетей»

Актуальность проблемы. Неточно заданные, т.е. содержащие пропуски, ошибки, а также, заданные приближено, данные составляют, на сегодняшний день, основной объем численной научной информации. Заполнение пробелов в массивах данных является базовой проблемой, возможность работы с некачественными данными открывает новые перспективы во многих областях науки, производства и других аспектах жизнедеятельности человека. В связи с этим, проблемы обработки нечетких данных, активное внедрение разрабатываемых методов стали на протяжении последнего десятилетия предметом обсуждений и исследований на ряде международных конференций (ICANN-1999, IJCNN-1999, ICANN-2000 и

ДР-)

В то же время, аппарат автоматизированной обработки таких данных проработан недостаточно. Существующие методы и комплексы программ, работающие на их основе, не позволяют использовать всю имеющуюся в данных информацию для анализа. Данная работа посвящена автоматизированной непараметрической нелинейной регрессии неточно заданных данных, т.е. отыскании закономерностей в массивах таких данных не только для обобщения неполных данных, но и для восстановления и пополнения их.

В материалах конференций все чаще встречаются публикации на тему обработки нечетких данных с использованием искусственных нейронных сетей. Однако, данная тематика, как показывают исследования профессора А.Н. Горбаня, не находится в достаточно проработанном состоянии.

Актуальность исследований в этом направлении подтверждается широким спектром различных применений нейросетей. Это автоматизация процессов, распознавание образов, адаптивное управление, аппроксимация функций, прогнозирование, создание экспертных систем, организация ассоциативной памяти и многие другие приложения. С помощью нейросетей предсказываются показатели биржевого рынка, выполняется распознавание оптических или звуковых сигналов, создаются самообучающиеся системы, способные управлять автомашиной при парковке, или синтезировать речь по тексту.

Несмотря на универсальность нейросетевого подхода, в работе с неточно заданной информацией основное внимание уделяется на обработку узкоспециализированных типов данных: речи, изображений, результатов конкретных экспериментов. В отечественной литературе представлены работы по нейросетевой транспонированной регрессии, позволяющей заполнять пустоты в таблицах данных, но указанный алгоритм также недостаточно универсален.

Тем не менее, создание автоматизированных систем обработки неточно заданных данных с использованием нейронных сетей на данном этапе развития актуально и целесообразно, поскольку такие данные составляют значительную часть научных результатов, а нейросетевой подход обеспечивает высокую эффективность по работе с большими объемами информации.

Благодаря применению в нейросетях метода двойственности (В .А. Охонин, С.И. Барцев 1986; Rummelhart D.E. et. al. 1986), а также дальнейшего лавинообразного развития нейросетевой тематики, нейросетевые методы являются наиболее адекватным инструментом в нетривиальной статистике. Сегодняшнее развитие вычислительной техники и программного обеспечения находится на достаточно высоком уровне для создания системы автоматизированной обработки неточно заданной информации с использованием нейронных сетей.

Обучающиеся искусственные нейронные сети обладают рядом преимуществ по сравнению с традиционными статистическими методами. При обучении по реальным данным нейросеть способна выявить закономерности достаточно высокого уровня сложности за приемлемое время. В данной работе представлены методы, требующие значительного объема вычислений, а значит и нейросетевого подхода.

Цель работы состоит в разработке средств нейросетевой обработки неточно заданных данных, позволяющих наиболее полно учесть их особенности и закономерности, заключенные в них. Для достижения этой цели необходимо:

1. Систематизировать и обобщить существующие виды специализированной информации для выявления типичных недостатков и возможностей их коррекции.

2. Выполнить анализ существующих статистических и нейросетевых подходов для исследования неточных данных и оценить их достоинства и недостатки.

3. Разработать адекватные математические методы на основе применения нейросетевых вычислительных технологий для работы с информацией, обладающей различными типами недостатков, определить границы их применимости.

4. Разработать эффективные алгоритмы, оптимизировать их для современных вычислительных сред, создать методику обучения и использования нейросетей применительно к таблицам неточных данных.

5. Разработать эффективное программное обеспечение для построения и обучения нейросетей со структурой данных, позволяющей наиболее эффективно проводить вычисления и анализ результатов расчетов.

6. Провести ряд вычислительных экспериментов в научных исследованиях, связанных с мониторингом окружающей среды, с использованием разработанных математических методов, алгоритмов и комплекса программ.

Научная новизна работы заключается в следующем:

1. Разработан математический метод на основе нейросетевого подхода для построения нелинейной многомерной регрессии с неполной и с неточно заданной информацией.

2. Разработан математический метод на основе нейросетевого подхода для выявления и воспроизводства закономерностей в стохастических данных наблюдений.

3. Применением теории возмущений разработан быстрый метод перекрестной проверки регрессионных моделей.

4. Разработаны новые эффективные алгоритмы и комплекс программ, реализующие предложенные математические методы анализа неточных и стохастических данных.

Реализация результатов. Разработанные в диссертации методы реализованы в комплексе программ "Модели", где предусмотрен также полный набор стандартных нейросетевых операций над данными, позволяющий проводить нейроанализ данных в современных вычислительных средах (Matlab, Excel и др.).

Полученные результаты нейросетевой обработки данных мониторинга окружающей среды (сейсмической, экологической, геологической информации) использованы в работах по грантам РФФИ № 98-05-65280, №99-05-65372, №01-05-64704, ФЦП «Мировой океан», Краевой Целевой Программе «Сейсмобезопасность Красноярского края» и др.

Имеются акты о внедрении программы в эксплуатацию. Результаты проведенных исследований докладывались и обсуждались на международных и отечественных научных конференциях и научных семинарах в ИБФ СО РАН, ИСИ СО РАН, ИВМ СО РАН, КГУ, КГТУ.

Практическая ценность работы.

1. Разработанные в диссертации методы и алгоритмы допускают автоматическую обработку больших массивов данных. При решении отдельных задач достигается сжатие информации в десятки раз путем нейросетевой аппроксимации массивов данных, содержащих тысячи записей.

2. Разработанные в ходе выполнения работы компьютерные программы подготовлены к использованию в научных исследованиях, касающихся обработки таблиц численной информации, в различных областях знаний.

3. Внедрение созданного программного комплекса в современные вычислительные среды позволяет использовать стандартные и предложенные нейросетевые методы при решении прямых и обратных задач.

Теоретическая значимость.

1. Сформулировано обобщение метода наименьших квадратов для изомерной метрики расстояния.

2. Разработан метод получения нейросетевых гомоморфных преобразований для отображения однородных распределений в неоднородные, используемый при воспроизведении неформализованных распределений случайных величин небольших выборок.

3. Для метода перекрестной проверки найден обучающий функционал, требующий для вычисления 0(N) операций, где N - число задач в обучающей выборке.

4. Разработаны алгоритм обучения и структура трехслойной нейронной сети, позволяющие достигнуть выигрыша в скорости работы, по сравнению с коммерческими программами, реализующими подобные нейросети, на три порядка.

На защиту выносятся:

1. Обобщение метода построения нелинейной многомерной аппроксимации и алгоритмы работы для таблиц неточных данных.

2. Нейросетевой метод и алгоритм анализа стохастических данных.

3. Алгоритм быстрой перекрестной проверки регрессионных моделей.

4. Эффективный алгоритм функционирования и обучения нейросетевых моделей, с возможностью обработки нечетко заданной информации, регуляризацией обучения, дающий значительный выигрыш в скорости по сравнению с ранее предложенными алгоритмами.

5. Комплекс программ нейросетевой обработки данных "Модели", результаты вычислительных экспериментов проведенных с помощью комплекса программ "Модели" по анализу данных мониторинга окружающей среды.

Апробация работы.

Основные положения диссертационной работы докладывались и обсуждались на: XXXV международной научной студенческой конференции "студент и научно-технический прогресс" (НГУ, Новосибирск, 1997); V всероссийской конференции "Нейрокомпьютеры и их применение" (ИПУ, Москва, 1999); VI Всероссийском семинаре «Нейроинформатика и ее приложения» (Красноярск, 1998); VII Всероссийском семинаре «Нейроинформатика и ее приложения» (Красноярск, 1999); Всероссийском симпозиуме "Гомеостаз и окружающая среда" (Красноярск 1998); Конференции молодых ученых по математике, математическому моделированию и информатике. (ИВТ СО РАН, Новосибирск, 2001); VI международном семинаре-совещании «Кубатурные формулы и их приложения» (ИМВЦ УфНЦ, Уфа, 2001); V ФАМ конференции (ИВМ СО РАН, Красноярск, 2001); Научных мероприятиях «Природно-техногенная безопасность Сибири» (Красноярск, 2001); VI ФАМ конференции (ИВМ СО РАН, Красноярск, 2002).

Публикации. Основное содержание работы опубликовано в 1 монографии, 1 статье, 8 научных трудах и 5 тезисах докладов научных конференций.

Структура и объем работы. Диссертационная работа состоит из Введения, 5 глав (первая глава - обзор литературы), Заключения, Списка литературы из 126 наименований и Приложений. Работа изложена на 156 страницах машинописного текста, содержит 2 таблицы и иллюстрирована 44 рисунками. В Приложение вынесены разработанные в ходе выполнения работы программные модули для ПЭВМ и копии актов о внедрении программы.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Щемель, Антон Леонидович

Заключение

1. Сформулировано обобщение метода наименьших квадратов для изомерной метрики расстояния.

2. Разработан метод получения нейросетевых гомоморфных преобразований для отображения однородных распределений в неоднородные, используемый при воспроизведении неформализованных распределений случайных величин небольших выборок.

3. Для метода перекрестной проверки найден обучающий функционал, требующий для вычисления 0(N) операций, где N - число задач в обучающей выборке.

4. Разработаны алгоритм обучения и структура трехслойной нейронной сети, позволяющие достигнуть выигрыша в скорости работы, по сравнению с коммерческими программами, реализующими подобные нейросети, на три порядка.

Предлагаемый вариант программного обеспечения для автоматизированной обработки данных наблюдений, как показали проведенные исследования, является эффективным и универсальным инструментов и пригоден для встраивания в алгоритмические контуры крупных исследовательских комплексов, с целью быстрого нелинейного многопараметрического анализа данных.

Список литературы диссертационного исследования кандидат физико-математических наук Щемель, Антон Леонидович, 2002 год

1. Абовский Н.П., Бабанин В.Б., Щемель A.J1. и др. Нейросветофоры. Создание интеллектуальных систем управления дорожным движением. - Красноярск: КрасГАСА, 2000. - 182 с.

2. Абовский Н.П., Деруга А.П., Охонин В.А. и др. Нейронные сети и аппроксимация функций. Красноярск: КрасГАСА, - 1996. - 62 с.

3. Абовский Н.П., Смолянинова Л.Г., Щемель A.JI. Природные и искусственные нейросети, их разработка и применение для управления системами //Доклады V Всероссийской конференции "Нейрокомпьютеры и их применение". М.: ИПУ. 1999. - С. 120-123.

4. Абовский Н.П., Щемель А.Л. Заполнение пробелов в таблицах данных // Нейрокомпьютер. 2001. - №1. - С. 40-44.

5. Айвазян С.А., Бухштабер В.М., Енюков И.С. и др. Прикладная статистика: Классификация и снижение размерности. -М.: Финансы и статистика, 1989. 607 с.

6. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Исследование зависимостей. М.: Финансы и статистика, 1985. -464 с.

7. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983. - 471 с.

8. Айзенберг Л.А. Формулы Карлемана в комплексном анализе. Первые приложения. -Новосибирск: Наука, 1990. 248 с.

9. Андерсон Т. Введение в многомерный статистический анализ. М.: Физматгиз, 1963.

10. Ю.Андерсон Т. Статистический анализ временных рядов. М.: Мир, 1976.-755 с.

11. П.Барцев С.И., Гилев С.Е., Охонин В.А. Принцип двойственности в организации адаптивных сетях обработки информации. В. кн.

12. Динамика химических и биологических систем. Новосибирск: Наука, 1989 с.6-55.

13. Баскин И.И., Палюлин В.А., Зефиров Н.С. Нейроматематика -будущее вычислительной химии // Нейрокомпьютер. М.: 1997. -№3/4.-С. 17-23.

14. Бендат Д., Пирсол А. Прикладной анализ случайных данных. М.: Мир, 1989. - 540 с.

15. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979.-448 с.

16. Вапник В.Н., Глазова Т.Г., Кощеев В.А., и др. Алгоритмы и программы восстановления зависимостей. М.: Наука, 1984. - 816 с.

17. Васютин С.В. Заполнение пропусков в данных с использованием нейронных сетей // Доклады V Всероссийской конференции "Нейрокомпьютеры и их применение". М.: ИПУ, 1999. - С. 264266.

18. Витяев Е.Е. Закономерности в языке эмпирических систем // Эмпирическое предсказание и распознавание образов (Выч. сист., вып. 76). Новосибирск, 1978. С. 3-14.

19. Витяев Е.Е. Обнаружение закономерностей (методология, метод, программная система SINTEZ). 1. Методология // Методологические проблемы науки (Вычислительные системы, 138), Новосибирск, 1991. С. 26-60.

20. Воронов С.П., Николаев В.А., Симонов К.В., ЩемельА.Л. Проблемы управления безопасностью применительно к весенним паводкам // Труды VI ФАМ конференции Красноярск: ИВМ СО РАН, 2002. С. 56-60.

21. Галушкин А.И. и др. Некоторые концептуальные вопросы развития нейрокомпьютеров // Успехи зарубежной радиоэлектроники. М.: 1997. -№2. - С. 3-10.

22. Гилев С.Е. Алгоритм сокращения нейронных сетей, основанный на разностной оценке вторых производных целевой функции // Нейроинформатика и ее приложения: Тезисы докладов V Всероссийского семинара. Красноярск: КГТУ, 1997. - С. 45-46.

23. Горбань А.Н. Обучение нейронных сетей. М.: СП "ParaGraph", 1990.- 160 с.

24. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере. -Новосибирск: Наука, 1996. -276 с.

25. Дмитриев А.С. Хаос и обработка информации в нелинейных динамических системах // Радиотехника и электроника. М.:1993. -Т. 38.-№1.-С. 43-47.

26. Дробыщев Ю.П. Задачи и методы анализа данных // Математические вопросы анализа данных / Под ред. Ю.П. Дробышева. Новосибирск: 1980. - С. 6-14.

27. Ежов А.А., Шумский С.А. Нейрокомпьютинг и его применение в финансах и бизнесе. М.: МИФИ, 1998.

28. Енюков И.С. Методы, алгоритмы, программы многомерного статистического анализа: пакет ППСА. М.: Финансы и статистика, 1986.-232 с.

29. Ижикевич Е.М., Мапинецкий Г.Г. Модель нейронной сети с хаотическим поведением // Нейрокомпьютер. М.: 1993. - №1/2, - С. 17-23

30. Искусственный интеллект. В 3-х кн. Кн. 2. Модели и методы: Справочник / Под ред. Поспелова Д.А. -М.: Радио и связь, 1990. -304 с.

31. Итоги науки и техники: физические и математические модели нейронных сетей. -М.: ВИНИТИ, 1990.

32. Кендалл М.Дж., Стьюарт А. Теория распределений. -М.: Наука, 1966.

33. Классификация и кластер / Под ред. Райзин Дж. В., перев. под ред. Ю.И.Журавлева. М.:Мир, 1980. - 389 с.

34. Кузьмин В.Б., Орлов А.И. О средних величинах, сравнение которых инвариантно относительно допустимых преобразований шкалы // Статистические методы анализа экспертных оценок, -М.: 1977, -С. 220-227.

35. Куперштох B.JL, Миркин Б.Г., Трофимов В.А., Метод наименьших квадратов в анализе качественных признаков // Проблемы анализа дискретной информации. -Новосибирск, 1976.

36. Литтл Р., Рубин Д. Статистический анализ данных с пропусками -М.: Финансы и статистика, 1991. 336 с.

37. Лорьер Ж. -Л. Системы искусственного интеллекта. -М.: Мир, 1991. 586 с.

38. Марчук А.Г., Симонов К.В., Охонин В.А., Щемель А.Л. Нелинейный регрессионный анализ сейсмологических данных // Природно-техногенная безопасность Сибири: Труды научных мероприятий. Красноярск, 2001. - Т. 1. - С. 233-237.

39. Миркес Е.М. Нейрокомпьютер: проект стандарта. Новосибирск: Наука, 1998.

40. Миркин Б.Г. Анализ качественных признаков и структур. М.: Статистика, 1980. - 316 с.

41. Мкртчян С.О., Лазарян А.Ф. Нейрокомпьютеры ЭВМ XXI века. // Технополис. - 1998. - №3 - С.4.

42. Многомерный статистический анализ. М.: Наука, 1976.

43. Орлов А.И. Допустимые средние в некоторых задачах экспертных оценок и агрегирования показателей качества // Многомерный статистический анализ в социально-экономических исследованиях. -М.: Наука, 1979. -293с.

44. Отнес Р., Эноксон Л. Прикладной анализ временных рядов: основные методы. М.: Мир, 1982. - 428 с.

45. Россиев А.А. Моделирование данных при помощи кривых для восстановления пробелов в таблицах. // Методы нейроинформатики: Сборник научных трудов. Красноярск: КГТУ, 1998. - 204 с. -С. 6-22.

46. Савельев А.А., Евтюгин Г.А., Ризаева Е.П. Сравнение статистических и нейросетевых методов прогноза уровня загрязнения сточных вод // доклады V Всероссийской конференции "Нейрокомпьютеры и их применение". М.: РИТУ. 1999. -С. 234-235.

47. Сенашева М.Ю. Погрешности нейронных сетей вычисление погрешностей весов синапсов. // Методы нейроинформатики.

48. Сборник научных трудов. Красноярск: КГТУ, 1998. - 204 с. -С. 48-64.

49. Сибгатулин В.Г., Симонов К.В., Щемель A.JI. и др. Красноярская сеть сейсмологических наблюдений // Природно-техногенная безопасность Сибири: Труды научных мероприятий. -Красноярск, 2001 Т.1.- С. 109-112.

50. Симонов К.В., Охонин В.А., Щемель А.Л. Вероятностное моделирование сейсмической активности // Труды V ФАМ конференции Красноярск: ИВМ СО РАН, 2001.-С. 94-100.

51. Тюрин Ю.Н. Непараметрические методы статистики. М.: Знание, 1978. - 64с.

52. Уоссермен Ф. Нейрокомпьютерная техника. М.: Мир, 1992.

53. Ферстер Э., Ренц Б. Методы корреляционного и регрессионного анализа. М.: Финансы и статистика, 1983. - 302 с.

54. Щеглов И.Н., Демченко С.А., Богомолов А.В. и др. Алгоритм формирования репрезентативной обучающей выборки искусственной нейронной сети // Труды V Всероссийской конференции "Нейрокомпьютеры и их применение". М.: ИПУ. 1999.-С. 405-406.

55. Щемель А.Л. Метрический метод регрессии //Материалы XXXV международной научной студенческой конференции "Студент инаучно-технический прогресс". Физика. Новосибирск: НГУ, 1997. -С. 175.

56. Щемель A.JL, Абовский Н.П. Проблемы заполнения пробелов в таблицах данных // Труды V всероссийской конференции "Нейрокомпьютеры и их применение". М.: ИПУ, 1999. -С. 102-105.

57. Abu-Mostafa, Y. Learning from hints in neural networks // Journal of complexity, 1990. P. 192-198.

58. Artificial Neural Networks: Concepts and Theory / IEEE Computer Society Press. 1992.

59. Barron A.R. Universal approximation bounds for superposition of a sigmoidal function // IEEE Trans. Info. Theory. 1993. Vol. 39. - P. 930-945.

60. Battiti R. First and second order methods for learning: Between steepest descent and Newton's method // Neural Computation. 1992. Vol. 4, №2, -P. 141-166.

61. Beale, E. M. L. A derivation of conjugate gradients. / in F. A. Lootsma, ed. Numerical methods for nonlinear optimization. -London: Academic Press, 1972.

62. BrainMaker Professional. Neural Network Simulation Software User's Guide and Reference Manual. -Nevada City, CA, USA: California Scientific Software, 1993. 576 c.

63. Brent R. P. Algorithms for Minimization Without Derivatives. -Englewood Cliffs, NJ: Prentice-Hall, 1973.

64. Casdagli M. Nonlinear prediction of chaotic time series // Physics D. 1989 -№35,-P. 335-356.

65. Caudill, M., Butler C. Understanding Neural Networks: Computer Explorations // Cambridge, MA: the MIT Press, 1992. Vols. 1 and 2.

66. Caudill, M. Neural Networks Primer. San Francisco, CA: Miller Freeman Publications, 1989.

67. Charalambous С. Conjugate gradient algorithm for efficient training of artificial neural networks I I IEEE Proceedings, 1992. Vol. 139, №3, -P. 301-310.

68. Chen, S., C. F. N. Cowan, and P. M. Grant Orthogonal least squares learning algorithm for radial basis function networks // IEEE Transactions on Neural Networks, 1991. Vol. 2, №2, P. 302-309.

69. Craven M.W., Shavlik J.W. Using Neural Networks for Data Mining. -Future Generation Computer Systems, 1997

70. DARPA Neural Network Study. Lexington, MA: M.I.T. Lincoln Laboratory, 1988.

71. Dennis, J. E., and R. B. Schnabel Numerical Methods for Unconstrained Optimization and Nonlinear Equations. Englewood Cliffs, NJ: Prentice-Hall, 1983.

72. Elman, J. L. Finding structure in time // Cognitive Science, 1990. Vol. 14, P. 179-211.

73. Engelbrecht A.P., Cloete I. A Sensitivity Analysis Algorithm for pruning feedforward neural networks / Proc. IEEE Washington, DC, USA. 1996. Vol.2.-P. 1274-1278.

74. Fletcher, R., and С. M. Reeves Function minimization by conjugate gradients // Computer Journal, 1964. Vol. 7, P. 149-154.

75. Foresee, F. D., and M. T. Hagan Gauss-Newton approximation to Bayesian regularization. / Proceedings of the International Joint Conference on Neural Networks, 1997. P. 1930-1935.

76. Gallant S.I. Connectionist Expert Systems // Communications of the ACM, 1988, №31.-P. 152-169.

77. Gasteiger J., Zupan J. Neural Networks in Chemistry // Angew Chemical International-Edinburgh, UK. 1993. Vol. 105, №4. - P. 503-527.

78. Gill, P. E., W. Murray, and M. H. Wright Practical Optimization. New York: Academic Press, 1981.

79. Goh T.-H. Semantic Extraction Using Neural Network Modeling and Sensitivity Analysis / Proc. IJCNN Nagoya, Japan, 1993. - Vol.l. - P. 1031-1034.

80. Grossberg, S., Studies of the Mind and Brain. Drodrecht, Holland: Reidel Press, 1982.

81. Gurney, J. Neural Networks at the crossroads: caution ahead // Radiology, 1994. Vol. 193, №1. - P. 27-28.

82. Hagan, M. Т., and M. Menhaj Training feedforward networks with the Marquardt algorithm // IEEE Transactions on Neural Networks, 1994. -Vol. 5, №6.-P. 989-993.

83. Hagan, M. Т., H. B. Demuth, and M. H. Beale, Neural Network Design. -Boston, MA: PWS Publishing, 1996.

84. Halpern J.Y. An Analysis of First-Order Logic of Probability // Artificial Intelligence, 1990. Vol. 46. - P.311-350.

85. Hassibi В., Stork D.G., Wolff G. Second Order Derivatives for Network Pruning: Optimal Brain Surgeon // Advances in Neural Information Processing Systems, 1994. Vol. 6. - P. 263-270.

86. Hebb, D. O. The Organization of Behavior. New York: Wiley, 1949.

87. Himmelblau, D. M. Applied Nonlinear Programming. New York: McGraw-Hill, 1972.

88. Jolliffe, I. T. Principal Component Analysis. New York: Springer-Verlag, 1986.

89. Kohonen T. Analysis of a simple self-organizing process // Biological Cybernetics, 1982. Vol 44, №1 - pp.135-140.

90. Kohonen, Т. Self-Organization and Associative Memory, 2nd Edition. -Berlin: Springer-Verlag, 1987.

91. Langley P., Zytkow J.M. Data-Driven Approaches to Empirical Discovery // Artificial Intelligence, 1989. Vol.40, №1-3. - P.283-312.

92. Li, J., A. N. Michel, and W. Porod Analysis and synthesis of a class of neural networks: linear systems operating on a closed hypercube // IEEE Transactions on Circuits and Systems, 1989. Vol. 36, №11. - P. 14051422.

93. Lippman, R. P. An introduction to computing with neural nets II IEEE ASSPMagazine, 1987. P. 4-22.

94. Lippmann R. P. An Introduction to Computing with Neural Nets, // IEEE Acoustics, Speech, and Signal Processing Magazine, 1987. Vol.3.

95. MacKay D. J. C. Bayesian interpolation // Neural Computation, 1992. -Vol. 4, №3,-P. 415-447.

96. Malinowski A., Miller D.A., Zurada J.M. Reconciling Training and Weight Suppression: New Guidelines for Pruning-effect Training / Washington DC, USA: Proc. WCNN, 1995. Vol.1. - P. 724-728.

97. Masters T. Advanced Algorithms For Neural Networks. New York, USA: John Willey & Sons, 1995.

98. McCulloch, W. S., and W. H. Pitts, A logical calculus of ideas immanent in nervous activity // Bulletin of Mathematical biophysics, 1943.-Vol. 5,-P. 115-133.

99. Moller, M. F. A scaled conjugate gradient algorithm for fast supervised learning //Neural Networks, 1993. Vol. 6, P. 525-533.

100. N. Purdie, E.A. Lucas and M.B. Talley Direct measure of total cholesterol and its distribution among major serum lipoproteins // Clinical Chemistry, 1992. Vol. 38, №9. - P. 1645-1647.

101. Nguyen, D., and B. Widrow Improving the learning speed of 2-layer neural networks by choosing initial values of the adaptive weights / Proceedings of the International Joint Conference on Neural Networks, 1990.-Vol. 3.-P. 21-26.

102. Nguyen, D., and B. Widrow The truck backer-upper: An example of self-learning in neural networks / Proceedings of the International Joint Conference on Neural Networks, 1989. Vol. 2. - P. 357-363.

103. Powell, M. J. D. Restart procedures for the conjugate gradient method//Mathematical Programming, 1977. Vol. 12. - P. 241-254.

104. Riedmiller, M. and H. Braun A direct adaptive method for faster backpropagation learning: The RPROP algorithm / Proceedings of the IEEE International Conference on Neural Networks, 1993.

105. Rosenblatt F. Principles of Neurodynamics. Washington D.C.: Spartan Press, 1961.

106. Rumelhart D. E., G. E. Hinton and R. J. Williams Learning internal representations by error propagation. In D. E. Rumelhart and J. L. McClelland, eds. Parallel Data Processing, vol.1. Cambridge, MA: The M.I.T. Press, pp. 318-362, 1986.

107. Rumelhart, D. E., G. E. Hinton and R. J. Williams Learning representations by back-propagating errors // Nature, 1986. Vol. 323, P. 533-536, 1986.

108. Rumelhart, D. E., J. L. McClelland, and the PDF Research Group, eds., Parallel Distributed Processing, Vols. 1 and 2. Cambridge, MA: The M.I.T. Press, 1986.

109. Sarle W.S. How to measure importance of inputs? SAS Institute Inc., Cary, NC, USA, 1999. ftp://ftp.sas.com/pub/neural/importance.html

110. Scales L. E., Introduction to Non-Linear Optimization. New York: Springer-Verlag, 1985.

111. Vogl, T. P., J. K. Mangis, A. K. Rigler, W. T. Zink, and D. L. Alkon Accelerating the convergence of the backpropagation method // Biological Cybernetics, 1988. Vol. 59, P. 256-264.

112. Wasserman P. D., Advanced Methods in Neural Computing. New York: Van Nostrand Reinhold, 1993.

113. Widrow, В., and M. E. Hoff Adaptive switching circuits. New York: IRE WESCON Convention Record, 1960.

114. Widrow, В., and S. D. Sterns Adaptive Signal Processing. New York: Prentice-Hall, 1985.

115. Yoshiko H., Shunji U., Taiko K. Evaluation of artificial neural network classifiers in small sample size situations / Proceedings of the International Conference on Neural Networks, Nagoja. 1993. pp. 17311735

116. Hopfield J.J., Tank D.W. Neural computation of decision in optimization problems. // Biol. Cybernetics, 1985. Vol. 52. - pp. 141152

117. Hecht-Nielsen R. Neurocomputing: picking the human brain. // IEEE SPECTRUM 1988. Vol. 25. N3 - pp. 36-41.

118. S.I. Bartsev, V.A. Okhonin, Variation principle and algorithm of dual functioning: examples and applications / In proc. of International Workshop "Neurocomputers and attention П", Manchester Univ. Press, 1991.-P. 445-452.

119. Zurada J.M., Malinowski A., Cloete I. Sensitivity Analysis for Minimization of Input Data Dimension for Feedforward Neural Networks129

120. IEEE Int. Symposium on Circuits and Systems'94, London, England, 1994.