Структурирование и обучение нейронных сетей с применениями к задачам физической химии и медицины тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Филимонов, Андрей Викторович

• Филимонов, Андрей Викторович
• кандидат физико-математических наук
• 2004

Оглавление диссертации кандидат физико-математических наук Филимонов, Андрей Викторович

ВВЕДЕНИЕ.

ГЛАВА 1. НЕЙРОННЫЕ СЕТИ. ОСНОВНЫЕ ПОНЯТИЯ. ОСОБЕННОСТИ ПРИМЕНЕНИЯ НЕЙРОННЫХ СЕТЕЙ В МЕДИЦИНЕ.

Формальный нейрон.

Виды функций активации.

Ограничение модели нейрона.

Многослойный персептрон.

Выбор количества нейронов и слоев.

Подготовка входных и выходных данных.

Методы обучения.

Обучение однослойного персептрона.

Расписание обучения.1.

Персептронная представляемость.

Обучение многослойного персептрона.

Паралич сети.

Локальные минимумы.

Обучение без учителя.

Алгоритмы классификации.

Сеть Кохонена.

Обучение слоя Кохонена.

Метод выпуклой комбинации.

Сеть встречного распространения. Слой Гроссберга.

Обучение сети встречного распространения.

Применение нейронных сетей в медицине.

ГЛАВА 2. ДИНАМИЧЕСКАЯ ОПТИМИЗАЦИЯ СТРУКТУРЫ ПЕРСЕПТРОНОВ.

Постановка задачи.

Понижение размерности входного вектора.

Оптимизация структуры сетей.

Выводы.

ГЛАВА 3. ПРИМЕНЕНИЕ НЕЙРОННЫХ СЕТЕЙ ДЛЯ МОДЕЛИРОВАНИЯ ПРОЦЕССА СЖАТИЯ ТОНКИХ ОРГАНИЧЕСКИХ ПЛЕНОК НА ПОВЕРХНОСТИ РАЗДЕЛА ФАЗ ВОДА-ВОЗДУХ.

Выявление областей фазовых переходов.

Интерполяция данных.

Выводы.

Введение диссертации (часть автореферата) на тему «Структурирование и обучение нейронных сетей с применениями к задачам физической химии и медицины»

В силу того, что искусственные нейронные сети (ИНС) широко используются в ряде областей научных и прикладных исследований, проблема выбора оптимальной структуры сетей и алгоритмов их обучения является актуальной научной задачей. Несмотря на то, что существующие методики выбора конфигурации сетей, такие например, как генетические алгоритмы, дают хорошие результаты, их применение на практике осложняется значительными затратами времени на функционирование алгоритмов, что не всегда приемлемо с точки зрения конечного пользователя. Поэтому возникает естественный интерес к поиску более быстрых •алгоритмов оптимизации и обучения ИНС, «работающих» в какой-нибудь конкретной прикладной области, например, в медицине. Дело в том, что медицинские данные характеризуются большим числом входных показателей, пропущенных и аномальных данных при ограниченном объеме статистического материала. При работе с такими данными выбор оптимальной структуры сети особенно важен. Для экономии машинного времени при обучении нейронных сетей целесообразно также сжимать входные данные. Однако существующие методики, например метод главных компонент, по ряду причин неприменимы для обработки медицинских данных.

В этой связи поиск новых алгоритмов, проведенный в данной работе, применительно к задачам обучения и структурирования нейронных сетей, а также предобработки данных, является исключительно актуальным.

Цель работы

Целью работы является выбор типа и оптимизация структуры нейронных сетей, а также разработка новых алгоритмов их обучения, предобработки данных и создание соответствующего программного обеспечения для решения двух важных прикладных задач:

1. Создание медицинских экспертных систем (пульмонология и психология).

2. Построение математической модели процесса сжатия тонких пленок органических соединений на поверхности воды.

Научная новизна

• Предложен новый подход для создания самоконфигурируемой нейронной сети;

• На базе сравнительного исследования методов сжатия медицинских данных (а именно его и применяют в большинстве популярных нейропакетов) показано, что метод главных компонент нельзя применять для сжатия, вместо него предложен альтернативный метод сжатия данных с помощью рециркуляционных нейронных сетей;

• В физико-химической задаче создания тонких пленок предложен новый алгоритм для выявления фазовых переходов; построена и исследована математическая модель процесса сжатия тонких пленок органических соединений на поверхности воды.

Практическая ценность

Разработанные методы и программы успешно применяются в практике пульмонологического отделения 7-й Ивановской больницы и Многопрофильной клиники ИвГМА, а также в лаборатории молекулярной физики ИвГУ.

Полученные в работе результаты могут быть использованы:

1. При создании медицинских или иных экспертных систем на основе искусственных нейронных сетей в условиях малого объема статистического материала;

2. В молекулярной физике для изучения поведения пленок органических соединений на поверхности воды.

На защиту автор выносит следующие положения:

1. Разработан комплексный метод динамической оптимизации структуры нейронных сетей типа многослойных персептронов, позволяющий сократить размерность входных данных и оптимизировать структуру персептрона в ходе его обучения;

2. Разработка на этой базе экспертных систем, внедренных для реальной эксплуатации в медицинских учреждениях г. Иваново: (1) программа для дифференциальной диагностики пневмонии и прогнозирования ее исходов (7-ая городская больница г. Иваново), (2) программа для определения показателей интроверсии — экстраверсии на основе физиологических и антропометрических показателей (многопрофильная клиника ИвГМА г. Кохма);

3. Разработка алгоритмов и соответствующих программ для моделирования процесса сжатия тонких пленок в молекулярной физике на основе применения нейронных сетей;

4. Разработан новый способ выявления фазовых переходов в этом процессе.

Апробация

Наиболее значимые результаты, полученные в ходе работы над диссертацией, доложены на международных конференциях: ФРЭМЭ-2000 (Владимир) и 2-й Российской конференции молодых ученых России (Москва, 2001), в рамках международной летней школы ОИЯИ «Физические методы в медицинских исследованиях» (Ратмино - Дубна, 2001), а также на научном семинаре Лаборатории Информационных Технологий ОИЯИ.

Содержание работы

Первая глава носит, в основном, обзорный характер и освещает вопросы, связанные с определением нейронных сетей и особенностями их применения в медицинских задачах. Кратко перечислены основные алгоритмы обучения сетей.

Во второй главе описывается разработанный комплексный метод динамической оптимизации структуры нейронных сетей на примере создания двух экспертных систем для пульмонологии и психологии.

В третьей главе рассматривается возможность применения нейронных сетей для анализа состояния тонких пленок в определенном фазовом состоянии, а именно: интерполяция экспериментальных данных.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Филимонов, Андрей Викторович

ОБЩИЕ ВЫВОДЫ

1. Показано, что нельзя использовать метод главных компонент для сжатия данных при решении медицинских задач, поскольку нарушено принципиальное требование МГК о нормальности распределения входных признаков.

2. Предложена альтернатива методу главных компонент для сжатия данных, которая заключается в использовании трехслойного персептрона с количеством нейронов в скрытом слое значительно меньшем, чем во внешних слоях. Количество нейронов в скрытом слое подбирается путем использования метода динамического добавления нейронов.

3. Предложен метод динамической самоконфигурации нейронной сети в процессе ее обучения путем объединения метода динамического добавления нейронов и пранинга. В качестве обратной связи использовалась средняя квадратичная ошибка на обучающем множестве.

4. Разработаны алгоритмы и соответствующие программы для моделирования процесса сжатия тонких пленок в молекулярной физике на основе применения нейронных сетей.

5. Предложен принципиально новый способ выявления фазовых переходов в этом процессе.

ЗАКЛЮЧЕНИЕ

Автор выражает благодарность:

• своему научному руководителю доктору физико-математических наук, профессору Г.А. Ососкову;

• кандидату физико-математических наук Л.А. Вальковой;

• кандидату медицинских наук И.В. Кармановой;

• кандидату медицинских наук Е.В. Шелкоплясу.

Список литературы диссертационного исследования кандидат физико-математических наук Филимонов, Андрей Викторович, 2004 год

1. Almeida L.B. 1987. Neural computaters. Proceedings of NATO ARW on Neural Computers, Düsseldorf. Heidelberg: Springer-Verlag.

2. Bryliuk D., Starovoitov V. Application of recirculation neural network and principal component analysis for face recognition, http://metalwarrior.narod.ru

3. Burr D. J. 1987. Experiments with a connecnionlist text reader. In Proceedings of the IEEE First International Conferense on Neural Networks, eds. M. Caudill and C.Butler, vol. 4, pp. 717-24. San Diego, CA: SOS Printing.

4. DeSieno D. 1988. Adding a conscience to competitive learning Proceedings of the IEEE International Conference on Neural Networks, pp. 117-24. San Diego, CA: SOS Printing.

5. Hebb D. 0. 1961. Organization of behavior. New York: Science Edition.

6. Hecht-Nielsen R. 1987a. Counterpropagation networks. In Proceedings of the IEEE First International Conference on Newral Networks, eds. M. Caudill and C. Butler, vol. 2, pp. 19-32. San Diego, CA: SOS Printing.

7. Hecht-Nielsen R. 1987b. Counterpropagation networks. Applied Optics 26(23): 4979-84.

8. Hecht-Nielsen R. 1988. Applications of Counterpropagation networks. Newral Networks 1: 131-39.

9. Kamarthi S.V., Pittner S. Accelerating neural network training using weight extrapolations. Neural Networks 12(1999) 1285-1299.

10. KohonenT. 1984. Self-organization and associative memory. Series in Information Sciences, vol. 8. Berlin: Springer Verlag.1 l.Kohonen T. 1988. Self-organization and associative memory. 2d ed. New-York, Springer-Verlag.

11. Pittner S. 1996. Basics for conjugate gradient minimum search. Technical Report, Northeastern University, Boston, USA.

12. Grossberg S. 1969. Some networks that can learn, remember and reproduce any number of complicated space-time patterns. Journal of Mathematics and Mechanics, 19:53-91.

13. R. Hecht-Nielsen Neurocomputing, Addison-Wesley Publishing Co., 1989.

14. Rosenblatt F. 1962. Principles of neurodynamics. New York: Spartan Books. (Русский перевод: Розенблатт Ф. Принципы нейродинамики. М.: Мир., 1965.)

15. Т. Khanna Foundations of neural networks, Addison-Wesley Publishing Co., 1990.

16. Thimm G., Emile Fiesler E. Evaluating Pruning Methods. http://www.idiap.ch/nn-papers/pruning/

17. Valkova L., Borovkov N., Pisani M., Rustichelli F. Structure of Monolayers of Copper Tetra-(3-nitro-5-ter/-butyl)-Phthalocyanine at the Air-Water Interface. Langmuir, 2001.V. 17 (12). P.3639-3642.

18. Valkova L.A., Shabishev L.S., Feigin L.A., Akopova O.B. Formation and X-ray diffraction investigation of Langmuir-Blodgett films of liquid-cristalline substituted crown esters Mol.Materials, 1996. V.6. P.291-298

19. Wasserman P. D. 1988a. Combined backpropagation/Cauchy machine. Proceedings of the International Newral Network Society. New York: Pergamon Press.

20. Wasserman P. D. 1988b. Experiments in translating Chinese characters using backpropagation. Proceedings of the Thirty-Third IEEE Computer Society1.ternational Conference. Washington, D. C.: Computer Society Press of the IEEE.

21. WidrowB. 1959. Adaptive sampled-data systems, a statistical theory of adaptation. 1959 IRE WESCON Convention Record, part 4, pp. 88-91. New York: Institute of Radio Engineers.

22. WidrowB., HoffM. 1960. Adaptive switching circuits. I960 IRE WESCON Convention Record, pp. 96-104. New York: Institute of Radio Engineers.

23. Генетические алгоритмы, искусственные нейронные сети и проблемы виртуальной реальности / Г.К.Вороновский, К.В.Махотило, С.Н.Петрашев, С.А. Сергеев. Харьков: Основа, 1997. - 112с.

24. Годлевский В.А. Введение в анализ экспериментальных данных: Учеб. пособие. Ивановский государственный университет. Иваново. 1993. С.37-39

25. Дорогов А.Ю. Структурные модели и топологическое проектирование быстрых нейронных сетей // Доклады международной конференции "Информационные средства и технологии" 21-23 октября 1997г. г.Москва, т 1, с264-269.

26. Дорогов А.Ю., Алексеев А.А. Структурные модели быстрых нейронных сетей. В сб. «Интеллектуальные системы» /Труды И-го Международного симпозиума, под ред. К.А.Пупкова, т.2 М.: Из-во ПАИМС. 1996, с.138-143.

27. ЗО.Захаров В.Н., Ульянов С.В. Нечеткие модели интеллектуальных промышленных регуляторов и систем управления. Эволюция и принципы построения. Изв. РАН. Техн. Кибернетика. 1993. №4.

28. И.В.Эаенцев. Нейронные сети: основные модели, http://iissvit.narod.ru

29. Калугина Т.Ф., Киселев В.Ю. Математический анализ: Учебное пособие/ Ивановская гос. арх.-строит. академия. Иваново, 1997. С.376-391.

30. Кисель И.В., Нескоромный В.Н., Ососков Г.А. Применение нейронных сетей в экспериментальной физике, ЭЧАЯ, т.24, вып.6, 1993, с. 1551-1595.

31. Короткий С. Нейронные сети: алгоритм обратного распространения. http://www.orc.ru/~stasson/n2.zip

32. Короткий С. Нейронные сети: обучение без учителя. http://www.orc.ru/~stasson/n3.zip

33. Короткий С. Нейронные сети: основные положения. http://www.orc.ru/~stasson/nl .zip

34. Куссуль Э.М. Ассоциативные нейроподобные структуры. К.: Наукова думка, 1990.

35. Лоули Д., Максвелл А. Факторный анализ как статистический метод. М.:Мир, 1967.

36. Горбань А.Н. и др. Методы нейроинформатики. Электронная публикация

37. Положенцев С.Д., Назаренко Г.И., Лебедев М.Ф. //Военно-медицинский журнал. 1987. №2. С.29-32

38. Семянникова М.Н., Кустова Н.И., Ахмедьянова Л.Г., Минина В.М.//4-Й Национальный конгресс по болезням органов дыхания.С.-Петербург, 1992.С. 117

39. Стариков А. Введение в RBF сети, http://www.basegroup.ru/neural/rbf.htm

40. Стариков А. Генетические алгоритмы математический аппарат. http://www.basegroup.ru/genetic/math.htm

41. Стариков А. Метод сопряженных градиентов математический аппарат. http://www.basegroup.ru/neural/conjugate.htm

42. Суровцев И.С., Клюкин В.И., Пивоварова Р.П. Нейронные сети.- Воронеж: ВГУ, 1994. 225 с.

43. Терехов С.А. Нейросетевые информационные модели сложных инженерных систем. http://www.91.ru/Education/Books/Neural%20Net/Bmst/Bookl/gl4/gl4.htm

44. Трушинский З.К., Воробьев В.Н., Соловьев М.Н.//Советская медицина. 1978. №4. С.35-40

45. Уоссермен Ф. Нейрокомпьютерная техника: Теория и практика. М.:Мир, 1992

46. Филимонов A.B. Свидетельство об официальной регистрации программы для ЭВМ № 2002611897. Москва, 6 ноября 2002.

47. Филимонов A.B., Карманова И.В. Свидетельство об официальной регистрации программы для ЭВМ № 2000610901. Москва, 14 сентября 2000.

48. Филимонов A.B., Ососков Г.А., Шелкопляс Е.В. Математические подходы к системному описанию человека и прогнозированию его адаптации. Вестник Ивановской медицинской академии. Т.7, №3-4, 2002, стр.47-48.

49. Чернышова Т.А., Филимонов A.B. Анализ состояния слоев диамино-дибензо-18-краун-6 на поверхности воды. Молодая наука в классическом университете. Часть 1. Стр.93-94. Иваново, 21-25 апреля 2003.

50. Шахиди А. Алгоритм обучения RProp математический аппарат. http.V/www.basegroup.ru/neural^rop.htm