Методы контроля и идентификации информационных сигналов на основе синапс-нейронных структур тема диссертации и автореферата по ВАК РФ 05.11.13, кандидат технических наук Киреев, Павел Анатольевич

• Киреев, Павел Анатольевич
• кандидат технических наук
• 2003

Оглавление диссертации кандидат технических наук Киреев, Павел Анатольевич

Введение

Глава 1. Аналитический обзор. Современное состояние вопроса.

1.1. Основные положения.

1.1.1. Ввод сигнала и цифровая обработка

1.1.2. Предварительная обработка и выделение первичных признаков

1.1.3. Выделение примитивов речи

1.1.4. Распознавание сложных звуков, слов, фраз

1.2. Обработка сигнала нервной системой 12 1.2.1. Кодирование сигналов в нервной системе 14 1.2.3. Нейронные сети 17 1.2.3.1 Обучение нейронной сети с учителем 21 1.2.3.2. Обучение без учителя

1.3. Постановка задачи исследований

Глава 2. Анализ методов восприятия информационных сигналов биологическими системами

2.1. Акустоэлектрическое преобразование сигнала

2.1.1. Трансформация звукового давления

2.1.2. Преобразование перемещения барабанной перепонки в сжатие жидкости внутреннего уха

2.1.3. Механоэлектрическое преобразование сигнала 35 2.1.4 Разработка системы контроля параметров информационных сигналов

2.2. Исследование обработки сигналов нервной системой 43 2.2.1 Структура и функции синапсов

2.2.2. Механизмы возбуждения и торможения

2.2.3. Моделирование механизмов возбуждения и торможения синапсов

2.3 Синапс - нейронные структуры обработки информационных сигналов

Выводы

Глава 3. Разработка методов контроля информационных сигналов

3.1. Полосовые шаговые фильтры

3.2. Анализ информационных сигналов методом динамического сдвига

3.3 Экспериментальное исследование разрешающей способности системы контроля параметров информационных сигналов Выводы

Глава 4. Разработка синапс-нейронных структур контроля и идентификации информационных сигналов 4.1 Синапс-нейронные структуры контроля динамики изменения спектра информационных сигналов 4.2. Синапс - нейронная ячейка распознавания 4.3 Общая структура системы идентификации информационных сигналов Выводы Заключение Литература Приложение 1 Приложение 2 Приложение

Введение диссертации (часть автореферата) на тему «Методы контроля и идентификации информационных сигналов на основе синапс-нейронных структур»

Современные цифровые вычислительные машины намного превосходят человека по способности производить числовые и символьные вычисления, однако отличаются крайне низкой эффективностью в задачах, связанных с обработкой данных, представленных большим количеством нечеткой и неполной информации (например, распознавания образов), тогда как мозг живых существ, каждый элемент которого обладает сравнительно низким быстродействием, справляется с такими задачами за доли секунды.

В последние десятилетия в мире бурно развивается новая прикладная область математики, специализирующаяся на искусственных нейронных сетях (НС). Актуальность исследований в этом направлении подтверждается массой различных применений НС. Это автоматизация процессов распознавания образов, адаптивное управление, аппроксимация функционалов, прогнозирование, создание экспертных систем, организация ассоциативной памяти и многие другие приложения. С помощью НС можно, например, предсказывать показатели биржевого рынка, выполнять распознавание оптических или звуковых сигналов, создавать самообучающиеся системы, способные управлять автомашиной при парковке или синтезировать речь по тексту. В то время как на западе применение НС уже достаточно обширно, у нас это еще в некоторой степени экзотика -российские фирмы, использующие НС в практических целях, наперечет [1].

Исследование нейросетей обусловлено также потребностью в увеличении роста производительности вычислительных систем. Увеличение сложности и быстродействия современных последовательных процессоров скоро упрется в границы, обусловленные физическими законами (предел интеграции и тактовой частоты). Выход - использовать параллельные вычислительные системы, но при этом возникает другая проблема -сложность написания эффективных алгоритмов для параллельной обработки без излишнего дублирования действий. Нейросетевая обработка информации, одним из принципов которой является массовый параллелизм, позволяет решить эту проблему. Возможно, теория нейронных сетей позволит не только разрабатывать алгоритмы для таких узких систем, как нейроподобные сети, но и позволит перенести результаты на более широкий класс параллельных вычислительных систем при большом числе составляющих их элементов.

Исходя из проведённого анализа можно заключить, что во многих объектах инженерной техники, например, в технической и медицинской диагностики, сигналы, несущие информацию о состоянии диагностируемого объекта (информационные сигналы), имеют как правило, очень сложную форму, достаточно широкий спектр, не стационарны и т.п. Задачи обработки, оценки параметров и представления результатов обработки сложных информационных сигналов диагностирующих систему в реальном масштабе времени достаточно сложны. Для создания эффективных систем обработки сложных информационных сигналов в реальном масштабе времени необходимо:

1) разработать систему контроля параметров информационных сигналов и систему представления их результатов;

2) создать систему спектрального анализа информационных сигналов в реальном режиме времени на основе синапс-нейронных структур;

3) создать систему идентификации на основе получаемых параметров сигналов, осуществляющей параллельную обработку всей поступающей информации, для работы в реальном режиме времени.

Поэтому задачи обработки, оценки параметров и представления результатов обработки сложных информационных сигналов диагностирующих систему в реальном масштабе времени являются актуальной задачей.

Цель и задачи исследования. Целью диссертационной работы является создание системы контроля и идентификации информационных сигналов на основе их частотно-временного анализа.

Научная новизна заключается в следующем: на основе исследований механизмов работы синапсов, предложены новые логические модели синапс-нейронных взаимодействий; предложена методика преобразования сигнала многомерным шаговым фильтром, для получения частотных параметров сигнала; впервые предложена методология визуализации динамики изменения спектра сигнала; предложен метод контроля динамики изменения частот, входящих в состав сигнала; предложены новые синапс-нейронные структуры, осуществляющие контроль изменения частотных параметров сигнала.

Практическая ценность работы состоит в том, что созданы алгоритмы, расчетные формулы, программные средства, позволяющие осуществлять контроль и идентификацию информационных сигналов. Основываясь на данной методике были созданы синапс-нейронные структуры, осуществляющие качественный контроль амплитудно-частотных параметров информационных сигналов и их идентификацию.

Реализация научно-технических результатов. Основные результаты теоретических и экспериментальных исследований использованы для создания компьютерной системы контроля и идентификации звуковых сигналов, лежащих в диапазоне частот от 100 Гц до 6000 Гц, и идентификации электрокардиограмм в диапазоне от 1 Гц до 100 Гц, о чем имеется соответствующий акт испытания.

Материалы диссертационной работы используются в учебных курсах и научно-исследовательской практике Новомосковского института РХТУ.

Достоверность работы. Разработанные методики были подвергнуты экспериментальной проверке, которая подтвердила высокое качество контроля параметров информационных сигналов.

Автор выносит на защиту:

- синапс-нейронные модели обработки информационных сигналов;

- методику многомерной фильтрации сигнала;

- метод контроля динамики изменения амплитуд сложных колебаний;

- методология визуализации динамики изменения спектра сигналов;

- синапс-нейронные структуры, позволяющие осуществлять контроль информационных сигналов и идентификацию их источников;

Апробация работы. Основные результаты диссертационной работы доложены на международных конференциях: «Математические методы в технике и технологиях» (ММТТТ-13) (г. Санкт-Петербург, 2000), ММТТТ-2001 (г. Смоленск, 2001), а также на научных конференциях Российского химико-технологического университета (РХТУ) (г. Москва, 1999-2001) и Новомосковского института РХТУ (г. Новомосковск, 1999-2001).

Публикации. Тема диссертации представлена в 8 публикациях. Научным руководителем работы является: доктор технических наук, профессор Беляев Ю.И.

Выражаю особую благодарность за большое внимание к работе оказанное научным консультантом профессором, д.т.н Кораблёвым Игорем Васильевичем.

Заключение диссертации по теме «Приборы и методы контроля природной среды, веществ, материалов и изделий», Киреев, Павел Анатольевич

Ill Выводы

Разработана методика регистрации динамики изменения частотных параметров информационных сигналов во времени.

Разработана синапс-нейронная системы анализа и контроля параметров информационных сигналов.

Разработана обучаемая синапс-нейронная ячейка распознавания, способная изменять свою структуру для идентификации различных сигналов.

Разработана общая структура синапс-нейронной системы идентификации информационных сигналов.

112

Список литературы диссертационного исследования кандидат технических наук Киреев, Павел Анатольевич, 2003 год

1. Е. Монахова, "Нейрохирурги" с Ордынки, PC Week/RE, №9,1995.

2. Ф.Уоссермен, Нейрокомпьютерная техника, М.,Мир, 1992.

3. Итоги науки и техники: физические и математические модели нейронных сетей, том 1, М., изд. ВРШИТИ, 1990.

4. Artificial Neural Networks: Concepts and Theory, IEEE Computer Society Press, 1992.

5. Richard P. Lippmann, An Introduction to Computing withNeural Nets, IEEE Acoustics, Speech, and Signal ProcessingMagazine, April 1987.

6. Короткий, Нейронные сети: основные положения.

7. Sankar К. Pal, Sushmita Mitra, Multilayer Perceptron, Fuzzy Sets, and Classification //IEEE Transactions on Neural Networks, Vol.3, N5,1992, pp.683-696.

8. Ф.Уоссермен, Нейрокомпьютерная техника, М., Мир, 1992.

9. Bernard Widrow, Michael A. Lehr, 30 Years of Adaptive NeuralNetworks: Perceptron, Madaline, and Backpropagation //Artificial Neural Networks: Concepts and Theory, IEEE Computer Society Press, 1992, pp.327-354.

10. Paul J. Werbos, Backpropagation Through Time: What It Does and How to Do It //Artificial Neural Networks: Concepts and Theory, IEEE Computer Society Press, 1992, pp.309-319.

11. Gael de La Croix Vaubois, Catherine Moulinoux, Benolt Derot, The N Programming Language //Neurocomputing, NATO ASI series, vol.F68, pp.89-92.

12. H.A.Malki, A.Moghaddamjoo, Using the Karhunen-Loe've Transformation in the Back-Propagation Training Algorithm /ДЕЕЕ Transactions on Neural Networks, Vol.2, N1,1991, pp.162-165.

13. Harris Drucker, Yann Le Cun, Improving Generalization Performance Using Backpropagation //IEEE Transactions on Neural Networks, Vol.3, N5, 1992, pp.991-997.

14. Alain Petrowski, Gerard Dreyfus, Claude Girault, Performance Analysis of a Pipelined Backpropagation Parallel Algorithm //IEEE Transactions on Neural Networks, Vol.4, N6, 1993, pp.970-981.

15. Короткий, Нейронные сети: алгоритм обратного распространения.

16. Ф.Блум, А.Лейзерсон, Л.Хофстедтер, Мозг, разум и поведение, М., Мир, 1988.

17. Keun-Rong Hsieh and Wen-Tsuen Chen, A Neural Network Model which Combines Unsupervised and Supervised Learning, IEEE Trans, on Neural Networks, vol.4, No.2, march 1993.

18. C. Короткий, Нейронные сети: обучение без учителя.

19. Анил К. Джейн. Введение в искусственные нейронные сети. Журнал "Открытые системы", №4,1997 г.

20. Ф. Уоссермен. Нейрокомпьютерная техника: Теория и практика. Перевод на русский язык, Ю. А. Зуев, В. А. Точенов, 1992.

21. Проблемы построения и обучения нейронных сетей / под ред. А.И.Галушкина и В.А.Шахнова. - М. Изд-во Машиностроение. Библиотечка журнала Информационные технологии №1. 1999. 105 с.

22. А.И.Галушкин Некоторые исторические аспекты развития элементной базы вычислительных систем с массовым параллелизмом (80- и 90- годы) // Нейрокомпьютер, №1.2000. - 68-82

23. И.Аряшев, Г.Бобков, Е.А.Сидоров Параллельный перепрограммируемый вычислитель для систем обработки информационных сигналов // "Нейроинформатика -99". - Москав, МИФИ. Часть 2.

24. Э.Ю. Кирсанов Цифровые нейрокомпьютеры: Архитектура и схемотехника / Под ред. А.И.Галушкина. - Казань: Казанский Гос. У-т. 1995.131с.

25. А.И. Власов. Аппаратная реализация нейровычислительных управляющих систем //Приборы и системы управления - 1999, №2, 61-65.

26. Борисов В.Л., Капитанов В.Д, Методика быстрого создания нейроускорителей // Нейрокопьютеры: разработка и приенение, №1, 2000 год.-С. 12-24.

27. Роберт Хехт-Нильсен Нейрокомпьютинг: история, состояние, перспективы // Открытые системы. N4. 1998.

28. А.И. Власов Нейросетевая реализация микропроцессорных систем активной акусто- и виброзащиты// Нейрокомпьютеры: разработка и ч> применение, № 1,2000. 40-44.

29. Цыганков В.Д, Нейрокомпьютер и его применение. М.: Сол Систем. 1993.

30. Галушкин А.И. О современных направлениях развития нейрокомпьютеров//Информационные технологии.- 1997.№5.С.2-5.

31. Шахнов В.А., Власов А.И. Применение нейрокомпьютеров в технологии приборостроения//Наука-Производству. 1998. №6. СЗО-33

32. Власов А.И. Особенности построения систем автоматизированного синтеза и моделирования средств защиты от влияния волновых полей //Информационные технологии. 1997. №9. 31-37

33. Hecht-Nielsen R. Neurocomputing. Addison-Wesley, 1989

34. Hecht-Nielsen R. Replicator neural networks for universal optimal source coding. Science, v. 269, pp. 1860-1863,1995

35. Hecht-Nielsen R. The nature of real-world data. Workshop on Self- Organizing maps. Helsinki, June 1997.

36. Ф. Розенблатт Принципы нейродинамики. Перцептроны и теория механизмов мозга. //Москва, Мир, 1965

37. Parallel Distributed Processing: Explorations in the microstructure of cognition. Rumelhart D.E., McClelland J.L. (eds.), v.I, II, MIT Press, 1986

38. A. Горбань , Д. Россиев Нейронные сети на персональном компьютере. //Новосибирск, Наука, 1996. 49. 7. Hecht-Nielsen R. Kolmogorov's mapping neural network existence theorem. Int. Conf NN, IEEE Press, v. Ill, pp.11-13, 1987

39. Cottrell G.W., Munro P., Zipser D. Image compression by back propagation: An example of extensional programming. Proc. 9th Annual Confer, Cognitive Soc, pp. 461-473, 1987.

40. Ф. Уоссермен «Нейрокомпьютерная техника: Теория и практика». /Перевод на русский язык Ю. А. Зуев, В. А. Точенов, М., Мир, 1992. (имеется электронный вариант /Doc/Нейрокомпьютерная техника)

41. Винцюк Т.К. «Анализ, распознавание и интерпретация речевых сигналов.» /Киев: Наук, думка, 1987. -262 с.

42. Г. Нуссбаумер «Быстрое преобразование Фурье и алгоритмы вычисления свертою> / Перевод с англ. - М.: Радио и связь, 1985. —248 с. 43. Л.В.Бондарко «Звуковой строй современного русского языка» /М.: Просвещение, 1997. -175 с.

44. Э.М.Куссуль «Ассоциативные нейроподобные структуры» /Киев, Наукова думка, 1990 (имеется электронный вариант /Doc/Ассоциативные нейроподобные структуры/)

45. Н.М. Амосов и др. «Нейрокомпьютеры и интеллектуальные роботы» /Киев: Наукова думка, 1991

46. А.Н.Горбань, В.Л.Дунин-Барковский, А.Н.Кирдин и др. «Нейроинформатика» / Новосибирск: Наука. Сибирское предприятие РАН, 1998. - 296с. (имеется электронный вариант /Doc/Нейроинформатика)

47. Киедзи Асаи, Дзюндзо Ватада, Сокуке Иван и др. Прикладные нечеткие системы. Под редакцией Т.Тэрано, К. Асаи, М. Сугено. Издательсгво 'Мир' Москва 1993 г.

48. Л. Рабинер, Б. Гоулд. Теория и применение цифровой обработки сигналов. Издательство 'Мир' Москва 1978г.

49. Глебов Р.Н., Крыжановский Г.Н. Функциональная биохимия синапсов. М: Медицина, 1978г, 325 с.

50. Маркел Дж., Грей А. X. Линейное предсказание речи / Пер. с англ. М.: Связь, 1980. 65. .Марпл-мл. Л. Цифровой спек- тральный анализ и его прило- жение / Пер. с англ. М.: Мир, 1990.

51. Бейтс P., Макдонелл М. Восстановление и реконструкция изображений: Пер. с англ. - М.: Мир, 1989. - 336 с.

52. Плотников В.Н., Белинский А.В., Суханов В.А., Жигулевцев Ю.Н. Цифровые анализаторы спектра. - М.: Радио и связь, 1990.

53. Дворянкин В, Компьютерные технологии защиты речевых сообщений в каналах электросвязи /Под ред. А.В. Петракова. — М.:РИО МТУ СИ, 1999.-52 с.

54. Дворянкин СВ., Минаев В.А. Технология речевой подписи, «Открытые системы». 1997, № 5. с. 68-71.

55. Л.Д.Розенберг. Звуковые фокусирующие системы, М., 1949.

56. Eric Brill Unsupervised learning of disambiguation rules for part of speech tagging, - Proceedings of ACL-95,1995.

57. From Language Engeneering to Human Language Technologies (European Commisson report) - MIKADO SA, Luxemburg, 1998.

58. W. N. Francis H. Kucera Manual of Information to accompany A Standard Софиз of Present-Day Edited American English, for use with Digital Computers.- Brown University Providence, Rhode Island Department of 1.inguistics Brown University, 1979.

59. Linda Van Guilder Automated Part of Speech Tagging: A Brief Overview (Handout for LING361, Fall 1995 Georgetown University) - Georgetown University, 1995.

60. Julian Kupiec, Jan Pedersen, Francine Chen A Trainable Document Summarizer - Xerox Palo Alto Research Centre, Palo Alto, С A, 1995.

61. Lucien Tesniere Elements de syntaxe structurale. - Editions Klincksieck, 1959, Paris.

62. Daniel D.K.Sleator, David Temperly Parsing English with a Link Grammar - School of Computer Studies, Carnegie-Melon University, Pittsburg, PA, 1991.

63. Pasi Tapanainen, Timo Jarvinen A non-projective dependency parser - Proceedings of Fifth Conference on Applied Natural Language Processing, Washington, D.C., 1997

64. Pasi Tapanainen, Atro Voutilainen Tagging accurately - Don't'guess if you know. - Computational and Language E-print Archive, 1994

65. Martin Volk, Ceroid Schneider Comparing a statistical and a rule-based tagger for German - Proceedings of KONVENS-98, Bonn, 1998.

66. Ellen M.Voorhes, Donna Harman. Overview of Sixth Text Retrieval Conference (TREC-6). - National Institute of Standards and Technology Gaithersburg, MD 20899, 1998

67. Рамишвили Г. Автоматическое опознавание говорящего по голосу. М.: Радио и связь, 19 81. 85. .Блум Ф. Лейзерсон А., Хофстедтер Л. Мозг, разум и поведение. М.: Мир, 1988.

68. Рабинер Л., Шафер Р. Цифровая обработка речевых сигналов. М.: Радио и связь, 1981.

69. Маркел Дж., Грей А. X. Линейное предсказание речи / Пер. с англ. М.: Связь, 1980.

70. Марпл-мл. Л. Цифровой спектральный анализ и его приложение / Пер. с англ. М.: Мир, 1990.

71. Идентификация человека по магнитной записи его речи (Методическое пособие для экспертов, следователей и судей). М.: РФЦСЭ при МЮ РФ, 1995.-130 с. чк

72. Кочетков А.Т., Серов В.Н., Поставнин В.И., Ванин СИ., Голощапова Т.И. Криминалистическое исследование видеосигнала по выявлению идентификационных признаков видеоаппаратуры и видеоносителей. М: ЭКЦ МВД РФ, 1998. - 40 с.

73. Ложкевич А.А,, Снетков В.А., Чиванов В.А., Шаршунский В.Л. Основы экспертного криминалистического исследования магнитных фонограмм. М.: ВНИИ МВД СССР, 1977. - 172 с.

74. Рамишвили Г.С., Чикоидзе Г.Б. Криминалистическое исследование фонограмм речи и идентификация личности говорящего. Тбилиси: "Мецниереба", 1991. - 265 с.

75. Зимняя И.А. К методу исследования взаимосвязи языковых и индивидуальных характеристик в спектральном представлении гласного звука (Методы экспериментального анализа речи). - Минск.- 1968.- 70 с.

76. Грановский Г.Л. и др. Использование ЭВМ в целях идентификации магнитофонов. Методическое письмо.- М: ВНИИ СЭ, 1990. - 26 с.

77. Dan Tran, Michael Wagner and Tongtao Zheng. A Fuzzy approach to Statistical Models in Speech and Speaker Recognition. 1999 IEEE International Fuzzy SystemsConferenceProceedings, Korea, 1275-1280.

78. R.Lippmann, B.Gold "Neural classifiers useful for speech recognition" in. Proc. IEEE First Int. Conf. Neural Net., 1987. Vol. IV, pp. 417-422.

79. B.Gold, KMorgan,"Speech And Audio Signal Processing" 2000.

80. Herve Bourlard, Nelson Morgan. Hybrid HMM/ANN Systems for Speech Recognition: Overview and New Research Directions.

81. C.DEMARS. Two-dimensional representation of speech signal. Time- frequency representation and parametrisations. Elements of monography 1999.

82. Speaker Identification Using Neural Networks and Wavelets. 2000 IEEE Engineering in Medicine and Biology.

83. C.Chan,Y.Wong,Tan.Lee,P.Ching "Two-demensional, multi-resolution analysis of speech signals and its application to speech recognifion" ** Department of Electronic Engineering. The Chinese University of Hong Kong. 1998

84. Andrey Krylov and Danil Kortchagine "Projection filtering in image processing", Graphicon'2000 Conference proceedings, Moscow (2000)

85. Andrey Krylov and Anton Liakishev. "Numerical Projection Method For Inverse Fourier Transform and its Application". Numerical Functional Analysis and optimization, vol. 21 (2000)

86. Lawrence R. Rabiner, Bernard Gold. "Theory and Application of Digital Signal Processing". Prentice-Hall, Inc Englewood Cliffs, New Jersey (1975).

87. Jean-Bernard Martens. "The Hermite Transform - Applications". IEEE Transactions on Acoustics, Speech and Signal Processing, vol. 38 (1990)

88. Jean-Bernard Martens. "The Hermite Transform - Theory". IEEE Transactions on Acoustics, Speech and Signal Processing, vol. 38 (1990)

89. Dunham Jeckson, "Fourier Series and Orthogonal Polynomials". Cams Mathematical Monographs, No. 6, Chicago, 1941.

90. Методы автоматического распознаванР1я речи: В двух книгах. Пер. с англ./ Под ред. У. Ли. М.: Мир, 1983. Кн. 1. 328 с.

91. Федяев О.И., Гладунов А., Прокофьев А.В. Прогнозирование временных рядов на основе нейросетевых нечётких моделей // науч. тр. Донецкого гос. тех. университета. Проблемы моделирования и автоматизации проектирования динамических систем. 1999

92. Гальперин СИ. Физиология человека и животных. М., Высшая школа, 1977.

93. Беркинблит М.Б. Нейронные сети. М., МИРОС, 1993.

94. Фомин Н.А. Физиология человека. М., "Просвещение", 1995. 114.. Каппелини В., Константинидис Дж., Эмилиани П. Цифровые фильтры и их применение. М.: Энергоатомиздат, 1983.

95. Хемминг Р.В. Цифровые фильтры. М.: Недра, 1987.

96. Рабинер Л.Р., Гоулд В. Теория и применение цифровой обработки сигналов. М.: Мир, 1978.

97. Отнес Р., Эноксон Л. Прикладной анализ временных рядов. Основные методы. М.: Мир, 1982.

98. Яншин В.В., Калинин Г.А. Обработка изображений на языке С для IBM PC: Алгоритмы и программы. М.: Мир, 1994.

101. I. I —Г" 0,01 0.02 —r 0,03 0,04 0,05 С Гц 6000 - | 3000-1600-