Применение нейросетевых методов для обработки сигналов в каналах с помехами тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Кузнецов, Александр Владимирович

• Кузнецов, Александр Владимирович
• кандидат технических наук
• 2000

Оглавление диссертации кандидат технических наук Кузнецов, Александр Владимирович

СПИСОК СОКРАЩЕНИЙ И ОБОЗНАЧЕНИЙ.

Введение.

Глава 1. Анализ методов построения систем распознавания и существующих методов обработки сигналов.

1.1. Анализ технических проблем обработки сигналов в системах передачи информации.

1.2. Виды априорной неопределенности при обработке сигналов систем передачи информации.

1.3. Общая постановка задачи обработки сигналов как задачи распознавания образов.

1.4. Концепции и методология построения устройств автоматического приема и обработки сигналов.

1.5. Анализ состояния теории и практики распознавания типов модуляций сигналов.

1.5.1. Корреляционные методы.

1.5.2. Спектральные методы.

1.5.3. Параметрические методы.

1.6. Выводы.

Глава 2. Место и роль нейросетевых технологий в задачах технического анализа сигналов систем передачи информации.

2.1. Классификация нейроподобных элементов и нейронных сетей.

2.1.1. Классификация нейронных сетей по виду входящих в их состав нейронов.

2.1.2. Классификация нейронных сетей по архитектуре.

2.1.3. Классификация нейронных сетей по типам обучения.6В

2.2. Сравнительный анализ основных моделей нейронных сетей.

2.3. Сравнение нейросетевых классификаторов со статистическими классификаторами

2.4. Ожидаемый выигрыш при реализации основных алгоритмов технического анализа сигналов на основе нейронных сетей.

2.5. Выводы.

Глава 3. Принципы применения и синтез нейронной сети для решения задач додетекторной обработки сигналов спи.

3.1. Системный подход как средство разработки и описания моделей нейронных сетей и нейросетевых алгоритмов.

3.1.1 Нейросетевой алгоритм, формальная постановка задачи.

3.1.2. Методика решения задачи на нейросетевом вычислителе.

3.1.3, Системный подход как методология описания нейросети при решении задачи.

3.2. Формализация задачи обработки сигналов СПИ в нейросетевом базисе. Адекватность нейросетевого подхода решаемой задаче.

3.3. Синтез нейросетевого классификатора сигналов СПИ.

3.3.1. Разработка нейросетевого алгоритма классификации сигналов в условиях априорной неопределенности.

3.3.2. Принцип работы и свойства нейросетевого классификатора со случайными порогами.

3.3.3. Алгоритм выделения признаков обрабатываемого сигнала и уменьшения размерности входного вектора.

3.4. Синтез иерархической нейронной сети классификации сигналов СПИ по типам модуляции.,.

3.5. Выводы.

Глава 4. Экспериментальные исследования. Оценка эффективности предложенных алгоритмов классификации сигналов систем передачи информации.

4.1. Сравнение классификатора на основе нейронной сети со случайными порогами с другими классификаторами.

4.2. Моделирование основных типов сигналов систем передари информации.

4.2.1. Синтез программной реализации имитатора сигналов СПИ.

4.3. Результаты экспериментальных исследований программной эмуляции нейросетевого классификатора сигналов СПИ и их оценка.

4.4. Оценивание эффективности процесса идентификации сигналов систем передачи информации на основе нейронной сети со случайными порогами.

4.4.1. Показатели качества операции.

4.4.2. Показатели качества процесса идентификации сигналов систем передачи информации по типам модуляций.

4.4.3. Выбор критерия оценки качества нейросетевых классификаторов

4.4.4. Оценка емкостной и временной сложности нейросетевых классификаторов.

4.5. Возможные области применения нейросетевых классификаторов.

4.6. Выводы.

Введение диссертации (часть автореферата) на тему «Применение нейросетевых методов для обработки сигналов в каналах с помехами»

Переход к компьютерам нового поколения, созданным на основе нейросея тевых технологий, будет связан, по-видимому, с серией радикальных революционных изменений, которые позволят говорить о компьютерах совершенно новых поколений. Уже сейчас по объему выполняемых логических операций на один кубический грамм вещества компьютеры обычной фон-неймановской архитектуры способны конкурировать с человеческим мозгом. Использование нейронных сетей, нанотехнологий и других инноваций позволит создать миниатюрные технические устройства, превосходящие в сотни раз существующие сегодня по объему памяти, в миллиарды раз по скорости выполнения вычислений, с невероятным разнообразием функциональных возможностей и операций, с минимальным потреблением энергии и высокой надежностью, гарантирующей гигантскую продолжительность безотказной и бесперебойной работы.

Актуальность темы. Развитие интегрированных телекоммуникационных систем, переход к более высокоскоростным информационным потокам, новым методам модуляции и кодирования выдвинули целый ряд задач, успешное решение которых требует новых, нетрадиционных методов обработки информации, которые бы учитывали свойства, законы и динамику телекоммуникационных сигналов, интеллектуализацию самих технических устройств, их высокую степень адаптации к реальной помеховой обстановке на канале связи. В частности, возникает необходимость в разработке простых, эффективных и достаточно надежных методов обработки сигналов в каналах с помехами. Важная роль при решении этих задач отводится автоматизированным средствам и комплексам приема и обработки сигналов.

В работах А. А. Харкевича [109], В. И. Тихонова [93-97], Б. Р. Левина [6264], Я. А. Фомина [105, 105], Ю. И. Журавлева [37, 38] и др. рассмотрены классические статистические методы обработки сигналов в каналах с помехами. Определены границы работы этих методов в зависимости от помеховой обстановки. Разработаны и определены подходы к выделению полезных, информативных сигналов на фоне помех применительно к эксплуатации систем связи.

Отличительная особенность подавляющего большинства работ в актуальной области проблем классификации сигналов заключается в том, что недостаток априорных сведений о статистических характеристиках классов распознаваемых сигналов является одной го основных причин, затрудняющих решение многих практических задач распознавания и не позволяющих достичь необходимого и достаточного минимума ошибок, который определяется перечнем классов.

Отличаясь стройностью и законченностью теоретических результатов, статистические методы обладают рядом неудобств практического характера, в частности они требуют обработки большого объема выборок реализаций при эмпирическом определении законов распределения признаков классифицируемых процессов. Зачастую полученные теоретические результаты практически нереа-лизуемы.

Господствующий аппарат теории статистической обработки сигналов не исчерпывает потребностей задач распознавания, так как для последних необходимо привлечение более подробной информации, которая не может быть задана априорно во многих практических случаях. Именно это условие диктует необходимость привлечения нейросетевых методов обработки сигналов, что является специфическим для распознавания в отличие от классической теории обнаружения.

Отличительными свойствами нейросетевых классификаторов являются, во-первых, высокая скорость обработки [56, 101], связанная с массированным параллелизмом вычислений, производимых большим количеством относительно простых, но сильно связанных между собой процессорных элементов или нейронов. Во-вторых, распределенность знаний о решаемой задаче между всеми нейронами сети, что обеспечивает высокую степень надежности устройства и его устойчивость к повреждениям [2, 73, 102]. В-третьих, классификаторы на нейронных сетях являются непараметрическими и требования к полноте статистических характеристик распределений, лежащих в основе классифицируемых множеств менее критичны, в отличие от традиционных статистических классификагоров [7, 13, 72]. Следовательно, нейросетевые классификаторы являются более устойчивыми, в тех случаях, когда распределения порождены нелинейными процессами и являются негауссовыми; либо соответствуют обработке сигналов в условиях априорной неопределенности [49, 54, 149]. В-четвертых, нелинейность нейросетевых классификаторов заложена в форме функции активации каждого нейрона. Выбор функция активации нейроэлементов базируется на результатах исследований полученных А. Н. Колмогоровым [50-52] - любая непрерывная функция вещественных переменных может быть представлена линейной функцией многих переменных и непрерывно возрастающей нелинейной функцией одного переменного. Отсюда следует полнота нейросетевого базиса в классе непрерывных функций и универсальность иейроклассификатора, способного построить любую сколь угодно сложную разделяющую поверхность.

Вычисления в нейронных сетях существенно отличаются от традиционных, в силу высокой распараллелености их можно рассматривать как коллективное явление. В нейронной сети нет локальных областей, в которых запоминается конкретная информация. Вся информация запоминается во всей сети. Сущность этого подхода заключается в том, что в качестве меры принадлежности сигнала к некоторому классу используется значение функционала от этого сигнала. Основная идея указанного подхода состоит в компактности сигналов каждого класса путем соответствующего выбора вида нелинейного преобразования, Такое контрастирование исходной информации облегчает установление соответствия величины номеру класса, к которому принадлежит анализируемый сигнал.

В последнее время для задач классификации, распознавания, обнаружения, сжатия информации и её декомпрессии появились новые подходы, основанные на теории нейронных сетей. В работах Р. Розенблагга (R. Rosenblatt) [88], С. Гроссберга (S. Grossberg) [124, 125], П. Липпмана (P. Lippmann) [149], Дж. Хопфилда (J. Hopfield) [133-136], Р. Хехг-Нильсона (R. Hecht-Nielsen) [130, 131] и др. сформированы основные преимущества нейросетевых методов обработки сигналов над применяемыми ранее статистиками. и

В настоящее время формируется математический базис применения нейронных сетей - нейроматематика, в основе которой лежат фундаментальные наработки в области пороговой логики (М. Детроузос [31], С.В. Яблонский [111], А.И. Галушкин [17-19] и др.), £-значной пороговой логики (В.Г. Никонов [75, 76], Н.Н. Айзенберг [2] и др.), нечеткой логики (Л. Заде [39], L. Chua [257] и др.).

В работах [49, 54, 71-73, 112, 116] продемонстрирована эффективность использования искусственных нейронных сетей в задачах распознавания сигналов акустических, речевых, радарных, медицинских электрограмм, сейсмических и др. Предложен ряд направлений применения искусственных нейронных сетей для решения задач электросвязи [123,138-140], таких как маршрутизация, адаптивная коррекция характеристик каналов связи, оптимизация трафика загрузки каналов, кодирования, сжатия и декомпрессии информации, адаптация и др.

Таким образом, разработка эффективных алгоритмов и нейросетевых парадигм автоматизированной обработки сигналов на основе достижений теории искусственных нейросетей является актуальной проблемой.

Цель исследований. Цель диссертационного исследования состоит в разработке аппаратно-программных нейросетевых устройств автоматизированной обработки телекоммуникационных сигналов на основе анализа статистических методов и существующих парадигм искусственных нейронных сетей.

Для достижения цели исследований поставлены и решены следующие задачи:

- анализ состояния основных проблем, возникающих при использовании традиционных стшистиш-вероятностных методов распознавания применительно к задачам обработки сигналов;

- анализ характеристик сигналов применяемых в современных системах передачи информации (СПИ);

- анализ априорной неопределенности при обработке сигналов аналоговых и цифровых систем передачи информации;

- сравнительная характеристика нейронных сетей, обоснование их места и роли при решении задач обработки сигналов. Классификация нейропроцессорных элементов и искусственных нейронных сетей;

- формализация задачи обработки телекоммуникационных сигналов в ней-росетевом базисе;

- разработка модели процесса идентификации сигналов по типам модуляции на основе нейронной сета;

- синтез нейронной сети для идентификации сигналов по типам модуляции;

- синтез аппаратно-программного эмулятора телекоммуникационных сигналов;

- моделирование и экспериментальная апробация нейросетевого алгоритма классификации сигналов в условиях априорной неопределенности;

- разработка принципов применения нейронных сетей для решения задач додетекторной обработки сигналов при построении систем автомагического приема и обработки сигналов (АПОС);

- разработка рекомендаций по практическому применению нейронных сетей при техническом анализе (ТА) сигналов СПИ.

Методы исследования. Для решения поставленных задач использовались современные понятия дискретной математики, системного анализа, функционального анализа, пороговой логики, теории статистической обработки сигналов, теории распознавания образов, теории алгоритмов, теории автоматов, теории булевых и £-значных функций, теории искусственных нейронных сетей. Применялись численные методы, методы математического моделирования, дискретной оптимизации и стандартного целочисленного программирования, что позволило получить ряд новых и улучшить некоторые из уже известных результатов. Положения диссертации получили экспериментальное подтверждение с помощью средств вычислительной техники.

Научная новизна. Научная новизна полученных результатов заключается в теоретической и экспериментальной разработке методологии использования нейросетевых методов для обработки сигналов в каналах с помехами. Предложена методика отображения выбранных классов задач обработки сигналов в нейросетевой базис. Построен метод идентификации сигналов с помощью классификатора на основе нейронной сети со случайными порогами. Произведена формализация задач технического анализа сигналов в нейросетевом базисе. Предложена методика применения нейросетевого классификатора на основе нейронной сети со случайными порогами для разделения сигналов на фоне помех. Разработана методика синтеза и принципы применения нейронных сетей для идентификации сигналов по типам модуляций. Предложена и обоснована методика оценки эффективности использования нейросетевых методов обработки сигналов на фоне помех.

Основные положения, выносимые на защиту: методика синтеза сигналов с различными практически значимыми типами модуляций и видами работ;

- методика формализации задачи классификации телекоммуникационных сигналов в нейросетевом базисе;

- методика выбора типа нейронной сети для рассматриваемого класса задач;

- модель процесса идентификации телекоммуникационных сигналов на основе нейронной сети;

- модель нейронной сети для идентификации сигналов СПИ по типам модуляций;

- методика решения задач обработки сигналов с помощью нейронных сетей и рекомендации по их практическому применению;

- методика оценки эффективности использования нейросетевых методов для обработки сигналов.

Научная новизна результатов состоит в следующем:

- определена методика синтеза сигналов с различными практически значимыми типами модуляций;

- разработана методика формализации задами в нейросетевом базисе и методика выбора типа нейронной сети для рассматриваемого класса задач;

- разработан и экспериментально апробирован нейросетевой алгоритм и метод классификации априорно неизвестных сигналов на основе нейронной сети.

Разработана оценка эффективности реализации предложенных нейросете-вых алгоритмов.

Достоверность научных положений, выводов и рекомендаций диссертационной работы обусловлена строго физико-математической постановкой, корректным применением математических методов, подтверждена результатами имитационного моделирования с использованием вычислительной техники и современных программных продуктов Borland С++ Builder 4. О, CoolEdit, MatLab 5.2 и др.«, сравнением результатов моделирования с известными расчетными и экспериментальными данными.

Практическая значимость работы. Разработанные в диссертации методы и алгоритмы могут быть использованы в различных практических задачах, связанных с распознаванием. Основной практический результат достигнутый в ходе анализа существующих нейросетевых алгоритмов обучения и работы искусственных нейронных сетей состоит в модификации нейронной сети со случайными порогами. Разработан нейросетевой алгоритм классификации телекоммуникационных сигналов в условиях априорной неопределенности. Создана иерархическая нейронная сеть классификации сигналов СПИ по типам модуляции. Предложенный непараметрический метод сокращения размерности оцифрованных входных сигналов электросвязи, кроме задач распознавания, применим для сигналов другого происхождения, что позволяет, в свою очередь, классифицировать последние по признакам в соответствии с решаемыми задачами. Алгоритмы распознавания, полученные с использованием нейронных сетей, не связаны с ограничениями типа стационарности моделей, поэтому могут непосредственно применяться для исследования объектов с меняющимися в процессе наблюдения характеристиками.

Реализация и внедрение результ ат о в. Результаты научных исследований использованы в НИР ГНЦ «НПО Астрофизика», НИР проводимых в Институте криптографии, связи и информатики, а также при чтении курса лекций по кафедре "Системы и сети связи" выше названного института. Внедрение результатов подтверждено соответствующими актами.

Апробация работы. Основные результаты работы прошли апробацию на: международной конференции "Информатизация правоохранительных систем - 97" (г. Москва, 3 — 8 июня 1997 г.); второй межведомственной конференции "Научно-техническое и информационное обеспечение деятельности спецслужб" (г. Москва, 4-6 февраля 1998 г. ); первой международной конференции "Цифровая обработка сигналов и её применения " - 08РА'98 (г. Москва, 1998 г. ); XXVI международной конференции "Информационные технологии в науке, образовании, телекоммуникации и бизнесе" - П +8Е'99 (20 - 30 мая 1999 г. Гурзуф-Ялта); VII Всероссийском семинаре "Нейроинформатика и ее приложения" (г. Красноярск, 1999 г. ).

Публикации. По теме диссертации опубликовано 12 печатных работ, в том числе: 3 статьи, 9 тезисов докладов.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, приложений. Диссертация содержит 187 страниц, 22 таблицы, 93 иллюстрации. Список использованных источников включает 168 наименований.

Заключение диссертации по теме «Теоретические основы информатики», Кузнецов, Александр Владимирович

Основные результаты работы прошли апробацию на: международной конференции "Информатизация правоохранительных систем - 97" (г. Москва, 3 -8 июня 1997 г.); второй межведомственной конференции "Научно-техническое и информационное обеспечение деятельности спецслужб" (г. Москва, 4-6 февраля 1998 г. ); первой международной конференции "Цифровая обработка сигналов и её применения" -DSPA'98 (г. Москва, 1998 г.); XXVI международной конференции "Информационные технологии в науке, образовании, телекоммуникации и бизнесе" ~ IT+SE'99 (20 - 30 мая 1999 г. Гурзуф-Ялта); VII Всероссийском семинаре "Нейроинформатика и ее приложения" (г. Красноярск, 1999 г.).

По теме диссертации опубликовано 12 печатных работ, в том числе: 3 статьи, 9 тезисов докладов.

Необходимо отметить, что благодаря открытости архитектуры иерархической нейронной сети, возможно наращивание ее вычислительной мощности пу

177 тем добавления новых фрагментов. Такой подход дает возможность рассматривать нейронную сеть как часть более масштабной системы, объединяющей все нейросетевые архитектуры в единую систему технического анализа сигналов, построение которой является перспективным направлением дальнейших исследований.

Автор выражает искреннюю благодарность научной школе под руководством доктора технических наук профессора В. Г. Никонова и его самого лично, как своего руководителя за помощь, конструктивную критику и ценные советы при написании диссертации. Также автор благодарит коллектив кафедры "Системы и сети связи", В.Р. Григорьева, А.Д. Гумменюка, В.И. Журавлева и С.И. Цветкова за сотрудничество, поддержку, дискуссии и обсуждения.

ЗАКЛЮЧЕНИЕ

Диссертационная работа посвящена исследованию возможности использования аппарата теории искусственных нейронных сетей применительно к задачам обработки сигналов в каналах с помехами. Вопросам синтеза нейронных сетей для технического анализа сигналов при создании системы автоматизированного приема и обработки сигналов современных систем передачи информации, работающих в режиме реального времени.

Одним из немаловажных факторов, затрудняющим создание систем АПОС работающих в режиме реального времени, является большое разнообразие типов модуляции несущей, количество которых с течением времени неуклонно возрастает. Указанное обстоятельство увеличивает неопределенность относительно их типов. В настоящее время в качестве путей разработки рассматриваются такие направления, как применение универсального средства, рассчитанного на обработку сигналов с достаточно широким классом типов модуляций и использование ряда специализированных комплексов, каждый из которых рассчитан только на один тип модуляции.

Применение универсальных средств не может быть эффективно реализовано по двум причинам. Во-первых, из-за отсутствия в настоящее время универсальных средств, способных обрабатывать телекоммуникационные сигналы со значительным множеством типов модуляций. Для существующих комплексов это множество ограничено лишь четырьмя наиболее простыми типами. Во-вторых, использование ряда специализированных комплексов невозможно из-за ограничений и специфических особенностей условий, к которым относятся жесткие временные ограничения и ограничения на массогабаритные показатели используемой аппаратуры. Эти обстоятельства потребовали поиска новых подходов к преодолению возникших трудностей.

В работе было предложено использовать средства анализа сигналов, основанные на нейросетевых технологиях, реализующих параллельную распределенную обработку данных. При этом основной выигрыш в оперативности процесса обработки сигналов планировалось получить за счет распараллеливания однотипных вычислительных операций, выполняемых на различных этапах анализа сигналов, и реализации их на основе искусственных нейронных сетей. Описанная проблемная ситуация и предложенный подход к ее преодолению обусловили сформулированные в диссертации подзадачи и цель исследований.

Диссертация базируется на результатах, полученных автором в ходе выполнения плановых научно-исследовательских работ по темам, непосредственно связанных с государственными программами.

Для решения задач анализа сигналов разработаны частные методики синтеза и принципы применения нейронных сетей для додетекторной обработки сигналов в условиях параметрической неопределенности. Осуществлен синтез структуры и параметров нейронной сети для определения типа модуляции сигналов систем передачи информации при наличии шумов в канале связи.

1. Предложены рекомендации по практическому применению нейронных сетей для обработки телекоммуникационных сигналов. Разработана архитектура иерархического нейросетевого классификатора для идентификации сигналов. Создан специализированный комплекс программного обеспечения алгоритмов анализа и обработки телекоммуникационных сигналов на основе нейронной сети.

2. Проведены математическое и имитационное моделирование на ЭВМ обработки сигналов, которое подтвердило работоспособность предложенных методов и средств обработки сигналов на основе нейронной сети.

Показано, что при сравнительно небольшом увеличении операционных ресурсов, связанных с применением специализированных нейропроцессоров, при неизменной достоверности идентификации сигналов, происходит увеличение оперативности. Полученный выигрыш по быстродействию процесса классификации телекоммуникационных сигналов при применении параллельного вычислителя, в качестве которого используется нейронная сеть со случайными порогами, составляет в 3,3. 10 раз.

Качество классификации сигналов АМ при количестве ошибок не более 1% в зависимости от параметров сигналов достигнуто при соотношении сигнал/шум 2,8.3,4 дБ; для сигналов ЧМ 3,8.6,2 дБ; для сигналов ФМ- 2,8.4,1 дБ; КАМ-16 - 7,6 дБ; для сигналов КАМ-32 - 8,2 дБ; ФМ-4 - 3,75.5,1 дБ, ОФМ - 3,9.6,1 дБ. Среднее время классификации одной реализации при этом составило 0,074 секунды. Практически реализован режим реального времени классификации сигналов. Улучшены результаты классификации сигналов для обычных систем на величину до 5,5 дБ, а по сравнению с системами с обратной связью на величину до 2,5 дБ.

3. Разработана обобщенная методика синтеза сигналов СПИ по их математическим моделям и протоколам связи (ITU-T, МККТТ). Синтезирован и интегрирован в общее программное обеспечение аппаратно-программного комплекса АПОС СПИ пакет программ, реализующий универсальный генератор цифровых и аналоговых типов модуляций и видов работ. В этот пакет программ вошли подпрограммы микширования сигналов, программа имитирующая помехо-вую обстановку на каналах связи в виде аддитивного гауссовского шума.

4. Разработана методика идентификации сигналов СПИ на основе нейроее-тевого классификатора, которая позволяет при наличии соответствующей элементной базы решать задачи идентификации сигналов СПИ.

5. Разработана методика оценки эффективности нейросетевых классификаторов. Значение критерия количественной оценки эффективности позволяет произвести сравнение разных по топологиям связей, алгоритмам работы и решаемым задачам нейронные сети. Полученная оценка для классификатора сигналов на основе нейронной сети со случайными порогами позволяет утверждать об его эффективности по сравнению с:

- классификатором на использовании потенциальных функций (PFC) - в 1,3 раза;

- модифицированным нейросетевым классификатором с алгоритмом обучения обратного распространения ошибки (ВРС) - в 4,66 раза;

- нейросетевым классификатором, построенным на основе адаптивно-резонансной теории (ART) - в 4,24 раза;

- нейросетевым классификатором, в основе которого лежит парадигма Хопфилда (Hopfield) - в 4,5 раза; - классификатором, реализующим алгоритм обучения по правилу ближайшего соседа(NNC) -в 2,7 раза.

Эффективность классификатора сигналов на основе нейронной сети со случайными порогами подтверждена результатами экспериментальных исследований.

6. Наибольшее быстродействие алгоритма идентификации сигналов СПИ может быть достигнуто при его эмуляции на вычислительной структуре, максимально адекватной нейросетевому базису - нейрокомпьютере, основным функциональным элементом которого является специализированный процессор, реализующий нейронную сеть.

Предложена реализация нейросетевого алгоритма классификации сигналов СПИ с помощью вычислительной системы (нейроплаты), состоящей из одного транспьютера и 16 сигнальных процессоров IMS AI00. В случае реализации нейросетевого алгоритма идентификации сигналов на сети сигнальных процессоров IMS А100 быстродействие компьютерного модуля Р составит от 0,93x106 до 2,3х 10б связей в секунду.

7. Рассмотрены возможные области применения нейросетевого классификатора для идентификации сигналов различного происхождения (сигналов PJIC; сигналов электрокардиограмм в медицине; сейсмических сигналов; акустических сигналов; сигналов видео изображений и др.). Универсальность предложенного нейросетевого классификатора позволяет успешно обрабатывать телекоммуникационные сигналы.

В ходе исследований в работе получены следующие новые научные результаты, выносимые на защиту.

1. Методика синтеза сигналов с различными практически значимыми типами модуляций и видами работ.

2. Методика формализации задачи классификации телекоммуникационных сигналов в нейросетевом базисе.

3. Методика выбора типа нейронной сети для рассматриваемого класса задач.

4. Модель процесса идентификации телекоммуникационных сигналов на основе нейронной сети. Модель нейронной сети для идентификации сигналов СПИ по типам модуляций.

5. Методика решения задач обработки сигналов с помощью нейронных сетей и рекомендации по их практическому применению.

6. Методика оценки эффективности использования нейросетевых методов для обработки сигналов.

Научная ценность работы состоит в дальнейшем развитии методов анализа телекоммуникационных сигналов в условиях структурной и параметрической неопределенности на базе нейронных сетей, разработке частных методик синтеза и принципов применения нейронных сетей для идентификации сигналов по типам модуляций.

Практическая значимость работы заключается в использовании полученных результатов при проектировании и эксплуатации систем сигнальной обработки в ГНЦ «НПО Астрофизика». Кроме того, результаты научных исследований включены в отчеты по НИР и использованы при чтении курса лекций по кафедре "Системы и сети связи" ИКСИ.

Список литературы диссертационного исследования кандидат технических наук Кузнецов, Александр Владимирович, 2000 год

1. Айвазян С.А., Енюков И.О., Мешалкин Л.Я. Прикладная статистика. Основы моделирования и первичная обработка данных. М.: Финансы и статистика, 1983. 471 с.

2. Айзенберг H.H., Француз А.Г. Распознавание образов на конечном множестве описаний. Пробл. Бионики. М.: РАН, вып. 4, 1970. С. 70-74.

3. Асратян A.A. Факсимильно-микропроцессорные распознающие комплексы. М.: Радио и связь, 1991. 113 с.

4. Ахапкин Ю.К., Барцев С.И., Всеволодов H.H. и др. Биотехника новое направление компьютеризации. М: Наука, 1990. 144 с.

5. Банкет В.Л., Дорофеев В.М. Цифровые методы в спутниковой связи. М.: Радио и связь, 1988. 240 с.

6. Борисов А.Н., Мордовина Е.В. Однослойная нейронная сеть для классификации нечетких образов // Непрерывнологические и нейронные сети и модели: тр. междунар. научн.-техн. конф., 23-25 мая. Ульяновск: УлГТУ, т.1. 1995. С. 61-63.

7. Ван Трис Г. Теория обнаружения, оценок и модуляции. Том I. Теория обнаружения, оценок и линейной модуляции // Пер. с англ., под ред. Проф. В.И. Тихонова. М.: Советское радио, 1972. 744 с.

8. Ван Трис Г. Теория обнаружения, оценок и модуляции. Том II. Теория нелинейной модуляции // Пер. с англ., под ред. проф. В.Т. Горяинова. М.: Советское радио, 1975. 344 с.

9. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов. Статистические проблемы обучения. М.: Наука, 1974. 416 с.

10. Васильев В.И. Распознающие системы. Справочник. Изд. 2-е перераб. и до-полн. Киев: Наукова Думка, 1983. 422 с.

11. Васильев В.И., Буркин А.П., Свириденко В.А. Системы связи: Учебн. Пособие для втузов. М.: Высш. шк., 1987. 280 с.

12. Веденов A.A., Ежов A.A., Левченко Е.Б. Архитектурные модели и функции нейронных ансамблей // Физические и математические модели нейронных сетей. Т.1, ч.1, Спиновые стекла и нейронные сети. Итоги науки и техники. М.: ВИНИТИ, 1990. С. 44-92.

13. Веденов A.A., Левченко Е. Б. Об одном классе нелинейных систем с памятью //Письма в ЖЭТФ, 41, вып. 8. 1985. С. 328-331.

14. Галуев Г.А. Параллельная цифровая нейрокомпьютерная реализация нейронных сетей, обучаемых методом обратного распространения ошибки//Электрон. Моделирование. Т. 14, №6,1992. С. 14-19.

15. Галушкин А.И. Синтез многослойных систем распознавания образов. М.: Энергия, 1974. 367 с.

16. Галушкин А.И., Судариков В.А„ Шабанов Е.В. Методика решения задач на нейрокомпьютерах//Нейрокомпьютер. №1,1992. С. 24-28.

17. Галушкин А.И. Нейрокомпьютеры в разработках военной техники США (обзор по материалам открытой печати). М.: Научный центр нейрокомпьютеров РАН. 1995. 154 с.

18. Гилл Ф., Мюррей У., Райт М. Практическая оптимизация //Пер. с англ. Киев: Наукова думка, 1987. 262 с.

19. Гоноровский И.С., Демин М.П. Радиотехнические цепи и сигналы. 5-е изд. перераб. и доп. М. : Радио и связь, 1994. 480 с.

20. Горбань А.Н. Обучение нейронных сетей. М.: СП ПараГраф. 1990. 160 с.

21. Горелик A.JL, Гуревич И.Б., Скрипкин В.А. Современное состояние проблемы распознавания: некоторые аспекты. Под. ред. Горелика А.Л. М.: Радио и связь, 1985. 160 с.

22. Горелик A.JI., Скрипкин В.А. Методы распознавания. М.: Высшая школа, 1984. 208 с.

23. Горелик А.Л., Скрипкин В.А. Построение систем распознавания. М.: Сов. радио, 1974. 224 с.

24. Григорьев В.Р., Кузнецов A.B. Анализ нелинейных динамических сигналов на основе фрактального подхода // Международная конференция: "Информатизация правоохранительных систем". М.: Академия управления МВД России. Тезисы докладов, ч.2, 1997. С. 99-101.

25. Григорьев В.А. Передача сигналов в зарубежных информационно-технических системах. С.-П.: ВАС, 1998. 440 с.

26. Гуревич A.C., Нахмансон Г.С. Различение дискретно кодированных сигналов в акустооптическом корреляторе с временным интегрированием в условиях помех. Изв. вузов. Радиоэлектроника, т. 33, №5,1990.

27. Дертоузос M. Пороговая логика. M.: Мир. 1967. 147 с.

28. Дианов K.JI. Анатомия модемного железа // Журнал Технологии Электронных Коммуникаций, Том 62. М. : ТЭК, 1996, С. 16-20.

29. Дикарев В.И., Романенко В.А., Яковлев А.А Устройство распознавания радиосигналов. Авт. свид. №1069149, 1982.

30. Дикарев В.И., Романенко В.А., Клименко H.H. Устройство распознавания радиосигналов. Авт. свид. №1185359,1984.

31. ДюранаБ., ОделлаП. Кластерный анализ. М.: "Статистика". 1977. 325 с.

32. Дуда Р., Харт П. Распознавание образов и анализ сцен //Пер. с англ. под ред. В.Л. Стефанюка. М.: Мир, 1976. 511 с.

33. Журавлев Ю.И. Непараметрические задачи распознавания образов // Кибернетика. 1986. №6, С. 83-103.

34. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации //Проблемы кибернетики. М.: Наука. 1978. Вып. 33, С. 5-68.

35. Заде Л.А. Понятие лингвистической переменной и ее применение к принятию решений. М.: Мир, 1976. 165 с.

36. Заде Л.А. Размытые множества и их применение в распознавании образов и кластер-анализе / В кн. Классификация и кластер //Под ред. Дж. Вэн Райзин. М.: Мир, 1980. С. 208-247.

37. Злотник Б.М. Помехоустойчивые коды в системах связи // Статистическая теория связи, вып. 31. М.: Радио и связь, 1989. 232 с.

38. Каневский З.М., Финкельштейн М.И. Флуктуационная помеха и обнаружение радиосигналов. М.-Л.: Госэнергоиздат, 1963,216 с.

39. Кантор Л.Я. Помехоустойчивость приема частотно-модулированных сигналов. Кантор Л.Я., Дорофеев В.М. М.: Связь, 1977. 335 с.

40. Кеннеди P.C. Каналы связи с замиранием и рассеиванием // Пер. с англ. Ка-заряна P.A., Ярославского Л.П. Под ред. Овсеевича И.А. М.: Сов. радио, 1973. 302 с.

41. Кисилев Н.В. Методы построения систем распознавания и классификации негауссовых сигналов. Л.: Изд-во ЛГУ, 1986. 188 с.

42. Клюев В.И. Частотно-временные преобразования и прием дискретных сигналов в системах связи. М.: Радио и связь, 1990. 208 с.

43. Колбасова Л.А., Крушина Т.Ю., Онацько В.Ф. Нейронная сеть предварительной обработки для задач распознавания речи// Моделир. и проектир. приборов и систем микро- и наноэлектрон. М.: Изд-во Моск. Гос. Ин-т Электрон. Техн. 1994. С. 120-133.

44. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных//Докл. АН СССР, том 108,1956. С. 2.

45. Колмогоров А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиций непрерывных функций одного переменного и сложения //Докл. АН СССР, том 114, 1957. С. 953-956.

46. Колмогоров А.Н., Фомин С.В. Элементы теории функций и функционального анализа. Изд. 6-е перераб. испр. М. : Наука, 1989. 623 с.

47. Кохонен Т. Ассоциативная память. М.: Мир, 1980. 239 с.

48. Крайзмер Л.П., Кулик Б.А. Обработка сложных сигналов на основе использования нейрокомпьютеров // Персональный компьютер на вашем рабочем месте. С.-П.: СПГУ. 1991. С. 228-231.

49. Кремер И.Я., Владимиров В.И., Карпухин В.И. Модулирующие (мультипликативные) помехи и прием радиосигналов. Под. ред. Кремера И.А. М.: Сов. Радио, 1972,480 с.

50. Кузнецов A.B. Нейросетевой классификатор со случайными связями на основе многозначных нейронов. / Журнал "Информационные технологии" №7, 1999. С. 10-15.

51. Кузнецов A.B. Нейросетевой алгоритм разделения классов телекоммуникационных сигналов. / Журнал "Информационные технологии" №8, 1999. С. 15-21.

52. Курицын С.А. Методы адаптивной обработки сигналов передачи данных. М.: Радио и связь, 1988. 144 с.

53. Куссуль Э.М. и др. Нейросетевой классификатор со случайными порогами // Нейрокомпьютер. М.: РАН. №3,1995. С. 23-44.

54. Лапий В.Ю., Калюжный А.Я., Красный Л.Г. Устройства ранговой обработки информации. Киев: Техника, 1986.

55. Левин Б.Р. Теоретические основы статистической радиотехники. В трех книгах. Книга первая. Изд. 2-е, переработ, и доп., М.: Сов. радио, 1974.552 с.

56. Левин Б.Р. Теоретические основы статистической радиотехники. В трех книгах. Книга вторая. М., Сов. Радио, 1975,392 с.

57. Левин Б.Р. Теоретические основы статистической радиотехники. В трех книгах. Книга третья. М., Сов. Радио, 1976,288 с.

58. МакКаллок У.С., Питтс У Логическое исчисление идей, относящихся к нервной активности: Автоматы//Под. ред. Шеннона К.Э., Маккарти Д. М.: Наука, 1956. 403 с.

59. Миленький A.B. Классификация сигналов в условиях неопределенности. (Статистические методы самообучения и распознавания образов). М.: Сов. радио, 1975. 328 с.

60. Минский М., Пейперт С. Персептроны. М.: Мир. 1971. 264 с.

61. Мкртчян С.О. Нейроны и нейронные сети. М.: Энергия, 1971. 232 с.

62. Моисеев H.H., Иванилов Ю.Л., Столярова Е.М. Методы оптимизации. М.; Наука, 1978. 352 с.

63. Монзинго P.A., Миллер Т.У. Адаптивные антенные решетки: Введение в теорию //Пер. с англ. М.: Радио и связь, 1986. 448 с.

64. Нейронная сеть для идентификации сигналов гидролокатора //Радиоэлектроника за рубежом: Экспресс-информ. НИИЭИР, Вып. 2 (1208), 1992. С. 4-10.

65. Нейронные классификаторы в акустических распознаваниях образов // Приборы и элементы автоматики. Испытательные стенды: Экспресс- информ. ВИНИТИ, №21,1995. С. 4-11.

66. Нейронные классификаторы с распределенным кодированием входной информации// Э.М. Куссуль, Т.Н. Байдык, В.В. Лукович, Д.А. Рачковский. Журнал Нейрокомпьютер, №3/4, 1994. С. 13-24.

67. Никонов В.Г. Классификация минимальных базисных представлений всех булевых функций от четырех переменных // Обозрение прикл. промыш. ма-тем., сер. дискрета, магем. М.: ВТП, 1994. Т.1, в.З, С. 402-457.

68. Никодов В.Г. Пороговые представления булевых функций// Обозрение прикл. промыш. магем., сер. дискрета, матем. М.: ВТП, 1994. Т.1, в.З, С. 458-545.

69. Патрик Э.А. Основы теории распознавания образов // Пер. с англ. В.А. Ба-ронкина под ред. Б.Р. Левина М.: Сов. Радио, 1980. 408 с.

70. Первачев С.В., Перов А.И. Адаптивная фильтрация сообщений. М.: Радио и связь, 1991. 160 с.

71. Перцептрон система распознавания образов. Под общ. ред. Ивахненко А.Г. Киев: Наукова думка, 1975. 432 с.

72. Петров A.B., Яковлев A.A. Анализ и синтез радиотехнических комплексов / Под ред. В. Е.Дулевича. М.: Радио и связь, 1984. 366 с.

73. Поляков П.Ф., Ниц A.A. О возможности распознавания радиосигналов по их мгновенному комплексному спектру // Республиканский научно-технический сборник. Вып.21, 1982.

74. Поляков П.Ф. и др. Устройство для распознавания радиосигналов. Авт. свид. №481054, 1972.

75. Радиоэлектронные системы иностранных государств. Григорьев В.А., Кузьмин В.Д., под редакцией Григорьева В.А. Л.: ВАС, 1984, 222 с.

76. Распознавание образов: состояние и перспективы // К. Верхаген, Р. Дёйн, Ф. Грун и др. М.: Радио и связь. 1985. 104 с.

77. Регламент радиосвязи, т. I. М.: Радио и связь, 1985.165 с.

78. Регламент радиосвязи, т. П. М.: Радио и связь, 1985. 96 с.

79. Репин В.Г., Тартаковский Г.П. Статистический синтез при априорной неопределенности и адаптация информационных систем. М.: Сов. радио, 1977. 432 с.

80. Розенблатт Ф. Принципы нейродинамики. Персептроны и теория механизмов мозга. М.: Мир. 1965. 403 с.

81. Сентагонаи Я., Арбиб М. Концептуальные модели нервной системы. М.: Мир, 1976. 198 с.

82. Сверхбольшие интегральные схемы и современная обработка сигналов. / Под ред. С. Куна и др. М.: Радио и связь, 1988,472с.

83. Сиберт У.М. Цепи, сигналы, системы. В 2-х ч. Ч. 2 //Пер. с. англ. М.: Мир, 1988. 360 с.

84. Спилкер Дж. Цифровая спутниковая связь // Пер. с. англ. под ред. В.В. Маркова М.: Связь, 1979. 592 с.

85. Теория передачи сигналов//А.Г. Зюко, Д.Д. Кловский, М.В. Назаров, Л.М. Финк. 2-е изд. перераб. и доп. М.: Радио и связь, 1986. 304 с.

86. Тихонов В.И. Оптимальный приём сигналов. М.: Радио и связь, 1983. 320 с.

87. Тихонов В.И. Статистическая радиотехника. 2-е изд., перераб. и доп. М.: Радио и связь, 1982. 624 с.

88. Тихонов В.И., Кульман Н.К. Нелинейная фильтрация и квазиоптимальный приём. М.: Радио и связь, 1975. 704 с.

89. Тихонов В.И., Харисов В.Н. Сташстический анализ и синтез радиотехнических систем. М.: Радио и связь, 1991. 608 с.

90. Ту Дж., Гонсалее Р. Принципы распознавания образов //Пер. с англ. под ред. Ю.И. Журавлева. М.: Мир, 1978. 412 с.

91. Тэнк Д.У, Хопфилд Дж.Дж. Коллективные вычисления в нейроноподобных электронных схемах //Журн. В мире науки. №2. 1988. С. 44-53.

92. Уидроу Б. Стринз С. Адаптивная обработка сигналов //Пер. с англ. М: Радио и связь, 1989. 440 с.

93. Уинстон П. Искусственный интеллект. М.: Мир, 1980. 400 с.

94. Уоссермен Ф. Нейрокомпыотерная техника: Теория и практика// Пер. с англ. М.: Мир. 1992. 240 с.

95. Фомин В.Н. Рекуррентное оценивание и адаптивная фильтрация М.: Наука, 1984. 288 с.

96. Фомин Я.А., Савич А.В. Оптимизация системы распознавания многомерных нормальных совокупностей //Радиотехника. 1985. т.40, №12, С. 8-11.

97. Фомин Я.А., Тарловский Г.Г. Статистическая теория распознавания образов. М.: Радио и связь, 1986.264 с.

98. Фу К. Структурные методы в распознаваний образов //Пер. с англ. под ред. М.А. Айзермана. М.: Наука, 1977. 319 с.

99. Фукунага К. Введение в статистическую теорию распознавания образов //Пер. с англ. под ред. А.А. Дорофеюка. М.: Наука, 1979. 367 с.

100. Хальд А. Математическая статистика с техническими приложениями //Пер. с англ. М.: Иностр. лит-ра. 1956. 305 с.

101. Харкевич А. А. Борьба с помехами. М.: Наука, 1965. 276 с.

102. Цыпкин Я.З. Основы теории обучающихся систем. М.; Наука, 1970. 252 с.

103. Яблонский С.В. Функциональные построения в £-значной логике. Тр. ма-тем. инст-та АН СССР, т. 51. М.: РАН, 1958. С. 5-142.

104. Ahalt S.C., Jung Tzyy-ping, Krishnamurthy A.K. A comparison of radar signal classifier // IEEE Int. Conf. Syst. Eng., Pittsburgh. Pa, Aug. 9-11, 1990, P. 609611.

105. Amari S. Field theory of self-organizing neural nets// IEEE Trans. SMC. 13, 1983. P. 741-748.

106. Anderson J.A., Rosenfeld E. "Neurocomputing: Foundation of Research". MIT Press, Cambridge, Mass., 1988. P. 56-72.

107. Baird B. Bifurcation theory methods for programming static or periodic attrac-tors and their bifurcations in dynamic neural networks // IEEE International conference on neural networks. San-Diego: CA. vol. I, 1988. P. 9-16.

108. Brown J.R. and oth. Neural net classifier for millimeter waves radar // SPIE, vol. 1154, Real-Time Sign. Proc., XII, 1988, P. 71-76.

109. Bruck J., Goodman J.W. A generalized convergence theorem for neural networks and its applications in combinatorial optimization // IEEE International conference on neural networks. San-Diego: CA. vol. Ill, 1987. P. 649-656.

110. Caianiello E.R., Grimson W.E.L. Synthesis of boolean nets and time behavior of general mathematical neuron//Biol. Cybernetics. 18, №2. 1975. P. 111-117.

111. Carpenter G.A., Grossberg S. A massively parallel architecture for a selforgan-izing neural pattern recognition machine // Comput. Vision, Graphics, Image Process. 37, №1.1987. P. 54-115.

112. De Luca A. On some representation of booleal functions. Application to the theory of switching element nets //Kybernetik. 9. 1971. P. 1-10.

113. Edwards S.F., Anderson P.W. Theory of spin glasses//J. of Physics F.: Metal Physics. №5, 1975. P. 965-974.

114. Fisher K.H. Spin glasses (I) //Physica status solidi (B). 116, №2. 1983. P. 357414.

115. Gezeltar J.D., Freeman R.F. Use of neural networks to design shared radiofre-quency pulses // Journal of Magnetic Resonance, 1990, R 397-404.

116. Grossberg S. Studies of mind and brain: Neural principles of learning, perception, development, cognition and motor control //Boston; Reidel, 1982. 662 p.

117. Grossberg S., Levine D. S. Attentional mechanisms in neural information processing: examples from pavlovian conditioning // EEEE International conference on neural networks. San-Diego: CA. vol. 1,1987. P. 49-57.

118. Haines K., Hecht-Nielsen R. A BAM with increased information storage capacity // IEEE International conference on neural networks, Washington: NJ. vol. I, 1989. P. 181-190.

119. Hanson W.A., Cruz C.A., Tam J.Y. CONE computational network environment // IEEE International conference on neural networks. San-Diego: CA., vol. Ill, 1987. P. 531-538.

120. Hartley R., Szu H. A comparison of the computational power of neural network models // IEEE International conference on neural networks. San-Diego: CA. vol. Ill, 1987. P. 15-22.

121. Hebb D.O. The organization of behavior. A neurophysical theory. N Y.: Wiley., 1949. 355 p.

122. Hecht-Nielsen R. Kolmogorov's Mapping Neural Network Existence Theorem // IEEE First Annual Int. Conf. on Neural Networks, San Diego, vol. 3, 1987, P. 1113.

123. Hecht-Nielsen R. Theory of the backpropagation neural network// IEEE International conference on neural networks. San-Diego: CA., vol. 1,1988. P. 593-605.

124. Hoider N.S., Sayeh M.R. A discrete Lyapunov system as an efficient associative memory //IEEE International conference on neural networks. San-Diego: CA. vol. I, 1988. P. 55-59.

125. Hopfield J.J. Neural networks and physical systems with emergent collective computational abilities //Proc. Natl. Acad. Sci. USA. 79. 1982. P. 2554-2558.

126. Hopfield J.J. Neurons with graded response have collective computational properties like those of two-state neurons //Proc. Natl. Acad. Sci. USA., 81. 1984. P. 3088-3092.

127. Hopfield J.J., Feinstein D.I., Palmer R.G. "Unlearning" has a stabilizing effect in collective memories//Nature. 1983. 304. P. 158-159.

128. Hopfield J.J., Tank D.W. "Neural" computation of decisions in optimization problems //Biol. Cybernetics. 52. 1985. P. 141-152.

129. Huang W. Y., Lippmann P.P. Neural Net and Traditional Classifiers. In Anderson D.Z. Ed. Proc. of the 1987 Neural Information Processing Systems Conf., P. 387-396, Am.lnst. of Physics, New York, 1988.

130. Jha S.K., Soraghan J J., Durrani T.S. Equalization using neural networks // 1-st IEE Int. Conf. Artif. Neural Networks, London. Oct. 16-18, 1989, London, 1989,1. P. 356-360.

131. Jutten C., Herault J. Blind separation of sources. Pt. 1. An adaptive algorithm based on neuromimetic architecture // Signal Process., 1991, vol. 24, №1, P. 1-10.

132. Jutten C., Herault J. Blind separation of sources. Pt. 2. Problems statement // Signal Process., 1991, vol. 24, №1, P. 11-20.

133. Kinzel W. Learning and pattern recognition in spin glass models//Z. Phys. B Condensed Matter., 60. 1985. P. 205-213.

134. Kohonen T. Self-organized formation of topologically correct feature maps // Biol. Cybern. 43, №1. 1982. P. 59-69.

135. Kolen J.F. Faster learning through a probabilistic approximation algorithm// IEEE International conference on neural networks. San-Diego: CA. vol. I, 1988. P. 449-454.

136. Kosko B. Adaptive bidirectional associative memories//Appl. Optics. 26, №23. 1987. P. 4947-4960.

137. Kosko B. Unsupervised learning in noise // IEEE International conference on neural networks, Washington: NJ. vol. I, 1989. P. 277-282.

138. Kuhn R., van Hemmen J.L., Riedel U. Complex temporal associations in neural networks //J. Phys. A: Math. Gen. 20. 1989. P. 3123-3135.

139. Lee A. W., Sheu A. J. An investigation on local minima of Hopfield network for optimization circuits // IEEE International conference on neural networks. San-Diego: CA. vol. I, 1987. P. 45-51.

140. Lippmann R.P All introduction to computing with neural nets // IEEE ASSP Mag., April. 1987. P. 4-22.

141. McCalloch W.A., Pitts W.A Logical calculus of ideas immanents in nervous activity //Bull. Math. Biophys. 5. 1943. P. 115-133.

142. Nakagami M. Statistical methods in radio waves propagation, Pergamon press, London-N.Y, 1960. 456 p.

143. Nasrabadi N. M., Feng Y. Vector quantization of images based upon the Kohonen self-organizing feature maps // IEEE International conference on neural networks. San-Diego: CA. vol. 1,1988. P. 101-108.

144. Parisi G. Order parameter for spin glasses//Phys. Rev. Lett. 50, №24, 1983. P. 1946-1948.

145. Peretto P. Collective properties of neural networks: A statistical physics approach //Biol. Cybernetics. 50. 1984. P. 51-62.

146. Peretto P., Niez J J. Long term memory storage capacity of multieonnected neural networks //Biol. Cybernetics. 54. 1986 P. 53-63.

147. Personnaz L., Guyon I, Dreyfus G. Information storage and retrieval in glasslike networks //J. Physique Lettr. 46. 1985. P. 359-365.

148. Rumelhart D.E., Hinton G.E., Williams R.J. Learning Representations by Back-propagating Errors, Nature vol. 323,1986. P. 533-536.

149. Tank D.W., Hopfield J.J. Concentration information in time: analog neural networks with applications to speech recognition problems // IEEE International conference on neural networks. San-Diego: CA. vol. IV, 1987. P. 455-468.

150. Tsutsumi K. A multilayered neural network composed of backprop and Hopfieid nets and internal space representation // IEEE International conference on neural networks. San-Diego: CA. vol. 1,1988. P. 365-371.

151. Wasserman P.D. Combined backpropagation/ Cauchy machine. Proceedings of the International Neural Network Society. New York: Pergamon Press. 1988. P. 831.

152. Werbos P.J. Beyond Regression: new tools for prediction and analysis in the behavioral sciences // Phd. Thesis, Depl. of Applied Mathematics, Harvard University, Cambridge, Mass., 1974, P. 174-176.

153. Werbos P.J. Backpropagation through time: what it does and how to do it //Proceedings of the IEEE, vol. 78, №10, October, 1990, P. 1550-1560.

154. Werbos P.J. Backpropagation and neurocontrol; A review and prospectus //IEEE International conference on neural networks. San-Diego: CA. vol. I, 1988. P. 209216.

155. Werbos PJ. Backpropagation: past and future. IEEE International conference on neural networks. San-Diego: CA. vol. I, 1988. P. 343-353.

156. White H. Some asymptotic results for back-propagation // IEEE International conference on neural networks. San-Diego: CA. vol. Ill, 1988. P. 261-266.

157. Widrow В., Lehr M.A. 30 years of adaptive neural networks: perceptron, madaline, and backpropagation//Proceedings of the IEEE, vol. 78, №9, September, 1990, P. 1415-1442.

158. Winter R., Widrow B. Madaline rule II: A training algorithm for neural networks // IEEE International conference on neural networks. San-Diego: CA. vol. I, 1988. P. 401-408.