Методы построения искусственных нейронных сетей для задач классификации на основе применения полигауссовских вероятностных моделей тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Трофимов, Ярослав Александрович

• Трофимов, Ярослав Александрович
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Трофимов, Ярослав Александрович

Глава Ь. Анализ статистических и нейросетевых методов решения задач классификации.

1.1 Исторические предпосылки развития технологии- искусственных нейронных сетей.

1.2 Основные принципы и преимущества нейросетевых технологий

1.2.1 Свойство универсальной аппроксимации.

1.2.2 Отображение входных данных в выходные.

1.2.3 Свойство обобщения.

1.2.4 Линейная разделимость.

1.2.5 Адаптивность.

1.2.6 Нелинейность.

1.2.7 Отказоустойчивость.

1.2.8 Универсальность.

1.3 Обработка данных ИНС и статистические методы.

1.3.1 Критерий Байеса.

1.3.2 Критерий Неймана-Пирсона.

1.4 Анализ характеристик операторов ИНС и алгоритмов, синтезированных на основе статистических методов.

1.4.1 Характеристики классификатора на примере обнаружителя детерминированного сигнала на фоне гауссовского шума.

1.4.2 Характеристики классификатора на основе различения двух линейно-независимых векторов со случайными параметрами.

1.4.3 Характеристики классификатора на примере задачи обнаружения случайного сигнала с детерминированной амплитудой и случайной начальной фазой.

1.5 Выводы по главе.

Глава 2. Методы синтеза искусственных нейронных сетей с использованием вероятностных моделей :.

2.1 Представление наблюдаемых данных полигауссовской вероятностной моделью.

2.2 Синтез байесовских нейронных сетей по критерию среднего риска

2.3 Достаточные статистики для полигауссовских алгоритмов.

2.4 Асимптотические приближения ^вычислительные особенности реализации операторов полигауссовских нейронных сетей.

2.5 Синтез байесовских нейронных сетей с использованием полигауссовской вероятностной модели с различными средними значениями и одинаковой ковариацией.

2.6 Синтез байесовских нейронных сетей при использовании полигауссовской вероятностной модели с различными ковариациями.

2.7 Оценка вероятности ошибок классификации.

2.8 Процедуры обучения и адаптации байесовских нейронных сетей при использовании полигауссовской вероятностной модели представления данных.

2.9 Динамические байесовские нейронные сети с использованием полигауссовской вероятностной модели.

2.10 Выводы по главе.

Глава 3.' Построение искусственных нейронных сетей на основе аппроксимации функционала байесовской нейронной сети „

3.1 Аппроксимация функционала апостериорной вероятности путём применения операторов нейросетевого логического базиса.

3.2 Интерпретация весовых коэффициентов и смещений многослойных нейронных сетей по параметрам полигауссовской вероятностной модели.

3.3 Инвариантность процедур обработки-в многослойных нейронных сетях к изменению параметров данных.

3.4 Синтез сетей на основе радиальных базисных функций по критерию максимального правдоподобия с использованием полигауссовской вероятностной модели.

3.5 Выводы по главе.

Глава 4. Применение методов синтеза нейронных сетей при разработке систем классификации.

4.1 Реализация функции «Исключающее ИЛИ» в логическом нейросетевом базисе с применением полигауссовской вероятностной модели представления данных.

4.2 Синтез системы классификации делящихся и радиоактивных материалов на основе радиационных портальных мониторов.

4.3 Представление знаний с помощью ИНС для классификации морских объектов по создаваемым ими шумовым гидроакустическим полям

4.4 Выводы по главе.

Введение диссертации (часть автореферата) на тему «Методы построения искусственных нейронных сетей для задач классификации на основе применения полигауссовских вероятностных моделей»

В' настоящее время теория искусственных нейронных сетей имеет междисциплинарный характер и является одной из наиболее динамично развивающихся информационных технологий, которая применяется в различных научных и прикладных областях. Практика применения искусственных нейронных сетей (ИНС) включает такие области, как нейронная математика и нейроинформатика. Созданы и получили широкое распространение нейрочипы и нейрокомпьютеры. ИНС успешно применяются в широком диапазоне приложений - от бытовых приборов, до сложнейших вычислительных комплексов управления боевыми действиями. Объединение возможностей нейросетевых технологий с нечёткой математикой и нечёткой логикой, генетическим, эволюционным программированием и мягкими вычислениями позволяет расширить класс решаемых задач в условиях неопределённостей.

С одной стороны, специалисты в области нейронных сетей отмечают, что в случае, если алгоритмы известны и не хватает вычислительных мощностей, сети позволяют использовать мощные аппаратные средства с массовым параллелизмом, предварительно представив алгоритм в нейросетевом базисе. С другой стороны, когда алгоритмы неизвестны или они недостаточно эффективны, нейронные сети предлагают многообещающий подход при создании систем обработки данных. Полученные системы обладают гибкостью и способностью адаптации к изменению внешних условий.

В алгоритмическом смысле нейронные сети представляют собой принципиально новый подход к синтезу методов обработки данных. За счёт применения специальных архитектур, которые используют большое количество одинаковых, достаточно простых элементов, появляется возможность использования параллельных вычислительных средств. Простота элементов позволяет реализовать массовую параллельность вычислений, а полученное повышение быстродействия может достигать сотен и даже тысяч раз. Такая технология предоставляет информационной системе возможность обучаться на примерах. Прш этом, как отмечается в' литературе, искусственные нейронные сети получают решения'для проблем, ранее считавшихся неразрешимыми.

Обзор всей литературы по данной области- не представляется7 возможным. Только в Китае за период с 2005 по 2008 г количество выпущенных печатных работ составляет более 5000: Среди наиболее значимых необходимо указать следующие работы [6; 7; 11; 47; 66; 68; 82; 83; 103].

Основополагающие принципы теории искусственных нейронных сетей были заложены в работе Уоррена Маккалоха (Warren S. McCulloh) и Уолтера Питтса (Walter A. Pitts) [40; 101]. Дальнейшее развитие было сделано в работах Дональда Хэбба (Donald O.Hebb) и Франка Разенблатта (Frank Rosenblatt) [51; 52; 89; 104], в критических работах Марвина Минского (Marvin Minsky) и Сеймура Пейперта (Seymour Papert) [102; 44]. Получены наиважнейшие теоретические и практические результаты в работах зарубежных учёных: S. Amari, S. Anderson, M. Arbib, К. Fukushima, S. Grossberg, T. Kohenen, B. Widrow; отечественных учёных: Я.З. Цыпкин, А.И. Галушкин, С.И. Барцев,

B.А. Охонин, А.Н. Горбань, Е.М. Миркес, B.JL Дунин-Барковский,

C.А. Терехов, A.JI. Микаэлян, И.Г. Персианцев, А.И. Хилько, В.Г. Яхно и др. Проблемам принятия решения в условиях неопределённости в общей теории, систем и, в частности, в теории управления с использованием ИНС посвящены многие работы известных отечественных исследователей, таких как Ю.Г.Евтушенко [22-24], C.B. Емельянов [25-27; 113], H.H. Моисеев [45; 45], Ю.А. Флеров [28], E.H. Черемисина [18; 77], P.A. Алиев [80], C.B. Ульянов [97; 98; 107], А.Н. Аверкин [59; 81] и др., а также многих зарубежных исследователей, среди которых необходимо выделить Lotfi A. Zadeh [29; 30; 112], T. Saati [54; 55], M. Jamshidi, Е. Mamdani и др.

Методы искусственных нейронных сетей наиболее широко используются в задачах классификации. Задача классификации представляет собой задачу отнесения образца к одному из нескольких непересекающихся множеств. При решении задач классификации ИНС должна отнести имеющиеся характеристики объекта (наблюдаемые данные) к одному или нескольким определённым классам.

Однако остаются открытыми вопросы выбора топологии сети, определение количества слоев и нейронов, интерпретации весовых коэффициентов и смещений, оценки их оптимальности, в частности, в задачах классификации.

Как отмечено в [60, с.б], в настоящее время выбор вида сети происходит чисто эмпирически. Доказан ряд теорем о том, что сети нескольких определённых архитектур являются универсальными аппроксиматорами. Действительно, самым важным свойством нейронных сетей является возможность аппроксимировать непрерывную функцию любого типа [84; 85; 90; 92]. Это свойство известно как теорема универсальной аппроксимации. Теорема универсальной аппроксимации определяет необходимые, но не достаточные условия аппроксимации произвольной функции и не даёт рекомендации по выбору числа нейронов и количества слоёв нейронной сети. Выбор структуры сети и числа её элементов (нейронов) решается также эмпирически. Существует ряд результатов исследований о количестве нейронов, требуемых для достаточно точного решения задачи [4; 5; 8], однако, как отмечается в [60, с.7], они пока носят мало конструктивный характер. Предложены алгоритмы подбора структуры сети, которые являются того или иного вида генетическими алгоритмами. Условия сходимости такого рода алгоритмов недостаточно исследованы, ещё меньше известно о скорости их сходимости [60, с.7]. Относительно алгоритмов подбора весов сети отмечено, что ряд из них является применением к нейронным сетям известных и достаточно хорошо изученных методов нелинейной оптимизации.

Со стороны учёных в области статистических решений утверждения исследователей о том, что нейронные сети якобы могут обеспечить качество функционирования лучшее, чем оптимальное, и, что традиционная теория статистических решений устарела, вызывают большое сомнение. Необходимо отметить, что нейросетевые технологии лишь позволяют приблизиться сколь угодно близко к> истинно оптимальным: решениями для* сложных и нетривиальных условий принятия, решений, хотя; получение такого приближения является, очень важным звеном во многих практических приложениях: .

В то же время накоплен большой теоретико-эмпирический фундамент для создания систем классификации на основе:теории статистических- решений и-правил статистического синтеза. Этому; посвящено.» большое число работ следующих-учёных: Г. Крамер, С. Кульбак, Р. Фишер,' Н. Винер, P.E. Калман, Д. Миддлтон, Г. Ван- Трис, Э. Патрик, А.Н. Колмогоров,, В.А. Котельников, Б.Р. Левин, В.И. Тихонов,' Ю.Г. Сосулин,. М.С. Ярлыков* KDG. Шинаков, Р.Л. Стратонович, Н.Г. Загоруйко, В.Н. Вапник, А.Я. Червоненкис и др.

В основе статистических: решений лежит предположение, что распределение вероятностей наблюдаемой, случайной величины принадлежит некоторому априорно заданному множеству. На основе плотностей распределения вероятностей, отношения правдоподобия, вычисления апостериорных вероятностей статистические решения позволяют синтезировать строгие (оптимальные при; заданном критерии) алгоритмы обработки.

Методы на основе статистических правил при адекватности выбранной модели для исходных данных дают однозначный ответ на вопрос о значении всех параметров алгоритма: обработки. Проблема применимости статистических алгоритмов связана с выбором и обоснованием-"модели распределения, адекватной данным и решаемой задаче. Для; преодоления неопределённостей используются адаптивные алгоритмы на основе статистических методов, которые позволяют решить любую задачу синтеза при задании модели возможных неопределённостей для исходных данных. В этих целях, в частности, используются полигауссовские вероятностные модели. Большую роль в развитии статистических методов сыграли работы A.B. Сульдина [56; 5:7], A.A. Дороднова [19-21], Ш.М. Чабдарова [72; 75], А.Т. Трофимова [62-64], Н.З. Сафиуллина [73], А. Ф. Надеева [74] и др.

Всё это обуславливает актуальность выбранной темы исследования.

Целью диссертационной работы является разработка методов построения ; искусственных / нейронных сетей, основанных на применении полигауссовской вероятностной модели представления данных; и статистических критериев синтеза для задач классификации.

Для достижения цели поставлены следующие задачи: .

Сравнительный анализ современных подходов; к построению систем классификации данных;

• Разработка методов построения искусственных нейронных сетей на основе применения полигауссовских вероятностных моделей: наблюдаемых данных;: • " *

• Обоснование принципов, позволяющих интерпретировать знания, представляемые искусственными^нейронными сетями;' ;

• Практическое применение; разработанного инструментария в проблемно-ориентированных областях;

В рамках выделенных направлений были использованы принципы и методы системного анализа (принцип оптимальности; принцип, структурного анализа и синтеза), математической статистики, теории вероятностей, теории искусственных нейронных сетей; теории статистических, решений, имитационного моделирования и теории сигналов.

С целью актуализации исследований • выполнен анализ научно-методической литературы. Основой для исследования послужили; результаты; работ, проведённых в, области искусственного интеллекта; интеллектуальных систем, искусственных нейронных сетей, нечётких систем, теории статистических, решений и. синтеза систем классификации, использования полигауссовских вероятностных моделей:[2; 6; 10; 12; 13; 16; 33; 37; 38; 41; 49; 59; 60; 61; 63; 65; 66; 68; 70; 72; 78; 82; 90].

Объектом исследования являются искусственные нейронные сети для, решения задач классификации.

Предметом исследования являются методы построения искусственных нейронных сетей, основанные на полигауссовской модели представления данных. I

Научная новизна заключается в следующем:

1. Впервые разработаны методы построения искусственных нейронных сетей на основе 'применения< полигауссовской вероятностной модели представления данных и статистических критериев синтеза.

2. Получены новые структуры, новые логические операторы и новые алгоритмы обучения искусственных нейронных сетей.

3. Научно обоснованы принципы интерпретации параметров искусственных нейронных сетей как знаний об исходных данных и свойствах окружающей среды.

Практическая значимость определяется следующими результатами:

1. Методические рекомендации по результатам диссертации могут использоваться для синтеза искусственных нейронных сетей при решении различных задач классификации, в том числе для обработки многомерных данных и многокомпонентных временных рядов.

2. Предложенные в диссертации методы можно использовать при обучении специалистов в области разработки различных интеллектуальных систем с использованием искусственных нейронных сетей.

3. Апробация разработанных методов показала целесообразность и 4 состоятельность их использования при решении задачи обнаружения радиационного излучения в условиях понижения фонового излучения от воздействия контролируемого объекта и при создании системы классификации морских кораблей по шумовым гидроакустическим сигналам. ■ ■ . ' 11. •""'.■■'■•:'.

Защищаемые положения' диссертационной:/ работы следуют из научной новизны и состоят в следующем:

1. Разработанные методы построения ИКС с использованием полигауссовской вероятностной модели представления данных основаны на применении вычислений; линейных и квадратичных достаточных статистик; и функций апостериорных вероятностей. Применение квадратичных достаточных статистик позволяет снизить вычислительные затраты и повысить точность классификации при реализации ИНС.

2. Предлагаемые алгоритмы,обучения, функционирующие параллельно с алгоритмом классификации, позволяют создавать, более гибкие сети, в том числе с изменяемой структурой, с помощью обучения на основе оценивания параметров полигауссовской вероятностной модели (ПВМ).

3'. Взаимно? однозначное соответствие между параметрами, ИНС и параметрами; полигауссовской вероятностной модели позволяет интерпретировать знания, представляемые ИНС.

4: Применение динамических полигауссовских нейронных сетей5 для классификациишозволяет преодолеть проблему «проклятие размерности».

В первой главе данного диссертационного исследования выполнен сравнительный анализ статистических и нейросетевых методов решения* задач классификации1 на примере решения хорошо известных и важных задач для телекоммуникационных систем. Приводятся основные свойства и принципы построения искусственных нейронных сетей, исторические аспекты их развития и применения. Описываются основные критерии при классификации на основе статистических методов. Проводится имитационное моделирование решения бинарных задач классификации на основе нейросетевых и статистических методов^ Построены рабочие характеристики классификатора. Показывается взаимосвязь между вычислением? функции апостериорной вероятности и логистической функцией активации ИНС для решения бинарных задач классификации. Получены выражения для плотности распределения вероятностей логистической функции.

Вторая глава посвящена разработке методов построения нейронных сетей при использовании статистических методов и полигауссовского представления исходных данных.

На основе полигауссовской вероятностной модели (ПВМ) представления исходных данных записаны выражения полигауссовской плотности распределения вероятностей случайной величины и достаточных статистик. Обосновывается необходимость введения линейных и квадратичных достаточных статистик. Отмечается важность использования квадратичных достаточных статистик.

Описывается полученная структура байесовской нейронной сети (БНС) на основе применения критерия среднего риска для оценивания номера (индекса) класса при использовании ПВМ.

На основе статистических методов показываются аналитические оценки вероятностей ложной классификации. Предлагается применение метода для оценивания вероятностей правильной и ложной классификации с использованием информационной меры Кульбака в качестве меры различия между гауссовскими компонентами модели.

Обосновывается применение асимптотически оптимальных процедур реализации алгоритмов обработки. Данные алгоритмы основаны ' на использовании асимптотически-нормальной статистики Реализация асимптотически оптимальных алгоритмов позволяет существенно снизить аппаратные затраты при построении нейронных сетей.

Приводится структура вычислений с использованием статистических критериев принятия решений при представлении данных, описываемых одинаковыми средними значениями и различными ковариациями; различными средними и одинаковыми ковариациями; различными средними и различными ковариациями.

На основе известных градиентных алгоритмов получены алгоритмы обучения и адаптации байесовских нейронных сетей. Используется информационный, критерий» близости полигауссовской вероятностной модели к истинной плотности- распределения вероятностей, характеризующей входные данные. Полученные алгоритмы обучения (адаптации) функционируют параллельно с основным алгоритмом классификации, что- является отличительною особенностью от методов на основе обратного распространения ошибки.

Предложена, структура динамической нейронной сети на основе полигауссовской модели, позволяющей преодалеть проблему «проклятие размерности». Проблема проклятия размерности связана с тем, что с ростом размерности наблюдаемых данных возрастает необходимость в увеличении числа нейронов, числа слоев сети и числа межнейронных синаптических связей:

В третьей главе разработаны-методы-синтеза многослойных нейронных сетей. Показаны возможности аппроксимации байесовской апостериорной: вероятности с помощью логических операторов, многослойных нейронных сетей. Доказывается, что логистическая функция представляет собой частную апостериорную вероятность, которая совпадает в случае функции двоичной классификации. В" качестве частного вида апостериорной вероятности предлагается применение двухпороговой логистической функции.

Рассмотрена структура вычислений и архитектура соответствующих синтезируемых многослойных нейронных сетей. Использование многослойных нейронных сетей вместо байесовских нейронных сетей, позволяет снизить аппаратные и вычислительные затраты при сохранении оптимальности классификации.

Показано, что методика построения нейронных сетей сводится к построению первого скрытого слоя для вычисления достаточных статистик в виде линейных и квадратичных форм относительно исходных данных и применению- частных апостериорных вероятностей в качестве выходов нейронов. Второй и третий скрытые слои предназначены для вычисления функции логических операций над действительными переменными.

В главе рассматриваются вопросы* вычислительной взаимосвязи МНС с нейронными сетями' на основе радиальных базисных функций. Такие нейронные сети (11ВР-сети, сети Кохонена, ЬУС)-сети) в качестве функций активации используют соответствующие функции, которые синтезируются непосредственно на основе применения * ПВМ и использования критерия максимального правдоподобия* для решения задачи классификации (кластеризации).

На основе взаимосвязи с параметрами полигауссовской вероятностной модели в главе развиваются принципы интерпретации-весовых коэффициентов * и смещений. Показывается, что знания, представляемые свободными параметрами! нейронных сетей (весовыми коэффициентами и смещениями), взаимно однозначно связаны с параметрами полигауссовской вероятностной модели.

В четвёртой главе на основе предложенных методов построения искусственных нейронных сетей показываются результаты решения ряда теоретических и практически важных задач

Рассматриваются новые решения хорошо известной задачи «Исключающее ИЛИ» на основе синтезируемых ИНС. Путём имитационного моделирования детально исследуются полученные автором структуры НС для решения задачи «Исключающее ИЛИ» с различными типами- переменных (логические и действительные).

Применение ПВМ для синтеза нейросетевого алгоритма «Исключающего ИЛИ» позволяет наглядно продемонстрировать эффективность предлагаемых методов и получить новые оригинальные структуры и операторы нейронных сетей.

Показывается возможность применения разработанных методов при решении задачи обнаружения радиационного излучения в условиях понижения фонового излучения от воздействия контролируемого объекта с использованием радиационного портального монитора. Описывается' функциональное назначение системы, используемый алгоритм обнаружения, подчёркиваются его ограничение, связанное с пропуском тревоги, при понижении фонового гамма-излучения, вызванного проходящим контролируемым объектом. Показывается структура, веса и- смещения синтезированной нейронной сети и их взаимосвязь с параметрами полигауссовской модели представления1 данных. Приводятся результаты работы полученной системы классификации, результаты натурного и имитационного моделирования. Решение на основе нейронной сети, полученной с использованием разработанных методов, позволило преодолеть ограничение существующего алгоритма обнаружения.

Разработанные методы применены при создании системы классификации морских кораблей по шумовым гидроакустическим сигналам. Для построения системы классификации морских кораблей разработана ИНС, обеспечивающая накопление знаний о свойствах наблюдаемых объектов по шумовым гидроакустическим сигналам. Показывается формирование знаний, представляемых искусственной нейронной сетью на основе полигауссовской модели. Алгоритмы работы НС испытаны на реальных данных, полученных гидроакустической системой ГАС МГК-608Э. Приводится взаимосвязь параметров ИНС с параметрами полигауссовской модели представления данных.

В заключении сформулированы основные результаты проведённых исследований, которые сводятся к следующему:

1. Разработаны методы построения искусственных нейронных сетей для задач классификации на основе применения полигауссовских вероятностных моделей.

2. Разработаны алгоритмы обучения- искусственных нейронных сетей, функционирующие параллельно с процедурой классификации.

3. Разработаны асимптотически-оптимальные полигауссовские вычислительные алгоритмы реализации нейронных сетей.

4. Показано, что основное назначение нейронов первого скрытого слоя ИНС состоит в реализации вычислений условных достаточных статистик и частных или обобщенных функций АПВ. I

5. Обоснован метод применения достаточных и условно-достаточных статистик при построении искусственных нейронных сетей.'

6. Доказано, что взаимно однозначное соответствие между" параметрами ИНС и параметрами .полигауссовской вероятностной, 'модели позволяет, интерпретировать знания, представляемые ИНС.

7. Повышение эффективности функционирования ИНС обеспечивается с помощью введения квадратичных форм наряду с используемыми линейными формами преобразования данных.

• 8. Предложен метод синтеза динамических НС на основе ПВМ, позволяющий преодолеть проблему «проклятие размерности».

9; Предложен метод оценки вероятностей ошибок и правильной классификации при использовании полигауссовских моделей.

10. Получены новые нейросетевые алгоритмы реализации оператора «Исключающее ИЛИ».

11. Получены новые двухпороговые функций активации ИНС.

12. Разработанные методы применены при реализации, системы обнаружения радиационного излучения в условиях понижения фонового излучения от воздействия контролируемого.объекта и' при создании системы классификации морских кораблей по шумовым гидроакустическим сигналам. Полученные результаты внедрены на ЗАО «НПЦ «Аспект» им. Ю.К. Недачина и ОАО «Научно-исследовательский институт «Атолл».

13. Развитая теория и методы построения искусственных нейронных сетей в виде методических материалов используются в учебном процессе Международного университета природы, общества и человека «Дубна».

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Трофимов, Ярослав Александрович

4.4 Выводы по главе

Приведём результаты применения разработанных методов построения ИНС к решению ряда теоретических и практически важных задач.

Пример построения ИНС для решения исторически значимой для теории искусственных нейронных сетей задачи «Исключающее ИЛИ» использован нами в качестве тестового для демонстрации возможностей методов построения НС на основе применения ПВМ для представления данных.

При использовании ПВМ с четырьмя различными средними и одинаковой ковариацией (¿>- коррелированные отсчёты с малыми по величине дисперсиями) получены два типа БНС с одним скрытым слоем с четырьмя нейронами, и латеральными связями между ними. Типы БНС различаются видом вычисляемых условных достаточных статистик. Одна структура получена на основе вычисления линейных, а другая квадратичных достаточных статистик.

При< использовании ПВМ с двумя различными ковариациями и. одинаковыми математическими ожиданиями получена структура* БНС с двумя нейронами в первом" скрытом слое на основе вычисления квадратичных достаточных статистик. При использовании частных АПВ получены новые структуры НС с применением обоснованных нами двухпороговых логистических функций, использованием одного нейрона и вычислением линейной достаточной статистики. Интересной, на наш взгляд, является обоснованная нами структура НС для реализации операции «Исключающее ИЛИ» с применением одного единственного нейрона и использованием функции активации в виде квадрата разности координат (отсчётов) вектора данных. Квадрат разности двух величин будет равен нулю при одинаковых значениях отсчётов и равен единице при различающихся значениях.

Полученные структуры НС для решения задачи «Исключающее ИЛИ» детально исследованы нами путём имитационного моделирования для различных типов переменных (логических и действительных). Для обеспечения наглядности решения задачи в разделе 4.1 приведены ЗО графики выходов нейронных сетей.

Применение ПВМ для синтеза нейросетевого алгоритма «Исключающего ИЛИ» позволило наглядно продемонстрировать эффективность предлагаемых методов и получить новые оригинальные структуры и операторы нейронных сетей.

Состоятельность методов построения ИНС подтверждается при решении задачи обнаружения радиационного излучения с использованием РГТМ в условиях «подавления фона», вызванного проходящим транспортным средством. Использование предлагаемых методов построения ИНС позволило разработать эффективный нейросетевой алгоритм и структуру сети для обнаружения радиационного излучения. Полученный алгоритм не зависит от изменения (подавления) уровня постоянного радиационного фона, от мощности и длительности радиационного излучения и от момента появления излучения во времени.

Благодаря применению полученных НС исключень1 ошибки пропуска тревоги, свойственные широко применяемым в настоящее время алгоритмам работы РПМ. Эти результаты внедрены на предприятии ЗАО «НПЦ «Аспект» им. Ю.К. Недачина.

Для построения системы классификации морских кораблей разработана НС, обеспечивающая накопление знаний о свойствах наблюдаемых объектов по шумовым гидроакустическим сигналам. Алгоритмы работы НС испытаны на реальных данных, полученных гидроакустической системой ГАС МГК-608Э.

Характеристики (знания) ' о сигналах, интерпретированные по параметрам ИНС и ПВМ представлены в разделе 4.3 в виде графиков средних значений и ковариационных функций энергетических спектров, создаваемых надводными кораблями в виде шумовых полей.

Методы и синтезированные нейросетевые алгоритмы для формирования знаний о морских кораблях по их шумовым гидроакустическим сигналам внедрены на ОАО «Научно-исследовательский институт «Атолл».

ЗАКЛЮЧЕНИЕ

В диссертационной работе «Методы построения искусственных нейронных сетей для задач классификации на основе полигауссовских вероятностных моделей» получены следующие результаты.

Выполнен сравнительный анализ статистических и нейросетевых методов решения задач классификации на примере решения хорошо известных и важных задач для телекоммуникационных систем. Приведены основные свойства и принципы построения искусственных нейронных сетей, исторические аспекты их развития и применения. Описаны основные критерии при классификации на основе статистических методов.

Приведены результаты имитационного моделирования решения задач классификации для систем телекоммуникации на основе нейросетевых и статистических методов. Построены рабочие характеристики классификатора. Отмечается взаимосвязь между вычислением функции апостериорной вероятности и логистической функцией активации ИНС для решения бинарной задачи классификации. Получены выражения для плотности распределения вероятностей логистической функции.

Рассмотренные в диссертационной работе примеры наглядно иллюстрируют проблемы выбора структуры ИНС, определения значений весовых коэффициентов, смещений и вида функции активации. Методы на основе статистических правил при адекватности выбранной вероятностной модели для сигналов и помех дают однозначный ответ на вопрос о значении всех параметров алгоритма обработки сигнала. Алгоритм нейронной сети можно интерпретировать как приближение (аппроксимация) оптимального правила решения.

Структура первого слоя ИНС и весовой коэффициент сети классификации реализуют операцию вычисления достаточной статистики Ь(х) = {х, Я~х • у) = (X, РУ) . Достаточная статистика Ь(X) определяется формой ожидаемого сигнала V и матрицей ковариации шума Я .

Алгоритмы на основе статистических методов и нейросетевые алгоритмы при. решении задач классификации (на примере обнаружения сигнала. на фоне гауссовских шумов) однозначно! определяются; математическим ожиданием и матрицей ковариации шума.

Из сравнения» статистических и нейросетевых алгоритмов; для-рассмотреннош примера (различения двух линейно-независимых, векторов); необходимо® отметить г их отличия. Статистический алгоритм основан* на вычислении квадратичной достаточной статистики (,1.10), (1.11). Нейросетевой алгоритм реализует классификацию на; основе вычисления весовой? функции, обеспечивающей инвариантность обработки векторов к случайной амплитуде. Безошибочной классификации: можно добиться только на- основе; применения; статистического алгоритма. Ошибки нейронной сети объясняются, неточностью определения весовой функции-инварианта.

Функционирование ИНО можно интерпретировать как алгоритм вычисления линейных достаточных статистик и их последующее использование для классификации объектов;

Следует отметить, что многослойные нейронные сети вычисляет только линейные достаточные статистики. Теория статистических решений требует вычисления квадратичных достаточных статистик.'

Сделан следующий вывод. Построение искусственных нейронных сетей возможно на основе использования-статистических методов И; вероятностных моделей представление данных.

Во второй главе «Методы синтеза искусственных нейронных сетей с использованием вероятностных моделей» разработаны методы построения нейронных сетей" при использовании статистических методов и полигауссовского представления исходных данных. Методы на основе статистических правил дают однозначный ответ на вопрос о значении параметров алгоритма обработки данных при описании полигауссовской моделью представления исходных данных.

На основе применения критерия среднего риска для оценивания номера индекса) класса при использовании ПВМ получена структура байесовской нейронной сети с одним скрытым слоем, латеральными связями между нейронами. При этом количество нейронов в, слое равняется количеству гауссовских компонент ПВМ.

На основе анализа алгоритма функционирования и структуры синтезированных БНС сделан следующий вывод. Первый скрытый слой предназначен для вычисления условных достаточных статистик и формирования на их основе функций АГГО.

В качестве важного вывода отмечено, что введение квадратичной формы наряду с линейными формами достаточных статистик является необходимым условием для повышения точности классификации и уменьшения объёма вычислений при функционировании ИНС.

На основе вышеизложенного сформулировано следующее защищаемое положение:

Разработанные методы построения ИНС с использованием, полигауссовской вероятностной модели представления данных основаны на применении вычислений линейных и квадратичных достаточных $ статистик и функций апостериорных вероятностей. Применение квадратичных достаточных статистик позволяет снизить вычислительные затраты и повысить точность классификации при реализации ИНС.

Приведена структура вычислений с использованием статистических критериев принятия решений при представлении данных, описываемых одинаковыми средними значениями и различными ковариациями; различными средними и одинаковыми ковариациями; и различными средними и различными ковариациями.

На основе статистических методов получены аналитические оценки вероятностей ложной классификации и правильной классификации. Предложен метод для оценивания вероятностей правильной и ложной классификации с использованием информационной меры Кульбака в качестве меры различия между гауссовскими компонентами модели.

Показано применение асимптотически оптимальных процедур реализации алгоритмов обработки. Реализация асимптотически оптимальных алгоритмов позволяет существенно снизить аппаратные затраты при построении нейронных сетей.

На основе известных градиентных алгоритмов получены алгоритмы обучения (адаптации) байесовских нейронных сетей. Используется информационный критерий близости полигауссовской вероятностной модели к истинной плотности распределения вероятностей, характеризующей входные данные. Полученные алгоритмы обучения (адаптации) функционируют параллельно с основным алгоритмом классификации, что является отличительной особенностью от методов на основе обратного распространения ошибки. В результате адаптации (обучения) мы находим значения параметров полигауссовской модели, характеризующих исходные наблюдаемые данные. В качестве защищаемого положения сформулировано следующее: Предлагаемые алгоритмы обучения, функционирующие параллельно с алгоритмом классификации, позволяют создавать более гибкие сети, в том числе' с изменяемой структурой, путём оценивания параметров полигауссовской вероятностной модели (ПВМ).

Предложена структура динамической нейронной сети на основе полигауссовской модели, позволяющей преодалеть проблему «проклятие размерности». Проблема проклятия размерности связана с тем, что с ростом, размерности наблюдаемых данных возрастает необходимость в увеличении числа нейронов, числа слоев сети и числа межнейронных синаптических связей. В качестве защищаемого положения сформулировано следующее:

Применение динамических полигауссовских нейронных сетей для классификации позволяет преодолеть проблему «проклятие размерности».

В третьей главе разработаны методы синтеза многослойных нейронных сетей. Показаны возможности аппроксимации байесовской апостериорной вероятности с помощью логических операторов многослойных нейронных сетей. Доказано, что логистическая функция > представляет собой частную апостериорную вероятность, которая' совпадает в случае функции двоичной классификации. В качестве частного вида апостериорной вероятности предложено применение новой двухпороговой логистической функции. Кроме этих функций получены и предложены к применению новые двухпороговые логистические функции, позволяющие уменьшить количество используемых нейронов в первом скрытом слое.

Показана методика построения нейронных сетей, которая сводится к построению первого скрытого слоя для вычисления достаточных статистик в виде линейных и квадратичных форм относительно исходных данных и применению частных апостериорных вероятностей в качестве выходов нейронов. Второй и третий скрытые слои предназначены для вычисления функции логических операций ИЛИ-над действительными переменными.

Показана вычислительная взаимосвязь МНС с нейронными сетями на основе радиальных базисных функций. Такие нейронные сети (ЯВР-сети, сети Кохонена, ЬУ(3-сети) в качестве функций активации используют соответствующие функции, которые синтезируются непосредственно на основе применения ПВМ и использования критерия максимального правдоподобия для решения задачи классификации (кластеризации).

Применение ПВМ при построении ИНС с традиционным базисом операторов позволяет провести анализ функционирования отдельных слоев и нейронов и выделить инварианты по пространству решений на основе частных АПВ. Весовые коэффициенты первого скрытого слоя обученной сети можно интерпретировать с использованием параметров ПВМ в качестве знаний о наблюдаемых данных.

На основе взаимосвязи с параметрами полигауссовской вероятностной модели показаны принципы интерпретации весовых коэффициентов и смещений. Показано, что знания, представляемые свободными параметрами нейронных сетей (весовыми коэффициентами и смещениями), связаны с параметрами полигауссовской вероятностной модели об исходных данных. В соответствии с этим формулируется следующее защищаемое положение:

Взаимно однозначное соответствие между параметрами ИНС и параметрами полигауссовской вероятностной модели позволяет интерпретировать знания, представляемые ИНС.

В четвёртой главе на основе предложенных методов построения искусственных нейронных сетей получены практические результаты применения разработанных методов.

Путём имитационного моделирования детально исследованы полученные автором структуры НС для решения задачи «Исключающее ИЛИ» с различными типами переменных (логические и действительные).

Применение ПВМ для синтеза нейросетевого алгоритма «Исключающего ИЛИ» позволило наглядно продемонстрировать эффективность предлагаемых методов и получить новые оригинальные структуры и операторы нейронных сетей.

Разработанные методы применены при решении задачи обнаружения радиационного излучения с использованием радиационного портального монитора в условиях «подавления» фонового излучения от воздействия контролируемого объекта.

Применение полигауссовской модели с различными средними позволило разработать эффективный нейросетевой алгоритм и структуру сети. Данное решение позволило преодолеть ограничение существующего алгоритма обнаружения и исключить ошибки пропуска тревоги, свойственные широко применяемым в настоящее время алгоритмам работы РПМ.

Предложенный вариант ИНС был испытан на реальных данных, полученных в результате натурного моделирования эффекта «подавления фона», проведённого компанией «Siebersdorf Research» (Австрия) на испытательном полигоне с использование радиационного портального монитора Янтарь-1 А, произведённого ЗАО «НПЦ «Аспект» им. Ю.К. Недачина, г. Дубна, а также на проведённом автором имитационном моделировании.

По результатам натурного эксперимента и имитационного моделирования сделан вывод, что синтезированная автором НС с высокой достоверностью ( Р = 0,996 ) осуществляет обнаружение радиационного излучения в условиях «подавления» фона.

Полученный алгоритм не зависит от изменения (подавления) уровня постоянного радиационного фона, от мощности и длительности радиационного излучения и от момента появления излучения во времени.

Эти результаты внедрены на предприятии ЗАО «НПЦ «Аспект» им. Ю.К. Недачина.

Разработанные методы лежат в основе системы классификации морских кораблей по шумовым гидроакустическим сигналам. Для построения системы классификации морских кораблей разработана ИНС, обеспечивающая накопление знаний о свойствах наблюдаемых объектов по шумовым гидроакустическим сигналам. Показывается формирование знаний, представляемых искусственной нейронной сетью на основе полигауссовской модели. Алгоритмы работы НС испытаны на реальных данных, полученных гидроакустической системой ГАС МГК-608Э.

Приведена взаимосвязь параметров ИНС с параметрами полигауссовской модели представления данных.

Методы и синтезированные нейросетевые алгоритмы для формирования знаний о морских кораблях по их шумовым гидроакустическим сигналам внедрены на ОАО «Научно-исследовательский институт «Атолл».

Таким образом, основными результатами диссертационной работы являются:

1. Разработаны методы построения искусственных нейронных сетей для задач классификации на основе применения полигауссовских вероятностных моделей.

2. Разработаны алгоритмы обучения искусственных нейронных сетей, функционирующие параллельно с процедурой классификации.

3. Разработаны асимптотически-оптимальные полигауссовские вычислительные алгоритмы реализации нейронных сетей.

4. Показано, что основное назначение нейронов первого скрытого слоя ИНС состоит в реализации вычислений условных достаточных статистик и частных или обобщенных функций АПВ.

5. Обоснован метод применения достаточных и условно-достаточных статистик при построении1 искусственных нейронных сетей.

6. Доказано, что взаимно однозначное соответствие между параметрами ИНС и параметрами полигауссовской вероятностной модели позволяет интерпретировать знания, представляемые ИНС.

7. Повышение эффективности функционирования ИНС обеспечивается с помощью введения квадратичных форм наряду с используемыми линейными формами преобразования данных.

8. Предложен метод синтеза динамических НС на основе ПВМ, позволяющий преодолеть проблему «проклятие размерности».

9. Предложен метод оценки вероятностей ошибок и правильной классификации при использовании полигауссовских моделей.

10. Получены новые нейросетевые алгоритмы реализации оператора i

Исключающее ИЛИ».

11. Получены новые двухпороговые функций активации ИНС.

12. Разработанные методы применены при реализации системы -обнаружения радиационного излучения в условиях понижения фонового излучения от воздействия контролируемого объекта и при создании системы классификации. морских кораблей по шумовым гидроакустическим сигналам. Полученные результаты внедрены на ЗАО«НПЦ «Аспект» им. Ю.К. Недачина и ОАО «Научно-исследовательский институт «Атолл».

13. Развитая теория и методы построения искусственных нейронных сетей в виде методических материалов используются в учебном процессе Международного университета природы, общества и человека «Дубна».

Список литературы диссертационного исследования кандидат технических наук Трофимов, Ярослав Александрович, 2011 год

1. С. А. Ахманов (мл.), И. Г. Персианцев, А. Т. Рахимов и др. Знакомьтесь: персональная ЭВМ Корвет / С предисл. Е. П. Велихова. М.: Наука, 1989.236 с.

2. Ван Трис Г. Синтез оптимальных ниленейных оптимальных систем управления. М.: Мир, 1964.

3. Вооружение и военно-морская техника России. М.: ООО «Военный Парад», 2003. 208 с.

4. Галушкин А.И. Выбор критериев первичной оптимизации и построение оптимальной модели системы распознавания К классов образов вiрежиме обучения. / Сб. «Автоматическое управление и вычислительная техника». Вып. 10. 1972.

5. Галушкин А.И. Многослойные системы распознавания образов. М.: МИЭМ, 1970. 167 с.

6. Галушкин А.И. Нейронные сети: основы теории. М.: Горячая линия-Телеком, 2010. 496 с.

7. Галушкин А.И. Нейрокомпьютеры (Нейрокомпьютеры и их применение. Кн. 3). М.: ИПРЖР, 2000. 528 с.

8. Галушкин А.И., Золотов IO.JI., Шикунов Ю.А. Оперативная обработка экспериментальной информации. М.: Энергия, 1972. 360 с.

9. Галушкин А.И. Синтез многослойных нейронных сетей распознавания образов. М.: Энергия, 1974.

10. Горбань А.Н. Обучение нейронных сетей. М.:СП"ПараГраф", 1990.159 с.

11. Горбань А.Н., Дунин-Барковский В.Л., Кирдин А.Н. и др. Нейроинформатика. Новосибирск: Наука, 1996. 276 с.

12. Горбань А.Н., Россиев Д.А. Нейронные сети на персональном компьютере / Отв. ред. В. И. Быков; Новосибирск: Наука, 1996. 270 с.

13. Городецкий А .Я. Информационные системы. Вероятностные модели и статистические решения. Учеб. пособие. СПб: СПбГПУ, 2003. 326 с.

14. Гужва А.Г., Доленко С.А., Персианцев И.Г., Шугай Ю.С. Многоступенчатый алгоритм на основе комитета нейронных сетей для анализа многомерных временных рядов // «Нейрокомпьютеры: разработка, применение» : науч.-тех. журн. 2010. № 3

15. Гужва А.Г., Доленко С.А., v Персианцев И.Г. Методика отбора существенных входных признаков при нейросетевом решении задач регрессии // «Нейрокомпьютеры: разработка, применение» : науч.-тех. журн. 2010. № 3.

16. Де Грот М. Оптимальные статистические решения. М.: Мир, 1974.492 с.

17. Дороднов A.A. Аппроксимация некоторых классов мер линейными комбинациями гауссовских // Учёные зап. Казанского гос. ун-та. Казань: Изд-во Казанского ун-та, 1969. Т. 129. Кн. 4. С. 46-55.

18. Добрынин В. Н., Черемисина Е. Н., Математические методы и средства вычислительной техники в геолого-прогнозных исследованиях. М.: Недра, 1988. 111 с.

19. Дороднов А. А. О приближенном вычислении характеристических функционалов некоторых классов' вероятностных мер // Казань: Изд-во Казанского ун-та, 1977. Т. 4. С. 83-91.

20. Дороднов A.A. О представлении вероятностных процессов смесями гауссовских // Приём и обработка информации в структурно-сложных системах. Казань: Казанский гос. ун-т, 1972. Т. 129. № 4. С. 46-55.

21. Дороднов A.A. Теория принятия решений: Исслед. операций. Учеб. пособие. Казань: Изд-во Казанского гос. ун-та, 1981. 112 с.

22. Евтушенко Ю. Г. Приближенный расчет задач оптимального управления с помощью метода усреднения. Теория оптимальных решений. Изд-во ИК АН УССР. Вып. 1.

23. Евтушенко Ю. Г. Приближенный расчет оптимального управления. Прикладная математика и механика. Т. 34. № 1. С. 95-104.

24. Евтушенко Ю.Г., Потапов М.А. Поиск оптимальных решений. В книге "Методы решения оперативного управления". М.: ВНИИПОУ.

25. Емельянов С. В., Коровин С. К., Никитин С. В. Глобальная управляемость и стабилизация нелинейных систем. Матем. моделирование, 1989, 1:1, 51-9.

26. Емельянов С. В. Теория систем с переменной структурой. М.: Наука,1970.

27. Емельянов С. В. Системы автоматического управления с переменной структурой. М.: Наука, 1967.

28. Журавлев Ю.И., Флеров Ю.А. Дискретный анализ. Ч. 1: Учебное пособие. М.: МФТИ, 1999.

29. Заде JI. Основы нового подхода к анализу сложных систем и процессов принятия решений. В кн. «Математика сегодня». Пер. с англ. М.:3нание, 1974. С. 5-49.

30. Заде Л. Понятие лингвистической переменной и его применение к принятию приближённых решений. М.: Мир, 1976. 168 с.

31. Ипатов В.П. Системы мобильной связи. М.:Горячая линия-Телеком, 2003. 272 с.

32. Карлащук В.И. Электроннная лаборатория на IBM PC. Лабораторный практикум на Electronic Workbench и VisSim по элементам телекоммуникационных систем. М.:СОЛОН-Пресс, 2005. 480 с.

33. Кендалл М., Стьюарт А. Статистические выводы и связи / Пер. с англ.; Под редакцией Колмогорова А.Н. М.: Наука, 1973. 900 с.

34. Колмогоров А.Н. Представление непрерывных функций многих переменных суперпозицией функций одной переменной и сложением // Докл. АН СССР, 1957. т.114. №5. с. 953-956.

35. Колмогоров А.Н. Интерполирование и экстраполирование стационарных случайных последовательностей // Изв. АН СССР. Сер.мат. 1941. Т.5. № 1.

36. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. М.: Наука, 1968. 720 с.

37. Крамер Г. Математические методы статистики. 2-е изд. / Пер. с англ.; Под редакцией Колмогорова А.Н. М.: Мир, 1975. 648 с.

38. Кульбак С. Теория информации и статистика. М.: Наука, 1967. 408 с.

39. Левин Б.Р. Теоретические основы статистической радиотехники. М.: Советское радио, 1969.

40. Маккалох Дж., Питтс У. Логические исчисления идей, относящихся к нервной деятельности // Автоматы. М.:ИЛ, 1956.

41. Медведев В. С, Потемкин В. Г. Нейронные сети. MATLAB 6 / Под общ. ред. к. т. н. В. Г. Потемкина. М.: ДИАЛОГ-МИФИ, 2002. 496 с.

42. Микаэлян А.Л., Крыжановский Б.В. «О распознающей способности нейросети на нейронах с параметрическим преобразованием частот» // Доклады АН, сер. мат.физика, т. 383, №3, с.318-321, 2002.

43. Микаэлян А.Л., Крыжановский Б.В., Крыжановский М.В. «Динамическая нейросеть на параметрических осцилляторах с кубической нелинейностью» // сборн. тр. VIII Всерос. научно-техн. конф. «Нейрокомпьютеры и их применение». Москва. 2002. С. 985-994.

44. Минский М., Пейперт С. Персептроны. М.: Мир, 1971.

45. Моисеев Н.Н. Численные методы теории оптимального управления. М.:Б., 1968. 163 с.

46. Моисеев Н. Н. Численные методы в теории оптимальных систем. М.: «Наука», 1971. 424 с.

47. Нейроинформатика /А.Н. Горбань, В.Л. Дунин-Барковский, Е.М. Миркес и др. Новосибирск: Наука, Сибирское предприятие РАН, 1998. 296 с.

48. Нейронные сети. STATISTIC A Neural Networks: Методология и технологии современного анализа данных / Под редакцией В.П. Боровикова. 2-е изд., перераб. и доп. М.: Горячая линия-Телеком, 2008. 392 с.

49. Патрик Э. Основы теории распознавания образов / пер. с англ.; Под ред. Б. Р. Левина. М.: Сов. радио, 1980. 408 с.

50. Д. Райлли, H. Энсслин, X. Смит и др. Пассивный неразрушающий анализ ядерных материалов : науч. издание : пер. с англ. М.: Бином, 2000. 720 с.

51. Розенблатт Ф. Аналитические методы изучения нейронных сетей // Зарубежная радиоэлектроника. 1965. №5. с. 40-45.

52. Розенблатт Ф. Принципы нейродинамики. М.: Мир, 1965.

53. Романова В.И., Хилько А.И., Хоботов А.Г. «Когнитивные алгоритмы видения автономных гидроакустических систем» // Сборник докладов всерос. науч. конф. «Нелинейная динамика в когнитивных исследованиях». Нижний Новгород: ИПФ РАН, 2009. С. 168-169.

54. Саати Т. Анализ иерархических процессов. М.: Радио и связь, 1993.315 с.

55. Саати Т. Математические методы исследования операций. М.: МГУ,1970.

56. Сульдин А. В. О линейных операторах в прямом произведении гильбертовых пространств // Учён. зап. Казан, гос. ун-та. Казань: Изд-во Казанский гос. ун-т, 1954. т. 114. № 2. с. 169-172.

57. Сульдин А. В. Метод регрессии в теории приближений // Сборн. работ НИИММ им. Н. Г. Чеботарева при Казанском ун-те : Учён. зап. Казан, гос. ун-та. Казань: Изд-во Казанского ун-та, 1963. Т. 123. № 6. с. 3-35.

58. Техническое описание и инструкция по эксплуатации «Стационарная таможенная система обнаружения делящихся и радиоактивных материалов «Янтарь-1П», 1998 // НПЦ Аспект. ДЦКИ.425 713.001 ТО.

59. Тарасов В.Б., Аверкин А.Н., Буланов О.А., Пасечник И.П., Ульянов C.B., Кудрявцев B.C. Немонотонные нечеткие логики в интеллектуальных системах. Информационный бюллетень РФФИ, 1994. т.2. № 1. С. 64.

60. Тархов Д.А. Нейронные сети. Модели и алгоритмы. Кн. 18. М. .-Радиотехника, 2005. 256 с.

61. Татузов A.JI. Нейронные сети в задачах радиолокации. Кн. 28. М.: Радиотехника, 2009. 432 с.

62. Трофимов А.Т. Оценивание мешающих параметров для адаптивной обработки сигналов на основе использования полигауссовской модели помех // Радитехника и электроника. 1986. Т.31, № 11. С. 2151 -2159.

63. Трофимов А.Т. Полигауссовские вероятностные модели и синтезIинформационных систем / НовГУ им. Ярослава Мудрого. Великий Новгород, 2002. 183 с.

64. Трофимов А.Т. Полигауссовские модели в задачах обработки негауссовских случайных процессов и полей // Вестн. НовГУ. 1995. № 1. С. 101-104.

65. Уидроу Б., Стирнз С. Адаптивная обработка сигналов. М.: Радио и Связь, 1989. 440 с.

66. Уоссерман Ф. Нейрокомпьютерная техника: Теория и практика / Пер. с англ. Под ред. А.И. Галушкина. М.: Мир, 1992. 238 с.

67. Уоткинс Д.С. Основы матричных вычислений / Д. Уоткинс; Пер. с англ. М.:БИНОМ. Лаборатория знаний, 2009. 664 с.

68. Хайкин С. Нейронные сети: полный курс 2-е издание.: Пер. с англ. М.: Вильяме, 2006. 1104 с.

69. Хопфилд Д. Нейронные сети и физические системы, проявляющие свойства коллективных вычислений // Под ред. А.И. Галушкина Нейрокомпьютерные сети: История развития теории. М.:ИПРЖР, 2001.

70. Цыпкин Я.З. Адаптация и обучение в автоматических системах. М.: Наука, 1986.400 с.

71. Чабдаров. Ш. М., Трофимов А.Т. Полигауссовы представления произвольных помех и приём дискретных сигналов // Радиотехника и электроника. 1975. Т. 20. № 4. С. 734-745.

72. Чабдаров Ш.М., Сафиуллин Н.З., Феоктистов А.Ю. Основы статистической теории радиосвязи: Полигауссовы модели и методы. Учеб. пособие. Казань: КАИ, 1983. 87 с.

73. Чабдаров Ш.М. Файзуллин P.P., Надеев А.Ф. и др. Статистические модели и методы обработки сигналов в системах радиосвязи: Учеб. пособие. Казань: Изд-во Казанского гос. техн. ун-та, 1997. 88 с.

74. Чабдаров Ш.М., Феоктистов А.Ю., Надеев А.Ф., Файзуллин P.P. Многоотсчётная совместная обработка многопозиционных сигналов при комплексе негауссовских помех // Радиотехника. 1991. № 1. С. 71-75.

75. Черемисина Е.Н., Финкельштейн М.Я., Митракова О.В. Методика постановки и решения прогнозно-диагностических задач в природопользовании. ГЕОИНФОРМАТИКА. 1999. №3.

76. Ярушкина Н.Г. Основы теории нечетких и гибридных систем: Учеб. пособие. М.: Финансы и статистика, 2004. 320 с.

77. Aleksander I. and Morton H. Neural Computing. Chapman hall, 1990.

78. Aliev R.A., Ulyanov S.V. Fuzzy controllers and intelligent control systems. M.: VINITI, 1990. V. 29.

79. Averkin A. N., Prokopchina S.V. The short essay of the soft measurement concept. Sankt-Peterburg:Gydrometeoizdat, 1997, 46 p.

80. Bishop C.M. Neural Networks for Pattern Recognition. Oxford: Oxford University Press, 1995.

81. Brown M., Harris C. Neurofiizzy Adaptive Modeling and Control. NY: Prentice Hall, 1994.

82. Cybenko G. Approximation by Superpositions of Sigmoidal Function. Urbana: University of Illinois, 1988. 280 p.

83. Funahashi K. On the approximate realization of continuous mappings by neural networks. // Neural Networks. 1989. v. 2. pp. 183-192.

84. Gorban' A.N. Neural Network Iterative Method Of Principal Curves For Data With Gaps // Journal of Computer and Systems Sciences International. Pleiades publishing, ltd., 1999. v. 38. n. 5. pp. 825-830.

85. Gorban' A.N., Gorlov A.M., Silantyev V.M. Limits Of The Turbine Efficiency For Free Fluid Flow // Journal Of Energy Resources Technology, Transactions Of The Asme. USA: ASME, 2001. v. 123. n. 2-4. pp. 311-317.

86. Graf II., Hubbard W., Jackel L., and deVegvar P.G.N. A CMOS Associative Memory Chip // First Int. Conference Neural Nets. San Diego, 1987.

87. Hebb D.O. The Organization of Behavior. Wiley, New-York, 1949.

88. Hecht-Nielsen R. Kolmogorov's Mapping Neural Networks Existence Theorem // IEEE First Annual Int. Conf. on Neural Networks. San Diego, 1987. v. 3. pp.11-13.

89. Hopfield, J. Neural networks and physical system with emergent collective computational properties // Proceeding of the National Academy of Sciences of the USA. 1982. v. 79.

90. Hornik K., Stinchcombe M., White H. Multilayer Feedforward Networks are Universal Approximators //Neural Networks. 1989. Vol. 2. PP. 359-366.

91. Kerlirzin P., Vallet P. Robustness in multilayer perceptrons // Neural Computation, 1993. v. 5. pp. 473-482.

92. Khobotov A., Khilko A., Yakhno V. Analysis of advantages of neuronlike systems in the procedure of signal comparison-measure calculation // Optical Memory & Neural Networks (Information Optics), 2008. V. 5. PP. 892-898.

93. Kolmogorov A.N. On the representation of continuous function of many variables by superposition of the continuous function of one variable and addition*// American Math. Soc. Transl., 1963. v. 28. pp. 55-63.

94. Kryzhanovsky B.V., Koshelev V.N., Mikaelian A.L., Fonarev A. Recognation Ability of Randomized Hopfield Networks. Optical Memory&Neural Network. Vol.9. №4. 267-276 (2000).

95. Litvintseva L.V., Takahashi K., Ulyanov S.S. et all. Intelligent robust control design based on new types of computations. Note del P0I9 Ricerca, Universita degli Studi di Milano Publ., Vol. 60. 2004.

96. Litvintseva L.V., Ulyanov S.V., Artificial intelligence applied to design of intelligent systems (Soft computing approach). Universita degli Studi di Milano, Polo Didattico e di Ricerca di Crema Publ., Vol. 38, 1999.

97. LoPresti C.A., Weier D.R., Kouzes R.T., Schweppe J.E. Baseline suppression of vehicle portal monitor gamma count profiles: a characterization study // Nuclear Instruments and Methods in Physics Research, 2006. v. 562. pp. 281-297.

98. Middleton D. Canonical non-Gaussian noise model: theis implication for measurement and for prediction of receiver performance. IEEE Trans / Electromagn. Compat Vol. EMC-21. PP. 209-220.

99. McCulloch W.S. and Pitts W.A. A Logical Calculus of the Ideas Immanent in Nervous Activity. Bull. Math. Biophys, 1943. V. 5. PP. 115-133.

100. Minsky M.L., Papert S.S. Perceptrons: An Introduction to Comtutational Geometry. MIT Press, Cambrige, MA, 1969.

101. Ripley B.D. Pattern Recognition and Neural Networks. Cambridge: Cambridge University Press, 1996.

102. Rosenblatt F. Principles of Neurodynamics. Spartan, New-York, 1962.

103. Rumelhart D.E., Widrovv B., and Lehr M.A. The basic ideas in neural networks // Communications of the ACM, 1994 (March), v. 37, no. 3, pp. 87-92.

104. Ulyanov S.V., Ghisi F., Kurawaki I., Litvintseva L., Simulation of quantum algorithms on classical computers. Universita degli Studi di Milano, Polo Didattico e di Ricerca di Crema Publ., Vol. 32, 1999.

105. Widrow B. And Hoff M.E. Adaptive switching circuits // IRE WESCON, NY, 1960. pp. 96-104.

106. Widrow B. and Stearns S.D. Adaptive Signal Processing. Englewood Cliffs, NJ, Prentice-Hall, 1985.

107. Zadeh L. Outline of a New Approach to the Analysis of Complex Systems and Decision Processes // IEEE Trans. Syst. Man Cybernet. №3. 1973. PP. 28-44.

108. Yemelyanov S.V., Burovoi I.F., Levada F.Yu, Control of Indefinite Nonlinear dynamic systems. Induced internal feedback // Lecture Notes in Control and Information Sciences, 231, Springer, 1998, 196 p.