Алгоритм формирования представительской выборки с применением кластеризации для обучения искусственной нейронной сети тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Пастухов Алексей Андреевич

• Пастухов Алексей Андреевич
• кандидат наук
• 2019

Оглавление диссертации кандидат наук Пастухов Алексей Андреевич

ОГЛАВЛЕНИЕ

Введение

1. Анализ существующих решений предварительной обработки данных перед обучением нейронной сети и постановка задачи исследования

1.1. Анализ проблемы задачи предварительной обработки данных перед обучением нейронной сети

1.2. Обзор существующих методов предобработки данных

1.2.1. Совместная нормировка: выбеливание входов

1.2.2. Метод главных компонент

1.2.2.1. Описание метода

1.2.2.2. Применение метода главных компонент к задаче подготовки данных для обучения нейронной сети типа многослойный персептрон

1.2.3. Box-counting алгоритмы

1.2.4. Другие методы статистического анализа

1.2.5. Применение кластеризации

1.3. Постановка задачи исследования

1.4. Выводы по главе

2. Разработка алгоритма предварительной обработки данных для обучения нейронной сети типа многослойный персептрон на базе кластеризации

2.1. Сравнительный анализ алгоритмов кластеризации

2.2. Описание самоорганизующихся карт Кохонена

2.3. Описание алгоритма предварительной обработки данных на базе самоорганизующихся карт Кохонена

2.4. Демонстрация применения алгоритма

2.5. Выводы по главе

3. Проведение численных экспериментов по обучению нейронной сети типа многослойный персептрон с использованием алгоритма предобработки данных

3.1. Планирование эксперимента

3.2. Обучение многослойного персептрона на данных, сформированных с применением алгоритма SOM

3.3. Обучение многослойного персептрона на данных, сформированных с применением алгоритма K-MEANS

3.4. Обучение многослойного персептрона на данных, сформированных с применением алгоритма C-MEANS

3.5. Обучение многослойного персептрона на данных, сформированных с применением иерархического дерева кластеров

3.6. Обучение многослойного персептрона на данных, сформированных с применением алгоритма и оценки выборочных констант Липшица

3.7. Оценка эффективности разработанного алгоритма

3.8. Выводы по главе

4. Построение нейросетевой прогностической модели с применением алгоритма предварительной

обработки данных

4.1. Этапы построения нейросетевой прогностической модели

4.2. Применение нейронной сети и алгоритма предобработки данных на основе кластеризации для прогнозирования параметров данных, используемых для решения задачи отождествления объектов на виртуальном боевом пространстве при неполной априорной информации

4.2.1. Постановка задачи прогнозирования параметров данных для решения задачи отождествления объектов на виртуальном боевом пространстве

4.2.2. Выбор архитектуры нейронной сети типа многослойный персептрон и формирование представительской выборки

4.2.3. Обучение нейронной сети без предобработки

4.2.4. Обучение нейронной сети с применением алгоритма предобработки на базе самоорганизующихся карт Кохонена

4.2.5. Сравнение результатов обучения

4.3. Выводы по главе 101 Заключение. 103 Список литературы 104 Приложение

Введение.

Актуальность работы. В настоящее время в различных областях науки и техники решается большое количество задач распознавания, классификации, прогнозирования, управления, отождествления и т.д. [1,2,3,4] Все эти задачи объединяет в отдельный класс необходимость поиска зависимостей между определенным набором параметров и предсказание поведения системы в определенный момент времени на базе этих параметров. Одним из инструментов, позволяющим решать задачи подобного рода, является искусственная нейронная сеть [5]. Она обладает способностью обучаться на основе экспериментальных данных рассматриваемой предметной области [6].

Важным этапом функционирования нейронной сети является ее обучение, как правило, основанное на алгоритмах глобальной оптимизации [5]. Наиболее применяемым для обучения многослойного персептрона является алгоритм обратного распространения ошибки, являющийся модификацией алгоритма градиентного спуска [7, 8].

Для повышения вероятности адекватного обучения многослойного персептрона из факторного пространства [9] формируется представительская выборка, которая представляет собой разбиение факторного пространства на три множества: обучающее, тестовое и проверочное. Обучающее множество используется для настройки свободных параметров нейронной сети, тестовое - для независимого тестирования уже обученной нейронной сети, проверочное - для исключения эффекта переобучения, который заключается в запоминании, а не обобщении обучающего множества [5].

Универсальных алгоритмов глобальной оптимизации в случае достаточно большой размерности в настоящий момент не существует, что делает актуальным создание методов повышения эффективности существующих алгоритмов.

Одним из способов повышения эффективности может выступать предварительная обработка данных, одним из этапов которой является

формирование представительской выборки перед применением алгоритмов обучения [9].

Разработанный в ходе диссертационного исследования алгоритм предназначен для формирования представительской выборки наиболее эффективным образом с точки зрения максимизации энтропии обучающего множества, а также позволяет произвести оценку характеристики нейрона снизу, что как следствие позволяет уточнить вид нейрона и улучшить качество обучения искусственной нейронной сети с точки зрения минимизации среднеквадратичной ошибки обучения.

Анализ математического аппарата рассматриваемой предметной области позволил сделать вывод, что существует несоответствие в практике между возросшими требованиями к процессу формирования обучающего множества для нейронной сети, с одной стороны, и возможностями существующих алгоритмов формирования представительской выборки по реализации этих требований.

В результате проведенного анализа сформулирована цель исследования, заключающаяся в разработке алгоритма предварительной обработки данных с применением кластеризации, а также апробации этого алгоритма при решении практической задачи и сделан вывод о том, что существующий математического аппарата рассматриваемой предметной области не имеет универсальных алгоритмов глобальной оптимизации в случае достаточно большой размерности.

Ввиду вышеизложенного является актуальной разработка эффективного метода максимизации энтропии обучающего множества при разбиении факторного пространства на представительскую выборку. С целью максимизации энтропии обучающего множества предлагается провести кластерный анализ [37] факторного пространства для разбиения последнего на обучающее, тестовое и проверочное подмножества для формирования представительской выборки.

Важнейшей проблемой применения алгоритмов кластерного анализа

является определение числа прототипов. В связи с этим представляется целесообразным использование самоорганизующихся карт Кохонена [69] для кластеризации факторного пространства с последующим проведением анализа результатов обучения многослойного персептрона на представительской выборке с применением и без применения предлагаемого подхода.

Объект и предмет исследований. Объектом исследований являются нейронные сети типа многослойный персептрон, а также данные из различных областей знаний, на которых такие сети обучаются.

Предметом исследований являются методы и алгоритмы предобработки данных, на которых обучаются нейронные сети типа многослойный персептрон, с целью повышения качества обучения последних.

Проблемная ситуация определяется отсутствием алгоритмов глобальной оптимизации, а также алгоритмов предварительной обработки, с одной стороны, достаточно эффективных, а с другой - простых в реализации, в случае достаточно большой размерности данных [11, 12].

Цель и задачи исследования. Целью диссертационного исследования является разработка алгоритма предварительной обработки данных с применением кластеризации, а также апробация этого алгоритма на решении практической задачи. Это соответствует областям исследований, определённых в паспорте специальности 05.13.01 «Системный анализ, управление и обработка информации». В работе разрабатывается алгоритм предварительной обработки информации на базе кластерного анализа. В рамках этого алгоритма предложен метод определения характеристики нейрона, а также метод сокращения количества элементов факторного пространства без значительного ухудшения качества обучения нейронной сети (п. 4, п. 12, п. 13) (в части п. 4 - Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации, п. 12 - Визуализация, трансформация и

анализ информации на основе компьютерных методов обработки информации. п. 13 - Методы получения, анализа и обработки экспертной информации).

В соответствии с целью исследования определены следующие основные задачи:

• анализ существующих методов предварительной обработки данных;

• формализация постановки научной задачи;

• анализ существующих методов кластеризации;

• разработка алгоритма предварительной обработки данных на базе кластеризации и оценки констант Липшица;

• разработка программы для ЭВМ, реализующей алгоритм предварительной обработки данных на базе кластеризации;

• формирование факторного пространства для апробации алгоритма на практической задаче;

• построение нейросетевой прогностической модели, решающей практическую задачу, и ее обучение на данных, сформированных с использованием разработанного алгоритма;

• оценка эффективности разработанного алгоритма с точки зрения максимизации энтропии обучающего множества, а также минимизации среднеквадратичной ошибки обучения.

Введение диссертации (часть автореферата) на тему «Алгоритм формирования представительской выборки с применением кластеризации для обучения искусственной нейронной сети»

Цель исследования определила актуальность работы.

Научная новизна работы заключается:

• в разработке алгоритма предварительной обработки данных для обучения нейронной сети. Как привило, предварительная обработка сводится к нормализации и масштабированию исходных данных перед обучением, а разбиение факторного пространства на представительскую выборку производится случайным образом. Это влечет необходимость проведения большого количества процедур обучения и, как следствие, увеличение времени, требующегося на адекватное обучение нейронной сети.

Предлагаемый алгоритм позволяет сократить количество процедур обучения за счет формирования представительской выборки наиболее оптимальным образом с точки зрения максимизации энтропии обучающего множества до проведения первой процедуры обучения;

• в разработке метода определения характеристики нейронов на базе оценки обобщенной константы Липшица и ее сравнения с выборочными константами Липшица обучающего множества. Исследование применения констант Липшица к обработке данных перед обучением нейронной сети проводилось, например, в работах [14, 76], где вопрос предобработки изучался с точки зрения кодирования элементов факторного пространства, а также минимизации оценки константы Липшица обучающей выборки. В данной работе предлагается на базе константы Липшица произвести уточнение характеристики нейрона, что позволяет управлять крутизной наклона функции активации и, тем самым, адаптировать сеть к уменьшению эффекта переобучения.

• в применении метода сокращения количества примеров обучающего множества на базе выборочных констант Липшица для сокращения времени обучения нейронной сети без ухудшения качества обучения. Метод основан на результатах двух предыдущих пунктов и позволяет исключать из обучающего множества наиболее сложные для обобщения примеры.

Практическая значимость и результаты внедрения. Разработанный алгоритм позволяет улучшить качество обучения нейронной сети типа многослойный персептрон с точки зрения уменьшения среднеквадратичной ошибки обучения за счет увеличения энтропии обучающего множества при формировании представительской выборки из исходных данных.

На основе алгоритма разработана программа для ЭВМ, которая позволяет [16]:

• проводить кластеризацию факторного пространства с использованием самоорганизующихся карт Кохонена и формировать

представительскую выборку;

• оценивать выборочные константы Липшица представительской выборки и сравнивать их с константой Липшица сети;

• определять примеры из представительской выборки, которые необходимо исключить для более качественного обучения нейронной сети.

С применением программы решена задача прогнозирования параметров данных, которые используются для отождествления объектов на виртуальном поле боя [17], что позволяет повысить достоверность исходных данных, используемых в процессе работы информационно-моделирующей системы. Применение разработанного алгоритма для решения задачи данного класса позволило повысить качество обучения нейронной сети с точки зрения уменьшения среднеквадратичной ошибки обучения более чем на 15% относительно случая, когда алгоритм не используется, что является существенным результатом, с учетом достаточно большого количества исходных данных.

Представленные результаты соответствует паспорту специальности 05.13.01, а именно «разработке новых и совершенствовании существующих методов и средств анализа обработки информации и управления сложными системами».

Методы исследования. При решении поставленных задач были использованы методы интеллектуального анализа данных, методы оптимизации, методы обучения искусственных нейронных сетей, а также методы кластерного анализа и методы теории информации.

Апробация работы.

Результаты исследования апробированы в центре моделирования сложных систем ОП «НПО РусБИТех-Тверь» и внедрены в рамках ОКР «Создание программно-технического комплекса средств автоматизации учебного процесса Военной академии Генерального штаба «Выпускник-ВАГШ», о чем составлен соответствующий акт.

Основные положения диссертации докладывались и обсуждались на

следующих всероссийских, международных и межвузовских научных конференциях:

1. Международная конференция «Авиация и космонавтика - 2013»; №12, 2013.

2. Международная телекоммуникационная конференция молодых ученых и студентов «Молодежь и наука», №18, 2014.

3. Научно-практическая internet-конференция «Междисциплинарные исследования в области математического моделирования и информатики», №6, 2015.

4. Всероссийская межвузовская научно-техническая конференция студентов и аспирантов «Микроэлектроника и информатика-2015», №22,

2015.

5. Всероссийская научно-техническая конференция «АВИАДВИГАТЕЛИ XXI ВЕКА» - М.: ЦИАМ, 2015.

6. Международная конференция «Авиация и космонавтика - 2015»; №14, 2015.

7. Всероссийская межвузовская научно-техническая конференция студентов и аспирантов «Микроэлектроника и информатика-2016», №23,

2016.

8. Young Researchers in Electrical and Electronic Engineering (EIConRus), 2017 IEEE Conference of Russian, 2017.

9. Семинар «Управление перспективных мобильных систем» - М.: Исследовательский центр Samsung Electronics Co., Ltd, 2018.

По результатам исследования опубликовано 6 статей в журналах из списка ВАК:

1. Пастухов А.А. Применение нейронных сетей для прогнозирования параметров энергетических установок с лазерным зажиганием. // Научно-технические ведомости СПбГПУ. Физико-математические науки, №2(218), 2015, С. 19-29, (перечень ВАК).

2. Зароченцев С.Г., Ковалев В.И., Пастухов А.А., Прокофьев А.А.

Использование нейронных сетей для построения прогностических моделей процессов в энергетических установках и их агрегатах. // Известия высших учебных заведений. Электроника, 2016, - том 21 №3, - С. 247-253, (перечень ВАК).

3. Пастухов А.А., Прокофьев А.А. Применение самоорганизующихся карт Кохонена для формирования представительской выборки для обучения многослойного персептрона. // Научно-технические ведомости СПбГПУ. Физико-математические науки. 2016. - № 2(242). - С. 95-107, (перечень ВАК).

4. Пастухов А.А., Прокофьев А.А. Применение алгоритмов кластеризации к формированию представительской выборки для обучения многослойного персептрона. // Научно-технические ведомости СПбГПУ. Физико-математические науки. 2017. - Т. 10. № 2. - С. 58-68, (перечень ВАК).

5. Pastukhov A.A., Prokofiev A.A. Representative sample formation with the use of Kohonen self-organizing map and Lipschitz constant estimation in the training of a multilayer perceptron // Young Researchers in Electrical and Electronic Engineering (EIConRus), 2017 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), 1-3 Feb. 2017, Moscow. - P. 753-757. (SCOPUS).

6. Пастухов А.А. Решение задачи отождествления объектов на виртуальном поле боя при неполной априорной информации с применением искусственных нейронных сетей. // «Оборонный комплекс - научно-техническому прогрессу России» (ОКНТПР). 2018. - № 1. - С. 15-21, (перечень ВАК).

7. Пастухов А.А., Прокофьев А.А. Алгоритм формирования обучающего множества и уточнения характеристики нейрона сети типа многослойный персептрон // Изв. вузов. Электроника. - 2018. - Т. 23. - № 5. - С. 512-520. DOI: 10.24151/1561-5405-2018-23-5-512-520 (перечень ВАК).

Зарегистрирована программа для ЭВМ в Федеральной службе по

интеллектуальной собственности (Свидетельство № 2017614930).

Положения, выносимые на защиту:

• алгоритм предварительной обработки данных на базе самоорганизующихся карт Кохонена;

• метод уточнения характеристики нейронов с применением оценки константы Липшица сети;

• метод сокращения количества векторов обучающего множества для их дальнейшего включения в проверочное и тестовое множества на базе выборочных констант Липшица без значительного ухудшения качества обучения нейронной сети;

• нейросетевая прогностическая модель, построенная с применением разработанного алгоритма и методов, для решения конкретной практической задачи.

Структурно диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложения. Работа выполнена на 115 листах, из них введение - 9 листов, четыре главы - 93 листа, заключение - 1 лист, список литературы - 10 листов, приложение - 2 листа В работе содержится 26 рисунков и 11 таблиц.

1. Анализ существующих решений предварительной обработки данных перед обучением нейронной сети и постановка задачи исследования

1.1. Анализ проблемы задачи предварительной обработки данных перед обучением нейронной сети

При обучении нейронной сети типа многослойный персептрон по алгоритму обратного распространения ошибки чрезвычайно важным является этап формирования факторного пространства, которое должно удовлетворять следующим требованиям:

1) удовлетворять условию непротиворечивости данных, участвующих в обучении [18, 19];

2) иметь максимальное значение энтропии (информационной емкости) обучающего множества [18, 19];

3) иметь достаточное количество обучающих данных для сети, выбранной архитектуры.

Первое требование означает, что данные, составляющие обучающее множество, не должны противоречить друг другу. Данные из обучающего множества состоят из входного вектора и целевого выходного вектора. При этом одинаковые по совокупности признаков входные вектора не должны соответствовать различным целевым векторам. Данные необходимо анализировать на наличие противоречий, то есть выяснять причины возникновения ошибок (ошибка при внесении данных или, что более серьезно, результат использования недостаточного количества признаков факторного пространства) и по возможности устранять их.

Выполнение второго требования необходимо для максимально эффективного использования обучающей выборки. Количество данных, используемых для обучения нейронной сети, часто бывает невелико, поэтому крайне важно правильно сформировать обучающее множество, содержащее данные, наиболее уникальные по совокупности признаков.

Выполнение третьего требования необходимо для сходимости

алгоритма обучения нейронной сети за конечное количество шагов.

В настоящей работе исследуются способы максимизации энтропии обучающего множества. Под энтропией понимается мера неопределенности информации, выбора примера из обучающего множества [15, 20] (обучающее множество можно рассматривать в качестве алфавита, а обучающие примеры являются символами алфавита).

Обобщенный алгоритм функционирования нейронной сети типа многослойный персептрон на этапе обучения представлен на рисунке 1. Красным обозначен этап предварительной обработки данных.

Рисунок 1. Обобщенная схема обучения нейронной сети типа многослойный персептрон

До применения алгоритма обратного распространения ошибки для обучения нейронной сети типа многослойный персептрон необходим этап предобработки данных. В ряде опубликованных работ по применению нейронных сетей методика предобработки сводится к нормализации, масштабированию, начальной инициализации весов, а также сокращению и восстановлению исходных данных [21, 22, 23, 24, 104].

Данные действия, несомненно, необходимы, но их нельзя считать достаточными. При небольшой размерности факторного пространства следует учитывать специфику распределения исходных данных для эффективного обучения нейронной сети. При большом же количестве факторов это становится сделать сложнее [20]. В последнем случае целесообразно применять кластеризацию для формирования обучающего множества из примеров признаков, наиболее уникальных по совокупности.

Так, например, в 2015-2016 годах в «НПО Энергомаш» автором проводились работы по созданию нейросетевой прогностической модели прироста напора горючего в турбонасосном агрегате жидкостного ракетного двигателя (ЖРД) в зависимости от концентрации полимерной присадки [25, 26, 27, 28]. В дальнейшем, эта модель была применена для уточнения оптимального значения концентрации полимерной присадки к ракетному топливу [29, 30]. При создании модели наиболее продолжительным и трудоемким оказался этап подготовки данных для обучения нейронной сети.

Исследователями применялись методы понижения размерности исходных данных, например, метод главных компонент, но большую часть работы по формированию обучающего множества приходилось производить вручную. Исходные данные собирались с 70-х годов XX века [31, 32, 33], поэтому объем данных был значителен, и чрезвычайно остро стояла проблема включения в обучающее множество наиболее уникальных по совокупности признаков примеров. Вследствие этого, процесс создания адекватной модели занял достаточно продолжительное время.

Существует большое количество алгоритмов кластеризации, но все их

можно условно разделить на две группы: четкие и нечеткие. В свою очередь среди четких методов можно выделить две подгруппы: иерархические и неиерархические методы [34].

Отдельным классом следует также выделить алгоритмы кластеризации на основе нейронных сетей [13], которые нашли широкое применение в различных областях

Проведенный анализ [9, 10, 11, 12, 14, 19, 21] показал, что в настоящее время не существует универсальных методов предварительной обработки данных перед обучением нейронной сети. В большинстве работ по применению нейронных сетей в практических задачах предобработка сводится к масштабированию, нормализации и шкалированию [18, 22, 23].

При решении некоторых задач этого оказывается достаточно для получения положительного результата обучения нейросетевой модели, однако для построения сложных нелинейных закономерностей, особенно в случае больших объемов данных, часто полученных из субъективных источников необходим более тщательный анализ априорных данных.

Более того, не редки случаи, когда в исходных данных присутствуют пропуски отдельных составляющих, либо недостоверные данные. Все эти проблемы, собранные воедино, создают нетривиальную задачу предобработки данных, которая требует комплексного подхода к ее решению.

Примером задачи, для которой проблема, сформулированная выше, стояла достаточно остро может послужить, разрабатываемая автором в 2015 году, на базе нейронных сетей, прогностическая модель давления в насосе горючего турбонасосного агрегата (ТНА) при различных значениях объемных расходов и концентрациях полимерной присадки.

Характеристики ЖРД во многом определяются совершенством топливной системы [25, 31 ,32]. Гидравлический тракт системы подачи современных ЖРД состоит из элементов, которые повышают полное давление рабочего тела (насосные агрегаты) и элементов, в которых оно

безвозвратно теряется в виде гидравлических потерь (клапаны, регуляторы) и сопротивления трения (топливные магистрали, тракты охлаждения).

Соответственно имеется два способа улучшения характеристик топливной системы: 1-й - увеличение КПД лопастных насосов, 2-й -снижение гидравлических потерь в элементах топливной системы.

Первый способ при сохранении остальных параметров на прежнем уровне, чрезвычайно сложен. Причем его сложность пропорциональна достигнутому КПД.

Потери трения зависят от числа Рейнольдса [30] и шероховатости стенок, для устранения которых на предприятиях отрасли не имеется резервов.

В такой ситуации представляет интерес использования эффекта Томса [29], заключающегося в снижении гидродинамического сопротивления трения в потоке около стенки в результате добавления в топливо высокомолекулярных полимеров. Так при добавлении полимерных присадок улучшаются основные характеристики работы лопастных насосов, а именно: возрастает напор, снижается потребляемая мощность, улучшаются кавитационные характеристики и т.д.

Сложность процессов, проходящих в турбонасосном агрегате ЖРД, создает определенные трудности для построения их математических моделей. В этой связи, для определения оптимальной концентрации полимерной добавки необходимо проведение большого количества натурных огневых испытаний.

В представленном исследовании, на основе данных, полученных в огневых испытаниях (ОИ) четырех образцов ЖРД в НПО «Энергомаш», была построена прогностическая модель давления (Н, м) в турбонасосном агрегате при различных скоростях потока горючего (V, л/с), и концентрациях присадки (С, %). В математической интерпретации данная задача сводится к нахождению функциональной зависимости Н: Н = / (V, С).

Решение задачи проводилось последовательно в несколько этапов. На

этапе подготовки исходных данных показания скорости потока с соответствующими показаниями давления в ТНА измерялись в экспериментах как с использованием топлива без присадок, так и с примесью полиизобутилена различной концентрации (0.005%, 0.05%, 0.08% и 0.095%).

Всего из достаточно большой совокупности экспериментов были отобраны 50 экспериментальных реализаций для 5 значений концентраций. Следует отметить, что процесс проведения испытаний осуществлялся в достаточном широком временном диапазоне (с конца 70-х годов XX века до 90-х годов XX века) и в первоначальных данных присутствовало достаточно большое количество экспериментов, достаточно близких по совокупности признаков, что отрицательно сказывалось на качестве обучения нейронной сети при случайном разбиении пространства факторов на представительскую выборку.

Таким образом, уже после этапа подготовки исходных данных для данной задачи, который занял около 3 месяцев, стало очевидно, что в дальнейшем, для решения задач подобного рода, необходим алгоритм, который позволил бы формировать обучающую выборку из элементов факторного пространства, имеющих как можно большее расстояние между друг другом по совокупности признаков.

Результаты испытаний, отобранных вручную для построения модели, для каждого образца ЖРД РД-170 представлены на рис. 2 (а,б,в,г) [25, 26, 27, 28].

Рисунок 2. Результат огневых испытаний образцов, выбранных для построения прогностической модели

Линии на рис. 2 - результат аппроксимации полиномами второй степени экспериментальных точек для конкретных значений концентраций.

По результатам ОИ строится факторное пространство, состоящее из двух групп.

Первая группа - входные параметры: концентрация и скорость потока. Обозначим первую группу X = {х15х2}, где х е[0;0.095] - концентрация присадки (измерялась в %), х2 е [643;922] - скорость потока в ТНА (измерялась в л/с).

Вторая группа - выходные параметры. Обозначим ее У = {у}, где у е[5625;6250] - давление в ТНА (измерялось в м вод. ст.).

Таким образом, факторное пространство есть множество V = X У.

Далее была проведена подготовка факторного пространства. Прежде

чем использовать факторное пространство в качестве данных для построения нейронной сети необходимо произвести его предварительную подготовку.

Данные, используемые при обучении нейронной сети, нормируются в соответствии с областью значений функции активации, в качестве которой используется сигмоидальная функция. В данном случае входные параметры принимают как положительные, так и отрицательные значения, поэтому в качестве функции активации Дх) взят гиперболический тангенс

ех_х

/(х) = &(х) = ^ _х . Эта функция непрерывно дифференцируема на всей

е I е

числовой оси /'(х) = 1 _ Ш2(х) и позволяет решать проблему шумового насыщения, что является необходимым для корректного функционирования алгоритмов обучения.

Начальная инициализация сети проводилась методом Нгуен-Видроу

На следующем этапе проводилось построение модели нейронной

сети.

В работе [37] был проведен анализ нейронных сетей нескольких типов применительно к решению различных задач. Для решения задачи прогнозирования подходят два типа сетей: многослойный персептрон и сеть радиально-базисных функций (RBF - radial basis function).

При относительно малой размерности обучающей выборки (что имеет место в данном исследовании) предпочтение следует отдать сетям типа многослойный персептрон.

Оценка количества связей сети определяется по формуле, которая следует из теоремы Арнольда - Колмогорова - Хехт-Нильсена [38]:

где п, т - размерности входного и выходного сигнала соответственно; N -число элементов обучающей выборки; Ь^ - общее количество связей нейронной сети.

[36].

(1)

Принимая во внимание выражение (1), число нейронов в скрытом слое определяется следующими формулами [38, 39]:

ь = , 5 < Ь№ < 205. (2)

п + т

Таким образом, число связей сети Lw лежит в диапазоне 5 < Ь№ < 205. Число L скрытых нейронов сети лежит в диапазоне 2 < ь < 68 (округлены до целого значения).

В работе [5] отмечено, что для хорошего обобщения достаточно, чтобы размер обучающего множества удовлетворял соотношению:

N = 0(Ж/4 (3)

где Ж - общее количество свободных параметров, б - допустимая точность ошибки классификации, N - размер обучающего множества, 0( • ) - порядок заключенной в скобки величины.

Факторное пространство содержит 50 экспериментальных реализаций, поэтому для гарантированного достижения хотя бы значения е ~ 0,10 при двух входных параметрах, количество нейронов скрытого слоя должно быть не более двух.

Этап обучения нейронной сети в математической интерпретации сводится к нахождению функциональной зависимости

Г:ЯХ)^уг, I = 1, 2, ..., 50, (4)

где X - ¡-я строка матрицы входных параметров X; у. - ¡-я строка матрицы выходных параметров (в данном случае ¡-й элемент вектор-столбца) У.

Достигается это минимизацией целевой функции ошибки нейронной сети, вычисляемой методом наименьших квадратов:

1 п

£(К}) =1 Т(гк -Ук)2, (5)

2

(где г - значение к-го выхода нейронной сети, ук - целевое значение к-го выхода нейронной сети, п - число нейронов в выходном слое, юу - вес связи,

соединяющий нейрон i с нейроном у.

Обучение проводилось с использованием алгоритма обратного

распространения ошибки [5], который представляет собой модификацию метода градиентного спуска.

В соответствии с алгоритмом процедура обучения завершается либо по достижении ошибки заданного значения, либо по окончании пятидесяти эпох обучения.

Отклонение спрогнозированных нейронной сетью значений от значений, полученных в результате испытаний, составило порядка 1%, что является приемлемым результатом.

Ниже приведено описание программной среды прогнозирования давления в ТНА. Модель реализована в виде программного модуля в среде разработки NI Lab Windows CVI на языке программирования C. Схема данных программного модуля представлена на рис. 3.

Рисунок 3. Схема данных программного модуля

На подготовительном этапе происходит инициализация начальных значений и загрузка пользовательского интерфейса.

Вид пользовательского интерфейса программного модуля с возможными вариантами выбора действия представлен на рис. 4.

Рисунок 4. Вид пользовательского интерфейса программного модуля Таким образом, программный модуль реализует модель и позволяет получить непрерывную картину зависимости скорости потока от давления при любых концентрациях присадки из диапазона [0;0.1] %.

При построении прогноза давления в топливном насосе с применением программного модуля. Эффективность была рассчитана по следующей формуле:

^ |иИС

И

А

И

■•100%

0

(6)

N

где А - эффективность [%], И0 - значение давления в /-ой точке для горючего

без присадки [м], Ис - значение давления в /-ой точке для горючего с

концентрацией присадки С [м], N = 279 - число точек для значений скорости потока от 643 (л/с) до 922 (л/с) с шагом 1.

Эффективность рассчитывалась для значений скорости потока,

составляющих 1.04, 0.96, 0.88 и 0.80 от номинальной равной 860 л/с (различные режимы работы двигателя) (рис.5).

Рисунок 5. Зависимость эффективности от концентрации и режима по

расходу

Анализ полученных результатов (см. рис. 5) позволяет сделать вывод, что наибольший прирост давления достигается при концентрации присадки в диапазоне от 0.01 до 0.015% на всех режимах работы.

Несмотря на то, что задача прогнозирования была решена с достаточно большой точностью, следует отметить, что этап подготовки данных (формирование общего факторного пространства и сбор обучающих примеров для решения задачи обучения нейронной сети) производился вручную и занял неприемлемо продолжительное время.

В результате опыта, полученного при анализе данных, составляющих факторное пространство для решения данной задачи, был сделан вывод, что исходные данные требуется исследовать в двух ключевых аспектах: в пространстве совокупности признаков необходимо стремится к максимальному уменьшению количества значимых признаков с максимальным сохранением дисперсии, а также максимизировать энтропию отдельных атомарных элементов.

Существуют различные методы, позволяющие достичь требуемого

результата. Так, например, для максимизации энтропии необходимо стремиться к статистической независимости отдельных компонентов исходных данных.

К основным методам, позволяющим так или иначе анализировать данные в упомянутых выше аспектах, можно отнести статистические, метод главных компонент, а также применение кластеризации.

1.2. Обзор существующих методов предобработки данных

Анализ ряда работ [9, 10, 11, 12, 14, 19, 21] показал, что одной из сильных сторон применения нейронных сетей является возможность получения предсказаний при минимуме априорных знаний. Поскольку заранее обычно неизвестно сколько информации несут в себе те или иные входные переменные, кажется вполне разумным увеличение числа входных параметров, т.к. есть все основания полагать, что сеть сама определит какие из них наиболее значимы. Однако, следует учитывать, что сложность обучения многослойного персептронов крайне быстро возрастает с ростом числа входов, а именно - как куб размерности входных данных. Еще важнее, что с увеличением числа входов страдает и точность предсказаний, т.к. увеличение числа весов в сети снижает предсказательную способность последней [40, 41].

Список литературы диссертационного исследования кандидат наук Пастухов Алексей Андреевич, 2019 год

Список литературы

1. Фомин Я. А. Распознавание образов: теория и применения. — 2-е изд. — М.: ФАЗИС, 2012. — 429 с.

2. Паклин Н.Б., Орешков В.И. Бизнес-аналитика: от данных к знаниям. СПб.: Питер, 2013. 704 с.

3. Червяков Н.И., Евдокимов А.А., Галушкин А.И., Лавриненко И.Н., Лавриненко А.В. Применение искусственных нейронных сетей и системы остаточных классов в криптографии. - М.: Физматлит, 2012. - 280 с.

4. Ковалев И.В. Интеллектуальная система прогнозирования загрязнения атмосферы // Нейрокомпьютеры: разработка, применение.2010. № 7. - С. 6266.

5. Хайкин С. Нейронные сети: полный курс. 2-е изд. Пер. с англ. М.: ИД «Вильямс», 2008. - 1104 с.

6. Медведев В.С., Потемкин В.Г. Нейронные сети. М.: Диалог МИФИ, 2001. - 496 с.

7. Горбаченко В.И. Нейроинформатика. Конспект лекций. Пенза: Пензенский государственный педагогический университет, 2011. - 81 с.

8. Калан Р. Основные концепции нейронных сетей. М.: Вильямс, 2001. - 288 с.

9. Качановский Ю.П., Качановский Ю.П., Коротков Е.А., Коротков Е.А. Предобработка данных для обучения нейронной сети // Фундаментальные исследования. - 2011. - № 12-1. - С. 117-120.

10. Горбачевская Елена Николаевна, Краснов Станислав Сергеевич. История развития нейронных сетей // Вестник ВУиТ. 2015. №1 (23). - С. 52-56.

11. Щеголькова Д.В., Орешкина Е.И., Липинский Л.В. Аналитический обзор существующего программного обеспечения, решающего задачи формирования нейросетевых моделей // Актуальные проблемы авиации и космонавтики. 2014. №10. - С. 304-305.

12. Грязнов Андрей Сергеевич, Туйман Алексей Евгеньевич Анализ современных нейроимитаторов для решения задач идентификации и прогнозирования // ОНВ. 2007. №1 (52). - С. 104-107.

13. Новиков А.В. Нейросетевые методы решения задач кластерного анализа. // Нейрокомпьютеры: разработка, применение. 2014. №2. - С. 48-53.

14. Царегородцев В. Г. Предобработка обучающей выборки, выборочная константа Липшица и свойства обученных нейронных сетей // Материалы Х

Всерос. семинара «Нейроинформатика и ее приложения». - Красноярск: КГТУ. - 2002. - C. 146-150.

15. Шеннон К. Работы по теории информации и кибернетике. М.: Изд-во иностр. лит-ры, 1963. - 830 с.

16. Свид. 2017614930 Российская Федерация. Программа RSF (REPRESENTATIVE SAMPLE FORMATION) для формирования представительской выборки на базе выборочных констант Липшица для обучения нейронной сети типа многослойный персептрон / Пастухов А.А.; заявитель и правообладатель НИУ MTOT(RU). - №2017612052; заявл. 14.03.17; опубл. 02.05.17, Реестр программ для ЭВМ. - 1 с.

17. Пастухов А.А. Решение задачи отождествления объектов на виртуальном поле боя при неполной априорной информации с применением искусственных нейронных сетей. // «Оборонный комплекс - научно-техническому прогрессу России» (ОКНТПР). 2018. - № 1-2018. - С. 15-21.

18. Семейкин Валерий Дмитриевич, Скупченко Александр Вячеславович Моделирование искусственных нейронных сетей в среде Matlab // Вестник АГТУ. Серия: Управление, вычислительная техника и информатика. 2009. №1. - С. 159-164.

19. Самонина О. А. Методы и проблемы обучения многослойной нейронной сети, используемой для оценки характеристик проектируемых информационных систем // Известия Петербургского университета путей сообщения. 2008. №4. - С. 149-160.

20. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М.: Финансы и статистика, 1989. - 607 с.

21. Гагарин Александр Владимирович, Газизов Рафаил Кавыевич. Гибридный генетический нейросетевой алгоритм в задаче идентификации параметров цифровых моделей // Вестник УГАТУ. 2009. №2. - С. 246-255.

22. Девятых Д.В. Гергет О.М., Михаленко И.В. Применение искусственных нейронных сетей для прогнозирования развития перинатального поражения нервной системы // Известия ВолгГТУ. 2013. Вып. 16. № 8 (111). С. 77-80.

23. Корягин Е.В. Разработка модели ассоциативной памяти робота АР-600 для задачи кластеризации и обобщения данных//Нейроинформатика-2015. Сборник научных трудов, 2015. С. 38-47.

24. Богачев Дмитрий Владимирович, Ершов Евгений Валентинович, Варфоломеев Игорь Андреевич. Интеллектуальный модуль системы

управления ускоренным охлаждением листового проката // Вестник Череповецкого государственного университета. 2014. №4 (57). С. 5-9.

25. Зароченцев С.Г., Пастухов А.А. Применение нейронных сетей к оптимизации энергетических характеристик жидкостных ракетных двигателей. // Всероссийская межвузовская научно-техническая конференция студентов и аспирантов Микроэлектроника и информатика-2015, №22: Тезисы докладов. - М.: МИЭТ, 2015, С. 141-142.

26. Зароченцев С.Г., Ковалев В.И., Пастухов А.А. Опыт внедрения высоких технологий в практику стендовой отработки различных ЭУ и систем. // Всероссийская научно-техническая конференция «АВИАДВИГАТЕЛИ XXI ВЕКА»: Тезисы докладов. - М.: ЦИАМ, 2015, - С. 777-778

27. Зароченцев С.Г., Пастухов А.А. Применение нейронных сетей для нахождения оптимальной концентрации полимерной присадки к ракетному топливу. // Научно-практическая Мете^конференция «Междисциплинарные исследования в области математического моделирования и информатики», , 2015, №6 - С. 270-275.

28. Зароченцев С.Г., Ковалев В.И., Пастухов А.А., Прокофьев А.А. Использование нейронных сетей для построения прогностических моделей процессов в энергетических установках и их агрегатах. // Известия высших учебных заведений. Электроника, 2016. - Том 21 №3, - С. 247-253.

29. Чичканов С. В., Мягченков В. А. Эффект Томса - перспективные области применения // Вестник Казанского технологического университета. 2003. -№2. - С. 314-329.

30. Трифонов В. В., Решмин А. И., Тепловодский С. Х. Турбулентное течение в круглом расширяющемся канале при числах Рейнольдса, меньших 2000 // Вестник ННГУ. 2011. №4-3. - С. 1180-1182.

31. Гапонов В.Д., Каналин Ю.И. Возможность использования присадок высокомолекулярных полимеров для улучшения характеристик энергетических установок // ГОНТИ-17. Сер. 4. - 1989. - №69. - С. 9-18.

32. В.Д. Гапонов. О возможной деструкции полимерной присадки к горючему в кислородно-керосиновых ЖРД. // Труды НПО «Энергомаш». М., 2010. № 27. - С. 95-114.

33. Ковалев В.И., Пушкин Н.М., Ушков А.Н. и др. Системы контроля и бесконтактной диагностики рабочих процессов при проведении огневых испытаний ЖРД. // Труды НПО «Энергомаш». М., 2007. №25. - С. 350-373.

34. Полковникова Н.А., Курейчик В.М. Нейросетевые технологии, нечёткая кластеризация и генетические алгоритмы в экспертной системе // Известия ЮФУ. Технические науки. 2014. №7 (156). - С. 7-15.

35. Родионов П.Е. Методика извлечения знаний в задачах анализа рядов динамики с использованием нейронных сетей: дис. канд. техн. наук: 05.13.17: Москва, 2003. - 169 с.

36. LeCun Y. Efficient learning and second-order methods. MA: MIT Press, 1993. 71 p.

37. Подвальный С.Л., Плотников А. ., Белянин А.М. Сравнение алгоритмов кластерного анализа на случайном наборе данных // Вестник Воронежского государственного технического университета. 2012. № 5. - C. 4-6.

38. Круглов В.В., Борисов В. В. Искусственные нейронные сети. Теория и практика. - 2-е изд., стереотип. - М.: Горячая линия-Телеком, 2002. - 382 с.

39. Hecht-Nielsen R. Counterpropagation networks// Appl. Optics. 1987. Vol. 26. No. 23. Pp. 4979 -4984.

40. Бэстенс Д.Э., Ван ДенБерг В.М., Вуд Д. Нейронные сети и финансовые рынки: принятие решений в торговых операциях. М.: ТВП,1997. 236

41. Царегородцев В.Г. Определение оптимального размера нейросети обратного распространения через сопоставление средних весов синапсов // Материалы XIV Международной конференции по нейрокибернетике, Ростов-на-Дону, 2005. Т.2. - С.60-64.

42. Мицель А. А., Ефремова Е. А. Методы предобработки входных данных для системы прогнозирования финансовых временных рядов // Доклады ТУСУР. 2005. №3 (11). - С.56-60.

43. Мокеев А. В. О точности и быстродействии метода синтеза главных компонент // Бизнес-информатика. 2010. №3. - С.64-68.

44. Хворова Л. А., Гавриловская Н. В. Построение статистической модели прогноза урожайности яровой пшеницы методом главных компонент // Известия АлтГУ. 2009. №1. - С.69-72.

45. Фан Нгок Хоанг, Буй Тхи Тху Чанг, Спицын Владимир Григорьевич Распознавание жестов на видеопоследовательности в режиме реального времени на основе применения метода Виолы Джонса, алгоритма CAMShift, вейвлет-преобразования и метода главных компонент // Вестн. Том. гос. унта. Управление, вычислительная техника и информатика. 2013. №2 (23). -С.102-111.

46. Копылов А. В., Ерохин М. А. Параметрическое представление объектов в цветовом пространстве на основе метода главных компонент при малой наполненности выборки // Известия ТулГУ. Технические науки. 2013. №2. -С.159-168.

47. Богачев К.Ю. Практикум на ЭВМ. Методы приближения функций. М.: Изд-во ЦПИ при механико-математическом ф-те МГУ, 2002. - 192 с.

48. Пастухов А.А. Применение нейронных сетей для прогнозирования параметров энергетических установок с лазерным зажиганием. // Научно-технические ведомости СПбГПУ. Физико-математические науки, 2015, -№2(218), - С. 19-29.

49. Ковалев В.И., Крылов С.Г., Пастухов А.А. Имитационное моделирование - эффективное средство снижения сроков и стоимости стендовой отработки различных ЭУ. // Международная конференция Авиация и космонавтика - 2013; №12: Тезисы докладов. - М.: МАИ, 2013, -С. 315-316.

50. Пастухов А.А. Исследование нейросетевых моделей в задачах прогнозирования параметров энергетических установок с лазерным зажиганием. // Международная телекоммуникационная конференция молодых ученых и студентов Молодежь и наука, №18: Тезисы докладов. - М, 2014. - С. 13-14.

51. Ковалев В.И., Крылов С.Г., Пастухов А.А. Современные технологии оптимизации стендовой отработки различных систем и ЭУ. // Международная конференция Авиация и космонавтика - 2015; №14: Тезисы докладов. - М.: МАИ, 2015. - С. 37-38.

52. Квак В.И., Ковалев В.И., Худяков В.Н. Стендовая система функциональной диагностики ракетных двигателей на основе информационно-измерительных технологий и имитационного моделирования // Мир измерений. - 2013. - №9. - С. 32-36.

53. Белов Е.А., Голиков А.Н., Голубев В.А., Ребров С.Г., Дубовик Д.И., Иванов Н.Г., Клюева О.Г., Левочкин П.С., Ромасенко Е.Н. Экспериментальное исследование влияния расположения зоны фокусировки лазера на воспламенение топлива кислород-керосин // Труды «НПО Энергомаш» им. академика В.П. Глушко. 2013. №30. - С. 120-134.

54. Ребров С.Г., Голубев В.А. Пиковые давления в камерах сгорания при лазерном воспламенении // Известия РАН. Энергетика. 2015. № 2. С. 131-137.

55. Ребров С.Г., Голубев В.А., Голиков А.Н. Камера жидкостного ракетного двигателя или газогенератора с лазерным устройством воспламенения

компонентов топлива и способ ее запуска. Патент РФ № 2468240. Бюлл. № 33, 27.11.2012.

56. Ребров С.Г., Голиков А.Н., Голубев В.А. Лазерное воспламенение ракетных топлив в модельной камере сгорания // Труды МАИ. 2012. № 53. -С. 1-19.

57. Ворушкин Д. Ю., Калинчук В. Н., Ковалев В. И. Метод параметрической идентификации для обработки параметров излучения сканирующим прибором. // Труды НПО «Энергомаш». М., 2000. №18. - С. 375-398.

58. Калинчук В. Н., Ковалев В. И., Пирогов Н. А. Экстремальное регулирование положения оптической оси резонатора непрерывного химического лазера. // Труды НПО «Энергомаш». М., 2000. №18. - С. 393409.

59. Neural network and response surface methodology for rocket engine component optimization. Rajkumar Saidyanathan, Florida, Univ., Gainesville, Marshall Space Flight Centre, Huntsville, AI.DOI: 10/2514/6.2000-4880. Publication Date: 06 September2000-08, September 2000.

60. Ковалев В. И., Худяков В. Н. Опыт стендовой отработки различных энергетических установок и систем на базе имитационного моделирования. // Труды НПО «Энергомаш». М., 2012. №29. - С. 328-341.

61. Хромцова А. Лазеры зажигают двигатели // Российский космос. Август. 2013. № 8(92). - С. 2-4.

62. Веселов А.В., Фуфачев Н.С. Лазерное зажигание в ЖРД // Решетневские чтения. 2013. №17. - С. 120-122.

63. Замятин Н. В., Медянцев Д. В. Методика нейросетевого моделирования сложных систем // Известия ТПУ. 2006. №8. - С. 100-106.

64. Lawson C., Hansen R. Solving Least Squares Problems // Philadelphia : SIAM, 1995. - 337 p.

65. Федоренко Ю.С., Гапанюк Ю.Е. Кластеризация данных на основе самоорганизующихся растущих нейронных сетей и марковского алгоритма кластеризации // Нейрокомпьютеры: разработка, применение. 2016. № 4. - С. 3-13

66. Хачумов М.В. Задача кластеризации текстовых документов// Информационные технологии и вычислительные системы. 2010. № 2. - С. 4249.

67. Болдырев Сергей Владимирович. Применение гибридных самоорганизующихся нейронных сетей и быстрого дискретного вейвлет-

преобразования для построения систем классификации сигналов // ИВД. 2012. №2. - С. 100-106.

68. Журенков Олег Викторович Методика применения карт Кохонена для выделения линии уреза воды по спутниковым данным // Известия АлтГУ. 2016. №1 (89). C.204-208.

69. Кохонен Т. Самоорганизующиеся карты. М.: Бином. Лаборатория знаний, 2008. - 655 с.

70. Kumar D., Rai C.S., Kumar S. Face recognition using self-organizing map and principal component analysis // Proc. on Neural Networks and Brain(ICNNB 2005). Oct 2005.Vol. 3. - Pp. 1469-1473.

71. Панфилова А.С. Система тестирования интеллекта на базе факторных моделей и самоорганизующихся карт Кохонена // Нейрокомпьютеры: разработка, применение. 2012. №9. - С. 6-12.

72. Нейский И.М. Классификация и сравнение методов кластеризации. // Интеллектуальные технологии и системы. М.: НОК «Claim», 2006. Вып. 8. -С. 130-142.

73. Горбачев В.И. Сети и карты Кохонена. URL: http://gorbachenko.self-organization.ru/articles/Self-organizing_map.pdf (дата обращения: 11.01.2016).

74. Козадаев А. С. Предварительная обработка данных для искусственных нейронных сетей в задачах прогнозирования временных рядов. Вейвлет-преобразование // Вестник Тамбовского университета. Серия: Естественные и технические науки. 2008. №1. - С. 98-99.

75. Методы и средства комплексного анализа данных/Кулаичев А.П., 4-е изд., перераб. и доп. - М.: НИЦ ИНФРА-М, 2016. - 511 с

76. Асеев Г.Г. Методы интеллектуального анализа данных в электронных хранилищах / Г.Г. Асеев // Бионика интеллекта : науч.-техн. журнал. - 2008. -№ 1(70). - С. 28-33.

77. Царегородцев В.Г. Оптимизация предобработки признаков выборки данных: критерии оптимальности // Нейрокомпьютеры: разработка, применение. 2005, №4. - С. 64-67.

78. Царегородцев В.Г. Редукция размеров нейросети не приводит к повышению обобщающих способностей // Материалы XII Всеросс. семинара «Нейроинформатика и ее приложения», Красноярск, 2004. - С.163-165.

79. Царегородцев В.Г. Робастная целевая функция с допуском на точность решения для нейросети-предиктора // Нейрокомпьютеры: разработка, применение. 2003, №12. - С. 1-5.

80. Пастухов А.А. Формирование представительской выборки для обучения многослойного персептрона с использованием самоорганизующихся карт Кохонена. // Всероссийская межвузовская научно-техническая конференция студентов и аспирантов Микроэлектроника и информатика-2016, №23: Тезисы докладов. - М.: МИЭТ, 2016, С. 139-140.

81. Pastukhov A.A., Prokofiev A.A. Representative sample formation with the use of Kohonen self-organizing map and Lipschitz constant estimation in the training of a multilayer perceptron // Young Researchers in Electrical and Electronic Engineering (EIConRus), 2017 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering (EIConRus), 1-3 Feb. 2017, Moscow. - P. 753-757. (SCOPUS).

82. Пастухов А.А., Прокофьев А.А. Применение самоорганизующихся карт Кохонена для формирования представительской выборки для обучения многослойного персептрона. // Научно-технические ведомости СПбГПУ. Физико-математические науки. 2016. № 2(242)2016. - С. 95-107.

83. Дуденков В.М., Новикова Н.М. Нейросетевая модель работы человека-оператора в системе «Человек-дисплей» // Научные ведомости Белгородского государственного университета. Серия: Экономика. Информатика. 2015. №7 (204). - С.153-158.

84. Пастухов А.А. Обучение многослойного персептрона на представительской выборке сформированной с применением самоорганизующихся карт Кохонена. // Материалы научно-технической конференции «Микроэлектроника и информатика - 2016». Сборник трудов. -М.: МИЭТ, 2016.- С. 126-131.

85. Пастухов А.А., Прокофьев А.А. Применение алгоритмов кластеризации к формированию представительской выборки для обучения многослойного персептрона. // Научно-технические ведомости СПбГПУ. Физико-математические науки. 2017. - Т. 10. № 2-2017(2). - С. 58-68.

86. Гущин К.А., Доленко С.А., Буриков С.А., Доленко Т.А. Применение алгоритмов кластеризации и понижения размерности данных в задачах анализа состава многокомпонентных растворов // XIII Всерос. научн. конф. «Нейрокомпьютеры и их применение». Тез. докл.М.: МГППУ, 2015. - С. 7273.

87. Фурсов В. А. Теория информации: учеб. / В.А. Фурсов. - Самара: Изд-во Самар, гос. аэрокосм, ун-та, 2011. - 128 с.: ил.

88. Beale M.H., Hagan M.T., Demuth H.B. Neural Network Toolbox User's Guide [http://www.mathworks.com/help/pdf_doc/nnet/nnet_ug.pdf ] // MathWorks, Inc. 2014. Pp. 2-27-28.

89. Neural Network Toolbox [Электронный ресурс] : офиц. сайт программы. URL: http://matlab.ru/products/neural-network-toolbox (дата обращения: 15.07.2018).

90. Крючин Олег Владимирович Искусственные нейронные сети и кластерные системы. Реализация нейросетевого симулятора // Вестник Тамбовского университета. Серия: Естественные и технические науки. 2010. №1. - С. 306-311.

91. Горбачевская Елена Николаевна. Классификация нейронных сетей // Вестник ВУиТ. 2012. №2 (19). - С. 1-6.

92. Жеребцов А.А., Куперин Ю.А. Применение самоорганизующихся карт Кохонена для кластеризации индексов DJIA и Nasdaq 100 // Вестник Санкт-Петербургского университета. Серия 8. Менеджмент. 2005. №1. - С. 183-202.

93. Сеньковская Ирина Сергеевна, Сараев Павел Викторович. Автоматическая кластеризация в анализе данных на основе самоорганизующихся карт кохонена // Вестник МГТУ им. Г.И. Носова. 2011. №2. - С. 78-79.

94. Суслов Сергей Александрович. Кластерный анализ: сущность, преимущества и недостатки // Вестник НГИЭИ. 2010. №1. - С. 51-57.

95. Солдатова Ольга Петровна, Чайка Павел Дмитриевич. Исследование эффективности решения задачи классификации гибридными сетями Кохонена // Известия Самарского научного центра РАН. 2015. №2-5. - С. 1147-1152.

96. Егоров Александр Вадимович, Куприянова Наталия Игоревна. Особенности методов кластеризации данных // Известия ЮФУ. Технические науки. 2011. №11. - С. 174-178.

97. Сакун Сергей Александрович. Теоретико-методологические аспекты информационного обеспечения Вооруженных Сил Российской Федерации // Армия и общество. 2009. №3. - С. 42-49.

98. Голубев Сергей Владимирович, Яковлев Андрей Вячеславович, Толстых Владимир Владимирович. Усовершенствованная система информационного

обеспечения органов управления (штабов) авиационных соединений в ходе проведения командноштабного учения // ИСОМ. 2017. №4-1. - С. 221-226.

99. Казахов Батраз Джумаевич, Соловьёв Владимир Валерьевич. Предложения по совершенствованию комплексов средств автоматизации за счет внедрения в них информационно-моделирующих систем // Наукоемкие технологии в космических исследованиях Земли. 2015. №6. - С. 56-59.

100. Christopher F. Foss. Tank Recognition Guide (Jane's) (Jane's Recognition Guide). London. 2006. - 495 p.

101. Duncan Lennox. Jane's Air-launched Weapons (Jane's defence data). London. 2001.

102. Christopher Foss. Jane's Armour and Artillery. London. 1998. - 870 p.

103. Пастухов А. А., Прокофьев А. А. Алгоритм формирования обучающего множества и уточнения характеристики нейрона сети типа многослойный персептрон. // Известия высших учебных заведений. Электроника, том 23 №5, 2018. - С. 512-520.

104. Интеллектуальный анализ данных: концепции и методы. Издание третье, Morgan Kaufmann Publishers, 2011. Цзявей Хань (Jiawei Han), Мишлин Кэмбер (Micheline Kamber) и Цзянь Пей (Jian Pei) - С. 87-93.

105. David M. Lane, David Scott, Mikki Hebl, Rudy Guerra, Dan Osherson, Heidi Ziemer Introduction to Statistics. 694 pp.

Приложение

Акционерное общество

Россия, 117105. г. Москва, Варшавское шоссе, д.26,стр.11 тел.: [phone] факс: [phone] E-mail: [e-mail] www.rusbitech.ru

^ о}- 20//Г №23/12-Ваш №

Обособленное подразделение «НПО РусБИТех-Тверь»

170001, г. Тверь, пр-т Калинина, 17 Тел., факс [phone],48-13-90 E-mail: [e-mail]

УТВЕРЖДАЮ PyKOBüjjjjjgesf^giJj^-inO РусБИТех-Тверь»

В.А. Романов

.20

АКТ

о реализации научных результатов диссертационного исследования соискателя ученой степени кандидата наук аспиранта Национального исследовательского университета «Московский институт электронной техники» 1 [астухова Алексея Андреевича

Комиссия в составе заместителя директора центра моделирования сложных систем доктора военных наук, профессора Королева В.В., ведущего специалиста отдела проектирования центра моделирования сложных систем кандидата военных наук Морозова A.B., ведущего специалиста отдела проектирования центра моделирования сложных систем кандидата технических наук Нечаева Ю.В. составила настоящий акт о том, что результаты диссертационной работы Пастухова A.A. реализованы при обосновании и разработке технических решений в рамках ОКР «Создание программно-технического комплекса средств автоматизации учебного процесса Военной академии Генерального штаба «Выпускник-ВАГШ» (шифр «Выпускник-ВАГШ», гриф «Секретно»).

№ п.п. Наименование внедренных результатов Где внедрено

1. Алгоритм формирования представительской выборки на базе выборочных констант Липшица для обучения нейронной сети типа многослойный персептрон При разработке ОКР «Выпускник-ВАГШ» в материалах технического проекта при разработке технических решений по программной подсистеме организации работы, логико-аналитической и информационно-расчетной поддержки деятельности должностных лиц учебных коллективов органов военного управления

Заместитель директора центра моделирования сложных сист доктор военных наук, профессор ; Королев

Ведущий специалист отдела проектирования центра к^^д^лирования сложных систем кандидат военных наук ¿/¿'1г ' А.В. Морозов

Ведущий специалист отдела проектирования центра моделирования сложных систем кандидат технических наук Ю.В. Нечаев