Алгоритмы определения необходимой и достаточной разрядности искусственных нейронных сетей в составе систем обработки информации тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Макаров, Михаил Вячеславович

• Макаров, Михаил Вячеславович
• кандидат наук
• 2013

Оглавление диссертации кандидат наук Макаров, Михаил Вячеславович

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

5

ГЛАВА 1 ОБЗОР И АНАЛИЗ ВОЗМОЖНОСТЕЙ ИСПОЛЬЗОВАНИЯ

ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ В ТЕХНИЧЕСКИХ СИСТЕМАХ ОБРАБОТКИ ИНФОРМАЦИИ

1.1 Использование искусственных нейронных сетей в составе технических систем обработки информации 1.1.1 Перспективы применения искусственных нейронных сетей в

1.1.2 Проблематика искусственных нейронных сетей в составе

1.2 Методы инженерного проектирования искусственных нейронных сетей и обеспечение точности их функционирования

1.2.1 Задачи инженерного проектирования искусственных нейронных сетей и обеспечение точности их функционирования

1.2.2 Перспективы и проблематика разработки новых методов инженерного проектирования искусственных нейронных сетей

1.3 Обзор и анализ основных методов инженерного проектирования искусственных нейронных сетей

1.3.1 Подход устранения избыточности искусственных нейронных сетей

1.3.2 Нейроэволюционный подход проектирования искусственных нейронных сетей

1.3.3 Конструктивные методы проектирования искусственных нейронных сетей

1.3.4 Индивидуальные методы проектирования искусственных нейронных сетей

1.4 Выводы по главе 1 и постановка задачи исследования

составе технических систем обработки информации

11

технических систем обработки информации

13

ГЛАВА 2 РАЗРАБОТКА АЛГОРИТМА ОПРЕДЕЛЕНИЯ НЕОБХОДИМОЙ И ДОСТАТОЧНОЙ РАЗРЯДНОСТИ ПРОИЗВОЛЬНЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ 2.1 Разработка теоретико-экспериментальных основ определения необходимой и достаточной разрядности произвольных

искусственных нейронных сетей

2.2 Проектирование моделей искусственных нейронных сетей с максимальными показателями точности функционирования

2.3 Разработка алгоритма определения необходимой и достаточной разрядности произвольных искусственных нейронных сетей

2.4 Оценка точности функционирования моделей искусственных нейронных сетей

2.5 Выводы по главе 2

ГЛАВА 3 ИССЛЕДОВАНИЕ АЛГОРИТМА ОПРЕДЕЛЕНИЯ

НЕОБХОДИМОЙ И ДОСТАТОЧНОЙРАЗРЯДНОСТИ ПРОИЗВОЛЬНЫХ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

3.1 Выбор и обоснование выбора моделей исследуемых искусственных нейронных сетей

3.2 Аппроксимация базовых математических функций

3.3 Аппроксимация тригонометрических функций

3.4 Аппроксимация дифференциальных уравнений

3.5 Исследование возможности обеспечения отказоустойчивости искусственных нейронных сетей разработанным алгоритмом

3.6 Разработка алгоритма определения необходимой и достаточной разрядности произвольных искусственных нейронных сетей при влиянии на входную информацию искажающих факторов

3.7 Исследование алгоритма определения необходимой и достаточной разрядности произвольных искусственных нейронных сетей при влиянии на входную информацию искажающих факторов

3.8 Выводы по главе 3

ГЛАВА 4 ПРАКТИЧЕСКОЕ ПРИМЕНЕНИЕ СОЗДАННЫХ

АЛГОРИТМОВ ПРИ ПРОЕКТИРОВАНИИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ В СОСТАВЕ ТЕХНИЧЕСКИХ СИСТЕМ ОБРАБОТКИ ИНФОРМАЦИИ 4.1 Системный анализ промышленного объекта практического

применения разработанных алгоритмов

4.2 Внедрение искусственной нейронной сети в составе технической системы обработки информации

4.3 Результаты практического применения искусственной нейронной сети в составе промышленного объект

4.4 Выводы по главе 4

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А. Свидетельство о государственной регистрации

программы для ЭВМ

ПРИЛОЖЕНИЕ Б. Свидетельство о государственной регистрации

программы для ЭВМ

ПРИЛОЖЕНИЕ В. Акт реализации научных положений диссертации

ПРИЛОЖЕНИЕ Г. Справка о реализации результатов диссертационного исследования

Введение диссертации (часть автореферата) на тему «Алгоритмы определения необходимой и достаточной разрядности искусственных нейронных сетей в составе систем обработки информации»

ВВЕДЕНИЕ

Актуальность темы исследования и степень ее разработанности.

Производственный процесс создания современной промышленной продукции основан на применении технических систем обработки информации.

Совершенствование названных систем, путем применения новых методов обработки информации и современных программно-аппаратных вычислительных средств, является составной частью модернизации производственных объектов.

Как показали исследования, наиболее важной в промышленных системах обработки информации является задача обеспечения заданной техническими условиями точности вычислений. Снижение точности вычислений свойственно этим системам при работе в условиях внешних дестабилизирующих воздействий, являющихся неотъемлемой частью производственной среды. Построение отказоустойчивых промышленных систем обработки информации, обладающих высокими техническими характеристиками и способных функционировать при искажении обрабатываемой информации внешними факторами, является одной из важнейших задач современного системного анализа и имеет большое практическое и общенаучное значение.

Анализ научно-технических публикаций показал, что методы параллельных вычислений позволяют решать вышеназванную задачу. Большинство специалистов сделали вывод, что наилучшие результаты достигаются при использовании математического аппарата искусственных нейронных сетей.

Таким образом, разработка компонентов систем обработки информации на базе искусственных нейронных сетей является одним из перспективных путей модернизации производственного процесса.

Теория и практика инженерного проектирования искусственных нейронных сетей находится в стадии своего становления и развития.

Актуальной задачей на этапе инженерного проектирования аппаратных и (или) программных реализаций искусственных нейронных сетей является обеспечение заданных показателей точности функционирования, на которые оказывает влияние их структура, параметры элементов нейронов, характеристики обрабатываемой информации, а также внутренние и внешние дестабилизирующие факторы.

Процесс определения необходимой и достаточной разрядности входной информации и искусственных нейронных сетей является эффективным средством устранения внешних и собственных шумовых и неинформативных признаков, позволяющего избежать недопустимого снижения обобщающей способности искусственных нейронных сетей и обеспечить требуемую точность их функционирования.

Вопросам проектирования систем обработки информации, в том числе нейросетевых, посвящены работы авторов: Аракеляна С.М., Галушкина А.И., Горбаня А.Н., Еремин Д.М., Жукова JL А., Ланцова В.Н., Миркеса Е.М., Садыкова С.С., Стогней В.Г., Терехова В.А., Царегородцева В.Г., Callan R., I-Iaykin S., Kubo Y., LeCun Y., Murray A., Ossovski S., Osyczka A., Parser E., Reyneri L.M., Schneider M.H., Takase H., Wasserman P.D. и др.

Объектом исследования являются методы инженерного проектирования искусственных нейронных сетей в составе систем обработки информации.

Предметом исследования являются алгоритмы обеспечения точности функционирования искусственных нейронных сетей через процесс определения их необходимой и достаточной разрядности.

Цели и задачи. Целью настоящей работы является улучшение технических характеристик промышленных систем обработки информации.

Исходя из цели работы, основными задачами исследования являются:

- аналитический обзор известных методов и алгоритмов определения необходимой и достаточной разрядности искусственных нейронных сетей для обеспечения заданных показателей точности функционирования;

- разработка и исследование теоретико-экспериментальных основ для построения алгоритмов проектирования искусственных нейронных сетей с необходимой и достаточной разрядностью;

- разработка алгоритмов определения необходимой и достаточной разрядности произвольных искусственных нейронных сетей;

- исследование возможности применения разработанных алгоритмов для обеспечения заданных показателей точности функционирования искусственных нейронных сетей;

- исследование возможностей применения искусственных нейронных сетей, разработанных с помощью новых алгоритмов, для решения практических задач в составе промышленных систем обработки информации.

Научная новизна:

- разработаны новая научная идея по определению необходимой и достаточной разрядности искусственных нейронных сетей и обеспечению точности их работы;

- предложен нетрадиционный подход к проектированию искусственных нейронных сетей, позволяющий обеспечивать заданные показатели точности функционирования сети с учетом внутренних и внешних факторов, оказывающих влияние на качество обработки информации, объединяющий теоретическое и экспериментальное исследование объекта для определения необходимой и достаточной разрядности входной информации и элементов искусственных нейронных сетей;

- доказана перспективность и практическая значимость исследований для решения задачи по определению необходимой и достаточной разрядности и обеспечению точности работы искусственных нейронных сетей;

- введено понятие необходимой и достаточной разрядности искусственных нейронных сетей, являющееся критерием оптимальности их структуры для обеспечения заданных показателей точности функционирования.

Теоретическая значимость работы:

- доказаны положения и методики, вносящие вклад в расширение представлений об изучаемом явлении изменения точности работы искусственных нейронных сетей при изменении разрядности входной информации и элементов;

- применительно к теме диссертации результативно (эффективно, то есть с получением обладающих новизной результатов) использован комплекс существующих базовых методов исследования, в т.ч. численных методов моделирования и экспериментальных методик;

- изложены идеи и положения, доказывающие применимость предлагаемого подхода исследования точности работы искусственных нейронных сетей;

- раскрыты противоречия современного представления о точности работы искусственных нейронных сетей и ее изменении при вариации разрядности, а так же при влиянии дестабилизирующих воздействий;

- изучены связи, внутренние и внешние противоречия и факторы, предопределяющие изменение точности работы искусственных нейронных сетей при изменении разрядности входной информации и элементов;

- проведена модернизация существующих подходов к проектированию искусственных нейронных сетей.

Практическая значимость работы:

- разработаны и внедрены алгоритмы определения необходимой и достаточной разрядности искусственных нейронных сетей, обеспечивающих точность работы нейросетевых компонентов системы обработки информации в составе контрольно-измерительного комплекса на промышленном предприятии ОАО «Производственное объединение Муромский машиностроительный завод», г. Муром;

- определены перспективы практического использования полученных результатов при создании промышленных систем обработки информации на базе искусственных нейронных сетей;

- создана система практических рекомендаций по реализации процесса определения необходимой и достаточной разрядности искусственных нейронных сетей;

- представлены методические рекомендации по дальнейшему совершенствованию и их практическому использованию при реализации систем обработки информации на базе искусственных нейронных сетей.

Методология и методы исследования. В работе использованы методы искусственных нейронных сетей; математического и программного моделирования; дискретной математики; системного анализа; методы цифровой обработки информации.

Положения, выносимые на защиту:

- технология определения необходимой и достаточной разрядности произвольных искусственных нейронных сетей;

- алгоритм определения необходимой и достаточной разрядности произвольных искусственных нейронных сетей;

- алгоритм определения необходимой и достаточной разрядности произвольных искусственных нейронных сетей с подавлением внешних искажающих факторов;

- результаты экспериментального исследования разработанных алгоритмов;

- результаты практического применения искусственной нейронной сети, созданной с помощью разработанных алгоритмов в виде оценки технических характеристик промышленного объекта внедрения.

Степень достоверности и апробация результатов. Основные полученные результаты представлены в виде алгоритмов, вычислительных схем алгоритмов и структурной схемы устройства на базе искусственной нейронной сети в составе

промышленной системы обработки информации. Адекватность предложенных алгоритмов доказывается результатами экспериментов.

Результаты исследований получены автором при выполнении грантов РФФИ №12-08-31064-мол_а «Разработка автоматизированных методов оптимизации разрядности устройств с нейросетевой архитектурой или работающих в нейросетевом логическом базисе», №13-08-00348-а «Разработка автоматизированных методов определения оптимальной разрядности устройств с нейросетевой архитектурой или работающих в нейросетевом логическом базисе», №11-08-97551-р_центр_а «Разработка автоматизированных методов определения точности функционирования устройств с нейросетевой архитектурой или работающих в нейросетевом логическом базисе». Научные положения и выводы диссертации используются: в ОАО «ПО Муроммашзавод» при проведении контрольно-измерительных мероприятий; в учебном процессе МИ (филиала) ВлГУ по курсам «Информационные технологии проектирования ЭВС», «Физико-математические основы проектирования ЭВС», «Надежность приборов и систем» для специальностей «Проектирование ЭВС» и «Приборы и методы контроля качества».

Основные результаты диссертационной работы докладывались и обсуждались на X и XI Всероссийской научной конференции «Нейрокомпьютеры и их применение» (г. Москва, 2012, 2013 г.); II и III Всероссийских «Армандовских чтениях» (г. Муром, 2012, 2013 г.), IX международном симпозиуме «Интеллектуальные системы ШТЕЬ8"2010» (г.Владимир, 2010 г.), VI Всероссийской научно-технической конференции «Виртуальные и интеллектуальные системы» (г. Барнаул, 2011 г.), а так же в рамках НТС секции информационных технологий ФГАНУ ЦИТИС (председатель Галушкин А.И., г. Москва, 2013 г.).

По теме диссертационной работы опубликовано 20 печатных работ, в том числе 15 статей, 6 из которых в журналах, входящих в перечень ВАК, 2 свидетельства об официальной регистрации программ для ЭВМ.

ГЛАВА 1

ОБЗОР И АНАЛИЗ ВОЗМОЖНОСТЕЙ ИСПОЛЬЗОВАНИЯ

ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ В ТЕХНИЧЕСКИХ СИСТЕМАХ ОБРАБОТКИ ИНФОРМАЦИИ

1.1 Использование искусственных нейронных сетей в составе технических систем обработки информации

1.1.1 Перспективы применения искусственных нейронных сетей в составе технических систем обработки информации

Технические системы обработки информации являются неотъемлемой частью любого производства. Практически все управленческие и технологические процессы в той или иной степени используют средства автоматизированной вычислительной техники.

Современный этап развития производства требует использования инновационного подхода к проектированию промышленных систем обработки информации. Степень вовлечения передовых технологий характеризует уровень организационного развития всего производства и эффективность его деятельности. Применение искусственных нейронных сетей (ИНС) в качестве инструмента интеллектуализации и повышения технических характеристик вычислительных технических устройств представляется одним из перспективных направлений развития таких систем.

Технические информационные системы в промышленности имеют дело с организацией и эффективной обработкой больших объемов информации в

компьютеризированных системах предприятий, обеспечивая информационную поддержку принятия решений [67]. Они сталкиваются с возрастающей интенсивностью потоков данных, увеличением их количества, возрастающей связностью информации, усложнением методов обработки данных и расширением областей своего применения в целом, и требуют использования новых, комплексных средств организации структуры данных и средств их обработки.

Основные достоинства ИНС находят применения при эффективном решении этих задач. Использование ИНС значительно улучшит технические характеристики и эффективность существующих систем обработки информации без значительных материальных затрат за счет глубокой математической обработки данных [81].

ИНС предусматривают применение принципиально нового подхода к синтезу методов обработки информации в алгоритмическом смысле. Данная технология предоставляет компьютерной системе возможность обучаться на примерах, а ИНС - получать решения для проблем, ранее считавшихся неразрешимыми без участия человека. При этом достигается гибкость и адаптивность работы, сохранение устойчиво высоких показателей работы при отличиях внешних условий, от рассматриваемых на этапе разработки (способность к обобщению), возможность построения эффективных систем без трудоемких, а зачастую и невыполнимых, построений аналитических описаний, способность оперирования нечеткими (т.е. не представимыми в виде однозначно заданных величин) понятиями.

Кроме того, за счет специальных архитектур, использующих множество одинаковых, достаточно простых элементов, появляется возможность применения параллельных вычислительных средств, причем простота элементов позволяет реализовывать массовую параллельность вычислений. Достигаемое с помощью распараллеливания повышение быстродействия может достигать сотен и даже тысяч или более раз. Все это свидетельствует о необходимости внедрения нейросетевой технологии в перспективные системы обработки информации [120].

Таким образом, внедрение нейросетевых динамических моделей и алгоритмов, а также их прикладного программного обеспечения позволит создавать интеллектуальные системы со способностью к индивидуализации своих динамических параметров под внешние влияющие факторы.

Основными преимуществами ИНС как логического базиса алгоритмов решения сложных задач являются следующие [23]:

- инвариантность методов синтеза ИНС к размерности пространства признаков и их размеров;

- соответствие современным и перспективным технологиям микроэлектроники;

- отказоустойчивость при изменении качества решения задачи в зависимости от числа вышедших из строя элементов.

1.1.2 Проблематика применения искусственных нейронных сетей в составе технических систем обработки информации

Современные нейросетевые технологии, при условии расширения научной и практической базы для инжиниринга программных и аппаратных реализаций таких устройств, могут позволять решать сложные неформализуемые или плохо формализуемые задачи с гарантированными высокими показателями точности.

Таким образом, после разработки новых, согласованных с российскими и зарубежными регламентами в области качества, методов проектирования и оптимизации программных и аппаратных реализаций нейросетевых алгоритмов обработки информации, а так же разработки критериев и моделей описания и оценки эффективности, мы можем решать задачи интеллектуальной поддержки операций обработки, преобразования и передачи данных техническими средствами обработки информации в производстве. Это позволит вывести на

новый уровень качества конечной продукции предприятия любой отрасли промышленности.

Поставленные задачи являются актуальными, поскольку данные вопросы достаточно мало освещены в литературе, хотя и имеют большую практическую значимость, независимо от области внедрения [70, 73, 78].

Среди задач, возникающих при изучении и практической реализации ИНС, особое место занимает вопрос о пределах надежности этих систем [27]. Обзор научно-технических источников показал, что существующие методы обеспечения необходимых показателей точности функционирования ИНС имеют много слабых мест, трудно сопоставимы между собой и практически не согласуются с действующими как российскими, так и международными стандартами, регламентирующими надежность технических систем обработки информации.

Несовершенство известных методов обусловлено рядом особенностей функционирования ИНС:

- комплексное влияние параметров отдельного нейрона на работоспособность сети в целом;

- отсутствие априорной информации о параметрах каждого из нейронов (весовые коэффициенты, функции активации, смещения) до окончания процесса обучения;

- уровень надежности индивидуален для каждой решаемой задачи;

- ИНС могут быть неточны даже при правильном функционировании;

- неспособность формализировать механизм решения задачи.

Перечисленные в данном пункте факторы значительно препятствуют

широкому применению ИНС в составе промышленных систем обработки информации и делают остроактуальной задачу создания единых универсальных методов инженерного проектирования.

1.2 Методы инженерного проектирование искусственных нейронных сетей и обеспечение точности их функционирования

1.2.1 Задачи инженерного проектирования искусственных нейронных сетей и обеспечения точности их функционирования

С инженерной точки зрения аппаратные реализации ИНС представляют собой устройства параллельных вычислений, состоящие из множества взаимодействующих простых процессоров, которые могут выполнять переработку информации посредством изменения своего состояния в ответ на постоянный или импульсный входной сигнал [54].

К основным задачам проектирования устройств с нейросетевой архитектурой или работающих в нейросетевом логическом базисе систем можно отнести процессы синтеза оптимальных структур, а так же повышения и гарантии точности обработки информации этими объектами.

Использование, индивидуально разработанных методов синтеза и обучения ИНС, специализированных для каждой решаемой с помощью ИНС задачи, в ряде случаев, необоснованно снижает степень надежности проектируемого объекта, по сравнению с использованием общих методологий, учитывающих весь перечень технических характеристик объектов и опирающийся на общепринятые государственные и международные нормы в области проектирования технических объектов.

Это связано с тем, что существуют принципиальные отличия процессов функционирования ИНС и средств последовательной обработки потоков данных. Расчет и контроль основных технических показателей ИНС невозможно произвести на основе априорных данных и все необходимый значения могут быть

получены только при исследовании эксплуатационных системных связей объектов. По этой причине теоретические средства инженерного проектирования не находят должного отражения в проектных решениях на базе классических методов разработки систем обработки информации с последовательной обработкой потока данных.

1.2.2 Перспективы и проблематика разработки методов инженерного проектирования искусственных нейронных сетей

Как показывает обзор отечественных и зарубежных научно-технических публикаций, а также опыт собственного проектирования ИНС, отказоустойчивость и высокая точность работы ИНС в пределах заданных допусков, не обеспечивается автоматически, а в ряде случаев не может быть достигнута принципиально.

В реальных условиях эксплуатации ИНС подвержены неизбежному влиянию дестабилизирующих воздействий, которые заключаются в изменение параметров элементов ИНС и искажении входной информации. Данные воздействия обусловлены производственными и эксплуатационными разбросами значений параметров элементов и неизбежными шумами в сигнале несущем входную информацию.

Результатом этих воздействий является снижение точности работы и отказоустойчивости ИНС, выражаемое в изменении значений показателей качества относительно достигнутых при обучении вплоть до полной потери работоспособного состояния.

Многократно доказано, что структура ИНС оказывает решающее влияние на качество решения задачи, а так же на эффективность процесса обучения [41], поэтому основные методы инженерного проектирования в первую очередь должны быть направлены на решение данной задачи.

Таким образом, особенно актуальной является задача разработки общих универсальных методов и алгоритмов обеспечения заданных показателей точности функционирования ИНС произвольной структуры, согласованных с действующими стандартами в области проектирования технических объектов.

При определении конфигурации нейронной сети большое внимание уделяется ее размерности. Размерность оказывает определяющее влияние на точность и отказоустойчивость ИНС.

Следовательно, для определения предмета исследований необходимо провести аналитический обзор открытых российских и зарубежных научно-технических источников посвященных задачам синтеза оптимальных структур ИНС для получения высоких или близких к максимальным показателей надежности.

1.3 Обзор и анализ основных методов инженерного проектирования

искусственных нейронных сетей

1.3.1 Подход устранения избыточности искусственных нейронных сетей

Существует подход к минимизации разрядности ИНС основывающийся на неотъемлемом свойстве избыточности, присущей любой сети, по причине её неформализуемости на этапе создания. Предполагается, что неинформативные и избыточные элементы могут быть определены при помощи специальных алгоритмов и впоследствии удалены. Сеть будет выдавать выходные данные, по точности, не отличающиеся от получаемых до изменения структуры. Такой процесс получил свое название — контрастирование.

Контрастирование - это процесс сокращения числа параметров, не влияющий на качество обучения, при котором удаляются наиболее незначимые параметры при определении выходного поля [45].

Приведем список задач решаемых с помощью контрастирования сформулированных в [113]:

- упрощение архитектуры ИНС;

- уменьшение числа входных сигналов;

- сведение параметров нейронной сети к небольшому набору выделенных значений;

- снижение требований к точности входных сигналов;

- получение явных знаний из данных.

В книге [1] обобщены все имеющиеся знания по данному направлению и приведен типичный алгоритм контрастирования.

При работе метода обратного распространения ошибки сеть вычисляет

градиент функции оценки (ошибки) Н(\\?) по весам связей м>] = йЕ/ Зи>. пусть -

текущий набор весов сети, а ошибка сети для текущего примера равна Е°. Тогда в линейном приближении можно записать функцию оценки в точке как

ЕМ = Е° (1.1)

Используя приближение (1.1), можно оценить изменение оценки при замене \\>°р на как

(1.2)

Здесь ц - индекс примера обучающего набора, для которого были

вычислены оценка и градиент. Величину К(р,д) будем называть показателем

чувствительности к замене на м?*р для примера д. Далее необходимо

вычислить показатель чувствительности, не зависящий от номера примера. Обычно используется равномерная норма максимума модуля:

К(/7) = шах<7(К(А^))- (1.3)

Таким образом, контрастирование заключается в следующем. Каким-либо

А

образом обучается ИНС с требуемым малым значением ошибки Е. На каждом

дЕ

шаге работы определяем минимальный показатель чувствительности - К(/?*), заменяем соответствующие веса на и исключаем его из сети.

А

Контрастирование повторяется до тех пор, пока значение ошибки Е не начинает увеличиваться.

Из способа вычисления (1.1) и (1.2) видно, что необходимо знать вид оценочной функции и процедуры обучения для правильной работы процедуры контрастирования. Однако существует вариант контрастирования, который позволяет обойтись без этих сведений.

Пусть дана только обученная ИНС и обучающее множество, причем вид функции оценки и процедура обучения неизвестны. В этом случае контрастирование весов производится понейронно. В каждом нейроне стоит адаптивный сумматор, который суммирует входные сигналы нейрона, умноженные на соответствующие веса связей. Если обозначить входные сигналы

нейрона при решении д-го примера как Лу, получим формулу для показателя чувствительности весов:

Р, = (1.4)

Получаем показатель чувствительности:

Х(/?) = тах_(х;)(™_ -V,). (1.5)

Разновидностью контрастирования является структурное обучение или метод «оптимального прореживания ИНС» (Optimal Brain Damage, OBD) впервые был предложенный в работе [153] и был развит в [148], получив название Optimal Brain Surgeon (OBS).

Согласно современному представлению [112] эти методы основаны на минимизации некоторого функционала от ошибки 1(e); е = у-у; у,у - требуемое и реальное значения реакции сети соответственно. В случае простого удаления весов, имеющих минимальные значения, в качестве такого функционала используется квадратичный с регуляризующей добавкой, представляющей собой некоторую штрафную функцию. Получаемые же после обучения сети

(минимизации функционала) веса, значения которых находятся в заданной е-окрестности нуля, удаляются.

Методы OBD и OBS используют разложение 1(е) в ряд Тейлора до членов второго порядка и отличаются способом вычисления матрицы Гессе. Задача заключается в нахождении параметров, наименее влияющих на приращение функционала I.

В общем виде алгоритм OBD может быть представлен следующим образом:

- выбирается «приемлемая» архитектуры сети;

Список литературы диссертационного исследования кандидат наук Макаров, Михаил Вячеславович, 2013 год

СПИСОК ЛИТЕРАТУРЫ

1. Аксенов, С. В. Организация и использование нейронных сетей (методы и технологии) / С. В. Аксенов: под общ. ред. В.Б. Новосельцева. - Томск: Издательство НТЛ, 2006. - 128 с.

2. Амосов, А. А. Вычислительные методы для инженеров / А. А. Амосов, Ю. А. Дубинский, Н. В. Копчёнова. -М.: Высш. шк., 1994. - 544 с.

3. Андреев, А. В. Методы интеллектуализации измерительных многосенсорных систем / А. В. Андреев, Д. А. Скоринов // Цифровая обработка сигналов и ее применение: Доклады 9-й Международной конференции. - 2007. -№1. - С. 553-560.

4. Ануфриев, И. МАТЬАВ 7 / И. Ануфриев, А. Смирнов, Е. Смирнова. -Спб.: БХВ-Петербург, 2005. - 1104 с.

5. Аракелян, С. М. Обработка одномерных реализаций процессов на основе нейросетей с генетическим алгоритмом / С. М. Аракелян, В. Г. Прокошев, А. О. Кучерик, И. В. Липин//Нейроинформатика-2005.-2005.-№1.-95-103.

6. Аракелян, С. М. Параллельный сетевой симулятор: концепция использования и стратегия развития / С. М. Аракелян, П. Ю. Шамин, А. С. Алексанян, В. В. Прокошев // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. - 2009. - № 3. - С. 18-25.

7. Аракелян, С. М. Система имитационного моделирования работы сети на основе высокопроизводительных параллельных вычислений: архитектура и перспективы развития / А. С. Алексанян, С. М. Аракелян, В. В. Прокошев, П. Ю. Шамин // Информатизация образования и науки - 2009. - № 4. - С. 88-101.

8. Архангельский, В. И. Нейронные сети в системах автоматизации / В. И. Архангельский, И. Н. Богаенко, Г. Г. Грабовский, Н. А. Рюмшин. - К.: Техника, 1999.-234 с.

9. Аугамбаев, М. Основы планирования научно-исследовательского эксперимента / М. Аугамбаев, А. 3. Иванов, Ю. И. Терехов. - Ташкент: Издательство Укитувчи, 2004. - 336 с.

10. Батрак, А. П. Планирование и организация эксперимента / А. П. Батрак.

- Красноярск: ИПЦ СФУ, 2010. - 60 с.

11. Березкин, Е.Ф. Основы теории информации и кодирования / Е. Ф. Березкин Е.Ф. - М.: НИЯУ МИФИ, 2010. - 312 с.

12. Бойерле, X. П. Коммуникация в технике автоматизации / X. П. Бойерле, Г. Беценар. - Мюнхен: АО Siemens, 1991. - 155 с.

13. Блохин, В. Г. Современный эксперимент: подготовка, проведение, анализ результатов / В. Г. Блохин, О. П. Глудкин, А. И. Гуров, М. А. Ханин: под ред. О. П. Глудкина. -М.: Радио и связь, 1997. - 232 с.

14. Богданов, Г. П. Метрологическое обеспечение и эксплуатация вычислительной техники / Г. П. Богданов, В. А Кузнецов, М. А. Лотонов. - М.: Радио и связь, 1990. - 240 с.

15. Бодянский, Е. В. Искусственные нейронные сети: архитектуры, применение, обучение / Е. В. Бодянский, О.Г. Руденко. - Харьков: ТЕЛЕТЕХ, 2004.-369 с.

16. Большой Энциклопедический словарь / Под. ред. А. М. Прохоров. Изд. 2-е, перераб. и доп. - М.: Большая Российская энциклопедия; СПб.: Норинт, 2000

- 1453 с.

17. Васильев, А. Н. Нейросетевое моделирование: принципы, алгоритмы, приложения / А. Н. Васильев, Д. А. Тархов. - Санкт-Петербург: Издательство Политехнического университета, 2009. - 528 с.

18. Васин, В. А. Информационные технологии в проектировании объектов электронного машиностроения. Книга 5 / В. А. Васин, Е. Н. Ивашов, М. М. Пак, С. В. Степанчиков. - М.: Издательство ГНУ НИИ ПМТ, 2011. - 234 с.

19. Вентцель, Е. С. Исследование операций: задачи, принципы, методология / Е. С. Вентцель. - М.: Наука, 1988. - 206 с.

20. Волосников, А. С. Нейросетевая динамическая измерительная система с дополнительной фильтрацией последовательно восстанавливаемого входного сигнала датчика / А. С. Волосников // Известия Челябинского научного центра УрО РАН. - 2005. - № 4 (30). - С. 139-144.

21. Боровский Ф. С. Информатика. Новый систематизированный толковый словарь-справочник (Введение в современные информационные и телекоммуникационные технологии в терминах и фактах). / Ф. С. Воровский -М.: ФИЗМАТЛИТ, 2003. - 760 с.

22. Галушкин, А. И. Нейронные сети: основы теории / А. И. Галушкин. -М.: Горячая линия-Телеком, 2010 - 496 с.

23. Галушкин, А. И. О методике решения задач в нейросетевом логическом базисе / А. И. Галушкин // Нейроинформатика-2006. - 2006. - Часть 1. - С. 9-24.

24. Галушкин, А. И. Теория нейронных сетей / А. И. Галушкин. - М.: ИПРЖР, 2000.-416 с.

25. Голубев, Ю. Ф. Нейронные сети в мехатронике / Ю. Ф. Голубев // Фундаментальная и прикладная математика. - 2005. - № 8 (т. 11). - С. 81-103.

26. Горбань, А. Н. Нейроинформатика / А. Н. Горбань, В. Л. Дунин-Барковский, А. Н. Кирдин и др. - Новосибирск: Наука. Сибирское предприятие РАН, 1998.-296 с.

27. Горбань, А. Н. Обобщенная аппроксимационная теорема и вычислительные возможности нейронных сетей / А. Н.Горбань // Сибирский журнал вычислительной математики. - 1998. - № 1 (т. 1). - С. 12-24.

28. Горбань, А. Н. Обучение нейронных сетей / А. Н. Горбань. - М.: СССР-США СП «Параграф», 1990. - 160 с.

29. ГОСТ 8.009-1984 Государственная система обеспечения единства измерений. Нормируемые метрологические характеристики средств измерений. М.: Издательство стандартов, 1984. - 26 с.

30. ГОСТ 8.383-1980 Государственная система обеспечения единства измерений. Государственные испытания средств измерений. Основные положения. М.: Издательство стандартов, 1982. - 15 с.

31. ГОСТ 15895-1977 Статистические методы управления качеством продукции. Термины и определения. - М.: Издательство стандартов, 1989. - 49 с.

32. ГОСТ 16504-1981 Система государственных испытаний продукции. Испытания и контроль качества продукции. Основные термины и определения. -М.: Издательство стандартов, 1981. - 24 с.

33. ГОСТ 24026-1980 Исследовательские испытания. Планирование эксперимента. Термины и определения. - М.: Издательство стандартов, 1980. - 14 с.

34. ГОСТ Р ИСО 5725-1-2002 «Точность (правильность и прецизионность) методов и результатов измерений. Часть 1. Основные положения и определения. -М.: Издательство стандартов, 2002. - 50 с.

35. ГОСТ Р ИСО 9000-2001 Система менеджмента качества. Основные положения и словарь. - М.: Издательство стандартов, 2001. - 26 с.

36. Данилин С.Н. Алгоритм контроля отказоустойчивости нейронных сетей / С. Н. Данилин, С. В. Пантелеев // Информационные технологии, №1, 2013 - С. 67-70.

37. Данилин, С. Н. Влияние выбора показателя качества работы нейронных сетей на результат оценки их отказоустойчивости / С. И. Данилин // Радиотехнические и телекоммуникационные системы. - 2011. - № 4. - С. 15-19.

38. Данилин, С. Н. Проблемы современного представления об информации / С. Н. Данилин // Информационные системы и технологии. - 2012. - № 4.-С. 138-146.

39. Данилин, С. Н. Экспериментальное определение надежности нейронных сетей / С. Н. Данилин, Н. Ю. Кузякина, С. В. Пантелеев // Методы и устройства передачи и обработки информации. - 2004. - № 5. - С. 201-206.

40. Денисова, Э. В. Основы вычислительной математики / Э. В. Денисова, А. В. Кучер. - СПб.: СПбГУ ИТМО, 2010.- 164 с.

41. Добродеев, И. П. Самоорганизация нейронных сетей методом селекции / И. П. Добродеев, И. Н. Паламарь // Информационные системы и технологии. -2010.-№3(59).-С. 5-8.

42. Дорогов, А. Ю. Экспериментальная оценка обобщающей способности нейронных сетей / А. Ю. Дорогов, В. С. Абатуров. - Нейроинформатика-2013. -2013.- Часть 2. - 247-254.

43. Дьяконов В. П. Генерация и генераторы сигналов / В. П. Дьяконов. -М.: ДМК Пресс, 2009. - 384 с.

44. Емельянов, П. Н. Разработка эталонной координатно-измерительной машины с ЧПУ / П. Н. Емельянов, С. Е. Педь, И. Е. Холин // Информационно-измерительные и управляющие системы. - 2012. -№ 8 (т. 10). - С. 68-73.

45. Жуков, JI. А. Исследование различных вариантов контрастирования и бинаризации нейронных сетей для обработки медицинских данных / Л. А. Жуков, Н. В. Решетникова // Радиоэлектроника. Информатика. Управление. - 2004. - № 2.-С. 112-126.

46. Жуков, Л. А. О формализации нейросетевой технологии решения прикладных задач на примере сетей с учителем и сетей Хопфилда / Л. А. Жуков, Н. В. Решетникова, О. В. Корчевская // Научная сессия МИФИ-2005. Сб. науч. тр. в 2-х частях. - 2005. - Часть 1. - С.68-75.

47. Заенцев, И. В. Нейронные сети: основные модели / И. В. Заенцев -Воронеж: Воронежский государственный университет, 1999. - 76 с.

48. Запорожец, О.В. Компенсация нелинейности функции преобразования измерительных устройств с помощью искусственной нейронной сети / О.В. Запорожец, В.А. Коротенко, Т.А. Овчарова // Системы управления, навигации и связи.-2010.-№4(16).-С. 9-103.

49. Захаров, В. И. Взаимозаменяемость, качество продукции и контроль в машиностроении / В. И. Захаров. - Л.: Лениздат, 1990. - 302 с.

50. Зозуля, Ю. И. Метаинтеграция нейронных сетей в интеллектуальных автоматизированных системах реального времени / Ю. И. Зозуля, Ю.С. Кабальнов. - Уфа: УГАТУ, 2008. - 229 с.

51. Зозуля, Ю. И. Структурно-функциональная организация нейронных сетей в промышленных системах обработки информации / Ю. И. Зозуля // Нейроинформатика-2010. - 2010.-Часть 1.-С. 163-173.

52. Зубарев, Ю. М. Автоматизация координатных измерений / Ю. М. Зубарев, С. В. Касаревский, Н. Н. Ревин. - СПб.: Издательство ПИМаш, 2011 -160 с.

53. Игнатьев, Д. И. Метод повышения обобщающей способности нейронных сетей при разнотипных данных / Д. И. Игнатьев // Нейроинформатика-2013. - 2013. - Часть 2. - 237-247.

54. Каллан, Р. Основные концепции нейронных сетей курс / Р. Каллан.: Пер. с англ. - М.: Издательский дом «Вильяме», 2001. - 287 с.

55. Карманов, В. Г. Математическое программирование / В. Г. Карманов. -М.: ФИЗМАТЛИТ, 2004. - 264 с.

56. Касперски, К. Техника оптимизации программ. Эффективное использование памяти / К. Касперски. - СПб.: БХВ-Петербург, 2003. - 464 с.

57. Кирсанов, Э. Ю. Нейрокомпьютеры с параллельной архитектурой / Э. Ю. Кирсанов. - М.: Радиотехника, 2004. - 496 с.

58. Королев, Д. А. Нейроэволюционный подход к оптимизации внутренней структуры нейронных сетей / Д. А. Королев, В. Г. Суфиянов // Вестник ТОГУ. -2007. - № 4 (7). _ с. 107-122.

59. Комарцова, Л. Г. Нейрокомпьютеры / Л. Г. Комарцова, А. В. Максимов. - М.: Издательство МГТУ им. Н. Э. Баумана, 2004. - 400 с.

60. Короткое, В. С. Метрология, стандартизация и сертификация / В. С. Короткое, А. И. Афонасов. - Томск: Издательство Томского политехнического университета, 2012.- 194 с.

61. Круг, П. Г. Нейронные сети и нейрокомпьютеры / П. Г. Круг. - М.: Издательство МЭИ, 2002. - 176 с.

62. Круглов, В. В. Искусственные нейронные сети. Теория и практика. / В. В. Круглов, В. В. Борисов. -М.: Горячая линия-Телеком, 2002. - 382 с.

63. Ланцов, В. Н. Анализ параметрических устройств эффективным итерационным методом / В. Н. Ланцов, А. В. Масленков // Известия вузов. Электроника. - 1999. - № 1-2. - С. 34-40.

64. Ланцов, В.Н. Метод и алгоритм спектрального анализа входных устройств систем беспроводной связи / В. Н. Ланцов, А. С. Меркутов // Информационные технологии. - № 10. - 2005. - С. 21-26.

65. Ларько, А. А. Оптимизация размера нейросети обратного распространения [Электронный ресурс] / Ларько А. А. // Научно-техническая библиотека (Свид. ФС77-20137 от 23.11.2004). - Режим доступа: http://www.sciteclibrary.ru/rus/catalog/pages/8621 .html

66. Лудченко, А. А. Основы научных исследований / А. А. Лудченко, Я. А. Лудченко, Т. А. Примак: под ред. А. А. Лудченко. - К.: О-во "Знания", КОО, 2001. -113 с.

67. Макаренко, С. И. Интеллектуальные информационные системы / С. И. Макаренко. - Ставрополь: СФ МГГУ им. М. А. Шолохова, 2009. - 206 с.

68. Макаров, М. В. Алгоритм определения коэффициентов влияния погрешностей элементов нейронов на показатели качества работы устройств с нейросетевой архитектурой / М. В. Макаров, С. Н. Данилин, С. А. Щаников // Методы и устройства передачи и обработки информации. - 2011. - №13. - С. 114118.

69. Макаров, М.В. Алгоритм проектирования нейронных сетей с минимальной разрядностью / М.В. Макаров, С.Н. Данилин, С.А. Щаников // Известия ТулГУ. Технические науки. - 2013. - №1. - С. 245-251.

70. Макаров, М. В. Анализ и синтез производственных допусков / М. В. Макаров, С. Н. Данилин, С. А. Щаников // Материалы всероссийской конференции Армандовские чтения [Электронный ресурс], 2013 - 1 электрон, опт. диск (CD-ROM).

71. Макаров, М.В. Аппроксимация базовых математических функций с использованием нейросетевых алгоритмов / М.В. Макаров, С.Н. Данилин, С.А. Щаников // Материалы 5-ой Международной научно-практической конференции «Наука и инновации - 2009». - 2009. -№.12. - С. 4-9.

72. Макаров, М. В. Влияние функции обучения на качество работы нейронных сетей / М. В. Макаров, С. Н. Данилин, С. А. Щаников // Радиопромышленность. - 2012. - №2. - С. 68-73.

73. Макаров, М. В. Искусственные нейронные сети в составе контрольно-измерительных систем / М. В. Макаров, С. Н. Данилин, С. А. Щаников // Материалы всероссийской конференции Армандовские чтения [Электронный ресурс], 2013-1 электрон, опт. диск (CD-ROM).

74. Макаров, М.В. Исследование влияния значения весовых коэффициентов нейронов на уровень отказоустойчивости нейронных сетей / М.В. Макаров, С.Н. Данилин, С.А. Щаников // Вопросы радиоэлектроники. - 2010. -№1(т. 1).-С. 34-38.

75. Макаров, М.В. Исследование коэффициентов влияния погрешностей элементов нейронов на показатели точности (качества) работы устройств с нейросетевой архитектурой [Электронный ресурс] / М.В. Макаров, С.Н. Данилин, С.А. Щаников // Алгоритмы, методы и системы обработки данных. — 2011. -№2(17). - Режим доступа: http://amisod.ru/images/mediacontent/201 l/2/amisod-2011-2-17-danilin-makarov- schyanikov.pdf.

76. Макаров, М.В. Исследование зависимости результата оценки отказоустойчивости от выбора показателя качества работы нейронных сетей / М.В. Макаров, С.Н. Данилин, С.А. Щаников // Проектирование и технология электронных средств. - 2010. - № 1. - С. 2-5.

77. Макаров, М.В. Комплексный показатель качества работы нейронных сетей / М.В. Макаров, С.Н. Данилин, С.А. Щаников // X всероссийская научная конференция «Нейрокомпьютеры и их применение». Тезисы докладов. - 2012. -С. 26

78. Макаров, М.В. Комплексный показатель качества работы нейронных сетей / М.В. Макаров, С.Н. Данилин, С.А. Щаников // Информационные технологии. - 2013. - №5. - С. 57-59.

80. Макаров, М.В. Метод оптимизации топологии нейронной сети при идентификации объектов управления [Электронный ресурс] / М.В. Макаров, С.Н.

Данилин, С.А. Щаников // Материалы конференции «Наука и образование в развитии промышленной, социальной и экономической сфер регионов России». -2010. С. 347-348. - Режим доступа: http://www.mivlgu.ru/conf/ zvorykin2010/works/PDF/Sectionl O.pdf.

81. Макаров, М.В. Метод определения минимальной разрядности искусственных нейронных сетей / Макаров М.В., Данилин С.Н. // Радиотехнические и телекоммуникационные системы. - 2013. - №3. - С. 15-19.

82. Макаров, М. В. Методы определения точности работы устройства с нейросетевой архитектурой / М. В. Макаров, С. Н. Данилин, С. А. Щаников // Методы и устройства передачи и обработки информации. - 2011. - №12. - С. 6873.

83. Макаров, М. В. Новый метод минимизации разрядности искусственных нейронных сетей / М. В. Макаров, С. Н. Данилин, С. А. Щаников // Материалы всероссийской конференции Армандовские чтения [Электронный ресурс], 2013 — 1 электрон, опт. диск (CD-ROM).

84. Макаров, М.В. Оптимизация разрядности аппаратных средств при обеспечении требуемой точности работы нейронных сетей [Электронный ресурс] / М.В. Макаров, С.Н. Данилин, С.А. Щаников // Материалы II Всероссийской научно-практической конференции «Актуальные вопросы развития современной науки, техники и технологии». - 2010. - Режим доступа: http://www.mivlgu.ru/site_arch/conf/murom2010/matherials/seminar/PDF/24.pdf.

85. Макаров, М.В. Оптимизация разрядности аппаратных средств при обеспечении требуемой точности работы нейронных сетей / М.В. Макаров, С.Н. Данилин, С.А. Щаников // Вопросы радиоэлектроники. - 2010. - №1(т. 1). - С. 39-45.

86. Макаров, М.В. Оптимизация точности работы нейронной сети путем изменения разрядности аппаратных средств / М.В. Макаров, С.Н. Данилин, С.А. Щаников // Ползуновский альманах. - 2010. - №2. - С. 19-21.

87. Макаров, М.В. Перспективный подход к построению математических моделей динамических объектов / М.В. Макаров, С.Н. Данилин, С.А. Щаников //

Материалы 5-ой Международной научно-практической конференции «Достижения высшей школы - 2009». - 2009. - №7. - С. 77-81.

88. Макаров, М.В. Получение аналитических оценок точности для оптимизации разрядности нейронных сетей / М.В. Макаров С.А., Щаников // Тезисы докладов XI всероссийской научной конференции «Нейрокомпьютеры и их применение». - 2013. - С. 45-46.

89. Макаров, М.В. Преобразование систем координат с использованием нейросетевых алгоритмов / М.В. Макаров, С.Н. Данилин, С.А. Щаников // Материалы 5-ой Международной научно-практической конференции «Достижения высшей школы - 2009». - 2009 г. - №.7. - С. 73-77.

90. Макаров, М.В. Решение нелинейных дифференциальных уравнений в нейросетевых системах автоматического управления / М.В. Макаров, С.Н. Данилин, С.А. Щаников // Интеллектуальные системы: Труды Девятого международного симпозиума. - 2010. - С. 94-98.

91. Макаров, М.В. Решение нелинейных дифференциальных уравнений в радиосистемах в нейросетевом логическом базисе / М.В. Макаров, С.Н. Данилин, С.А. Щаников // Материалы 5-ой Международной научно-практической конференции «Образование и наука XXI века - 2009». - 2009. - №.12. - С. 39^44.

92. Марьина, О. А. Методы обучения многослойного персептрона. Попытки оптимизации задачи поиска глобального минимума функции энергии / О. А. Марьина., Д. А. Ладяев // Электроника и информационные технологии. -2009. - № 1 (5). - С. 24-28.

93. Масленникова, Ю. С. Нейросетевое прогнозирование временных рядов с использованием сингулярного разложения / Ю. С. Масленникова, В. В. Бочкарев // Нейроинформатика-2010.-2010.- Часть 2. - С. 203-213.

94. Медведев, В. С. Нейронные сети. МАТЬАВ 6. / С. В. Медведев: под общ. ред. В. Г. Потемкина. - М.: ДИАЛОГ-МИФИ, 2002. - 496 с.

95. МИ 1317-2004 Государственная система обеспечения единства измерений. Результаты и характеристики погрешности измерений. Формы представления. Способы использования при испытаниях образцов продукции и

контроле их параметров образцов продукции и контроле их параметров. - М.: ФГУП ВНИИМС, 2004. - 54 с.

96. Миркес, Е. М. Нейрокомпьютер. Проект стандарта / Е. М. Миркес. -Новосибирск: Наука, Сибирская издательская фирма РАН, 1998. - 189 с.

97. Муратов В. И. Технология машиностроения / В. И. Муратов, А. Н. Преображенский, Б. Н. Хватов, В. X. Фидаров. - Тамбов: Издательство Тамбовского государственного технического университета, 2003. - 128 с.

98. Назаров, Н. Г. Метрология. Основные понятия и математические модели / Н. Г. Назаров. - М.: Высшая школа, 2002. - 348 с.

99. Нейроматематика Кн.6 / А.И. Галушкин. - М.: ИПРЖР, 2002. - 448 с.

100. Новицкий, П. В. Оценка погрешностей результатов измерений / П. В. Новицкий, И. А. Зограф. - Ленинград.: Энергоатомиздат, 1991 - 304 с.

101. Новый политехнический словарь / Гл. редактор А. Ю. Ишлинский. -М.: Научное издательство «Большая Российская энциклопедия», 2000 - 671 с.

102. Нужный, А. С. Регуляризация Байеса в задаче аппроксимации функции многих переменных / А. С. Нужный, С. А. Шумский // Математическое моделирование. -2003. -№ 9 (т. 15). - С. 55-63.

103. Овчинников, П. Е. Применение искусственных нейронных сетей для обработки сигналов / П. Е. Овчинников. - Нижний Новгород: Нижегородский госуниверситет, 2012. - 32 с.

104. Омату, С. Нейроуправление и его приложение / С. Омату, X. Марзуки, Ю. Рубия.: Пер. с англ. Н. В. Батина под ред. А. И. Галушкина, В. А. Птичкина. -М.: ИПРЖР, 2000. - 272 с.

105. Оссовский, С. Нейронные сети для обработки информации / С. Оссовский: пер. с польского И. Д. Рудинского. - М.: Финансы и статистика, 2002. - 344 с.

106. Пекарш, А.И. Координатно-измерительные машины и комплексы / С. И. Феоктистов, Д. Г. Колыханов, В. И. Шпорт // Наука и технологии в промышленности. -2011. -№ 3. - С. 36-48.

107. Першин, Д. Обзор некоторых видов нейронных сетей: препринт / Д. Першин. - Новосибирск, 2000. - 25 с.

108. Половко, А. М. Основы теории надежности / А. М. Половко, С. В. Гуров: 2-е изд., перераб. и доп. - СПб.: БХВ-Петербург, 2006. - 704.

109. Пупков, К.А. Интеллектуальные системы. Исследование и создание / К. А. Пупков, В. Г. Коньков. -М.: Издательство МГТУ им. Н. Э. Баумана, 2001. -194 с.

110. Ревин, В. Т. Преобразование и преобразователи измерительной информации / В. Т. Ревин. - Мн.: БГУИР, 2004. - 83 с.

111. РМГ 64-2003 ГСП Обеспечение эффективности при управлении технологическими процессами. Методы и способы повышения точности измерений. - М.: Издательство стандартов, 2004. - 39 с.

112. Руденко, О. Г. Выбор архитектуры многослойного персептрона в задаче идентификации многомерных объектов / О. Г. Руденко, А. В. Островерхий // Оптимизация производственных процессов. - 2009. -№ 11. - С. 40-43.

113. Рутковская, Д. Нейронные сети, генетические алгоритмы и нечеткие системы / Д. Рутковская, М. Пилиньский, JI. Рутковский. - М: Горячая линия-Телеком, 2008. - 452 с.

114. Садыков, С. С. Система автоматизации обработки и анализа эхокардиографических снимков / С. С. Садыков, И. А. Сафулова, М. И. Ткачук // Автоматизация и современные технологии. - 2010. -№ 10. - С. 10-17.

115. Секерин, А. Б. Метод оценки устойчивости нейронно-сетевых моделей [Электронный ресурс] / А. Б. Секерин // Электронный журнал Исследовано в России. - 2004. - № 8. - С. 350-354. - Режим доступа: http://zhurnal.ape.relarn.ru/articles/2005/031 .pdf.

116. Славутский, JL А. Основы регистрации данных и планирования эксперимента / JI. А. Славутский. - Чебоксары.: Издательство ЧГУ, 2006 - 200 с.

117. Спирин, Н. А. Методы планирования и обработки результатов инженерного эксперимента / Н. А. Спирин, В. В. Лавров под общ. ред. Н. А. Спирина. - Екатеринбург: ГОУ ВПО УГТУ-УПИ, 2004. - 257 с.

118. Стогней, В. Г. Синтез аппроксимирующих нейросетей при разработке экспериментальных факторных моделей / В. Г. Стогней, А. В. Кретинин // Успехи современного естествознания. - 2004. - № 9. - С. 80-81.

119. Тартаковский, Д. Ф. Метрология, стандартизация и технические средства измерений / Д. Ф. Тартаковский, А. С. Ястребов. -М.: Высш. шк., 2001. - 205 с.

120. Татузов, А. Л. Нейронные сети в задачах радиолокации / А. Л. Татузов. - М.: Радиотехника, 2009. - 432 с.

121. Усков, А. А. Гибридные нейросетевые методы моделирования сложных объектов: монография / А. А. Усков, С. А. Котельников, Е. М. Грубник,

B. М. Лаврушин. - Смоленск: Смоленский филиал AHO ВПО ЦС РФ Российский университет кооперации, 2011. - 132 с.

122. Фомин, А. В. Допуски в радиоэлектронной аппаратуре / А. В. Фомин. - М.: Сов. Радио, 1973.- 128 с.

123. Хайкин, С. Нейронные сети: полный курс / С. Хайкин. 2-е издание.: Пер. с англ. - М.: Издательский дом «Вильяме», 2006. - 1104 с.

124. Хомич, А. В. Оптимизация топологии рекуррентных и многослойных нейронных сетей с применением генетических алгоритмов / А. В. Хомич, Л. А. Жуков // Нейроинформатика. - 2004. - № 2. С. 68-74.

125. Царегородцев, В. Г. Конструктивный алгоритм синтеза структуры многослойного персептрона / В. Г. Царегородцев // Вестник КазНУ им. Аль-Фараби. Математика, механика, информатика. - 2008. - № 4 (59). - С.308-315.

126. Царегородцев, В. Г. Производство полуэмпирических знаний из таблиц данных с помощью обучаемых искусственных нейронных сетей / В. Г. Царегородцев // Методы нейроинформатики: Сборник научных трудов - 1998. -

C. 176-198.

127. Цой, Ю. Р. Эволюционный подход к настройке и обучению искусственных нейронных сетей / Ю. Р. Цой, В. Г. Спицын // Нейроинформатика. -2006. — №1 (т.1).-С. 34-61.

128. Чекушкин, В. В. Вычислительные процессы в информационно-измерительных системах / В. В. Чекушкин, В. В. Булкин. - Муром: Изд.полиграфический центр МИ ВлГУ, 2011. - 120 с.

129. Черкесов, Г. Н. Надежность аппаратно-программных комплексов / Г. Н. Черкесов. - СПб.: Питер, 2005. - 479 с.

130. Чернодуб, А. Н. Обзор методов нейроуправления / А. Н. Чернодуб, Д. А. Дзюба // Проблемы программирования. - 2011. -№ 2. - С. 79-94.

131. Черноруцкий, И. Г. Методы оптимизации в теории управления / И. Г. Черноруцкий. - СПб.: Питер Принт, 2004. - 256 с.

132. Чернышов, В.Н. Теория систем и системный анализ / В.Н. Чернышов, А.В. Чернышов. - Тамбов: Издательство Тамб. гос. техн. ун-та, 2008. - 96 с.

133. Шварц, Д. Р. Эволюционная адаптация искусственных нейронных сетей / Д. Р. Шварц // Искусственный интеллект. - 2003. - № 4. - 502-508.

134. Яковлев, А. В. Надежность информационных систем / А. В. Яковлев. -Муром: ИПЦ МИ (ф) ВлГУ, 2003. - 64.

135. Яньков, В. Ю. Моделирование в Mathcad / В. Ю. Яньков, Н. А. Якушина. - М.: МГУТУ, 2009. - 69 с.

136. Anil, К. J. Artificial Neural Networks: A Tutorial/К. J. Anil, M. Jianchang, К. M. Mohiuddin// Computer. - 1996. -№ 3 (vol. 29). - pp. 31-44.

137. Caruana, R. A. Benefitting from the variables that variable selection discards / R. A. Caruana, V. R. de Sa // Journal of Machine Learning Research. - 2003. -Vol.3.-pp. 1245-1264.

138. Coord3 Industries HERA Bridge type CNC coordinate measuring machine

-2009.

139. Beynon-Davies P. An introduction to informatics in Organisations / P. Beynon-Davies // Information Systems. - 2002. - № 1. - pp. 509-521.

140. Bishop, С. M. Pattern Recognition and Machine Learning / С. M. Bishop. -Springer, 2006. - 738 p.

141. Dash, M. Feature selection for clustering - a filter solution / M. Dash, K. Choi, P. Scheuermann, H. Liu // In Proceedings of the Second International Conference on Data Mining. - 2002. - №1. - pp. 115-122.

142. De Jesus, O. Backpropagation: Algorithms for a Broad Class of Dynamic Networks / O. De Jesus, M. T. Hagan // IEEE Transactions on Neural Networks. -2007. -№ 1 (vol. 18)-pp. 14-27.

143. Dias, F. M. Comparison between Different Control Strategies using Neural Networks / F. M. Dias, A. M. Mota // 9th Mediterranean Conference on Control and Automation. - 2001. - pp. 1047-1064.

144. Dy, J. G. Unsupervised feature selection applied to content-based retrieval of lung images / J. G. Dy, C. E. Brodley, A. C. Kak, L. S. Broderick, A. M. Aisen // IEEE Transactions on Pattern Analysis and Machine Intelligence. - 2003. -№ 25 (3). -pp. 373-378.

145. Forman, G. An extensive empirical study of feature selection metrics for text classification / G. Forman // Journal of Machine Learning Research. - 2003. - № 3. -pp. 1289-1305.

146. Fukumizu, K. Effect of batch learning in multilayer neural networks / K. Fukumizu // Proc. 5th Int. Conf. Neural Information Processing (ICONIP-1998). -1998.-Vol. l.-pp. 67-70.

147. Galushkin, A.I. About neural network principle of measuring devices design / A.I. Galushkin // Semenihin' institute of automatic gear, scientific center for neurocomputers. - 2003. - pp. 2542-2549.

148. Hassibi, B. Second order derivatives for network pruning: Optimal brain surgeon / B. Hassibi, D. G. Stork // Neural Information Processing Systems (NIPS 5). -1993.-pp. 28-36.

149. Kamimura, R. Principal Hidden Unit Analysis: Generation of Simple Networks by Minimum Entropy Method / R. Kamimura // Proc. IJCNN. - 1993. - Vol. l.-pp. 317-320.

150. Kamimura, R. Weight-decay as a Process of Redundancy Reduction / R. Kamimura, S. Nakanishi // Proc. WCNN. - 1994. - Vol. 3. - pp. 486^89.

151. Koza, J. R. Genetic generation of both the weight and architecture for a Neural Network / J. R. Koza, J. P. Rice // Proceedings of International Joint Conference on Neural Networks. - 1991.-№ 2.-pp. 1103-1108.

152. Lawrence, S. Overfitting and neural networks: conjugate gradient and backpropagation / S. Lawrence, C. L. Giles // Proc. Int. Joint Conf. Neural Networks (IJCNN'2000). - 2000. - pp. 114-119.

153. Le Cun, Y. Optimal brain damage / Y. Le Cun, J. S. Denker, S. A. Solla // Advances in Neural Information Processing Systems 2 - 1990. - pp. 598-605.

154. Lin, S.-K. Gibbs Paradox and the Concepts of Information, Symmetry, Similarity and Their Relationship / S.-K. Lin // Entropy Journal. - 2008. - № 10 (vol. 1).-pp. 396-400.

155. Majima, N. A New Criterion «Effectiveness Factor» for Pruning Hidden Units / N. Majima, A. Watanabe, A. Yoshimura, T. Nagano // Proc. ICNN. - 1994. -Vol. 1.-pp. 382-385.

156. Malinowski, A. Reconciling Training and Weight Suppression. New Guidelines for Pruning-efficient Training / A. Malinowski, D. A. Miller, J. M. Zurada // Proc. WCNN. - 1995. - Vol. 1. - pp. 724-728.

157. Mitchell, M. An Introduction to Genetic Algorithms / M. Mitchell // Massachusetts Institute of Technology, 1998. - 280 p.

158. Osyczka, A. Evolutionary Algorithms for Single and Multicriteria Design Optimization / A. Osyczka // Physica Verlag - 2002. - № 3 (42) - pp. 565-584.

159. Principe, J. C. Neural and Adaptive Systems. Fundamentals Through Simulations / J. C. Principe, N. R. Euliano, W. C. Lefebvre. - New York.: John Wiley Sons Inc, 2000.- 193 p.

160. Reyneri, L. M. Implementation issues of neuro-fuzzy hardware: going toward HW/SW codesign / L. M. Reyneri // IEEE Transactions on Neural Networks. -2003.-№ i (vol. 14).-pp. 176-194.

161. Rossiter, J. A. Model-based Predictive Control: a Practical Approach / J. A. Rossiter. - CRC Press, 2003. -318 c.

162. Takase, H. Partially weight minimization approach for fault tolerant multilayer neural networks / H. Takase, H. Kita, T. Hayashi // Proceedings of the 2002 International Joint Conference on Neural Networks. - 2002. - pp. 1092-1096.

163. Tanpraset, C. Neuron and Dendrite Pruning by Synaptic Weight Shifting in Polynomial Time / C. Tanpraset, T. Tanpraset, C. Lursinsap // Proc. IEEE ICNN. -1996.-Vol. 2.-pp. 822-827.

164. Wang, Y. Using Genetic Algorithm for Parameter Estimation / Y. Wang // Computer Science Department - 2004. - pp. 84-91.

165. Weise, T. Global Optimization Techniques and Genetic Programming Applied to Distributed Computing / T. Weise // University of Kassel, Distributed Systems Group, 2007 - 206 p.

166. Werman, M. A Bayesian Method for Fitting Parametric and Nonparametric Models to Noisy Data / M. Werman, D. Keren // PAMI. - 2001. - № 5 (vol. 23). - pp. 528-534.

167. Yamamoto, S. Gradual Reduction of Hidden Units in the Back Propagation Algorithm, and its Application to Blood Cell Classification / S. Yamamoto, T. Oshino, T. Mori, A. Hashizume, J. Motoike // Proc. IJCNN. - 1993. - Vol. 3. - pp. 2085-2088.

168. Yu, L. Efficient Feature Selection via Analysis of Relevance and Redundancy / L. Yu, H. Liu // Journal of Machine Learning Research. - 2004. - № 5. -pp. 1205-1224.

169. Yu, L. Redundancy based feature selection for microarray data / L. Yu and H. Liu. // In Proceedings of the Tenth ACM SIGKDD Conference on Knowledge Discovery and Data Mining. - 2004. - № 1. - pp. 737-742.

170. Zhang, Y. Recurrent neural networks for nonlinear output regulation / Y. Zhang, J. Wang //Automatica. - 2001.-№ 8 (vol. 37)-pp. 1161-1173.