Анализ и синтез нейросетевых систем обработки информации на основе модифицированных сетей Петри тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Маршаков, Даниил Витальевич

• Маршаков, Даниил Витальевич
• кандидат наук
• 2013

Оглавление диссертации кандидат наук Маршаков, Даниил Витальевич

СОДЕРЖАНИЕ

Введение 5 ГЛАВА 1. ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ КАК ОБЪЕКТЫ

ДИАГНОСТИРОВАНИЯ

1.1 Искусственные нейронные сети в распознавании образов

1.1.1 Задачи распознавания образов, решаемые на основе 12 ИНС

1.1.2 Виды программных и аппаратных реализаций ИНС

1.1.3 Проблема отказоустойчивости ИНС

1.1.4 Модель искусственного нейрона

1.1.5 Архитектура ИНС

1.1.6 Обучение ИНС

1.2 Анализ методов тестирования ИНС

1.2.1 Классы дефектов ИНС

1.2.2 Подходы к тестированию ИНС

1.2.3 Задача построения минимальных тестов для ИНС

1.3 Постановка задачи

1.4 Выводы по главе 1 35 ГЛАВА 2. РАЗРАБОТКА И АНАЛИЗ МОДЕЛЕЙ ДЕФЕКТОВ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

2.1 Источники неисправностей ИНС

2.2 Анализ моделей дефектов ИНС

2.2.1 Степень влияния дефектов выходов нейронов на работоспособность ИНС

2.3 Показатель чувствительности ИНС к дефектам

2.3.1 Исследование чувствительности введенного показателя качества распознавания к дефектам скрытого слоя ИНС

2.4 Выводы по главе 2

ГЛАВА 3. РАЗРАБОТКА ДИАГНОСТИЧЕСКОЙ МОДЕЛИ 57 ИСКУССТВЕННОЙ НЕЙРОННОЙ СЕТИ

3.1 Возможность моделирования ИНС с помощью сетей Петри

3.2 Моделирование ИНС сетями Петри

3.2.1 Формальное определение модели

3.2.2 Модель искусственного нейрона на основе модифицированной сети Петри

3.2.3 Модель многослойной ИНС на основе модифицированной сети Петри

3.3 Диагностическая модель ИНС на основе модифицированной сети Петри

3.4 Оценка диагностической модели

3.5 Выводы по главе 3 84 ГЛАВА 4. МЕТОДЫ СИНТЕЗА ТЕСТОВ КОНТРОЛЯ РАБОТОСПОСОБНОСТИ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

4.1 Требования к тесту контроля работоспособности

4.2 Синтез теста контроля работоспособности ИНС на основе 87 обучающей выборки

4.2.1 Математическая модель синтеза минимальных тестов контроля работоспособности ИНС на основе обучающей 89 выборки

4.2.2 Применимость разработанного метода синтеза тестов

на основе обучающей выборки на примере теста «Числа 0- 92 9»

4.3 Синтез теста контроля работоспособности ИНС с применением численного метода генерации тестовой последовательности ИНС на основе конгруэнтных процедур

4.3.1 Требования к последовательности случайных чисел как к тестовому набору ИНС

4.3.2 Конгруэнтные процедуры генерации последовательности случайных чисел

4.3.3 Численный метод генерации тестовой последовательности ИНС на основе конгруэнтных процедур

4.4 Синтез нейросетевой системы управления электроприводами ангулярных роботов на основе синергетического подхода

4.4.1 Модель электропривода

4.4.2 Синтез синергетического динамического регулятора

4.4.3 Синтез нейросетевого регулятора на основе синергетического закона управления

4.5 Применимость разработанного численного метода генерации тестовой последовательности ИНС на примере синтезированного нейросетевого регулятора

4.6 Влияние тестов контроля работоспособности на коэффициент готовности ИНС

4.7 Выводы по главе 4 132 Заключение 133 Список литературы 13 5 Приложения

Приложение А

Приложение Б

Приложение В

Приложение Г

Приложение Д

Введение диссертации (часть автореферата) на тему «Анализ и синтез нейросетевых систем обработки информации на основе модифицированных сетей Петри»

ВВЕДЕНИЕ

Актуальность проблемы. Развитие теории и практики искусственных нейронных сетей (ИНС) связано с количественным и качественным расширением сферы их применения. Современные ИНС, в силу своей структурной организации, и способности обучаться, обладают возможностями моделировать сложные процессы, обобщать информацию, работать с искаженными данными, осуществлять абстрагирование, что позволяет успешно применять их в задачах классификации, прогнозирования, аппроксимации и т.п., решение которых обычно сводится к конструированию областей многомерного пространства, что в общем случае характерно для типичной задачи распознавания образов.

Сфера применения нейросетевых систем постоянно расширяется в связи с растущими потребностями в высокоскоростной обработке информации, которая достигается за счет массового параллелизма в нейросетях. Это способствовало развитию нейрокомпьютерной техники, представляющей собой платы расширения стандартных вычислительных схем с архитектурой, реализующей алгоритмы, представленные в нейросетевом базисе. Аппаратно реализованные нейросетевые системы обработки информации находят применение в различных прикладных областях, в том числе в современных системах автоматического управления, для которых важным требованием является высокое качество и скорость принятия решений.

На качество функционирования данного рода систем оказывают влияние отказы нейронов, объективно возникающие при воздействии внешней среды, и влекущие за собой потерю функциональных возможностей нейронной сети. Высокая степень надежности биологических нейронных сетей уже на ранних стадиях изучения возможностей ИНС привлекла внимание исследователей. Однако, как показали дальнейшие исследования, наличие практически любого дефекта в ИНС, на данном этапе их развития, всегда влияет на качество выполняемых ими функций. Свойство деградации нейросети при выходе из строя отдельных её элементов является серьезным предметом исследований и требует особого внимания.

К приоритетным направлениям развития нейросетевых систем многие отече-

ственные и зарубежные ученые и специалисты в области нейронных сетей относят работы по функциональной отказоустойчивости, надежности ИНС и их диагностики. Значительный вклад в исследование данной проблематики внесли: P.A. Бабкин, А.И. Галушкин, И.А. Пальянов, А.И. Перегуда, В.И. Потапов, И.В. Потапов, B.S. Arad, G.R. Bolt, F.M. Dias, J.B. Dugan, S. Cavalieri, L.C. Chu, R. Eickhoff, V. Piuri, D.S. Phatak, P.W. Prötzel, B.W. Wah и многие др.

При этом, как отмечает крупный отечественный специалист в области нейро-компьютерных систем А.И. Галушкин, одной из проблем является разработка математических моделей и аппарата, необходимых для исследования функциональной надежности ИНС. При этом одна из ключевых трудностей заключается в выявлении отказовых состояний нейросети, которые зачастую зависят от решаемой задачи и в большинстве случаев могут быть определены лишь экспериментально.

В условиях широкого внедрения ИНС в различные современные системы управления, где отказоустойчивость и свойство деградации нейросетей приобретают особое значение, возникает необходимость в разработке методов повышения их надежности, которая обеспечивается, в том числе контролем работоспособности нейронной сети, что выводит тестовый контроль работоспособности в разряд перспективных методов контроля нейросистем.

В связи с этим, диссертационная работа посвящена решению актуальной научно-технической проблемы, связанной с разработкой диагностических моделей и методов контроля работоспособности ИНС.

Цель работы. Диссертационное исследование посвящено повышению надежностных характеристик нейросетевых систем обработки информации; разработке эффективных методов синтеза минимальных тестов контроля работоспособности ИНС; разработке математических и диагностических моделей ИНС; разработке программного обеспечения для численного моделирования, оценки работоспособности и расчета необходимых тестовых воздействий нейросетевых систем заданной сложности.

Направление исследований. В соответствии с поставленной целью в работе решены следующие основные задачи:

1. Разработаны и исследованы с точки зрения влияния на работоспособность ИНС модели дефектов искусственных нейронов, предложен специальный показатель качества функционирования ИНС в условиях неисправностей.

2. На базе предложенной в работе модификации сетей Петри разработаны математические модели искусственного нейрона и ИНС прямого распространения.

3. На основе предложенного показателя качества функционирования ИНС и разработанной математической модели ИНС, построена диагностическая модель ИНС.

4. Разработаны алгоритмические процедуры синтеза минимальных тестов контроля работоспособности ИНС на основе обучающей выборки и посредством генерации последовательностей случайных равномерно распределенных независимых чисел.

5. Произведен синтез нейросетевой системы управления на основе синер-гетического закона управления, на примере которой рассмотрены предложенные процедуры синтеза минимальных тестов контроля работоспособности ИНС.

6. Разработан комплекс программ для экспериментального исследования функциональных возможностей ИНС прямого распространения при наличии в них неисправностей, а также реализующих диагностическую модель и алгоритмы синтеза минимальных тестов контроля работоспособности ИНС.

Научная новизна. В работе получены и выносятся на защиту основные результаты, обладающие научной новизной:

1. Обоснованный теоретически и экспериментально для ИНС различных конфигураций двухуровневый показатель качества функционирования, отличающийся от известных возможностью контролировать активность нейронов выходного слоя при оценке качества принимаемых решений, а также обладающий достаточной степенью чувствительности к наличию

в ИНС дефектов, что позволяет его применять при решении задач контроля работоспособности ИНС.

2. Расширенная модель дефектов искусственных нейронов, отличающаяся от известных ранее константных неисправностей const = 0, const = 1 на выходах нейрокомпонент рассмотрением промежуточных постоянных значений в интервале (0,1), и представляющая собой новый класс параметрических неисправностей, позволяющий исследовать этапы постепенной деградации ИНС.

3. Математическая модель искусственного нейрона и многослойной ИНС, разработанная на основе комбинации аппарата модифицированных сетей Петри и нейросетевых технологий, которая выгодно отличается возможностью как исследовать динамические свойства ИНС посредством временного графа достижимости, так и анализировать особенности её функционирования посредством матричного исчисления.

4. Диагностическая модель ИНС прямого распространения выполненная на основе математической модели ИНС на базе модифицированных сетей Петри с включением в алгоритм вычисления предложенного двухуровневого показателя качества функционирования, позволяющая моделировать дефекты в составе параллельно функционирующих ИНС и идентифицировать их выходное состояние.

5. Методы синтеза минимальных тестов контроля работоспособности ИНС, синтезируемые на основе которых тесты в сравнении с известными подходами к тестированию нейросистем (исчерпывающим и случайным), позволяют повысить оперативность проведения контроля (для рассмотренных примеров специализированных ИНС как минимум в 9 раз), и достичь повышения коэффициента готовности нейросистемы (в общем случае до 0,999998), что подтверждено экспериментальным исследованием для ИНС различных конфигураций.

Методы исследования. В диссертационной работе применялись методы теории ИНС, теории распознавания образов, математический аппарат теории сетей

Петри, численные методы и экспериментальные исследования.

Для реализации экспериментальных исследований разработано программное обеспечение (ПО), проведено большое количество экспериментов с ИНС различных конфигураций, результаты которых использовались для получения достоверных оценок результатов исследований. Для реализации ПО применялись концепции программирования матричной лаборатории МАТЬАВ.

Практическая значимость.

1. Спроектированные универсальные процедуры анализа многослойных ИНС на основе их модели модифицированной сетью Петри, синтеза минимальных тестов контроля работоспособности ИНС были успешно применены при проектировании имитационных систем и стендов тестового контроля аппаратных нейросетевых средств и могут использоваться в диагностических комплексах современной аппаратуры.

2. Разработанный комплекс программ, реализующий предложенные в работе модели, методы и алгоритмы предоставляет широкие возможности для диагностического анализа нейросетевых систем: моделирования различных классов дефектов и оценки их влияния на работоспособность, отображения динамики функционирования ИНС, построения минимальных тестов контроля работоспособности ИНС.

Теоретическая значимость.

1. Разработанный в диссертации метод моделирования ИНС на основе проблемно модифицированных сетей Петри является теоретической платформой для диагностического анализа функционирования ИНС, изучения и анализа их структур и динамических свойств, а также может быть использован при разработке конфигурации желаемой ИНС и её последующей аппаратной реализации.

2. Предложенный двухуровневый показатель качества распознавания ИНС прямого распространения, обеспечивающий возможность анализа активности нейронов выходного слоя на этапе функционирования, проявил себя как эффективный показатель надежности распознавания ИНС и может также быть применен в качестве критерия качества обучения.

3. Введенный класс неисправностей, подразумевающий моделирование про-

межуточных постоянных значений сигналов в интервале (0,1) на выходе нейронов ИНС, как класс параметрических неисправностей ИНС может быть использован для исследования этапов постепенной деградации ИНС различных архитектур.

Достоверность получаемых в диссертации результатов подтверждается корректным использованием математических методов, данными многочисленных экспериментальных исследований, публикациями в центральной печати, и докладами на международных и региональных научно-технических конференциях.

Реализация и внедрение результатов работы. Результаты диссертационной работы внедрены на предприятии ОАО «ОКТБ "Вектор"» в процесс разработки и производства специализированных типовых функциональных устройств, а также в учебный процесс на кафедре «Вычислительные системы и информационная безопасность» ИЭиМ ДГТУ при обучении студентов специальностей 230201 «Информационные системы и технологии» и 220201 «Управление и информатика в технических системах».

Соответствие диссертации паспорту научной специальности. Основным содержанием диссертации является проблема разработки моделей, методов и средств анализа нейросетевых систем обработки информации, а также повышение надежностных характеристик данного рода систем. Таким образом, отраженные в диссертации научные положения соответствуют формуле специальности 05.13.01 «Системный анализ, управление и обработка данных», а результаты научного исследования соответствуют п. 3, п. 5 и п. 11 паспорта специальности.

Апробация основных результатов диссертационной работы. Основные результаты работы докладывались и обсуждались на международных научно-технических конференциях «Математические методы в технике и технологиях»: ММТТ-23 (г.Саратов, 2010 г.), ММТТ-24 (г.Пенза, 2011 г.), ММТТ-25 (г. Волгоград, 2012 г.); У-й международной научно-практической конференции «Состояние и перспективы развития сельскохозяйственного машиностроения», проводимой в рамках 15-й международной агропромышленной выставки «Интерагормаш-2012» (г. Ростов-на-Дону, 2012); Международном научном семинаре «Системный анализ, управление и обработка информации» (г. Ростов-на-Дону -

с. Дивноморское): 2011 г., 2012 г.; X международном научно-техническом форуме «ИнЭРТ» (г. Ростов-на-Дону, 2012 г.).

Публикации по теме диссертации. Основные результаты диссертации отражены в 12 научных трудах, в том числе 5 публикаций в рецензируемых научных журналах. В 8 работах, опубликованных в соавторстве, доля материалов, принадлежащих автору диссертации, составляет не менее 50%. Кроме того, получено свидетельство о государственной регистрации программы для ЭВМ (ФГУ ФИПС свидетельство №2011613078 от 18.04.2011).

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, библиографического списка и приложений. Объём основной части составляет 148 страниц машинописного текста, содержит 5 таблиц, 34 рисунка, список литературы из 123 наименований.

ГЛАВА 1. ИСКУССТВЕННЫЕ НЕЙРОННЫЕ СЕТИ КАК ОБЪЕКТЫ

ДИАГНОСТИРОВАНИЯ

1.1 Искусственные нейронные сети в распознавании образов

Искусственные нейронные сети (ИНС), в силу своей структурной организации, обладают возможностями моделирования нелинейных процессов, работы с за-шумленными данными, обобщения и т.д. Благодаря этим свойствам ИНС находят широкое применение во многих прикладных областях науки и техники, при этом все более возрастает удельных вес использования аппаратных нейросетевых реализаций. Это связано с требованиями к обеспечению высоких скоростей решения сложных задач с использованием массового параллелизма [1,2], с которыми пока не справляются традиционные компьютеры.

По результатам сравнительного анализа сфер использования традиционных компьютеров и аппаратно-спроектированных ИНС, приведенного в работе [3], можно отметить те различия в принципах работы алгоритмических компьютеров и ИНС, которые и определяют области их применения. Алгоритмический подход характерен для решения четко определенных задач, однако сталкивается с трудностями, связанными с мультипроцессорной обработкой сигналов. Переход к нейросете-вому базису характерен в случае резкого увеличения размерности пространства решения или необходимости значительного сокращения времени за счет уменьшения объема вычислений.

1.1.1 Задачи распознавания образов, решаемые на основе ИНС

К основным типам задач, решаемых с помощью нейросетевого базиса, можно отнести задачи с ярко выраженным естественным параллелизмом, например, обработка сигналов и изображений [4,5], управление нелинейными объектами и динамическими системами [6].

Нейросетевой подход является наиболее эффективным для неформализуемых или трудно формализуемых задач, связанных с необходимостью включения в алгоритм их решения этапа обучения на экспериментальном материале. К такому типу

задач относятся прогнозирование, аппроксимация, классификация и т.п., решение которых обычно сводится к конструированию областей многомерного пространства [7]. В общем случае этот процесс характерен для типичной задачи распознавания образов [4,8]. Действительно, если в качестве классов распознавания принимать целевые и иные будущие состояния нейросети, а в качестве признаков - факторы, влияющие на нее, то в ИНС может быть сформирована количественная мера причинно-следственной связи факторов и состояний, что по сути является моделью распознавания образов.

При решении этой задачи нейронная сеть может выполнять функцию как экстрактора (определителя) свойств образов, так и классификатора, приписывающего образ конкретному классу. Однако чаще всего экстракция свойств производится на отдельном этапе предварительного преобразования распознаваемого образа, посредством применения различных методов [9]. Среди них выделяют: метод статистических моментов [10], метод преобразований Фурье [11], волновое преобразование [12,13], преобразование Карьюнена-Лёве [14] и т.д. В результате такого преобразования формируются значения свойств образов, подаваемые для распознавания на вход ИНС.

В этом случае задача распознавания образов нейросетью сводится к построению непересекающихся множеств (классов) объектов, позволяющему по значению признаков, характеризующих конкретный объект, относить его к одному и только одному из этих множеств. Решение данной задачи подразумевает построение функции, принимающей значение равное единице в той области пространства, где располагаются объекты заданного множества, и нулю вне этой области. Такая конструкция известна как дискриминантная функция в задачах распознавания и, в структурах ИНС, она достигается моделированием «сигмоидного склона» на выходе нейроэлементов.

Заметим, что распознавание образов с применение ИНС на основе цифровой элементной базы (например, такой как ПЛИС) по скорости до 38 раз превосходит решение той же задачи с использованием современных ЭВМ [15].

1.1.2 Виды программных и аппаратных реализаций ИНС

Существенное сокращение времени обработки информации нейронными сетями, достигаемое уменьшением объема вычислений, способствовало созданию так называемых нейрокомпьютеров - вычислительных систем с архитектурой аппаратного и программного обеспечения, адекватной выполнению алгоритмов, представленных в нейросетевом базисе [4,16].

Общая методика синтеза ИНС с целью построения нейросистем была разработана ещё в 60-х годах прошлого столетия и постоянно развивалась в течение последующих лет. В 1980,и начале 1990-х годов была проведена значительная работа в области разработки и внедрения аппаратных нейрокомпьютеров [17,18,19]. Тем не менее, данные разработки не привели к значительному успеху и в результате так и не были получены нейрокомпьютеры для широкого применения. В значительной степени это объясняется недостаточным развитием на тот момент соответствующей элементной базы, в частности технологии интегральных микросхем. В настоящее время данная технология получила значительное развитие, включающее главным образом увеличение емкости и производительности современных интегральных микросхем [20]. Таким образом, практическая реализация нейрокомпьютеров стала технологически и экономически разрешимой и имеет тенденцию к дальнейшему развитию и росту.

В общем виде классификация [2] аппаратных решений ИНС представлена на рисунке 1.1. Наиболее перспективным направлением развития нейрокомпьютерной техники на сегодняшний день можно считать нейроускорители на основе нейрочи-пов, представляющих собой платы расширения стандартных вычислительных систем [16,21], которые могут быть аппаратно реализованы как по аналоговой или цифровой, так и по гибридной технологии. Независимо от типа реализации они могут включать в себя схемы настройки весовых коэффициентов при обучении в реальном масштабе времени, а также предусматривать внешнюю загрузку весовых коэффициентов, полученных при обучении нейросетевой модели.

Рисунок 1.1- Классификация аппаратных реализаций ИНС.

Рассмотрим особенности данных видов аппаратных реализаций ИНС.

Аналоговые реализации обладают преимущественно высокой скоростью обработки информации, однако при этом имеют ряд технологических недостатков, к которым можно отнести способы хранения весовых коэффициентов (например, применение динамических элементов конденсаторной памяти [2]), нестабильность параметров под воздействием температуры, которые приводят к потере точности обработки информации [1,22].

Цифровая реализация ИНС, не смотря на менее высокую скорость обработки информации в сравнении с аналоговыми исполнениями, в настоящее время является более предпочтительной. Это связано с удобством хранения весовых коэффициентов в ячейках памяти, высокой степенью интеграции, более высокой точностью обработки информации [2,22]. При этом одной из наиболее перспективных аппаратных цифровых реализаций ИНС является построение их на основе ПЛИС - матричных структур, обеспечивающих параллельную обработку информации, обладающих развитыми средствами проектирования и реализации алгоритмов обучения.

Гибридное исполнение сочетает в себе особенности обоих подходов. Например, использование цифровых внешних входов/выходов и внутренней аналоговой архитектуры. При этом достоинства и недостатки подобных исполнений определяются особенностями конкретных аппаратных реализаций.

Аппаратно реализуемые ИНС подвержены неисправностям из-за выхода из строя отдельных компонентов элементной базы под воздействием внешних факторов (температуры, электромагнитного, радиационного излучения и т.д.), влекущими за собой деградацию и потерю функциональных возможностей нейронной сети. Например, применение нейрочипов в авиакосмической и другой бортовой технике, атомных энергетических установках, системах военного назначения влечет за собой возникновение радиационных эффектов [23,24], вызванных общей накопленной дозой облучения, и эффектов одиночных и кратных отказов. Так, в цифровых архитектурах катастрофическим отказам подвержены в первую очередь битовые ячейки запоминающего устройства. Как отмечается в [24], для ПЛИС на базе статических ячеек 10-20% отказов в конфигурационной памяти приводят к потере функциональности схемы, а в работах [25,26] выявлена частичная потеря работоспособности избыточных нейронных сетей прямого распространения при наличии в них более 20% дефектов компонент. Интенсивность конфигурационных сбоев под воздействием радиации для ПЛИС большого объема такова, что, например, при 2-часовом полете самолета на высоте 10 км почти гарантированно произойдет хотя бы один сбой, нарушающий её нормальные функционирование [27].

На основе приведенных данных можно утверждать, что при использовании аппаратных ИНС на объектах, связанных с долгосрочными беспилотными космическими полетами, где возникновение подобных дефектов вполне ожидаемо, но в этих условиях не могут быть проведены ремонт или техническое обслуживание, актуальным становится вопрос о надежности нейросетевых устройств.

1.1.3 Проблема отказоустойчивости ИНС

Высокая степень функциональной надежности биологических нейронных сетей [28,29] уже на ранних стадиях изучения возможностей ИНС привлекла внимание исследователей [30,31]. Основным результатом этих работ было установление факта определенной степени отказоустойчивости ИНС, достигаемой за счет структурной сложности (избыточности) нейронных сетей. Понятие «отказоустойчивость

ИНС» подразумевает способность нейронной сети выполнять свои функции при отказах её компонент [32].

Под отказом нейронной сети понимается отклонение хотя бы одного значения сигналов на внешних выходах нейронной сети от требуемого значения более чем на некоторую заданную погрешность [33].

Формально, если при нормальном режиме эксплуатации вектор контролируемых входных сигналов Хк, принадлежащий множеству допустимых значений входных сигналов X, позволяет получить с некоторой допустимой погрешностью с требуемый вектор у, принадлежащий множеству выходных значений Y, на выходе ИНС, то такая сеть является работоспособной (исправной):

F(Xk) = y<e (1.1)

При нарушении неравенства (1.1) в произвольный момент времени t при нормальных условиях эксплуатации, Хк е X, имеет место отказ или потеря работоспособности ИНС:

у, ef, i = \,n

Отказоустойчивость ИНС принято подразделять [34] на:

- функциональную отказоустойчивость (operation fault tolerance), предполагающую избыточность однотипных элементов ИНС, позволяющую нейросети исправно функционировать при наличии в ней дефектов;

- отказоустойчивость через повторное обучение (fault-tolerance through re-learning), подразумевающую восстановление работоспособности ИНС посредством перераспределения весовых коэффициентов между исправными нейронами.

Работоспособность ИНС, без применения по отношению к ней каких-либо дополнительных мероприятий в процессе эксплуатации, напрямую зависит от её функциональной отказоустойчивости. Этим объясняется огромный интерес ученых и большое количество работ по исследованию данной характеристики.

В своей работе [35] Piuri утверждает об ограниченных возможностях функциональной отказоустойчивости, и что практически наличие любого дефекта в сети все-

гда влияет на качество выполняемых ИНС функций, поскольку в обработке информации нейросетью участвуют все ее компоненты.

Chu и Wah [36] ввели понятие отказоустойчивой нейронной сети со смешанной избыточностью, которая объединяет аппаратную, временную и информационную избыточность, достигаемую посредством кодирования.

Phatak и Koren [34] определили количественную меру отказоустойчивости, как функцию избыточности. Из проведенного ими исследования следует, что достижение полной отказоустойчивости нейронной сети (отсутствие негативной реакции сети на возникающие в ней дефекты) возможно в случае как минимум шестикратной избыточности нейронов.

В работе [37] Bolt показал, что во многом свойство отказоустойчивости ИНС нарушается из-за неравномерного распределения вычислительной нагрузки в весовых коэффициентах связей при обучении ИНС. Это позволяет говорить о наличии в нейронной сети некоторых ключевых компонентов, так называемых значимых нейронов, отказ которых наиболее вероятно вызовет потерю работоспособности ИНС.

Вопрос о функциональной отказоустойчивости ИНС неоднократно поднимался Международным сообществом нейронных сетей [32,38,39,40]. Однако, как показывают эти исследования, проблема функциональной отказоустойчивости, как надежностной характеристики ИНС, до сих пор остается злободневной и требует дальнейшего изучения.

Список литературы диссертационного исследования кандидат наук Маршаков, Даниил Витальевич, 2013 год

СПИСОК ЛИТЕРАТУРЫ

1. Himavathi, S. Feedforward Neural Network Implementation in FPGA Using Layer Multiplexing for Effective Resource Utilization / S. Himavathi, D. Anitha,

A. Muthuramalingam // IEEE Transactions on Neural Networks. - 2007. - Vol. 18, No. 3. — P. 880-888.

2. Грибачев, В.П. Элементная база аппаратных реализаций нейронных сетей / В.П. Грибачев // Компоненты и технологии. - 2006. — №8. — С. 12-15.

3. Manchev, О. FPGA Implementation of Artificial Neurons / О. Manchev,

B. Donchev, С. Pavlitov // International Conference organized by Technical University of Sofia - ELECTRONICS'2004, Sept. 22-24. - Bulgaria, Sozopol: ECAD Laboratory, 2004. - P. 146-151.

4. Галушкин, А.И. Современные направления развития нейрокомпьютер-ных технологий в России / А.И. Галушкин // Нейрокомпьютеры. Открытые системы. - 1997. - №4 (24). - С. 25-28.

5. Аляутдинов, М.А. Методы распараллеливания и программно-аппаратной реализации нейросетевых алгоритмов обработки изображений / А.И. Аляутдинов, А.И. Галушкин, Л.Е. Назаров // Нейрокомпьютеры: разработка, применение. - 2003. - № 2. - С. 32-37.

6. Терехов, В.А. Нейросетевые системы управления / В.А. Терехов, Д.В. Ефимов, И.Ю. Тюкин. - М.: Высшая школа, 2002. - 183 с.

7. Тарков, М.С. Нейрокомпьютерные системы: учеб. пособие / М.С. Тар-ков. - М.: Интернет-Университет Информационных технологий - БИНОМ. Лаборатория знаний, 2010.-142 с.

8. Маршаков, Д.В. Нейросетевая идентификация динамики манипулятора / Д.В. Маршаков, О.Л. Цветкова, А.Р. Айдинян // Инженерный Вестник Дона [Электронный ресурс]: электрон, на-уч.-инновац. журн. — 2011. — №3. — Режим доступа: http://www.ivdon.ru/magazine/archive/n3y2011/504. - Загл. с экрана. -№ гос. регистрации 0421100096.

9. Осовский, С. Нейронные сети для обработки информации / С. Осов-ский. - М.: Финансы и статистика, 2002. - 344 с.

10. Kuhl, I. Elliptic Fourier features of a closed contours / I. Kuhl, C. Giardina // Computer Graphics and Image Processing. - 1982. - Vol. 18. - P. 236-258.

11. Dinh Nghia Do. Shape recognition using FFT preprocessing and neural network / Dinh Nghia Do, S. Osowski // Compel: The International Journal for Computation and Mathematics in Electrical and Electronic Engineering. - UK: Emerald Group Publishing Limited, 1998. - Vol. 17, №5/6. - P. 658-666.

12. Daubechies, I. Ten lectures on wavelets: (CBMS-NSF Regional Conf. Series in Applied Mathematics) /1. Daubechies. - Philadelphia: SIAM, 1992. - Vol. 61. -357 p.

13. Mallat, S. A theory for multiresolution signal decomposition: the wavelet representation / S. Mallat // IEEE Trans. PAMI. - 1989. - Vol. 11. - P. 674-693.

14. Kirby, M. Application of Karhunen-Loeve procedures for the characterization of human faces / M. Kirby, L. Sirovich // IEEE Trans. Pattern Analysis. - 1990. -Vol. 12.-P. 103-108.

15.Yongsoon Lee. FPGA Implementation of a Face Detector using Neural Networks / Yongsoon Lee, Seok-Bum Ко // Proceedings of the Canadian Conference on Electrical and Computer Engineering, CCECE, May 7-10. - Canada, Ottawa: Ottawa Congress Centre. - 2006. - P. 1914-1917.

16. Галушкин, А.И. Теория нейронных сетей. Нейрокомпьютеры и их применение / А.И. Галушкин. - М.: ИПРЖР. - 2000. - 416 с.

17. Arbib, М. A. Schemas and neural network for sixth generation computing / M. A. Arbib // Journal of Parallel and Distributed Computing. - 1989. - Vol. 6, №2.-P. 185-216.

18. Batcher, K.E. Bit-serial parallel processing systems / K.E. Batcher // IEEE Trans. Computers. - 1982. - Vol. C-31. - P. 377-384.

19. Bengtsson, L. A control unit for bit-serial SIMD processor arrays / L. Bengtsson. - Report CCA9102. - Halmstad: Centre for Computer Systems Architecture, 1991.-91 p.

I

I

20. Omondi, A. FPGA Implementations of Neural Networks / A. Omondi, J. Rajapakse, M. Bajger. - Germany, Berlin: Springer, 2006. - 360 p.

21. Мартынюк, Т.Б. Аппаратная реализация модели формального нейрона / Т.Б. Мартынюк, Л.И. Тимченко // Электронное моделирование. - 2010. — Т.32, №4. - С. 35-47.

22. Dias, F.M. Commercial Hardware for Artificial Neural Networks: a Survey

tíi

/ F. M. Dias, A. Antunes, A. Mota // Proceedings of the 5 IF AC International Symposium on Intelligent Components and Instruments for Control Applications, July 911. - Portugal, Aveiro, 2003. - P. 257-264.

23. Никифоров, А.Ю. Радиационные эффекты в КМОП ИС / А.Ю. Никифоров, В.А. Телец, А.И. Чумаков. -М.: Радио и связь, 1994 . - 164 с.

24. Телец, В. ПЛИС для космических применений / С. Цыбин,

A. Быстрицкий, С. Подъяпольский // Электроника: Наука, Технология, Бизнес. -2005.-№6.-С. 44-48.

25. Маршаков, Д.В. Исследование влияния дефектов на работоспособность многослойной искусственной нейронной сети прямого распространения / Д.В.Маршаков, В.А. Фатхи // Вестник Донского гос. тех-го ун-та. - 2011. -Т.11, №2 (53).-С. 169-173.

26. Ременников, Д.В. Экспериментальное исследование влияния отказов на работоспособность искусственной нейронной сети прямого распространения / Д.В. Ременников // Молодежь и современные информационные технологии: сб. трудов VIII Всероссийской науч.-практ. конф. студентов, аспирантов и молодых ученых, 3-5 марта. - Томск: Изд-во СПБ Графике, 2010. - С. 125-126.

27. Вычужанин, В.В. Новые семейства ПЛИС фирмы Actel /

B.B. Вычужанин, И.В. Тарасов // Компоненты и технологии. - 2005. - №9. -

C. 38-42.

28. Мак-Каллок, У. Надежность биологических систем / У. Мак-Каллок // Самоорганизующиеся системы. - М.: 1964. - С. 358-377.

29. Радченко, А.Н. Моделирование основных механизмов мозга / А.Н. Радченко. - Ленинград: Наука, 1968 - 212 с.

30. Вербик, JI.O. О нейронных сетях с минимизацией ошибки / JI.O. Вербик // Принципы самоорганизации. - М.: Мир, 1966. - С. 164-174.

31. Блюм, М. Допустимые ошибки нейронов для безотказной работы сетей / М. Блюм, Н. Онесто, JI. Вербик // Методы введения избыточности для вычислительных систем: под ред. В. С. Пугачева. - М.: Советское радио, 1966. -С. 84-87.

32. Protzel, P.W. Performance and fault-tolerance of neural networks for optimization / P.W. Protzel, D.L. Palumbo, M.K. Arras // IEEE transactions on Neural Networks. -NJ: IEEE Press Piscataway. - 1993. - Vol. 4, №4. - P. 600-614.

33. Ременников, Д.В. Метод диагностики искусственной нейронной сети / Д.В. Ременников // Молодежь и современные информационные технологии: сб. трудов VII Всероссийской науч.-практ. конф. студентов, аспирантов и молодых ученых, г. Томск, 25-27 февраля. — Томск: Изд-во СПБ Графике, 2009. — С. 181182.

34. Phatak, D.S. Complete and Partial Fault Tolerance of Feedforward Neural Nets / D.S. Phatak // IEEE Transactions on Neural Networks. - 1995. - Vol. 6/2. -P. 446-456.

35. Piuri, V. Analysis of Fault Tolerance in Artificial Neural Networks / V. Piuri // Journal of Parallel and Distributed Computing. - 2001. - Vol. 61, №1. -P. 18-48.

36. Chu, L.C. Fault tolerant neural networks with hybrid redundancy / L.C. Chu, B.W. Wah // IEEE Int. Joint Conference on Neural Networks, San Diego, CA. - 1990. - Vol. 2. - P. 639-649.

37. Bolt, G. Investigating Fault Tolerance in Artificial Neural Networks / G. Bolt. - Technical Report: YCS 154, University of York, Department of Computer Science. - UK, Heslington, York: University of York, 1991. - 46 p.

38. Arad, B.S. On Fault Tolerance Training of Feedforward Neural Networks / B.S. Arad, A. El-Amawy // Neural Networks. - 1997. - Vol. 10/3. - P. 539-553.

39. Cavalieri, S. A novel learning algorithm which improves the partial fault tolerance of multiplayer neural networks / S. Cavalieri, O. Mirabella // Neural Networks. - 1999. - Vol. 12. - P. 91-106.

40. Eickhoff, R. Tolerance of Radial Basis Functions Against Stuck-at-Faults / R. Eickhoff, U. Riickert // International Conference of Artificial Neural Networks. -Poland, 2005.-P. 1003-1008.

41.Hammadi, N.C. A Learning Algorithm for Fault Tolerant Feedforward Neural Networks / N.C. Hammadi, H. Ito // IEICE Trans. Information and Systems. - 1997. - Vol. E80-D, No. 1. - P.21 -27.

42. Chiu, C.T. Training Techniques to obtain fault- tolerant neural network / C.T. Chiu, K. Mehrotra, C.K. Mohan, S. Ranka // 24 International Symposium on Fault-Tolerant Computing. - 1994. - P. 360- 369.

43. Бабкин, P.А. Разработка отказоустойчивой сети с использованием в нейроне динамической избыточности / Р.А. Бабкин // Нейрокомпьютеры: разработка, применение. - 2001. - №12. - С. 22-27.

44. Dias, F.M. Fault Tolerance Improvement through architecture change in Artificial Neural Networks / F.M. Dias, A. Antunes // Proceedings of the 3rd International Symposium on Advances in Computation and Intelligence, Wuhan, Dec. 1921. - China: Springer-Verlag Berlin, 2008. - P. 248-257.

45. Calise, A.J. Nonlinear Adaptive Flight Control Using Neural Networks / A.J. Calise, R.T. Rysdyk // IEEE Control System. - 1998. - P. 14-25.

46. Yildirim, S. Синтез нейронного регулятора для самолёта Конкорд / Design of neural controller system for Concorde air-crafts / S. Yildirim, S. Erkaya, I. Uzmay // Автоматика и вычислительная техника. - 2004. — № 3. — С. 53-63.

47. Shin Jinok. Управление положением и зависанием радиоуправляемого вертолета / Shin Jinok, Fujiwara Daigo, Hazawa Kensaku, Nonami Kenzo // Nihon kikai gakkai ronbunshu, С Hen/Transactions of the Japan Society of Mechanical Engineers, Part C. -2002. - 68, № 675. - C. 3284-3291.

48. Ber Chao. Проектирование системы управления для ракеты / Ber Chao, Zhou Feng-qi, Zhou Jin, Lin Wei-song // Feixing lixue Flight Dyn. - 2003. — 21, №1. - C. 47-50.

49. Фирсов, С.П. Применение самообучающейся искусственной нейронной сети в наведении летательного аппарата в заданную точку / С.П. Фирсов // Навигация и управление движением: материалы 5-й конференции молодых ученых, г. Санкт-Петербург, 2003. - СПб.: Изд-во ГНЦ РФ - ЦНИИ «Электроприбор», 2004. - С. 143-148.

50. Bondarev, V.N. On System Identification Using Pulse-Frequency Modulated Signal / V.N. Bondarev. - EUT Report: 88-E-195, Eindhoven University of Technology, Faculty of Electrical Engineering. - Netherlands, Eindhoven: University of Technology, 1988. - 84 p.

51.Гутчин, И.Б. Бионика и надежность: элементы теории формальных нейронов / И.Б. Гутчин, A.C. Кузичев. - М.: Наука. - 1967. - 283 с.

52. Мкртчян, С.О. Нейроны и нейронные сети / С.О. Мкртчян. — М.: Энергия, 1971.-232 с.

53. Lee, Y. FPGA Implementation of a Face Detector Using Neural Networks / Y. Lee, S.-B. Ko // IEEE Canadian Conference on Electrical and Computer Engineering, Ottawa, May 7-10. - Canada, Ottawa: CCECE/CCGEI, 2006. - P. 1914-1917.

54. Хайкин, С. Нейронные сети: полный курс, 2е издание: пер. с англ. / С. Хайкин. - М.: Издательский дом «Вильяме», 2006. - 1104 с.

55. Park, J. Universal approximation using radial-basis- function networks / J. Park, I.W. Sandberg //Neural Computations. - 1991. -№3. - P. 246-257.

56. Horfield, J. J. Neural networks and physical systems with emergent collective computational abilities / J.J. Horfield // Proceedings of the National Academy of Science, USA. - 1982. - Vol. 79. - P. 2554-2558.

57. Уоссермен, Ф. Нейрокомпьютерная техника: Теория и практика / Ф. Уоссермен. - М.: Мир, 1992. - 184 с.

58. Омату, С. Нейроуправление и его приложения. Кн. 2. / С. Омату, М. Халид, Р. Юсоф. - М.: ИПРЖР, 2000. - 272 с.

"î

59. Колмогоров, А.Н. О представлении непрерывных функций нескольких переменных в виде суперпозиции непрерывных функций одного переменного / А.Н. Колмогоров // Доклады АН СССР, 1957 - Т. 114, № 5. - С. 953-956.

60. Cybenko, G. Approximation by Superposition of a Sigmoidal Function / G. Cybenko // Mathematics of Control, Signals and Systems. - 1989. - Vol. 2. -P. 303-314.

61. Медведев, B.C. Нейронные сети. MATLAB 6 / B.C. Медведев, В.Г. Потемкин. - M.: ДИАЛОГ-МИФИ, 2002. - 496 с.

62. Маршаков, Д.В. Ранжирование дефектов в искусственных нейронных сетях / Д.В. Маршаков, В.А. Фатхи // Математические методы в технике и технологиях - ММТТ23: сб. трудов XXIII Междунар. науч. конф.: в 12 т. - Саратов: гос.техн.ун-т, 2010. - Т.5, секц. 5. - С. 210-211.

63. Фомин, Ю.В. Методы технической диагностики сетей пороговых элементов / Ю.В. Фомин, А.И. Галушкин // Техника средств связи, сер. Системы связи. - 1980. - Вып.2. - С. 126-133.

64. Фомин, Ю.И. О методике параллельной диагностики отказов в сетях пороговых элементов / Ю.И. Фомин, А.И. Галушкин // Электронное моделирование. - Киев: Наукова думка. - 1981. - 33. - С. 89-92.

65. Потапов, В.И. Теоретические основы диагностики и оптимизации надежности искусственных нейронных сетей / В.И. Потапов, И.В. Потапов. -Омск: Изд-во ОмГТУ, 2004. - 152 с.

66. Бабкин P.A. Методы выделения подозреваемых неисправностей в нейронных сетях / P.A. Бабкин, A.B. Лобанов // Нейрокомпьютеры: разработка и применение. - 2004. - №5-6. - С. 4-14.

67. Bedwarth, M.D. Fault Tolerance in Multi-Layer Perceptrons: a preliminary study / M.D. Bedwarth, D. Lowe // SP4 Research Note. - UK, Malvern: Royal Signals and Radar Establishment, 1988. - No. 59. - 24 p.

68. Bolt, G. Fault models for artificial neural networks / G. Bolt // Proc. IEEE International Joint Conference on Neural Networks, Singapore, Nov. 18-21, 1991. — Vol. 2.-P. 1373-1378.

69. Dias, F.M. Fault Tolerance of Artificial Neural Networks: an Open Discussion for a Global Model / F.M. Dias, A. Antunes // International Journal of Circuits, Systems and Signal Processing. -2010. - Vol. 4, No.l. - P. 9-16.

70. Потапов, В.И. Построение проверяющих тестов для пороговых элементов / В.И. Потапов, И.А. Пальянов // Известия АН СССР, техническая кибернетика. - 1973. - №4. - С. 140-147.

71. Пальянов, И.А. Диагностика неисправностей и синтез цифровых структур из пороговых логических модулей / И.А. Пальянов, В.И. Потапов. — Новосибирск: Новосибирский инженерно-строительный институт им. В.В.Куйбышева, 1977. - 77 с.

72. Пальянов, И.А. Контроль неисправности многофункциональных пороговых модулей / И.А. Пальянов, В.И. Потапов // Устройства механизации и автоматизации технического контроля качества. - 1973. - С. 73-83.

73. Галушкин, А.И. Нейронные сети: основы теории / А.И. Галушкин. -М.: Горячая линия-Телеком, 2010. - 480 с.

74. Боганец, М.А. Методы и алгоритмы диагностики искусственных нейронных сетей с нелинейными функциями активации / М.А. Боганец // Омский научный вестник. - 2010. - №3 (93). - С. 223-227.

75. Боганец, М.А. Применимость методов и алгоритмов диагностики искусственных нейронов и нейронных сетей с сигмоидальной функцией активации на наличие константных неисправностей для диагностики параметрических отказов / М.А. Боганец, Д.В. Мараник // Молодежь и современные информационные технологии: сб. трудов VI Всероссийской науч.-практ. конф. студентов, аспирантов и молодых ученых, г. Томск, 26-28 февраля. — Томск: Изд-во СПБ Графике, 2009.-С. 181-182.

76. Потапов, В.И. Разработка моделей для исследования эффективности способов тестового контроля нейронных сетей, обеспечивающих повышение надежности нейрокомпьютерной системы / В.И. Потапов // Омский научный вестник. - 2007. -№3 (60). - С. 104-106.

77. Перегуда, А.И. Программный комплекс моделирования надежности искусственных нейронных сетей / А.И. Перегуда, А.А. Тимашов // Научная сессия МИФИ - 2010: сб. науч. трудов. - М.: МИФИ, 2010. - Т.5. - С. 140-143.

78. Piuri, V. Fault tolerance in neural networks: theoretical analysis and simulation results / V. Piuri, M. Sami, R. Stefanelli // Advanced Computer Technology, Reliable Systems and Applications: Proc. of the 5th Annual European Computer Conference, Bologna, May 13-16. - Italy, Bologna, 1991. - P. 429-436.

79. Питерсон, Дж. Теория сетей Петри и моделирование систем / Дж. Питерсон. -М.: Мир, 1984. - 264 с.

80. Балакирев, B.C. Надежность систем автоматизации / B.C. Балакирев. -Саратов: Саратов, гос. техн. ун-т, 2005. - 149 с.

81. Пархоменко, П.П. Основы технической диагностики: (Оптимизация алгоритмов диагностирования, аппаратурные средства) / П.П. Пархоменко, Е.С. Согомонян. - М.: Энергия, 1981.-320 с.

82. Singh, А.Р. Empirical study of FFANN tolerance to weight stuck-at max/min fault / A.P. Singh, C.S. Rai, P. Chandra // Internation Journal of Artificial Intelligence & Applications (IJAIA), 2010. - Vol. 1, №2. - P. 13-21.

83. Фатхи, В.А. Исследование моделей дефектов искусственных нейронных сетей / В.А. Фатхи, Д.В. Маршаков, В.В. Галушка // Вестник Донского гос. тех-го ун-та. - 2012. - №3 (64). - С. 65-71.

84. Горелик, A.JI. Методы распознавания: учеб. пособие для ВУЗов / A.JI. Горелик, В.А. Скрипкин. - М.: Высшая школа, 1977. - 222 с.

85. Васильев, В.И. Распознающие системы / В.И. Васильев. - Киев: Нау-кова думка, 1969. - 292 с.

86. Маршаков, Д.В. Повышение качества распознавания образов в задачах агропромышленного комплекса / Д.В. Маршаков, В.А. Фатхи // Состояние и перспективы развития сельско-хозяйственного машиностроения: материалы 5-й междунар. науч.-практ. конф. в рамках 15-й междунар. агропром. выставки «Интераргомаш-2012», 29 февр. - 1 марта. - Ростов н/Д: Донской гос. техн. унт., 2012.-С. 281-282.

А*.''

87. Маршаков, Д.В. Моделирование дефектов и оценка работоспособности многослойной искусственной нейронной сети прямого распространения: свидетельство о государственной регистрации программы для ЭВМ №2011613078 / Д.В. Маршаков, В.А. Фатхи, Д.В. Фатхи. - № 2011611334; за-явл. 28.02.11; зарег. 18.04.11.

88. Fahlman, S.E. Neural Nets Learning Algorithms and Benchmarks Database. Maintained by S.E. Fahlman et. al. at the Computer Science Dept., Carnegie Mellon University.

89. Gorman, R.P. Analysis of Hidden Units in a Layered Network Trained to Classify Sonar Targets / R.P. Gorman, T.J. Sejnowski // Neural Networks. - 1988. -Vol. l.-P. 75-89.

90. Боровиков, В.П. Нейронные сети. STATISTICA Neural Networks: Методология и технологии современного анализа данных / В.П. Боровиков. — М.: Горячая линия-Телеком, 2008. - 392 с.

91. Романович, Ж.А. Диагностирование, ремонт и техническое обслуживание систем управления бытовых машин и приборов / Ж.А. Романович, В.А. Скрябин, В.П. Фандеев, Б.В. Цыпин. - М.: Издательско-торговая корпорация «Дашков и К0», 2010. — 316 с.

92. Hadjinicolaou, M.G. Structured analysis for neural networks using Petri nets / M.G. Hadjinicolaou, M.B.E. Abdelrazik, G. Musgrave // Proceedings by the 33rd Midwest Symposium on Circuit and Systems, Aug. 12-15. - Canada: Calgary Convention Centre, Calgary, Alberta, 1990. - P. 770-773.

93. Peterson, J.L. Petri Net Theory and the Modeling of System / J.L. Peterson. -NJ: Prentice-Hall, 1981.-290 p.

94. Маршаков, Д.В. Моделирование структуры формального нейрона с использованием классического аппарата сети Петри / Д.В. Маршаков, А.В. Турищев // Математические методы в технике и технологиях - ММТТ24: сб. трудов XXIV Междунар. науч. конф.: в 10 т. - Пенза: Пенз. гос. технолог, академия, 2011. - Т.8, секц. 12. - С. 166-168.

95. Маршаков, Д.В. Модель сети Хопфилда на основе классической сети Петри / Д.В. Маршаков, Д.В. Фатхи, Д.В. Фатхи // Вестник Ростовского гос. унта путей сообщ. - 2012. - №2 (46). - С. 88-93.

96. Chamas, N. Timed Neural Petri nets / N. Chamas, L. Anneberg, E. Yaprak //Proceedings of the 36th Midwest symposium on Circuits and Systems. - 1993. -Vol. 2.-P. 926-929.

97. Koriem, S.M. CN-Nets for Modeling and Analyzing Neural Networks / S.M. Koriem // Journal of King Saud University. Computer & Information Sciences. -2001.-Vol. 13, №1.-P. 19-47.

98. Ashon, S.I. Petri net models of fuzzy neural network / S.I. Ashon // IEEE Transactions on Systems, Man and Cybernetics. - 1995. - Vol. 25, №6. - P. 926-932.

99. Khan, A.A. Neural networks through Petri nets / A.A. Khan, F. Chaudhry, G.S. Musaad // International J. Neural Networks. - 1992. - №3 (4). - P. 143-147.

100. Venkatesh, K. A High Level Petri Net Model of Olfactory Bulb / K. Venkatesh, O. Masory, A. Pandya // Proc. IEEE International Conference on Neural Networks, San Francisco, March 28 - April 1, 1993. - Vol. 2. - pp. 766-781.

101. Маршаков, Д.В. Модель аппаратной реализации искусственного нейрона на основе цветных временных сетей Петри / Д.В. Маршаков, Д.В. Фатхи // Вестник Саратовского гос. тех-го ун-та. - 2011. - №3 (57). -Вып. 1.-С. 201-209.

102. Маршаков, Д.В. Математическая модель искусственной нейронной сети на основе модифицированной временной сети Петри / Д.В. Маршаков, В.А. Фатхи // Системный анализ, управление и обработка информации: Труды Ш-го Международного семинара студентов, аспирантов и ученых, пос. Дивно-морское, 27 сент. - 2 окт. - Ростов н/Д: Донской гос. техн. ун-т, 2012. - С. 217223.

103. Маршаков, Д.В. Математическая модель искусственной нейронной сети на базе MTPN-сети // Инновация, экология и ресурсосберегающие технологии (ИнЭРТ-2012): Труды X Междунар. науч.-техн. форума. - Ростов н/Д: Донской гос. техн. ун-т, 2012. - С. 868-872.

104. Потапов, В.И. Методы технической диагностики однородных вычислительных структур из многофункциональных пороговых элементов / В.И. Потапов, И.А. Пальянов // Однородные вычислительные системы и среды: материалы 4-й Всесоюзной конференции. - Киев: Наукова Думка, 1975. — С. 2223.

105. Осис, Я.Я. Диагностирование на граф-моделях: на примерах авиационной и автомобильной техники / Я.Я. Осис, Я.А. Гельфандбейн, З.П. Маркович, Н.В. Новожилова. - М.: Транспорт, 1991. - 244 с.

106. Пелипейко, В.А. Тестовое диагностирование логических структур / В.А. Пелипейко, И.А. Анучин, В.К. Жуляков, В.О. Плокс, Я.П. Круминь. - Рига: Зинатне, 1986. - 262 с.

107. Маршаков, Д.В. Методика синтеза минимальных тестов контроля работоспособности искусственных нейронных сетей / Д.В. Маршаков, В.А. Фатхи // Математические методы в технике и технологиях - ММТТ25: сб. трудов XXV Междунар. науч. конф.: в 10 т. - Волгоград: Волгоград, гос. техн. ун-т, 2012. - Т.10, секц. 12. - С. 192-193.

108. Алексеев, О.Г. Некоторые алгоритмы решения задачи о покрытии и их экспериментальное исследование на ЭВМ / О.Г. Алексеев, В.Ф. Григорьев // Журнал вычислительной математики и математической физики. - 1984. - Т.24, №10.-С. 1565-1570.

109. Львович, Я.Е. Оптимизация проектных решений в САПР на основе эквивалентных преобразований задачи о минимальном покрытии / Я.Е. Львович, Г.Д. Чернышева, И.Л. Каширина // Информационные технологии. -1999.-№4.-С. 2-6.

110. Нгуен Минь Ханг. Применение генетического алгоритма для задачи нахождения покрытия множества / Нгуен Минь Ханг // Труды Института системного анализа Российской академии наук. — 2008. — Т.ЗЗ. — С. 206-219.

111. Забиняко, Г.И. Реализация алгоритмов решения задачи о покрытии множеств и анализа их эффективности / Г.И. Забиняко // Вычислительные технологии. - 2007. - Т. 12, №6. - С. 50-58.

112. Горбань, А.Н. Нейронные сети на персональном компьютере /

A.Н. Горбань, Д.А. Россиев. - Новосибирск: Наука, 1996. - 276 с.

113. Гилев, С.Е. Контрастирование, оценка значимости параметров, оптимизация их значений и их интерпретация в нейронных сетях / С.Е. Гилев, Д.А. Коченов, Е.М. Миркес, Д.А. Россиев // Нейроинформатика и ее приложения: доклады III Всероссийского семинара, 6-8 окт. - Красноярск: Красноярск, гос. техн. ун-т, 1995. - С.66-78.

114. Маршаков, Д.В. Математическая модель ситуационного тестирования искусственных нейронных сетей / Д.В. Маршаков // Системный анализ, управление и обработка информации: Труды 11-го Международного семинара студентов, аспирантов и ученых, пос. Дивноморское, 27 сент. - 2 окт. - Ростов н/Д: Донской гос. техн. ун-т, 2011. - С. 119-122.

115. Советов, Б .Я. Моделирование систем / Б.Я. Советов, С. А. Яковлев. -М.: Высшая школа, 2005. - 343 с.

116. Черненький, В.М. Разработка САПР. Имитационное моделирование /

B.М. Черненький; под. ред. A.B. Петрова. - М.: Высшая школа, 1990. - 112 с.

117. Колдаев, В.Д. Численные методы и программирование / В.Д. Колда-ев. - М.: ИД «ФОРУМ»: ИНФРА-М, 2009. - 336 с.

118. Хемминг, Р.В. Численные методы / Р.В. Хемминг. - М.: Наука, 1972. - 400 с.

119. Афонин, В.В. Моделирование систем: учебно-практическое пособие / В.В. Афонин, С.А. Федосин. -М.: Интернет-Университет Информационных технологий - БИНОМ. Лаборатория знаний, 2010. -231 е.:

120. Вентцель, Е.С. Теория случайных процессов и ее инженерные при приложения / Е.С. Вентцель, Л.А. Овчаров. - М.: Высшая школа, 2000. - 383 с.

121. Интеллектуальные системы автоматического управления / Под ред. И.М. Макарова, В.М. Лохина. - М.: ФИЗМАТЛИТ, 2001. - 576 с.

122. Колесников А. А., Топчиев Б. В. Синергетический подход к проблеме формирования искусственной самоорганизации управляемых систем. Часть 1. // Мехатроника, Автоматизация, Управление, 2005. — №1. — С. 2-6.

123. Колесников А. А., Топчиев Б. В. Синергетический подход к проблеме формирования искусственной самоорганизации управляемых систем. Часть 2. // Мехатроника, Автоматизация, Управление, 2005. - №2. - С. 2-11.