Математические модели и методы оптимизации функциональной надежности искусственных нейронных сетей тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Потапов, Илья Викторович

• Потапов, Илья Викторович
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Потапов, Илья Викторович

Введение

1. Математические модели и функциональные возможности искусственных нейронов и искусственных нейронных сетей

1.1. Математические модели искусственных нейронов

1.1.1. Модели нейронов без пресинаптического взаимодействия

1.1.2. Модели нейронов с пресинаптическим взаимодействием

1.2. Структурная сложность монофункциональных и многофункциональных искусственных нейронов с пресинаптическим взаимодействием

1.2.1. Оценки структурной сложности монофункциональных нейронов

1.2.2. Оценки структурной сложности многофункциональных нейронов

1.3. Проблема реализации искусственными нейронами логических функций от большого числа переменных

1.4. Логическая избыточность функционально устойчивых нейронных сетей как фактор повышения их функциональной надежности

Выводы к главе

2. Синтез оптимизированных логически стабильных искусственных нейронных сетей, адаптивных к отказам нейронов

2.1. Обоснование критерия оптимальности искусственной нейронной

2.2. Синтез логически стабильных нейронных сетей

2.3. Минимизация процесса адаптации логически стабильных искусственных нейронных сетей к отказам нейронов

Выводы к главе

3. Вероятностные модели функционирования и методы расчета надежности избыточных искусственных нейронных сетей

3.1. Модель и расчет функциональной надежности неадаптивной к отказам нейронов искусственной нейронной сети

3.2. Модель и расчет функциональной надежности адаптивной к отказам нейронов искусственной нейронной сети

3.3. Математические модели и расчет функциональной надежности двух типов адаптивных к отказам искусственных нейронных сетей

3.3.1. Исследование адаптивной нейронной сети первого типа

3.3.2. Исследование адаптивной нейронной сети второго типа

3.3.3. Расчет функциональной надежности нейронной системы с различными алгоритмами адаптации к отказам и сбоям

3.4. Аналитическое исследование среднего времени "жизни" двух типов адаптивных к отказам и сбоям искусственных нейронных сетей при различных алгоритмах адаптации

3.4.1. Анализ среднего времени «жизни» разнотипных нейронных систем при одинаковых алгоритмах адаптации

3.4.2. Анализ среднего времени «жизни» однотипных нейронных систем при различных алгоритмах адаптации

Выводы к главе

4. Оптимизация функциональной надежности искусственных нейронных сетей

4.1. Математическая модель и расчет функциональной надежности многослойной многовыходной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными

4.2. Оптимальное резервирование однородной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными при пуассоновском потоке отказов и постоянной интенсивности восстановления

4.2.1. Алгоритм оптимизации среднего времени "жизни" адаптивной нейронной сети при восстановлении отказавших блоков искусственных нейронов

4.2.2. Алгоритм оптимизации вероятности безотказной работы адаптивной нейронной сети при восстановлении отказавших блоков искусственных нейронов

4.3. Оптимальное резервирование адаптивной "стареющей" искусственной нейронной сети

4.3.1. Оптимизация вероятности безотказной работы адаптивной "стареющей" нейронной сети

4.3.2. Оптимизация среднего времени "жизни" адаптивной "стареющей" нейронной сети

4.4. Оптимизация восстановления избыточной адаптивной "стареющей" искусственной нейронной сети, состоящей из логически стабильных нейронных мини-сетей

4.4.1. Алгоритм оптимизации восстановления избыточной адаптивной "стареющей" искусственной нейронной сети

Выводы к главе

Введение диссертации (часть автореферата) на тему «Математические модели и методы оптимизации функциональной надежности искусственных нейронных сетей»

Теория искусственных нейронных сетей (ИНС) благодаря фундаментальным работам зарубежных исследователей У.Мак-Каллока, У.Питтса, Ф.Розенблатта, М.Минского, С.Дейча, Б.Уидроу, Т.Кохонена, Д.Хопфилда, С.Гроссберга, а также советских и российских ученых И.Б.Гутчина и А.С.Кузичева [1], Н.В.Позина [2], С.О.Мкртчяна [3,4], Н.М.Амосова [5,6], А.И.Галушкина [7], А.Н.Горбаня [8], В.В.Круглова [9] и др. получила широкое развитие. При этом основные направления исследований были связаны с изучением топологии (архитектуры) нейронных сетей, их синтезом и обучением (настройкой) для решения поставленных задач.

В связи с созданием нейрокомпьютеров и применением их на практике нейросетевая тематика стала междисциплинарной, и появились новые научные проблемы, решению которых уделялось недостаточно внимания или совсем не уделялось в виду их сложности и неизученности.

Одной из таких проблем, решению которой посвящена диссертационная работа, является проблема разработки математических моделей и необходимого аппарата для исследования и оптимизации функциональной надежности нейронных сетей, которая по мнению крупного специалиста в области нейрокомпьютерных систем и нейроинформатики А.И.Галушкина, находится в настоящее время в самом начале своего развития [7]. Это мнение поддерживают и многие другие ученые, полагая, что решение данной проблемы наверняка окажет существенное воздействие на создание отказоустойчивых искусственных нейронных сетей и реализацию высоконадежных нейрокомпьютеров на принципиально новых технологиях, включая нанотехнологии, что существенно повысит эффективность их использования в системах специального назначения.

Известно, что функциональная надежность биологических нейронных сетей очень высокая [5, 10-13]. Это свойство уже на ранних стадиях изучения возможностей искусственных нейронных сетей привлекло внимание исследователей [14, 15]. Основным результатом этих работ, полученным на качественном уровне, было установление факта логической избыточности рассматриваемых нейронных сетей, благодаря которой отказы некоторых элементов (нейронов) сети не вызывают появления ошибки на выходе всей сети.

Дальнейшие исследования надежностных свойств искусственных нейронных сетей с учетом их структурно-функциональной избыточности и логической гибкости искусственных нейронов (ИН) за счет целенаправленного изменения величины порога срабатывания нейронов сети проводились с помощью аппарата диаграмм Венна в работах [1,3]. В этих трудах были разработаны таблично-алгоритмические методы синтеза логически устойчивых (логически стабильных) к отказам нейронов типа (О -»l) и (l -> 0) нейронных сетей. Логическая устойчивость, т.е. надежность нейронной сети, определялась интервалом изменения порогов нейронов, при котором выходная функция сети еще не изменяется.

Основной вывод этих работ заключался в следующем. Степень логической избыточности сети является мерой ее логической устойчивости, а это в свою очередь - мерой надежности искусственной нейронной сети. Этим самым был подтвержден вывод авторов работ [14, 15] и предложен, трудно реализуемый в то время машинными методами, способ синтеза логически устойчивых регулярных (без обратных связей) нейронных сетей из искусственных нейронов с пресинаптическим взаимодействием.

В указанных выше работах отсутствовал математический аппарат для аналитического исследования надежности искусственных нейронных сетей и аппарат для решения задач оптимизации функциональной надежности в зависимости от типа нейронной сети и условий ее функционирования.

По-видимому одной из первых попыток аналитического исследования надежности искусственных нейронных сетей явилась работа [16]. В этой работе в предположении катастрофических отказов нейронов для невосстанавливаемых и восстанавливаемых логически устойчивых [3] искусственных нейронных сетей (для простейших случаев) на основе теории марковских процессов были составлены и решены системы дифференциальных уравнений, позволившие в аналитическом виде и машинными методами исследовать вероятность безотказной работы и вероятность нахождения простейшей искусственной нейронной сети в состоянии восстановления (адаптации).

Результаты исследования надежностных свойств простейших двухранговых (двухслойных) искусственных нейронных сетей методом математического моделирования при ограниченном числе отказов нейронов показали, что во многих случаях нейронные сети, адаптивные к отказам ИН, являются более надежными, чем мажоритарные модули реализующие те же функции [17]. Однако системного изучения надежности нейронных сетей произвольной конфигурации из-за недостаточно разработанного аппарата исследований проведено не было. А вопросы оптимизации функциональной надежности искусственных нейронных сетей даже не ставились.

В связи с тем, что искусственные нейроны, входящие в состав нейронных сетей, являются в общем случае многофункциональными пороговыми элементами с постоянным или переменным порогом \ и изменяемыми в процессе обучения (настройки) весами входов wn для выявления отказов нейронов в логически устойчивых или иных нейронных сетях и их локализации с целью дальнейшего восстановления функциональных свойств сети путем адаптации к отказам, необходимо построение минимальных проверяющих тестов для искусственных нейронов и минимальных диагностических тестов, локализующих неисправности с точностью до входа-выхода монофункциональных и многофункциональных нейронов. Эти задачи были в основном решены в работах [18,19], что позволило существенно продвинутся в развитии методов исследования надежности искусственных нейронных сетей.

Вопросы технической диагностики нейронных сетей рассматривались так же в работах [7,20,21]. Авторы предложили свой алгоритм построения минимального теста для обнаружения отказов типа логических констант на выходах нейронов и метод адаптивной диагностики отказов в нейронных сетях. По-видимому, в ряде случаев этот алгоритм дает хорошие результаты и является конкурентоспособным.

В развитие указанных выше работ по изучению надежности нейронных сетей на базе функционально устойчивых ИНС [3] с применением контрольно диагностических процедур, разработанных по методике [18, 19], были созданы отказоустойчивые адаптивные к отказам ИН нейрокомпьютерные системы (НКС) [22-25], качественный анализ надежности работы которых и области предпочтительного использования приведены в [26].

В современном представлении это были, по-видимому, первые отечественные нейрокомпьютеры, адаптивные к отказам искусственных нейронов, демонстрирующие возможность повышения функциональной надежности НКС за счет логической гибкости ИН и гармоничного сочетания в используемых ИНС структурно-функциональной и временной избыточности.

Анализ показал, что НКС [22] целесообразно использовать в системах с отсутствием резерва времени, для которых состав (объем) оборудования адаптивной системы не является определяющим, а появление на выходе неверного решения недопустимо.

НКС [23] и НКС [25] пригодны для систем, допускающих пропуск неверного решения на выход и имеющих резерв времени на периодический тестовый контроль, а в НКС [25] - еще и на повторное решение. Несмотря на последний, очевидный в общем случае недостаток, НКС [25] содержит значительно меньше оборудования и имеет в среднем более короткий цикл адаптации, чем НКС [23].

Анализ НКС [24] указывает на целесообразность ее использования в системах, имеющих не менее, чем трехкратный резерв времени и исключающих перерывы в решении основной задачи и пропуск на выход неверного решения.

Изучение отечественных и зарубежных открытых источников информации за последнее десятилетие, посвященных вопросам надежности искусственных нейронных сетей, показало, что интерес к данной проблеме возрастает и носит многоплановый характер.

Наряду с традиционными методами повышения функциональной надежности ИНС в процессе обучения и проведение некоторых оптимизационных процессов появились работы [27, 28], в которых изучаются ошибки, возникающие при технической реализации ИНС, а также при шумах и отказах в сети. С помощью полученных результатов объясняется наблюдаемая высокая устойчивость избыточных нейронных сетей к шумам и разрушениям (отказам, старению). Определены максимально допустимые погрешности, возможные для весов синапсов и сигналов сети, исходя из условия, что вектор выходных сигналов сети должен вычисляться с заданной точностью.

В работе [29] проблема отказоустойчивости нейронных сетей, реализованных на СБИС, решается путем использования избыточного двоичного представления данных на базе трехпроводной логики. Предложенный метод, по утверждению авторов, обеспечивает полную защиту от множественных отказов типа залипаний на однонаправленных линиях и сокращает временные задержки выполнения арифметических операций за счет избыточного представления данных.

Аппаратно-информационный метод повышения надежности ИНС, предложенный в работе [30], заключается в создании нейрокомпыотерной системы на основе объединения в единый комплекс разнообразных по структуре или логике работы нейронных сетей, обеспечивающих минимальное число совпадающих ошибок. Однако аналитических методов для оценки надежности такой НКС не дано.

Годовой рынок современных искусственных нейронных сетей и нейрокомпьютеров по прогнозным данным ведущих организаций и фирм США и Японии на 2000 год был оценен в 750-900 млн. долларов [31,32]. При этом практическая реализация ИНС и нейрокомпьютеров в виде кремниевых нейрочипов и нейросистем на пластинах, содержащих свыше 106 эквивалентных искусственных нейронов различного уровня сложности, стала технологически и экономически разрешимой и имеет тенденцию к росту [3336].

Поэтому вопросы обеспечения, оценки и оптимизации надежности специфичных по структурно-функциональной организации и условиям работы нейронных сетей и нейрокомпьютерных систем выходят на первый план среди актуальных проблем теории искусственных нейронных сетей.

В нашей стране также накоплен большой опыт в исследовании и реализации искусственных нейронных сетей и нейрокомпьютеров [7-9, 39-42]. В рамках темы диссертации наибольший интерес представляют работы по реализации отказоустойчивых нейрочипов по технологии систем с интеграцией на пластине (СИП) [32, 37, 38]. Приведенные в этих работах результаты исследований показали возможность создания на одной пластине отказоустойчивых СБИС для реализации ИНС, нечувствительных к отказам отдельных нейронов. Отказоустойчивость была достигнута посредством технологического, топологического и функционального парирования дефектов. Авторы работы [38] полагают, что одним из актуальных путей решения проблемы повышения функциональной надежности искусственных нейронных сетей и нейрокомпьютеров, реализуемых по СИП - техпологии в виде СБИС, является внесение в состав устройств избыточных аппаратных средств, обеспечивающих выполнение различных процедур тестирования для обнаружения отказов, и замещения отказавших элементов избыточными путем реконфигурации системы, т.е. путем адаптации избыточной нейронной системы к отказам нейронов.

Учитывая сложившееся состояние вопроса в области исследования надежности искусственных нейронных сетей, в качестве основной цели диссертационной работы была поставлена задача: обобщение известных и разработка новых математических моделей, методов и алгоритмов оптимизации функциональной надежности искусственных нейронных сетей.

В рамках этого направления в диссертационной работе были поставлены и решены следующие основные задачи.

1. Разработка математических моделей и исследование функциональных возможностей многофункциональных искусственных нейронов для построения логически избыточных функционально устойчивых к отказам нейронов искусственных нейронных сетей.

2. Развитие метода синтеза оптимизированных логически стабильных искусственных нейронных сетей, адаптивных к отказам нейронов, и метода минимизации процесса адаптации нейронной сети к отказам.

3. Создание вероятностных моделей функционирования и развитие методов расчета надежности избыточных искусственных нейронных сетей, неадаптивных и адаптивных к отказам нейронов.

4. Аналитическое исследование и машинное моделирование надежностных характеристик адаптивных искусственных нейронных сетей с целью выбора оптимальной по надежности нейронной системы.

5. Разработка математической модели, метода расчета функциональной надежности и решение задачи оптимального резервирования однородной адаптивной искусственной нейронной сети при пуассоновском потоке отказов.

6. Создание алгоритмов оптимизации вероятности безотказной работы и среднего времени «жизни» искусственной нейронной сети при восстановлении отказавших блоков нейронов.

7. Разработка методов оптимального резервирования «стареющей» адаптивной искусственной нейронной сети, максимизирующих вероятность безотказной работы и среднее время «жизни» сети.

8. Решение задачи и разработка алгоритма оптимизации восстановления избыточной «стареющей» адаптивной искусственной нейронной сети, состоящей из логически стабильных мини-сетей.

Для решения поставленных задач используется математический аппарат теории марковских процессов, теории надежности, вычислительной математики и компьютерное моделирование.

Научная новизна диссертационной работы заключается в следующем.

1. Предложен способ оценки логической избыточности для одновыходных однородных ИНС.

2. Предложен критерий оптимальности для организации синтеза логически стабильных искусственных нейронных сетей, адаптивных к отказам нейронов, зависящий от вероятности безотказной работы и структурной сложности сети.

3. Решена задача минимизации процесса адаптации к отказам ИН для логически стабильных регулярных однородных двухранговых нейронных сетей.

4. Построена математическая модель и решена задача определения функциональной надежности и среднего времени "жизни" избыточных ИНС произвольной конфигурации, неадаптивных и адаптивных к отказам нейронов.

5. Поставлена и решена задача оптимального резервирования, максимизирующего среднее время "жизни", и задача оптимального резервирования, максимизирующего вероятность безотказной работы на заданном временном интервале, для многослойной многовыходной структурно однородной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными при пуассоновском потоке отказов и восстановления отказавших нейронных блоков.

6. Поставлена и решена задача оптимизации резервирования избыточной "стареющей" адаптивной искусственной нейронной сети, обеспечивающего максимизацию среднего времени "жизни" или вероятность безотказной работы сети на заданном временном интервале.

7. Поставлена и решена задача оптимизации восстановления избыточной "стареющей" адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных мини-сетей.

Теоретическая ценность диссертации:

1. Сформулированы и теоретически обоснованы задачи оптимизации функциональной надежности структурно однородных избыточных адаптивных к отказам нейронных сетей. Показано, что данные оптимизационные задачи сводятся к задачам целочисленного программирования. Решение таких задач доведено до подробных алгоритмов, реализуемых на ПЭВМ.

2. Разработаны теоретические положения оптимизации функциональной надежности "стареющих" искусственных нейронных сетей и показано, что для приближенного решения этих оптимизационных задач необходимо использовать совместно метод дискретизации и методы целочисленного программирования.

• 3. Разработаны теоретические основы оптимизации восстановления после отказов нейронов избыточных стареющих адаптивных искусственных нейронных сетей, состоящих из логически стабильных мини-сетей. Показано, что для решения подобных задач могут быть использованы методы теории оптимального управления совместно с методом дискретизации.

4. Совокупность разработанных в диссертации теоретических положений оптимизации функциональной надежности ИНС создает основу для развития теории оптимизации надежности нейрокомпьютеров и нейрокомпьютерных систем.

Практическая ценность диссертации:

1. Предложен способ реализации логических функций от большого числа переменных с использованием двухвходового многофункционального искусственного нейрона с пресинаптическим взаимодействием и возможностью перестройки порогов и весов в процессе реализации функции, практическая реализация которого не вызывает особых трудностей.

2. Построенные в работе математические модели и детально разработанные алгоритмы расчета функциональной надежности избыточных нейронных систем с адаптивными ИН позволяют решить следующие важные для инженерной практики задачи:

1)при заданном соотношении между интенсивностями отказов и сбоев найти тип адаптивного искусственного нейрона и алгоритм адаптации, обеспечивающий на интервале [0,t] вероятность безотказной работы не ниже заданной при минимальной избыточности системы, либо при заданном ограничении на избыточность ИНС найти тип адаптивного искусственного нейрона, обеспечивающий максимальную вероятность безотказной работы;

2) для каждого соотношения интенсивностей отказов и сбоев обоих типов и . заданной избыточности определить такой тип адаптивной искусственной нейронной сети и такой алгоритм адаптации, которые обеспечат ей максимальное среднее время "жизни".

3. Решены задачи оптимизации резервирования "нестареющей" и "стареющей" адаптивной искусственной нейронной сети для максимизации среднего времени "жизни" или вероятности безотказной работы на заданном временном интервале и задача оптимизации восстановления избыточной "стареющей" адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных мини-сетей.

4. Разработано программное обеспечение для решения практических задач оптимизации резервирования адаптивных искусственных нейронных сетей.

Диссертационная работа выполнена в рамках НИР "Разработка математических моделей и методов оптимизации функциональной надежности искусственных нейронных сетей" в соответствии с грантом Министерства образования РФ Е02-2-75 по фундаментальным исследованиям в области естественных и точных наук.

Основное содержание диссертации отражено в 21 научном труде, включая 19 печатных работ и 2 депонированные в ВИНИТИ рукописи.

По результатам работы сделаны доклады на Технологическом конгрессе «Современные технологии при создании продукции военного и гражданского назначения» (Омск, 2001 г.), на Седьмой международной научно-практической конференции «Природные и интеллектуальные ресурсы Сибири» (Барнаул, 2001 г.), на Научной сессии ТУ СУР в рамках межрегиональной научно-технической конференции (Томск, 2002 г.), на Восьмой международной научно-практической конференции «Природные и интеллектуальные ресурсы Сибири» (Кемерово, 2002 г.), на IV Международной научно-технической конференции «Динамика систем, механизмов и машин» (Омск 2002 г.), на научных семинарах кафедры «Информатика и вычислительная техника» Омского государственного технического университета (Омск, 2001 - 2003 г.г.), на II Международном технологическом конгрессе «Военная техника, вооружение и технологии двойного применения в XXI веке» (Омск, 2003 г.).

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Потапов, Илья Викторович

Выводы к главе 4

1. Разработана математическая модель и исследована многослойная многовыходная структурно однородная адаптивная к отказам

• искусственная нейронная сеть с замещением отказавших нейронов резервными. Показано, что задачи выбора наилучшей в смысле максимизации вероятности безотказной работы и среднего времени "жизни" нейронной системы сводятся к задаче целочисленного программирования.

2. Поставлена и решена задача оптимального резервирования, максимизирующего среднее время "жизни", и задача оптимального резервирования, максимизирующего вероятность безотказной работы на заданном временном интервале, для многослойной многовыходной структурно однородной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными при пуассоновском потоке отказов и восстановления отказавших нейронных блоков. Получены детальные алгоритмы для машинной реализации указанных задач, которые могут быть использованы для решения инженерных задач на ПЭВМ.

3. Предложен способ решения задачи оптимального резервирования "стареющей" адаптивной искусственной нейронной сети, в которой интенсивность отказов нейронов является возрастающей функцией времени. Поставлены задачи и разработаны алгоритмы решения задач оптимизации вероятности безотказной работы и оптимизации среднего времени "жизни" "стареющей" адаптивной ИНС при заданных ограничениях.

Поставлена и решена задача оптимизации восстановления избыточной "стареющей" адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных мини-сетей. Показано, что решение такой оптимизационной задачи сводится к задаче оптимального управления. Разработан детальный машинный алгоритм решения данной задачи, реализуемый на ПЭВМ.

Заключение

В результате обобщения известных и разработки новых математических моделей, методов и алгоритмов оптимизации функциональной надежности искусственных нейронных сетей решены следующие задачи.

1. Сделан вывод, что для повышения функциональной надежности искусственных нейронных сетей необходимо использовать максимально логически гибкие искусственные нейроны и объединять их по соответствующим правилам в логически стабильные нейронные сети, функционально устойчивые к флуктуациям параметров нейронов сети.

2. Построены вероятностные модели избыточных неадаптивных и адаптивных к отказам искусственных нейронных сетей произвольной конфигурации, позволяющие исследовать вопросы функциональной надежности искусственных нейронных сетей. Исследована надежность и среднее время "жизни" двух типов адаптивных к отказам ИНС при различных алгоритмах адаптации и возникновении в нейронной сети не только отказов, но и сбоев.

3. Разработана математическая модель и исследована многослойная многовыходная структурно однородная адаптивная к отказам искусственная нейронная сеть с замещением отказавших нейронов резервными. Показано, что задачи выбора наилучшей в смысле максимизации вероятности безотказной работы и среднего времени "жизни" нейронной системы сводятся к задаче целочисленного программирования.

4. Поставлена и решена задача оптимального резервирования, максимизирующего среднее время "жизни", и задача оптимального резервирования, максимизирующего вероятность безотказной работы на заданном временном интервале, для многослойной многовыходной структурно однородной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными при пуассоновском потоке отказов и восстановления отказавших нейронных блоков. Получены детальные алгоритмы для решения указанных задач на ПЭВМ.

5. Предложен способ решения задачи оптимального резервирования "стареющей" адаптивной искусственной нейронной сети, в которой интенсивность отказов нейронов является неубывающей функцией времени. Поставлены задачи и разработаны алгоритмы решения на ПЭВМ задач оптимизации вероятности безотказной работы и оптимизации среднего времени "жизни" "стареющей" адаптивной ИНС.

6. Поставлена и решена задача оптимизации восстановления избыточной "стареющей" адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных мини-сетей. Показано, что решение такой оптимизационной задачи сводится к задаче оптимального управления. Разработан детальный алгоритм решения данной задачи на ПЭВМ.

Список литературы диссертационного исследования кандидат технических наук Потапов, Илья Викторович, 2004 год

1. Гутчин И.Б., Кузичев А.С. Бионика и надежность: элементы теории формальных нейронов. - М.:Наука.-1967.-283с.

2. Позин Н.В. Моделирование нейронных структур.-М.:Наука.-1970.-259с.

3. Мкртчян С.О. Нейроны и нейронные сети.-М.:Энергия.-1971.-232с.

4. Мкртчян С.О. Проектирование логических устройств ЭВМ на нейронных элементах.-М.:Энергия.-1977.-200с.

5. Амосов Н.М., Гольцев А.Д., Куссуль Э.М. Функциональная организация информационных процессов мозга и их связь со структурами нейронных сетей //Кибернетика.-1988.-№5 .-С. 113-119.

6. Амосов Н.М. и др. Нейрокомпьютеры и интеллектуальные роботы/Амосов Н.М., Байдык Т.Н., Гольцев А.Д., Касаткин A.M., Касаткина Л.М., Куссуль Э.М., Рачковский Д.А.; Под ред. Амосова Н.М.; АН УССР Ин-т Кибернетики.- Киев:Наукова думка, 1991.-272с.

7. Галушкин А.И. Теория нейронных сетей. Нейрокомпьютеры и их применение.-М. :ИПРЖ.-2000.-416с.

8. Горбань А.Н., Россиев Д.А. нейронные сети на персональном компьютере.-Новосибирск:Наука. Сибирская издательская фирма РАН.-1996.-275с.

9. Круглов В.В., Борисов В.В. Искусственные нейронные сети. Теория и практика.-М.: Горячая линия-Телеком.-2001.-382с.

10. Мак-Каллок У. Надежность биологических систем. -Самоорганизующиеся системы.-М.:-1964.-С.358-377.

11. П.Радченко А.Н. Моделирование основных механизмов мозга.-Л.:наука, 1968.-212С.

12. Брайнес С.Н., Свечинский В.Б. Проблемы нейрокибернетики и нейробионики.-М.: Медицина, 1968.-232с.

13. Фомин С.в., Беркинблит М.Б. Математические проблемы в биологии.-М.: Наука, 1973.-199с.

14. Вербик JT. О нейронных сетях с минимизацией ошибки. Принципы самоорганизации.-М.:Мир.-1966.-С. 163-174.

15. Блюм М., Онесто Н., Вербик JI. Допустимые ошибки нейронов для безотказной работы сетей. Методы введения избыточности для вычислительных систем.-М.:Сов.Радио.- 1966.-С.84-87.

16. Потапов В.И. Функциональная надежность сетей из формальных нейронов//Автоматика и вычислительная техника. 1968. - № 1. — С.37-43.

17. Потапов В.И., Доценко М.Ф. Исследование свойств адаптивных логических сетей из нейроподобных элементов методом математического моделирования. //Проблемы бионики.- Харьков: ХГУ, 1971.-вып. 7.-С. 16-24.

18. Потапов В.И., Пальянов И.А. Построение проверяющих тестов для пороговых элементов. // Известия АН СССР, Техническая кибернетика.-1973.- № 4. -С. 140-147.

19. Потапов В.И., Пальянов И.А. Диагностика неисправности пороговых элементов// Известия СО АН СССР, сер. Технические науки.-1976.- № 8.- вып. 2. С.126-133.

20. Фомин Ю.И., Галушкин А.И. Методы технической диагностики сетей пороговых элементов. // Техника средств связи, сер. «Системы связи».-1980.-вып.2.-С.84-94.

21. Фомин Ю.И., Галушкин А.И. О методике параллельной диагностики отказов в сетях пороговых элементов. // Электронное моделирование. Киев: Наукова Думка.-1981. № 3. - С.89-92.

22. А.С. 226302 СССР, МПК Go6f. Адаптивное вычислительное устройство/В.И.Потапов (СССР).-1163597/26-24.- Заявлено 30.05.67.-опубл. 8.01.68.-Бюлл. № 28.

23. А.С. 443382 СССР МПК Go6f 7/00. Однородная вычислительная среда/ В.И.Потапов, В.Ф.Нестерук (СССР).- 1884174/18-24.- Заявлено 14.02.73.-опубл. 15.09.74.-Бюлл.№ 34.

24. А.С. 260968 СССР МПК Go6f Адаптивное вычислительное устройство/ В.И.Потапов, А.А.Маслов (СССР).-1282453/18-24.- Заявлено 14.11.68.-Опубл. 06.01.70.- Бюлл. № 4.

25. А.С. 479115 СССР МПК Go6f 15/18. Адаптивное вычислительное устройство с поразрядной обработкой информации/ В.Ф. Нестерук, В.И. Потапов (СССР).- 1938482/18-24.- Заявлено 28.06.73.- опубл. 30.07.75. -Бюлл. № 28.

26. Сенашова М.Ю. Погрешности нейронных сетей. Вычисление погрешностей весов синапсов// Методы нейроинформатики.-Красноярск: КГУ, 1998.- С.48-64.

27. Сенашова М.Ю. Погрешности сигналов и весов синапсов в нейронных сетях/ Ред.ж.Биофизика РАН.- М., 1998.-56с. Деп. В ВИНИТИ 06.11.98, № 3239.

28. Simone В., Vincenzo P. High performance fanlt-tolerant digital neural networks// IEEE Trans. Comput.-1988.-47,3.-P.357-363.

29. Sharkey A., Sharkey N. Combining diverse neural nets// Know. Eng. Rev.-1997.-12,3.-P.231-247.

30. Neural networks, microcomputers & beyond: Technologies Applications & Markets//Business Communications Company Inc / Nor walk CT 016855; NC-117, 1992.

31. Бубенников А.Н., Бубенников А.А. Технологические проблемы создания субмикронных нейронов и нейросистем на пластинах//Информационные технологии.-1997.-№ 5.-С.21-28.

32. Fujita М., Kobayashi V/ Development and fabrication of digital neural network WSIs//IEICE Trans. Electron., 1993 v. E76, № 7, P. 1182-1189.

33. Campbell M., Nyberg S. 3-D Wafer scale Architectures for Neural network computing//YEEE Trans.-1993. v. CHMT-16, № 7, P.646-655.

34. Boubekenr A., Patry I. A real experience of configuring a wafer scale 2-D array of monolit processors/ЛЕЕЕ Trans.-1993, v. CHMT-16, № 7,P.637-644.

35. Uchimura K., Saito O., Amemiya Y. A high-speed digital neural network chip with low-power chain-reaction architecture//IEEE Journal.- 1993, v. sc-27, № 12, P. 1862-1866.

36. Стемнковский A.JT., Осипов Л.Б., Селезнев С.З. Исследование вопросов реализации нейросити по СИП-технологии для построения отказоустойчивых однородных архитектур// Информационные технологии и вычислительные системы.-1995.-№ 0.-С.58-64.

37. Стемпковский A.JI., Осипов Л.Б., Селезнев С.З. проблемы реализации отказоустойчивых архитектур нейрочипов по технологии Систем и Интеграцией на Пластине//Информационные технологии.-1997.- № 5,-С. 15-20.

38. Галушкин А.И. Некоторые исторические аспекты развития элементной базы вычислительных систем с массовым параллелизмом (80- и 90-го ды)//Нейрокомпьютер.-2000.-№ 1 .-С.68-82.

39. Кирсанов Э.Ю. Цифровые нейрокомпьютеры: Архитектура и схемотехника/Под ред. А.И. Галушкина.-Казань:Казанский гос. унт. 1995.-131 с.

40. Алюшин М.В. Аппаратная реализация быстродействующих нейросетей на основе программируемой логики фирм AMD, ALTERA, Х1ЫЫХ//Нейроинформатика-99.-М.:МИФИ,Ч.2.С.25-33.

41. Шевченко П.А., Фомин Д.В., Черников В.М., Виксе П.Е. Применение микропроцессора NM6403 для эмуляции нейронных сетей//Нейрокомпьютеры и их применение-99.М.:ИПУ РАН, 1999.-С.81-90.

42. Миркес Е.М. Нейрокомпьютер. Проект стандарта.-Новосибирск:Наука,Сибирская издательская фирма РАН, 1998.-337с.

43. Нейроинформатика/А.Н.Горбань, В.Л.Дунин-Барковский, А.Н.Кирдин, Е.М.Миркес, А.Ю.Новоходько, Д.А.Россиев, С.А.Терехов, М.Ю.Сенашова, В.Г.Царегородцев.-Новосибирск:Наука,Сибирская издательская фирма РАН,1998.-296с.

44. Потапов В.И., Потапов И.В. Математические модели и функциональные возможности искусственных нейронов/Омский государственный технический университет.-Омск,2001.-12с.,библ. 13 назв.-Деп. в ВИНИТИ 03.05.01, №1140-В2001.

45. Мак-Каллок У., Питтс У. Логическое исчисление идей, относящихся к нервной активности//Автоматы.-М.:ИЛ,1956.-С.362-384.

46. Калбертсон Д.Т. Некоторые неэкономичные работы//Автоматы.-М.:ИЛ, 1956.-С.205-241.

47. Фон Нейман Дж. Вероятностная логика и синтез надежных организмов из ненадежных компонент//Автоматы.-М.:ИЛ,1956.-С.68-139.

48. Варшавский В.И. Некоторые вопросы теории логических сетей, построенных из пороговых элементов//Вопросы теории математических машин.-М.:Физматгиз, 1962.-вып.2.-С.43-52.

49. Бутаков Е.А. Методы синтеза релейных устройств из пороговых элементов.-М.:Энергия, 1970.-328с.

50. Арбиб М.А. Мозг, машина и математика.-М.:Наука,1968.-224с.

51. Дейч С. Модели нервной системы.-М.:Мир,1970.-325с.

52. Мкртчян С.О. О модели формального нейрона с объединяющимися волокнами//Известия АН СССР, Техническая кибернетика.-1970.-№3.-С. 122-124.

53. А.С. 332575 СССР, МПК НОЗК 19/00. Многофункциональный пороговый элемент/В.И.Потапов, П.В.Миренков, Л.В.Воронкова (СССР).- 1468217/26-9;Заявлено 13.07.70;0публ. 21.04.72, Бюл.№10.

54. А.С. 350174 СССР, МПК НОЗК 19/00. Универсальный двухвходовой пороговый модуль/П.В.Миренков, В.И.Потапов, Л.В.Воронкова (СССР).-1619713/26-9;Эаявлено 01.11.71 ;Опубл. 04.09.72, Бюл.№26.

55. А.С. 493030 СССР, МПК НОЗК 19/08. Многофункциональный пороговый модуль/В.И.Потапов, М.С.Куприянов (СССР).-1977185/26-21;Заявлено 14.12.73;Опубл. 13.04.76, Бюл.№43.

56. А.С. 493031 СССР, МПК НОЗК 19/16. Многофункциональный пороговый модуль с кодовой перестройкой логики/И.А.Пальянов, В.И.Потапов (СССР).-2007119/26-21 Заявлено 18.03.74;0публ. 13.04.76, Бюл.№43.

57. А.С. 1166297 СССР, МПК НОЗК 19/168. Многопороговый логический элемент/В.Т.Гиль, Г.Ф.Нестерук, В.И.Потапов (СССР).-3554852/24-24;Заявлено 17.12.83;Опубл. 7.07.85,Бюл.№25.

58. Потапов В.И. Оценка предельных возможностей реализации формальных нейронов//Известия АН СССР. Техническая кибернетика.-1969.-№1.-С.104-105.

59. Потапов В.И., Камаева Л.В. Синтез многофункциональных формальных нейронов с оптимальными параметрами//Вычислительная техника и системы управления.-0мск:0мПИ, 1974.-С.20-30.

60. Потапов В.И., Потапов И.В. О логической избыточности функционально устойчивых сетей искусственных нейронов/Юмский научный вестник.-2001 .-вып. 15.-С.90-91.

61. Потапов В.И., Потапов И.В. О структурной сложности искусственных нейронов с пресинаптическим взаимодействием и реализации функций от большого числа переменных//Доклады СО АН ВШ.-2002.-№1(5).-С.84-91.

62. Потапов В.И., Флоренсов А.Н. Синтез оптимизированных многофункциональных формальных нейронов//Вычислительная техника и системы управления.-Омск:ОмПИ,1975.-вып.2.-С.9-18.

63. Потапов И.В. Синтез оптимизированных логически стабильных искусственных нейронных сетей, адаптивных к отказам нейронов/Омский государственный технический университет.-0мск,2001.-14с.-библ. 4 назв.-Деп. в ВИНИТИ 21.09.01, №2014-В2001.

64. Потапов И.В. Минимизация процесса адаптации логически стабильных искусственных нейронных сетей к отказам нейронов/Юмский научный вестник.-2001 .-вып. 17-С. 147-149.

65. Савельев А.Я. Прикладная теория цифровых автоматов.-М.:Высшая школа, 1987.-272с.

66. Уоссерман Ф. Нейрокомпьютерная техника: Теория и практика//Пер. с англ.М.:Мир,1992.-240с.

67. Сорокин С.В., Яфраков М.Ф. Развитие нейросетевых технологий в научно-техническом центре «Модуль»//Изв. вузов. Приборостроение.-1998.-Т.41,№4.-С.48-55.

68. Заенцев И.В. Нейронные сети. Основные модели.-Воронеж,1999.-76с.

69. Козлов Б.А., Ушаков И.А. Справочник по расчету надежности аппаратуры радиоэлектроники и автоматики.-М.:Сов.радио, 1975.-472с.

70. Райкин АЛ. Вероятностные модели функционирования резервированных устройств.-М.:Наука, 1975.-254с.

71. Черкесов Г.Н. Надежность технических сиситем с временной избыточностью.-М.:Сов.радио, 1974.-295с.

72. Потапов И.В. Проблемы надежности искусственных нейронных сетей//Материалы IV Международной научно-технической конференции «Динамика систем, механизмов и машин» (Омск, 12-14 ноября 2002г.).-Омск,2002.-Кн. 1 .-С.236-238.

73. Потапов В.И., Потапов И.В. Расчет функциональной надежности искусственных нейронных сетей/Юмский научный вестник.-2001.-вып.14.-С.144-145.

74. Барлоу Р., Прошан Ф. Математическая теория надежности//Пер. с англ.М.:Сов.радио,1969.-488с.

75. Потапов В.И., Потапов И.В. Вероятностная модель функционирования избыточной адаптивной искусственной нейронной сети//Доклады СО АН ВШ.-2001 .-№2(4).-С.75-82.

76. Дёч Г. Руководство к практическому применению преобразования Лапласа и Z-преобразованияУ/Пер. с нем.М:Наука, 1971.-286с.

77. Потапов В.И., Потапов И.В. Математические модели и расчет функциональной надежности адаптивных искусственных нейронных сетей двух типов/Юмский научный вестник.-2001.-вып.17.-С.143-147.

78. Вентцель Е.С. Исследование операций.-М.:Сов.радио,1972.-550с.

79. Потапов И.В. Аналитическое исследование среднего времени «жизни» двух типов адаптивных искусственных нейронных сетей/Юмский научный вестник.-2002.-вып. 19.-С. 127-129.

80. Потапов В.И., Потапов И.В. Математическая модель адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными/Юмский научный вестник.-2001.-вып.18.-С.135-138.

81. Козлов Б.А. Резервирование с восстановлением.-М.:Сов.радио,1969.-150с.

82. Диткин В.А., Прудников А.П. Интегральные преобразования и операционное исчисление.-М.:Наука, 1974.-542с.

83. Мишина А.П., Проскуряков И.В. Высшая алгебра.-М.:Наука, 1965.-300 с.

84. Егорычев Г.П. Интегральное представление и вычисление комбинаторных сумм.-Новосибирск:Наука, 1977.-281с.

85. Потапов В.И., Братцев С.Г. Новые задачи оптимизации резервированных систем.-Иркутск, 1986.-110с.

86. Потапов И.В. Решение задачи оптимального резервирования однородной адаптивной искусственной нейронной сети с замещением отказавших нейронов резервными при пуассоновском потоке отказов/Юмский научный вестник.-2002.-вып.20.-С. 146-148.

87. Потапов В.И., Потапов И.В. Решение задачи оптимального резервирования «стареющей» адаптивной искусственной нейронной сети//Доклады СО АН ВШ.-2003.-№1(7).-С.28-36.

88. Потапов В.И., Потапов И.В. Оптимизация восстановления избыточной «стареющей» адаптивной искусственной нейронной сети, состоящей из логически стабильных нейронных минисетей/Юмский научный вестник.-2002.-вып.20.-С. 143-146.

89. Брайсон А., Хо Ю Ши. Прикладная теория оптимального управления.-М.:Мир, 1972.-544с.

90. Федоренко Р.П. Приближенное решение задач оптимального управления.-М.:Наука,1978.-486с.

91. Флеминг У., Ришел Р. Оптимальное управление детерминированными и стохастическими системами.-М.Мир, 1978.-316с.