Метод генерации тестового множества для отладки нейросетевых систем поддержки принятия решений, основанных на трёхслойных персептронах тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Кузьмин, Алексей Константинович

• Кузьмин, Алексей Константинович
• кандидат наук
• 2013

Оглавление диссертации кандидат наук Кузьмин, Алексей Константинович

СОДЕРЖАНИЕ

Введение.................................................................................................................................1

Глава 1. Анализ возможное I ей ме годов и среде I в кош роли качества нейросс1евы\ СППР............................................................................................................8

1.1. Основные понятия и обозначения............................................................................8

1.2. Особенное т п жи зненною цикла неиросетевыч СППР........................................ 14

1.3. Ошибки непросе!евы\ СППР............................................................................... 18

1.4. Методы отладки иейроеегевых СППР...................................................................23

Статический анализ....................................................................................................25

Динамическая отладка...............................................................................................26

1.5 Обзор алюртпмов преобразования нейросетевой информационной структуры к вид}, определяемом} решающими правилами............................................................33

1.6. Обзор с} шествующих методов т енерации тестов для логических схем............43

Выводы по 1лаве 1 ......................................................................................................49

ГЛАВА 2. Метод I енерации тестов дли отладки неНроестскмх СППР...................50

2.1. Построение лот ической схемы для синтезированною решающего правила .... 50

2.2. Модели ошибок типа «забывание об исключении» для схемотехнического представления нсттросететзои информационной стр\кт\ры........................................52

2.3 А.поршм топерации тестов для схемотехническою представления неттроеетевон информационной структуры..................................................................56

2.4. Пример использования алюритма генерации гестов для схемо1ехничекою представления нейросетевой информационной структуры........................................64

2.5. Метод генерации полного тестового множества нейросетевой СППР. обнаруживающего ошибки тина «забывание об исключении».................................69

2.6. Оценка тффекппзноепт разработанною метода т енерации тести нейросетевой СППР...............................................................................................................................74

2.7. Алюритм тестирования нейросетевой СППР.......................................................77

Выводы по главе 2..........................................................................................................80

Глава 3. Исследование эксплуатационных характеристик разработанного метода генерации тестов.................................................................................................................81

3.1. Постановка задачи исследования эксплуатационных характеристик метода81

3.2. Описание программною комплекса N Network для исследования эксплуатационных характеристик метода................................................................82

3.3. Описание форматов входных и выходных данных комплекса NNetwork.....82

3.4. Структура программного комплекса NNetwork...............................................83

3.5 Разрабопса программною генератора файлов set. setmeta..............................86

3.6. Допущения, сделанные при проведении исследования эксплуагационных харак 1 ерпс i ик.............................................................................................................88

3.7. Методика построения зависимости времени генерации гестов о г количества нейронов на входном слое пейросетсвой информационной структуры..............89

3.8. Зависимость времени генерации i ее юге oi количества нейронов на входном слое iieiipoeeieBoii информационной структуры..................................................91

3.9. Методика построения зависимости времени т енерации тестов о г количества нейронов на промежуточном слое Heiipoceгевой информационной структуры.. 93

3.10. Зависимость времени генерации тестов ог количества нейронов на иромежу томном слое пейросетсвой информационно!! структуры........................95

3.1 1. Методика построения зависимости времени генерации 1естов от количества нейронов на выходном слое нейросегевоп информационной структуры............96

3.12. Зависимость времени генерации тестов oi количества нейронов на выходном слое нейросетевой структуры.................................................................98

3.13. Мсюдпка построения зависимости времени генерации тестов от количества примеров в обучающем множестве.........................................................................99

3.14. Зависимость времени тенерации icctob от количества примеров в обучающем множестве............................................................................................. 101

Выводы по 1.таве 3................................................................................................... 103

Глава 4. Проверка работспоснособносгм метода построении ¡ссгов на прикладных нейросчмекых CIIIIP................................................................................104

4.1. Постановка задачи разработки ненросегевой СПГ1Р по обнаружению неисправностей газоперекачивающих aiperaroB................................................. 104

4.2. Разработка пейросетсвой С1111Р «GASDETEC1».......................................... 108

4.3. Структура нейросегевоп Oil IP «GASDF ГГС1»........................................ 1 12

4.4. Тестирование нейроеетевой СППР «GASDETECT»..................................... 1 16

4.5. Результаты тестирования нейроеетевой СППР «GASDETECT».................. 123

4.6. Постановка задачи разработки нейроеетевой СППР в офтальмологии....... 124

4.7. Разработка нейроеетевой СППР «Glaucoma Complaint».............................. 128

4.8. Стру ктура нейроеетевой СГП1Р "Glaucoma Complaint"................................. 132

4.9. Основные функции нейроеетевой СППР "Glaucoma Complaint"................. 135

4.10. Тестирование нейроеетевой СППР "Glaucoma Complaint"......................... 136

4.1 1. Результаты юстирования нейроеетевой СППР «Glaucoma Complaint»..... 142

Выводы по главе 4........................................................................................................ 144

Заключение........................................................................................................................145

Литература.........................................................................................................................147

СОДЕРЖАНИЕ................................................................................................................160

Введение диссертации (часть автореферата) на тему «Метод генерации тестового множества для отладки нейросетевых систем поддержки принятия решений, основанных на трёхслойных персептронах»

ВВЕДЕНИЕ

Методы обработки 'экспертной информации, положенные в основу систем поддержки принятия решений (СППР), в настоящее время приобретают все большее распространение [1]. В слабоструктурированных задачах тенденцией последних лет стало активное использование интеллектуальных СППР, использующих в качестве механизма принятия решений и обработки экспертной информации нейронную сеть [2].

К большинству существующих нейросетевых СППР предъявляются повышенные требования к корректности функционирования, поэтому существенное значение приобретает процесс отладки, в котором проверяется компетентность системы, то есть соответствие поставленных целей и генерируемых решений, а также исправление обнаруженных ошибок. С точки зрения выявления ошибок наиболее эффективным методом отладки является тестирование, т.е. выполнение системы на тестовом множестве, состоящем из известных входных и выходных данных [3].

Тестовое множество должно включать такие примеры, которые обнаруживают наибольшее количество ошибок, и результат процесса тестирования определяется эффективностью методов создания тестового множества. В настоящее время широко используется подход, основанный на использовании определённого подмножества имеющихся примеров предметной области, которое не используется для обучения нейросетевого механизма (работы Цисиль-ского В. [4J, Жу Дж. [5], Балашубраманиана М., Паланивела Д. и Рамалинга-ма А. [6], Ребровой 0.1С). [7], Ишанова O.A. [8|). В случае недостатка имеющихся примеров часто применяется экспертная генерация тестовых данных, при которой эксперт пытается сгенерировать такие примеры, которые могут вызвать ошибку СППР. Таким образом проводилась отладка экспертных систем

«Carbonate deteetor», комплекса экспертных систем для управления техническими объектами проекта NASA Applied Information Systems Research Program [9], нейросетевых СГ1Г1Р обнаружения ошибок операторов производственного оборудования |10|, разработанных в Nova Southeastern Univcrsity. Во всех вышеперечисленных случаях отсутствовала гарантия того, что сгенерированное тестовое множество обладает высокой обнаруживающей способностью. Основная проблема заключается в том, что эксперту трудно вспомнить и учесть особенности предметной облас ти из-за её высокой сложности.

Поспеловым Д.А. показано, что большинство предметных областей характеризуются наличием исключительных ситуаций, не подчиняющихся общим закономерностям, и если такие ситуации не будут учтены экспертом при разработке интеллектуальной СГТПР, то последняя будет выдавать на них ошибочный результат [ 1 1J. Ошибки такого типа являются наиболее сложными для обнаружения. В литературе описан разработанный Долининой О.П. метод автоматизированного построения тестовых наборов, обнаруживающих ошибки, связанные с исключениями из закономерностей предметной области, для продукционных CI1IIP |3]. Описание подобных методов для нейросетевых СППР в литературе отсутствует.

Современная нейроинформатика располагает большим количеством нейросетевых моделей, однако наибольшее распространение получила модель трёхслойного персептрона, являющаяся развитием модели персентрона Розен-блатта fI2|. Зю связано с тем фактом, что большая часть прикладных задач может быть формализована как классификация входных векторов х/, xj,...,xn по m выходным классам о/, Oj.....ош, для решения которых применяются такие системы принятия решений, как многослойные персептроны.

С другой стороны, ряд исследований, в том числе работы Мороз А.П. [13], Березина B.JI. [14], Болотина В.В. [15], посвящены важной для народного

хозяйства технической задаче обнаружения неисправностей газоперекачивающих агрегатов с газотурбинным приводом [16]. Показано, что проблема характеризуется высокой сложностью технического объекта [17], а также наличием весьма сложных неявных зависимостей между причинами и видами неисправностей. Всё тго делает невозможным применение для решения задачи универсальных решений, а при использовании методов искусственного интеллекта возникает необходимость учёта наличия большого количества исключений в предметной области.

Таким образом, актуальной является разработка метода автоматизированной генерации тестов, способных обнаруживать ошибки, связанные с исключениями предметной области для нейросетевых СППР, основанных на трёхслойных псрсентронах. Объе к г и с ел ед о ва н и и

Объектом исследования являются методы обработки экспертной информации, представляемой нейросетевыми моделями; методы выявления ошибок в экспертной информации. П р е д м ет и с с л е д о в а 11 и я

Предметом исследования является метод генерации тестов для отладки нейросетевых С11ПР, основанных на трёхслойных персептронах. Цель работы

Разрабожа эффективного с точки зрения количества тестов метода построения тестовых данных, обнаруживающих ошибки типа «забывание об исключении» для нейросетевых СППР, основанных на трёхслойных персептронах.

Задачи работы

Для достижения вышепоставленной цели необходимо решить следующие задачи:

1. Построить схемотехническое представление ошибки типа «забывание об исключении» нейросетевой СГ1ПР, основанной на трёхслойном персептроне.

2. Построить метод генерации тестов, обнаруживающих ошибки типа «забывание об исключении» нейросетевых СППР, основанных на информационной структуре трёхслойного персептрона.

3. Осуществит!, программную реализацию разработанного метода, проанализировать его эксплуатационные характеристики.

4. Разработать нейросетевую С11ПР, обнаруживающую неисправности газоперекачивающих агрегатов с газотурбинным приводом.

5. Проверить работоспособность предложенного метода на примере прикладных нейросетевых СППР.

Методы исследования

В диссертационной работе применяются методы искусственного интеллекта, технической диагностики и нейроинформатики, теория множеств, математической логики и комбинаторики, теория алгоритмов и графов.

Научная новизна

1. Формальная модель ошибки интеллектуальной системы типа «забывание об исключении» распространена на нейросетевые СППР, основанные на трёхслойных персептронах.

2. Построено схемотехническое представление ошибки нейросетевой СППР типа «забывание об исключении», позволяющее применять для обнаружения таких ошибок методы технической диагностики.

3. Разработан алгоритм генерации тестового множества для логической схемы, отличающийся учётом возможности установки на входных линиях схемы комбинаций значений, соответствующих запрещённым комбинациям фактов предметной области нейросетевой СППР, что позволило снизить количество

тестов в генерируемом тестовом множестве и сократить время выполнения алгоритма.

4. На основе алгоритма генерации тестового множества для логической схемы разработан метод генерации тестового множества для нейросетевых СППР, позволяющий создавать полные тестовые наборы, обнаруживающие ошибки типа «забывание об исключении».

Практическая значимость работы

Предложенный метод генерации тестов имеет практическую значимость, так как позволяет строить полное множество тестов, обнаруживающее ошибки типа «забывание об исключении» для нейросетевых CIIIIP, основанных на модели трёхслойного псрсептрона.

Автомат изация генерации гестов для отладки нейросетевых СПГ1Р позволяет сократить время на тестирование, повысив его качество, что в конечном итоге приводит к повышению потребительских качеств CIU IP и снижению их себестоимости. Разработанный метод был применён для отладки СППР по диагностике неисправностей газоперекачивающих агрегатов ОАО «Газпром», что привело к повышению качества продукта за счёт обнаружения и исправления ошибок тина «забывание об исключении». Также практическая апробация метода была осуществлена на нейросетевой СТ 1ПР «Glaucoma Complaint», прогнозирующей комплаентноегь офтальмологических пациентов клиники глазных болезней СГМУ им. В.И. Разумовского. Внедрение результатов работы

Предложенный в работе метод и алгоритм реализованы в виде программного продукта «NNetwork Tester». Разработаны нейросетевые СППР «GASDETECT», обнаруживающая неисправности газоперекачивающих агрегатов с газотурбинным приводом, а также «Glaucoma Complaint», прогнозирующая комплаентность офтальмологических пациентов. С помощью продукта

5

«NNetwork Tester» проведено тестирование данных систем. Разработанное программное обеспечение успешно внедрено в эксплуатацию на предприятиях ОАО «Газпром», клинику глазных болезней СГМУ имени В.И. Разумовского, а также в учебный процесс Саратовского государственного технического университета имени Гагарина Ю.А., что подтверждается соответствующими актами внедрения.

Достоверность и обоснованность результатов работы

Достоверность и обоснованность работы определяется применением корректных методов теории искусственного интеллекта, пейроииформатики, технической диагностики, а также подтверждается соответствующими экспериментами и актами внедрения результатов работы. Основные положения, выносимые на защиту

1. Формальная модель ошибок типа «забывание об исключении» нейросете-вой СППР, основанной на трёхслойных персептронах.

2. Процедура перехода от информационной структуры нейронной сети к виду логической схемы, позволяющая применять разработанные в технической диагностике методы генерации тестовых наборов для тестирования нейросете-вых CIIIIP, основанных на трёхслойных персептронах.

3. Метод генерации полного тестового множества, обнаруживающего ошибки типа «забывание об исключении» нейроеетевых СППР, основанных на трёхслойных персептронах.

4. Схемотехническое представление ошибки нейросетевой СППР типа «забывание об исключении».

Апробация работы

Результаты работы докладывались на конференциях: «Молодые учёные -

науке и производству», СТТУ 2007; «Методы компьютерной диагностики в

биологии и медицине», С ГУ 2008; «ММТТ-21», СГ'ГУ 2008; «Информатизация

6

и информационная безопасность правоохранительных органов», Академия управления МВД РФ 2008; «Инновации и актуальные проблемы техники и технологий», СТТУ 2009; «ММТТ-23», СГТУ 2010; «ММТТ-24», ПГТА 2011; на семинарах в ПГТА в 2012-201 Зг.г., а также на научных семинарах кафедры "Прикладные информационные технологии" СГТУ в 2008-2013 годах. Разработанное программное обеспечение прошло официальную государственную регистрацию в фонде алгоритмов и программ; программные продукты успешно внедрены I? опытную эксплуатацию на предприяжях ОАО «Газпром», в клинику глазных болезней СГМУ имени В.И. Разумовского, а также в учебный процесс Саратовского государственного технического университета имени Гагарина К).А.

Публикации

Результаты работы опубликованы в 17 изданиях, 5 из которых являются изданиями, рекомендованными ВАК РФ.

Объём работы

Диссертационная работа состоит из введения, 4 глав, заключения и 9 приложений; содержи т 46 рисунков и 12 таблиц.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Кузьмин, Алексей Константинович

ЗАКЛЮЧЕНИЕ

1. В данной работе формальная модель ошибки интеллектуальных систем типа «забывание об исключении» распространена на нейросетевые СГ1ПР.

2. Построено схемотехническое представление ошибки типа «забывание об исключении» нейросетевой СППР, основанной на трехслойном персептроне.

3. Показано, что ошибка типа «забывание об исключении» нейросетевой СППР соответствует константной неисправности соответствующего схемотехнического представления нейросетевой информационной структуры.

4. Разработан алгоритм генерации тестового множества для логической схемы, отличающийся учётом возможности установки на входных линиях схемы комбинаций значений, соответствующих запрещенным комбинациям фактов предметной области нейросетевой СППР, что позволило снизить количество тестов 13 генерируемом тестовом множестве и сократить время выполнения алгоритма.

5. Па основе построенного алгоритма генерации тестового множества для логической схемы разработан метод генерации тестового множества для нейросетевой СППР, позволяющий создавать полные тестовые наборы, обнаруживающие ошибки типа «забывание об исключении».

6. Разработан критерий оценки эффективности предложенного метода и показано, что он имеет эффективность выше, чем другие экспертные методы генерации тестов для нейросетсвых О IIIP.

7. Выявлен экспоненциальный характер зависимости времени генерации тестов от количества нейронов на входном слое нейросетевой структуры, а также линейный характер зависимости времени от количества нейронов на скрытом, выходном слое и от количества примеров в обучающем множестве.

8. Разработанный метод прошел практическую апробацию на нейросетевой СППР по обнаружению неисправностей ГПА с газотурбинным приводом, а

также на нсйросетевой С11Г1Р по прогнозу комплаентности офтальмологических нацистов.

В итоге достигнута главная цель работы: разработан эффективный с точки зрения количества тестов метод построения тестовых данных, обнаруживающих ошибки тина «забывание об исключении» для нейросетевых СППР, основанных на трёхслойных персептронах.

Список литературы диссертационного исследования кандидат наук Кузьмин, Алексей Константинович, 2013 год

ЛИТЕРАТУРА

1. Барский А. Б. Нейронные сети: распознавание, управление, принятие решений. — Москва : Финансы и статистика, 2004. — 175 с.

2. Горбапь А. и Д. Россиев Нейронные сети на персональном компьютере.— Новосибирск : Наука, 1996 г. — 276с.

3. Долинина С). II. Разработка метода тестирования продукционных баз знаний экспертных систем с учётом ошибок типа "забывание об исключении".— Саратов : [б.н.], 1997 г. — Деп. в ВИНИТИ №678-1397. — 174 с.

4. Ciesielski V. and Spicer J. Embeded Neural Networks And Expert Systems In The Diagnostic Microbiology Laboratory. — Melbourne : Royal Melbourne Institute of Technology, 2004 г. — p. 124-126.

5. Cicsiclsky V. and Zhu J. A very reliable method for detecting bacterial growths using neural networks. — Melbourne : Royal Melbourne Institute of technology. — p. 43-50.

6. Balasubramanian M., Palanivel S. и Ramalingam V. Real time face and mouth recognition using radial basis function neural networks. — Annamalainagar : Annamalai University, 2005 r. — p. 66-69.

7. Rebrova О. |и др.) Expert System And Neural Network For Stroke Diagnosis. — Moskow : Institute of neurology, Russian Academy of Medical Sciences, 2000 r.— p. 67-70.

8. Алексеева E. Ф. и Стефашок В. jt Экспертные системы - состояние и перспективы // Изв. AII СССР. — 1984 г. — 5. — с. 153-167.

9. Hull J., Ward D. и Zakrzewski R. Verification and Validation of Neural Networks for Safety-Critical Applications// NeuroSoft.— [б.м.| : IEEE Publisher, 2005 r.— p. 12-16.

10. Cannady J. Artificial Neural Networks for Misuse Detection// School of Computer and Information Sciences. -- [б.м.] : Nova Southeastern University, 2002 r. — p. 55-58.

11. Поспелов Г. С. n Поспелов Д. Л. Проблемы понимания и рассуждений, основанных на знаниях // Материалы 4 заседания РГ-22 СЛИП. — Переяславль-Залесский : [б.н.|, 1987 г. — с. 15-21.

12. Rosenblatt F. Principles of neurodynamics: Perceptrons and the Theory of Brain Mechanisms. — New York : Spartan Books, 1962. — 1 76 p.

13. Мороз Д. П. [и др.J Газоперекачивающие агрегаты и обслуживание компрессорных станций. — Москва : [6.H.J, 1999 г. — 229 с.

14. Ьерёзин В. Л. и Ьобрицкий II. В. Сооружение насосных и компрессорных станций. — Москва : [б.н.|, 1985 г. - 288 с.

15. Болотин В. В. Ресурс машин и конструкций// Машиностроение.— 1990: [б.п.], 1990 г. — 278 с.

16. Семёнов А. С. Прогнозирование технического состояния газоперекачивающих агрегатов // Вопросы состояния и перспективы развития нефтегазовых объектов Западной Сибири.-— Тюмень : Тюм.ГНГТУ, 2004 г.— с. 82-87.

17. Семёнов А. С. Особенное!и газоперекачивающего агрегата как объекта диагностирования // Вопросы состояния и перспективы развития нефтегазовых объектов Западной Сибири. — Тюмень : ТюмП 1ГУ, 2004 г. — с. 1 16-125.

18. Миркес Н. Нейрокомпьютер: проект' стандарта.— Новосибирск: Наука, 1998.

19. Dayan P. and Abbott L. Theoretical neuroscience: computational and mathematical modeling of neural systems. — London : The MIT Press, 2004. — 460 c.

20. Уоссермен Ф. Нейрокомпыотерная 1ехника: Теория и практика / перев. Зуев 10.А. Точенов в.А. 1992. - 184 с.

21. Горбань А. П., Миркес Н.М. и Царегородцев В. Г. Нейроинформатика.— Новосибирск : 11аука, 1998. — 296 с.

22. Колмогоров А. Н. О представлении непрерывных функций нескольких переменных суперпозициями непрерывных функций меньшего числа переменных. — |б.м.| : Докл. АН СССР, 1956 г. - - Т. 108. — с. 2-5.

23. Обращение к ресурсу http://vvvvw.agym.spbu.ru/docs/phys_oshib_4.pdf от 13.02.2012.

24. I lecht-Nielsen R. Theory of the Backpropagation Neural Network// International Joint Conference on Neural Networks.— Washington, D.C. : Sheraton Washington Hotel, 1989 r. — p. 593-606.

25. Rumelhart D., Hinton G. and Williams R. Learning Internal Representations by Error Propagation// In Parallel Distributed Processing.— Cambridge: MIT Press, 1989 i-. — p. 318-362.

26. Rumelhart D., Hinton G. и Williams R. Learning Representations by Back-propagating Errors // Nature. — Cambridge : [б.н.|, 1986 г. —Т. 323. —p. 533-578.

27. Еорбань Л. II. Обучение нейронных сетей.-- Москва: CFI ПараЕраф, 1991. — 287 е.

28. Поспелов Е. С. Системный анализ и искусственный интеллект-.— Москва : Препринт ВЦ AII СССР, 1980. — 370 с.

29. Minsky М. A framework for Representing Knowledge// The Psychology of Computer Vision. — New York : McGravv-I Iil, 1975 r. -- p. 132-143.

30. Roussopoulos N. A semantic network model of data bases// TR No 104.— [б.м.| : Department of Computer Science, University of Toronto, 1976 r.— p. 105140.

31. Hayes-Roth F. и Jacobstein. N. The State of Enowledge-Based Systems// Communications of the ACM. — March 1994 r. — 6 : T. 37. — p. 27-39.

32. Долинина О. II. Информационные технологии в управлении современной организацией. — Саратов : СЕТУ, 2006. — 160 с.

33. Кирсанов Ь. С. и Попов Э. В. Состояние разработки инструментальных средств и жепергных систем// Системы общения и экспертные системы. Справочник: Искуссгвнный ишеллекг/ аы. книги Попов Э.В.— Москва: Радио и связь, 1990. — Т. 1. — с. 290-3 12.

34. Pullum L., Darrah М. and Taylor В. Independent Verification and Validation of Neural Networks - Developing Practitioner Assistance.— [s.l.| : Institute for Scientific Research, Inc. — p. 24-30.

35. Майерс Г. Искусство тестирования программ/ перев. Позин Б. Л.— Москва : Финансы и статистика, 1982. — 176 с.

36. Demidenko S. и Piuri V. On-Line Testing In Digital Neural Networks// IEEE Journal. —2003 r. — p. 132-136.

37. Бабкин P. Л. и Лобанов Д. В. Метод построения функционального теста для нейронной сеж прямого распространения// Научная сессия МИФИ-2004.— Зеленоград : (б.п.], 2004 г. — Т. 4.--с. 12-15.

38. Бабкин Р. Д. и Лобанов Д. В. Прямая задача диа1 тестирования нейронных сетей //Научная сессия МИФИ-2004. — [б.м.| : ФГУП НИИ «Субмикрон», 2004 г. —Т. 2. — с. 56-60.

39. Обращение к ресурсу www.basegroup.ru. —or 28.03.08.

40. Поспелов Г. С. Искусственный интеллект - основа новой информационной технологии. — Москва : Наука, 1988. — 280 с.

41. Поспелов И. Г. и Поспелова Л. Я. Динамическое описание систем продукций и проверка непротиворечивоеги продукционных экспертных систем // Изв. Д11 СССР. — 1987 т. —- с. 1 84-192.

42. Шварц 10., Долинина О. и Каримов Р. Экспертные компьютерные системы для точного краткосрочного прогноза неотложных состояний у кардиологических больных // Современные проблемы медицинской науки: материалы па>.-нракт. Коиф. По законченным законченным научным исследованиям. - Саратов : СТМУ, 1994 г. - Т. 4.2. -- с. 28-30.

43. Зыкова С. Меюды и средства верификации знаний в интеллектуальных САПР. — Москва : [б.тт.], 1992 г. —дисс. канд. техн. наук, 168 с.

44. Mars N. and Miller P. Tool for Knowledge Aquisition and Verification in Medicine// Proc. ol" the 10th Annual Symp. on Computer Application in Medical Care. — Washington D.C. : |s.n.|, 1986 r. — p. 36-44.

45. Nillson N. Problem-Solving Methods in Artificial Intellegence. — [s.l.J : McCgraw Hill, 1971. — 184 p.

46. Pearl J. Heuristics: Intelligent Search Strategies for Computer Problem Solving. — fo.m.l : Addison-Wesley, 1984. — 163 p.

47. Suwa II., Scott II. and ShotlHTc A. An Approach to Verifing Consistency and Completeness in a Rule-Based Hxpert System // Rule-Based Hxpert Systems. — London : Addison-Wesley, 1984 r. — p. 159-170.

48. Besem M. Semantic and Consistency of Rule-based Lxpert Systems // Proc. of the 9th Conf. on Automated Deduction Springer Lecture Nodes in Computer Science. — Berlin : Springer-Verlag, 1997 г.—p. 151-161.

49. Nguyen T. [et al.] Checking Lxpert System Knowledge Bases for Consistency and Completenes // Proc. of the 9th Int. Joint Conf on AI. — Los. Ang. : [s.n.|, 1985 I-. —p. 375-378.

50. Padalkar S. [и др.| Real-Time Fault Diagnostics // ILLL Lxpert. — 1991 r. — 3 : T. 6. - p. 75-84.

51. Tepandi J. Comparison of Lxpert System Criteria// Proc. LCAI 90 Conference . — Stockholm : [s.n.|, 1990 r. — p. 49-62.

52. Bornstein В. |и др. j Creation and resting of an Artificial Neural Network Based Carbonate Detector for Mars Rovers.— California: California Institute of Technology. — p. 22-25.

53. обращение к ресурсу http://aisrp.nasa.gov/. - or 21.12.09.

54. обращение к ресурсу asterweb.jpl.nasa.gov. — oi 12.04.09.

55. обращение к ресурсу earthquake.usgs.gov. - oi 20.04.09.

56. обращение к ресурсу www.iss.net. — oi 13.11.09.

57. обращение к ресурсу www.cotse.com/tools/vuln.htm. от 14.05.09.

58. обращение к ресурсу www.watres.com. — oi 16.05.09.

59. Wall R. and Rissland L. Scenarios as an Aid to Planning// Proc. of the National Conf. on AI. — Pittsburg : Univ. of Pittsburg, 1982 r. — p. 57-68.

60. Долинина О. П. [и др.] Задача пропюза развшия нестабильной стенокардии меюдом нейронной сети// Гехнологии Ишернст - на службу обществу -сборник синей по материалам Всероссийской научно-практической конференции.--Саратов : СТТУ, 1996 i. - 133-137 стр.

61. Долинина О. II., Кузьмин Л. К. и Тарасова В. В. 11ейросетевой подход к решению проблемы комплаентност и нацистов// Информатизация и информационная безопасность правоохранительных органов. — Москва : [6.H.J, 2008 г. — с. 486-489.

62. Долинина О. II. и Кузьмин Д. К. Контроль качества баз знаний нейросетевых экспертных систем // Математические методы в технике и технологиях -ММТТ-21: сб. трудов XXI Международ, науч. конф / ред. Балакирев B.C. - -Саратов : СТТУ, 2008 г. - Т. 2. -е. 268-270.

63. Craven M. and Shavlik J. Extracting Tree-Structured Representations of'Trained Networks// Advances in Neural Information Processing Systems.— Cambridge: MIT Press, 1996 r. — p.88-93.

64. Towel 1 G. and Shavlik J. Extracting Refined Rules from Knowledge-Based Neural Networks// Working Paper 91-4.— [s.l.J : Machine Learning Research Group, 2000 r. — 12 p.

65. Гилев С. Iи др.) Коиipaciироваиие, оценка значимости параметров, оптимизация их значений и их интерпретация в нейронных сетях // Доклады III Всероссийского семинара "Нейроинформатика и ее приложения,\ — Красноярск : [б.п.]. — с. 34-40.

66. 'Powell G. и Shavlik J. Interpretation of Artificial Neural Networks: Mapping Knowledge-based Neural Networks into Rules// Advances in Neural Information Processing Systems 4 . — 1992 r.

67. McMillan С. Iet al.) Rule Induction through Integrated Symbolic and Subsymbolic Processing// Advances in neural information processing systems.— 2003 r. — 4. - p. 969-976.

68. Setiono R., Leovv W. and Xurada J. Extraction of Rules from Artificial Neural Networks for Nonlinear regression // IEEE 'Trans, of Neural Networks. — 2002 r. — Vol. 13, —p. 564-577.

69. Ourston D. and Mooncy R. Theor\ refinement combining analytical and empirical methods // Artificial Intelligence. —- 1994 r. — 66. — p. 273-3 10.

70. Gupta Д., Park S. and Lam S. Generalized Analytic- Rule Extraction for Feedforward Newrak Networks// IEEE Transactions on Knowledge and Data Ingeneering. — 1999 r. — 6 : Vol. 1 1. — p. 60-68.

71. Setiono R. and Liu H. Symbolic presentation of neural networks// IEEE Computer. — 1996 r. - p. 71-77.

72. Bogacz R. и Giraud-Carrier C. A Novel Modular Neural Architecture for Rule-based and Similarity-based Reasoning // Hybrid Neural Systems. — 2000 r. — p. 6377.

73. Andrews R. and Geva S. Inserting and extracting knowledge from constrained error baekpropagation networks // Proc. of Sixth Australian Conference on Neural Networks. Sydney : |s.n.|, 1995 r. -- - p. 56-63.

74. Setiono R. Extracting rules from neural networks by pruning and hidden-unit node splitting // Neural Computation. — 1997 r. — Vol. 9. — p. 205-225.

75. Kamru/.zaman S. and Islam M. Extraction of Symbolic Rules from Artificial Neural Networks // Proc. of World Academ> of Science, Engineering and Technology. - 2005 r. — Vol. 10. — p. 271-277.

76. Shumann J. V&V issues for neural network // Technical reports RIACS-TR-XX-02. — 2004 r. - p. 45-48.

77. Киносига К., Лсада К. и Караиу О. Логическое проектирование СБИС. — Москва : Мир, 1988. - 309 с.

78. Ярмолик В. И. Контроль и диагностика цифровых узлов ЭВМ. — Ми. : Наука и техника, 1988. — 240 с.

79. Goel P. and Rosales В. "PODEM - X": an automatic test generation system for VISI logic structures// Proc. 18th IEEE Design Automation Conf.— 1981 r.— 133,- p.260-268.

80. Твердохлебов В. А. Исследование возможностей контроля и тестаового диагноза с помощью бинарных отношений// Вычислительные методы и программирование. — Саратов : Сар. гос. ун-т, 1966 г. — с. 126-1 51.

81. Твердохлебов В. Л. и Богомолов М. Л. Применение теории бинарных отношений к коногоролю и поиску неисправностей сложных систем//

Вычислительные методы и программирование. — Саратов: [б.н.|, 1966 г.— Сар. гос. ун-т. — с. 123-125.

82. Долинина О. II. и Кузьмин Л. К. Адаптация нейронной сети для алгоритма построения тестов// Инновации и актуальные проблемы техники и технологий: материалы Всероссийской науч.-нракт. конф. молодых учёных / ред. Большаков A.A. - Саратов : CIТУ, 2009 г. — Т. 1. — е. 1 69-1 71.

83. Шварц 10. Г. и Наумова Р. Л. Выполнение больными врачебных назначений и есть ли доказательства: эффективны ли вмешательства, направленные на улучшение этого показателя // Международный журнал медицинской практики. — 2006 г. -- 1. — с. 48-54.

84. Грэхам Р., Кнут Д. и Паташник О. Конкретная математика.— Москва: Слово, 1 998. - - 708 с.

85. Долинина О. II., Кузьмин А. К. и Тарасова В. В. 11ейросетевой подход к решению задачи комплаентности пациентов// Методы компыоюрной диагностики в биологии и медицине ~ 2008 / ред. У санов проф. — Саратов : СГТУ, 2008 г. е. 72-75.

86. Дедешко В. II. Комплексная диагностика и ремонт газопроводов -основа повышения надежности ПСГ России // Одииадцатая международная деловая встречам «Диагностика 2001». [б.м.| : ИР11, Газпром, 2001 г. — с. 9 - 20.

87. Семёнов А. С. Комплексный анализ работоспособности газоперекачивающих агрегатов на основе прогноза остаточного ресурса// режим дос I у па: http://dlib.rsl.ru/01002815278. — [б.м.| : Тюмень, 2004 г.

88. Зарицкий С. II., Галицкий Ю. В. и Стрсльченко А. II. Автоматизированная система вибромониторинга и диагностики энергомеханического оборудования // Сб. трудов 'Третьего Международного Конгресса Защи та. — [б.м.| : ИРЦ Газпром, 1998 г. — с. 8 - 13.

89. Стрсбков А. [и др.] Система параметрической диагностики газоперекачивающих агрегатов: современный подход// Деловая Рос-сия: промышленность, транспорт, социальная жизнь, №7. — 201 1 г. — с. 42-43.

90. Обращение к ресурсу http://\v\v\v.eonsilium-medicum.com. — от 4.12.2008.

91. Rudd P. Clinicians and patients with hypertension: unsettled issues about compliance // Am.l leart J. — 1995 r. — p. 572-579.

92. Обращение к* ресурсу www.wilsonrx.com. — от 12.12.2010.

93. Обращение к ресурсу http://www.medi.ru. — от 21.09.2007.

94. Шаламов А. В. и Мазеии П. Г. Нейронные сети как новый подход к управлению технологическим оборудованием// Известия Челябинского научного центра. — Челябинск: [б.н.|, 2000 г.— 1(18). — с. 18-23.

95. Царегородцев В. Нейронные сети. Преимущества// обращение к ресурсу www.neuropro.ru. — от 20.04.2007.

96. Уотермеп Д. Руководство по экспертным системам. — Москва : Мир, 1989.— 388 с.

97. Смолин Д. Введение в искусственный интеллект. — [б.м.] : ФизМатЛит, 2004. — 208 с.

98. Попов Э. Особенности разработки и использования экспертных систем // Искусственный интеллект: Системы общения и экспертные системы.— Москва : Радио и связь, 1990. — с. 261-289.

99. Ежов А. Д. и Шумский С. А. Нейрокомпыотинг и его применение в экономике и бизнесе. — Москва : МИФИ, 1998. -- 346 с.

100. Долинина О. П., Кузьмин Д. К. и Оуграбко А. В. Прогноз комплаентности методом нейронных сетей у кардиологических больных// Молодые учёные — науке и производству: материалы конференции молодых учёных/ ред. Слепухии А. А. Саратов : СГГУ, 2007 г. --- 113-116 с.

101. Долинина О. II. и Кузьмин А. К. Применение методов технической диагностики для отладки баз знаний нейросетевых экспертных систем// Информационные технологии - ежемесячный теоретический и прикладной научно-технический журнал . — Москва : [б.н.|, 2009 г. — 2(150). — с. 34-38.

102. Долинина О. II. и Кузьмин А. К. Особенности создания экспертных систем, основанных на нейросетевом представлении знаний// Вестник Саратовскот о государственного технического университета. — Саратов : CI ТУ, 2009 г. — 2(33). — с. 266-272.

103. Долинина О. II. и Кузьмин Л. К. Метод построения тестов для отладки нейросетей на основе технической диагност ики // Математические методы в технике и технологиях - ММТТ-23: сб. трудов XXIII Между нар. науч. конф. / ред. Балакирев B.C. — Саратов : СТТУ, 2010 г. — Т. 6. — с. 38-41.

104. Долинина О. II. и Кузьмин Л. К. Метод генерации тестов для отладки нейросетевых экспертных систем // Вестник Тамбовского государственного технического университета. — Тамбов : [б.п.], 2010 г.

105. Долинина О. II. [и др.] Задача прогноза развития нестабильной стенокардии методом нейронной сети // Технологии Интернет - на службу обществу - сборник статей по материалам Всероссийской научно-практической конференции. - Саратов : СТТУ, 2006 г. — 133-137 с.

106. Джексон 11. Введение в экспертные системы. — 1995. — 397 с.

107. Горбань Л. II. и Миркес Е. М. Функциональные компоненты нейрокомпьютера// 11сйроинформагика и ее приложения: Материалы III Всероссийского семинара. — Красноярск : КГТУ, 1995 г. — Т. 1. — с. 79-90.

108. Бураков М. В., Коновалов Л. С. и Шумилов U.M. Нейронный регулятор в системе авиационной атиюзовой автоматики // Нейроинформатика.— Спб : Санкт-11етсрбургский i осударственный Университет аэрокосмического приборостроения, 2003 г. — е. 34-36.

109. Благодатеких В. Д., Волпии В. Д. и 11оскакалов К. Ф. Стандартизация разрабо1ки программных средств/ ред. Разумов.-- Москва: Финансы и статистка, 2005. - 284 с.

110. Zakrzewski К. Verification of а trained neural network accuracy // Proc. International Joint Conf. on Neural Networks.— Washington, D.C. : [б.п.], 2001 г.— р. 1657-1662.

111. Wentworth .!., Knauss R. and Aougab 11. Verification, Validation and Evaluation ofTixpert S\stems.— Washington, D.C. : Federal Highway Administration, 2003.— 143 p.

1 12. Valiente G. Knowledge Base Verification using Algebraic 'Transformations.— [s.l.j : Universität de Les Illes Balears, 1994 r. - - 201 p.

113. Tsaihekhar W. h Zualkernan I. Testing Expert Systems using Conventional Techniques. — Minneapolis : University of Minnesota. — p. 44-46.

114. Tsai J. [m ;ip.j Knowledge-Based Software Architectures: Acquisition, Specification, and Verification // 11:1:1; Journal. — 2002 r. — p. 176-180.

115. Tovvell G. h Shavlik O. Knowledge-Based Artificial Neural Networks// Artificial Intelligence. — [6.m.J : University of Wisconsin, 1994 r. — p. 243-246.

1 16. Shannon C. A mathematical theory of communication // Bell System Technical Journal. — 1948 r. — Vol. 27. — p. 379-423 and 623-656.

117. Schumann J. n Nelson S. 'Toward V&V of Neural Network Based Controllers. — [6.m.| : NASA, 2002 r. — p. 23-26.

118. Royce W. Managing the Development of Large Software Systems// Proc. of IEEE. — Weskon : |6.h.|, 1970 r. — p. 45-5 I.

119. Rodvold D. A Software Development Process Model for Artificial Neural Networks in Critical Applications.- Washington D.C. : Proceedings of the 1999 International Joint Conference on Neural Networks (IJCNN'99), 1999 r.— p. 124130.

120. Piuri V. | h yip. ] A behavioral approach to testability of neural networks// IEEE 'Transactions on Knowledge and Data Engineering. —- 1996 i. — 8 : T. 3. — p. 233235.

121. Nikolopoulos Ch. Expert Systems: Introduction to First and Second Generation and Hybrid Knowledge Based Systems.— New York: Marcel Dekker, 1997 r.— j j 1 p.

122. Ngu\en I. Verifying consistency of Production Sysytems // Proc. of Con f. on AI Application. - Kissimmee : [s.n.j, 1987 r. —p. 4-8.

123. Nathareth D. Issues in the verification of knowledge based systems// Int. Joint Man-Machine Studies. — 1989 i. — 30. - p. 251-271.

124. Minsky M. u Papert S. Pcrscptrons. — MA : MIT Press, 1969. — 187 p.

125. Miller L. dynamic Testing of Knowledge Bases Using the Heuristic Testing Approach // Expert Systems with Applications. -- 1990 r. — 1(3). — p. 249-269.

126. Mareot B. Use of Expert Systems in Wildlife-Habitant Modeling// In Wildlife 2000: Modeling abitant Relationships of Terrestial Vertebrates. — Wisconsin : Univ. of Wisconsin Press, 1989 r. — p. 145-150.

127. Mareot B. Testing Your Knowledge Base // AI Expert. — 1997 r. — p. 43-47.

128. Krishnamurthy C., Padalkar S. and S/tipanovits J. Methodolodgy for Testing and Validating Knowledge Bases// Proc. of the 3th Conference on Artificial Intelligence for Space Applications. — 1987 r. — p. 3 18-326.

129. Kirkland E. h Glenn R. Using Neural Networks to Solve Testing Problems// IEEE! Transacions on Knowledge and Data Engineering. — 2000 r. — p. 56-60.

130. Kirani Sh., Zualkernan I. h Tsai T. Comparative Evaluation of Expert System Testing Methods. - Minneapolis : University of Minnesota, 2004 r. — p. 12-15.

131. Ishibuchi II. and Nii M. Generating Fu//.y If-Then Rules from Trained Neural Networks: Linguistic Analysis of Neural Networks// Proc. 1996 IE EE ICNN.— Washington, DC : [s.n.|. - Vol. Vol.2. — p. 1 133-1 138.

132. Hongjun L., Setiono R. n lluan L. NeuroRule: A eonnectionist approach to Data Mining// Proc.of the 21st VLDB Conference.— Zurich : |6.n.|, 1995 r.— p. 214220.

133. Gacem R. Expert System Quality Control // Inf. Process and Man. — 1996 r. — 2. - p. 171-183.

134. Einke K. [h ;ip.| Testing Expert Systems in Process Control// IEEE Transactions on Knowledge and Data Engineering. — 1996 r. — 3 : T. 8. •— p. 204206.

135. Cragun B. and Stendel 11. A Decision-table-based Processor for Checking Completeness and Consistency in Rule-based Expert Systems // Int. Joint Man-Mach. Stud. - 1997 r. -- 5. — p. 633-648.

136. Bohcm B. A Spiral Model of Software Development and Enhancement// Computer. — 1988 r. — p. 123-127.

137. Beeraft W., Lee P. and Newell R. Integration of Neural Networks And Expert Systems for Proccess Fault Diagnosis. — Queensland : University of Queensland. — p. 35-39.

138. Обращение к ресурсу www.intuit.ru. - от 10.08.2007.

139. Обращение к ресурсу www.harrisinteractivc.com. — от 12.12.2010.

140. Обращение к ресурсу http://www.osp.ru/os/1997/04/179201. — от 12.06.10.

141. Обращение к ресурсу http://www.consilium-mcdicum.com. — от 4 1 2 2008 г.