Разработка системы поддержки принятия решений в чрезвычайных информационных условиях тема диссертации и автореферата по ВАК РФ 05.25.05, кандидат технических наук Евграфов, Иван Павлович

• Евграфов, Иван Павлович
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Евграфов, Иван Павлович

ВВЕДЕНИЕ

ГЛАВА 1. Анализ известных методов и систем поддержки принимаемых решений (СППР)

1.1. Известные системы поддержки принятия решений

1.2. Отдельные аспекты оказания интеллектуальной поддержки в принятии решений

1.2.1. Моделирование процесса принятия решений

1.2.2. Компьютерные методы обучения

1.2.3. Обзор моделей численного оценивания сложных знаний-решений

1.3 Выводы по главе

ГЛАВА 2. Разработка СППР в чрезвычайных информационных условиях

2.1 Основные направления разработки

2.1.1 Общие положения концепции разработки СППР

2.1.2 Общие принципы построения деловых игр и анализа конкретных ситуаций

2.1.3 Метод представления решений

2.1.4 Метод численного оценивания решений 78 2.2. Разработка общей структуры СППР и её блоков

2.2.1. Обобщающая формализация задачи, структура СППР

2.2.2. Разработка основных принципов построения программного интерфейса СППР

2.2.3. Блоки БАРС и БППР

2.2.3.1 Структуры учёта информационных потоков системы.

База данных СППР

2.2.3.2 Пользовательский интерфейс и программная логика функционирования

2.2.3.3 Оценивание и представление результатов

2.2.4. Интегральное оценивание и представление результатов

2.3. Технология создания деловых игр и независимых тестовых заданий СППР

2.4. Общая программная структура СППР

2.5. Схемы проведения деловых игр

2.6. Выводы по главе

ГЛАВА 3. Применение разработанной СППР в чрезвычайных информационных условиях

3.1 СППР организаций для планирования их действий при пожарах

3.2 СППР подразделений пожарной охраны для планирования боевых действий

3.3 Возможное применение разработок в наиболее ответственных областях принятия решений

Введение диссертации (часть автореферата) на тему «Разработка системы поддержки принятия решений в чрезвычайных информационных условиях»

Данная работа посвящена проблемам повышения качества решений, принимаемых ЛПР {лицо, принимающее решение), при решении ими информационно сложных управленческих задач, когда вероятность ошибочных решений и цена этих ошибок велики.

К данной группе проблем с полным правом относят слабоструктурированные и неструктурированные задачи, характерные тем, что большинство параметров или все параметры этих задач, влияющие на решение, могут быть описаны и оценены только качественно, на логическом уровне.

Не только качественный характер параметров вызывает затруднения при решении управленческих задач. Также трудности вызывают задачи с большим количеством параметров, с недостаточностью нужной или избыточностью посторонней информации, с большой степенью недостоверности информации, с недостатком времени на принятие решения в условиях реального времени.

Известно множество управленческих ситуаций, в которых решение носит простой или даже элементарный характер, однако, тем не менее, в этих ситуациях совершаются ошибки, которые невозможно объяснить ни сложностью задачи, ни отсутствием необходимых знаний у ЛПР. Эти ошибки носят не случайный характер, они проистекают из не идеальности ЛПР, рассматриваемого в качестве некой машины для решений. Фактором, отрицательно влияющим на качество принятия решения ЛПР, является и сама управленческая ситуация, которая несёт в себе некую угрозу ЛПР. Управленческая ситуация способна вызвать у него волнение или сильный стресс и привести к неспособности ЛПР полностью адекватно в этих условиях оценить ситуацию и принять правильное решение.

Максимальные трудности в принятии адекватных ситуации управленческих решений возникают при совпадении перечисленных выше негативных факторов, совокупность которых мы будем называть чрезвычайными информационными условиями.

Под информационно сложными управленческими задачами мы будем понимать задачи, на качество решения которых влияет негативным образом любая совокупность из упомянутых факторов.

Наиболее ярким примером таких задач могут быть задачи, стоящие перед службами МЧС и сотрудниками организаций при пожарах, авариях и катастрофах. Во многих задачах, решаемых при ЧС, проявляются сразу все перечисленные выше негативные факторы. Кроме этого, заранее нельзя предсказать, как сложатся параметры, влияющие на развитие чрезвычайной ситуации (ЧС) и ликвидацию последствий от ЧС.

Класс управленческих задач, повышения качества решений которых мы добиваемся в нашей работе, шире задач по ликвидации чрезвычайных ситуаций (ЧС) и их последствий. В этот класс могут входить и вполне структурированные задачи и задачи, решение которых известно ЛПР заранее, но, тем не менее, сопровождающееся ошибками по тем или иным означенным выше причинам. Наиболее показательны всё же задачи, связанные с ЧС, к которым мы и будем по этой причине обращаться в нашей работе преимущественным образом.

Очевидно, что в современном усложнившемся мире, насыщенном техногенной деятельностью человека, невозможно свести к нулю возможность возникновения, как природных, так и техногенных катастроф, возможность возникновения ЧС.

Поэтому, если нельзя устранить возможность возникновения ЧС, представляется закономерной постановка вопроса о том, чтобы научится быть готовым к борьбе с ЧС, с ликвидацией их последствий. Данная задача не будет эффективно выполняться без решения проблемы принятия правильных и адекватных решений при ЧС.

Проблема предотвращения возникновения чрезвычайных ситуаций, борьбы с ними, принятия мер по ликвидации их последствий является весьма актуальной и злободневной в нашу эпоху техногенных катастроф.

Цена неправильных действий при ЧС весьма высока и может выражаться в уничтожении и повреждении дорогостоящего имущества, загрязнении окружающей среды, гибели людей, как это было при Чернобыльской аварии или относительно недавнем пожаре во Владивостоке и многих других ЧС.

Ошибки в процессе принятия решений совершаются, как по причинам человеческого фактора, так и по причинам сложности решаемой проблемы.

Попытаемся проанализировать основные факторы, негативно влияющие на качество принимаемых решений лицами, ответственными за принятие решений при ликвидации ЧС - управляющим персоналом и сотрудниками спасательных служб.

Многие ЧС являются стихийными процессами, которые протекают непредсказуемо, быстротечно и информационно насыщенно. ЧС во многом относятся к слабоструктурированным и неструктурированным задачам. В ЧС существует элемент случайности, они носят вероятностный характер, и поэтому трудно предсказуемы.

Решения при ЧС зачастую должны приниматься при дефиците времени, в состоянии психологического стресса, в котором находятся пострадавшие граждане и сотрудники спасательных служб, что также не может не сказываться на качестве принимаемых решений.

ЧС - по своему определению событие экстраординарное, не часто встречающееся в жизни обычного человека, попадая в которую, он теряется и теряет способность к выработке адекватных решений. У обычного человека, как правило, отсутствует опыт действий в подобных ситуациях. В таких сложных и ответственных задачах, как принятие решений во время ЧС, цена ошибочных действий не только чрезвычайно велика, но может быть даже фатальна. Поэтому самостоятельное значение при решении таких задач приобретает задача планирования решений во время ЧС на определённом объекте.

Систематическим проведением учебных спасательных мероприятий, мероприятий по планированию действий во время ЧС можно добиться выработки навыков действий во время ЧС у людей, задействованных в этих акциях.

Принимая те или иные решения, необходимо тщательно изучить объект управления, определить и оценить возможные альтернативные пути решения. Задача планирования решений представляет собой систему принятия решения без обратной связи, т.к. предполагается отсутствие реальных действий по принятию решений над реальным объектом. Она представляет собой чистый продукт интеллектуальной деятельности. Предполагается также отсутствие реальных результатов воздействий на объект и отсутствие оценивания этих результатов с коррекцией решения в зависимости от этих результатов.

Кроме этого, существуют такие объекты принятия решений, которые опасны для жизни или очень дорогостоящие. Для таких объектов недопустимо в исследовательских целях проводить натурные испытания с целью выявить пути решения задачи управления. Например, такими объектами являются атомные электростанции или военные объекты.

Решение управленческих задач с такими объектами возможно только путём планирования. Но при таком планировании возникает проблема необъективности решения, его неадекватности проблеме в условиях отсутствия оценки результатов в системах без обратной связи.

На различных этапах принятия решения, как в системах без обратной связи, так и в системах с обратной связью осуществляется оценка и отдельных этапов, и окончательного решения в целом. Оценка является необходимым элементом принятия решения. В принципе, после каждого этапа оценивания может возникнуть обратная связь, корректирующая ранее пройденные этапы. Необходимо обратить внимание на то, что на завершающих этапах принятия решения при планировании, а именно, при оценке конечных результатов используется, во-первых, не сам объект, а его модель и, во-вторых, принятые решения не выполняются, а имитируются на модели объекта. И в этом главное отличие принятия решений с обратной связью и без неё. Средствами повышения эффективности решения являются детализация отдельных этапов, их моделирование и объективная их оценка. И чем более объективно моделирование и оценка, тем более объективным будет и окончательное решение. С определённостью можно сказать, что жёсткость требований к моделям и оценкам результатов в системах без обратной связи выше, чем в системах с обратной связью. Отдельно взятое моделирование и оценивание результатов представляет собой сложную проблему.

Исходя из вышесказанного, можно сказать, что задача создания эффективных механизмов предупреждения возникновения ЧС, принятия верных решений во время ЧС и ликвидации их последствий является важнейшей задачей, которая стоит перед обществом в настоящее время. Создание таких механизмов в значительной степени позволит снизить количество материальных и человеческих потерь.

Одним из способов, призванным повысить качество принимаемых решений, является внедрение и активное освоение систем поддержки принятия решений при ЧС (СППР ЧС).

Системы поддержки принятия решений существуют уже на достаточно протяжённом отрезке человеческой истории. К ним можно отнести военные советы, всевозможные совещания и коллегии, аналитические центры. Следует заметить, что работа подобных организационных структур никогда не была достаточно чёткой и до конца формализованной вследствие субъективизма, отсутствия математического аппарата представления данных и ограниченности человеческого мозга по скорости обработки информации. Отчасти эти недостатки может исправить использование вычислительных машин, что позволит повысить эффективность систем поддержки принятия решений. I

Повышение качества решений, принимаемых при ЧС, возможно при их интеллектуальной поддержке, выражающейся в различных формах интеллектуально технических мероприятий, например, экспертном анализе, совещаниях, моделировании процесса ликвидации ЧС. При существующем уровне техники для повышения качества решений наиболее целесообразно применять автоматизированные системы информационной поддержки принятия решений, в которых гибко сочетаются возможности ЭВМ по скоростной обработке формализованной информации и лучшие качества человеческого интеллекта по обработке нечёткой и противоречивой информации.

Проблемам оказания интеллектуальной поддержки решений (ИПР) в разнообразных формах посвящена многочисленная литература. Известны, например, работы Арского Ю.М.[1], Резера С.М.[2], Гиляревского Р.С.[3], Финна В.К.[1,4], Абдрахимова Д.А., Иоффина А.И. [5], Трахтенгерца Э.А. [68], Черноруцкого И.Г. [9], Шамиса Л.А. [10], Ларичева О.Щ11Д2], Т.Саати [13], Э.Наумана [14], П.Фишберна [15] и др. авторов.

Среди работ по проблемам оказания ИПР при ЧС следует выделить работы Брушлинского Н.Н.[16], Пранова Б.М. [17], Мешалкина Е.А.[18], Денисова А.Н.[19], Ноженковой Л.Ф. [20] и др. авторов.

Наличие существенного человеческого фактора в применении ИПР ставит задачу адаптации ИПР к уровню восприятия ЛПР, вплоть до создания интерфейса ИПР, использующего естественные языки человеческого общения. Ограничение времени на выработку и принятие решений в ряде задач диктует необходимость разработки СППР, применяющихся на фазе подготовки к принятию решения, когда нет таких жёстких ограничений по времени.

В последнее время начинает появляться понимание, что в случаях, когда невозможна непосредственная интеллектуальная поддержка в момент принятия решения, и качество решения зависит исключительно от интеллектуальных возможностей ЛПР, единственной возможностью поднять качество решений является обучение ЛПР принятию решений. Под этим можно понимать, как непосредственное обучение, так и анализ уже принятых решений вместе с планированием новых решений.

Таким образом, для рассматриваемого круга управленческих задач поддержка принятия решения осуществляться в двух формах — обучении управленческого персонала и планировании предстоящих решений.

Составными частями СППР, имеющими самостоятельное значение, являются модели описания и оценивания решений.

Наиболее традиционным является рассмотрение процесса принятия решения на уровне описания и оценивания свойств управляемого материального объекта: физического, экономического, социального и т.п. Вторым подходом, естественным в СППР, использующих лучшие качества человеческого интеллекта, является рассмотрение решения на уровне интеллектуальных процессов ЛПР. Такой подход не является альтернативой, исключающей первый подход, он расширяет процесс описания и оценивания решений на ЛПР, как на необходимый элемент в цепочке принятия решений. Данный подход к разработке моделей описания и оценивания решений предполагает применение методов искусственного интеллекта.

В силу сложности задач по разработке СППР, многие аспекты их решения остаются ещё рассмотренными не полностью. Известные алгоритмы СППР по ряду причин не всегда применимы и не всегда удовлетворяют требованиям объективности описания и оценивания эффективности решений. Существует также проблема создания достаточно универсальных и адаптированных к восприятию ЛПР алгоритмов СППР. Учитывая чрезвычайно широкий спектр возможных управленческих ситуаций, которые можно отнести к ЧС, их сложность, присущую им индивидуальную специфичность, проблема планирования каждой из них и, в особенности, проблема планирования группы возможных ЧС приобретает крайне трудоёмкий, а по причине творческого характера процесса планирования, даже трудно прогнозируемый во времени характер.

В этих условиях, для интенсификации и повышения качества процесса планирования большое значение приобретает разработка и автоматизация технологии планирования.

Вследствие вышеозначенных причин задача разработки более эффективных алгоритмов СППР в чрезвычайных информационных условиях к принятию решений является актуальной.

Объектом исследования являются информационные процессы принятия решений и направления повышения качества решений с помощью СППР.

Предметом исследования являются методы и системы поддержки принятия решений слабоструктурированных задач по управлению информационно-насыщенными процессами, принятие решений в которых происходит в условиях ограниченного времени.

Целью работы является разработка системы поддержки принятия решений в чрезвычайных информационных условиях в форме подготовки ЛПР к принятию решения и планирования решений как средства повышения эффективности принимаемых решений для исследуемых задач, а также разработка технологии создания подобных систем для различных объектов управления.

Для достижения поставленной цели в диссертационном исследовании определены следующие основные задачи:

1. Провести исследование и критический анализ известных систем и методов поддержки принятия решений в исследуемой и схожих областях принятия управленческих решений.

2. Выработать концепцию построения новой СППР, позволяющую оказать действенную поддержку принятия решений на стадии, предшествующей возникновению управленческой ситуации. В соответствии с концепцией разработать общую структуру СППР.

3. Разработать СППР организации при пожаре.

4. В процессе разработки программного обеспечения СППР выработать технологию создания подобных систем для различных объектов управления.

Методы исследования включают методы теории управления и принятия решений, искусственного интеллекта, теории вероятности, методы экспертного анализа, информатики.

Научная новизна работы заключается в следующем:

Разработана структура и алгоритмы функционирования СППР в чрезвычайных информационных условиях с новыми совокупностями признаков, а именно:

1. Новой является общая структура СППР в чрезвычайных информационных условиях, в том числе, за счёт впервые применённых в этих целях метода психологического моделирования сложных знаний (решений) и метода вероятностного оценивания сложных знаний, а также нового программного блока анализа и решения характерных модельных ситуаций при чрезвычайных ситуациях.

2. Новой является СППР организации при пожарах

3. Новой является автоматизированная технология создания СППР в чрезвычайных информационных условиях для различных объектов управления.

Практическая значимость работы заключается в возможности использования её результатов для более качественной подготовки управленческого персонала государственных оперативных служб и персонала организаций по ликвидации ЧС и их последствий.

Практическая реализация результатов работы выражается в использовании разработанных деловых игр и задачах по конкретным ситуациям пожаров на тактических занятиях в учебных заведениях МЧС России.

Внедрение результатов работы подтверждено актом.

Публикации. По теме работы автором опубликовано 9 печатных работ.

Апробация работы осуществлялась в форме докладов на 5-й международной специализированной выставке «Пожарная безопасность XXI века» в рамках научной конференции 2006 года «Современные средства и способы обеспечения пожарной безопасности»; ХУ1-Й Международной конференции-выставке «Информационные технологии в образовании» 2006 года.

На защиту выносятся: структура и алгоритмы функционирования системы поддержки принятия решений в чрезвычайных информационных условиях; общие принципы построения СППР организации при чрезвычайных ситуациях; алгоритмы функционирования программного обеспечения СППР; принципы технологии разработки СППР.

Структура и объем работы.

Диссертационная работа состоит из введения, трёх глав, заключения, списка литературы и приложений. Работа содержит 214 страницы текста с рисунками и таблицами, библиография включает 88 источников.

Заключение диссертации по теме «Информационные системы и процессы, правовые аспекты информатики», Евграфов, Иван Павлович

Основные выводы и результаты

1) Проведён анализ известных СППР на предмет определения основных направлений разработки для оказания интеллектуальной поддержки принятию решений в информационно-сложных и быстротечных управленческих ситуациях. Особенное внимание уделено существующим системам интеллектуальной поддержки принятия решений при чрезвычайных ситуациях (ЧС), как системам, предназначенным для повышения качества решений наиболее информационно сложных управленческих ситуаций. Проведён анализ известных методов представления решений и соответствующих моделей описания решений (сложных знаний). Проведён анализ известных методов оценивания сложных знаний (решений).

2) Разработана общая концепция построения СППР для информационно сложных, быстродействующих управленческих ситуаций. Согласно этой концепции интеллектуальная поддержка осуществляется на предварительной стадии к принятию решения в форме процесса планирования, объединённого с процессом обучения. Планирование-обучение использует для представления решений метод психологического моделирования сложных знаний (решений), для численного оценивания решений - метод вероятностного оценивания сложных знаний (решений), а наиболее эффективными формами планирования-обучения в СППР являются анализ конкретных ситуаций и деловые игры. Концепция предусматривает построение СППР из трёх относительно независимых блоков, характеризующихся постепенно возрастающей информационной сложностью: информационно — ознакомительный блок, блок анализа и решения конкретных ситуаций, блок планирования предстоящих действий.

3) Разработаны принципы программной реализации СППР, механизм взаимодействия пользователя и системы, механизм проведения экспертизы знаний пользователя. Предложены общие принципы программного интерфейса СППР в чрезвычайных условиях, выработано руководство по стилю.

4) Разработана и рассмотрена технология создания деловых игр и независимых тестовых заданий.

5) Разработаны СППР организаций для планирования их действий при пожарах и СППР подразделений пожарной охраны для планирования боевых действий. Рассмотрен и обоснован правовой аспект актуальности создания подобных СППР. Структура и алгоритмы функционирования СППР являются новыми и обеспечивают повышения качества решений, принимаемых руководителями организаций, должностными лицами, ответственными за пожарную безопасность, сотрудниками организаций при возникновении пожаров в их организациях, руководителями тушения пожаров из числа сотрудников МЧС. Разработанная СППР организации даёт возможность постепенной, глубокой проработки задач, возникающих при пожаре в конкретной организации, и обеспечивает наилучшую из возможного психологическую подготовку персонала организаций к действиям в экстремальных условиях пожара. СППР обеспечивает объективную экспертизу готовности сотрудников организации и должностных лиц пожарной охраны, что также ведёт к повышению качества принимаемых решений.

6) Проанализированы направления возможного применения разработок в наиболее ответственных областях принятия решений. К таким областям можно отнести юриспруденцию, менеджмент, дистанционное обучение, психометрические исследования интеллекта, другие направления, характеризующиеся сложной интеллектуальной деятельностью, например, операторы транспортных потоков, операторы атомных станций и т.п.

7) Результаты разработок использованы в различных организациях.

Список литературы диссертационного исследования кандидат технических наук Евграфов, Иван Павлович, 2008 год

1.М., Финн В.К. «Принципы конструирования интеллектуальных систем». Информационные технологии и вычислительные системы №4, 2008

2. Резер С.М., Осипов В.Т. «Информационно-управляющие системы на железнодорожном и промышленном транспорте за рубеэюом». М., Наука 1979.

3. Гиляревский P.C. «Информатика как наука об информации», Москва, 2006.

4. Финн В.К. «Интеллектуальные системы: проблемы их развития и социальные последствия» // Будущее искусственного интеллекта». М., 1991. С. 157-177.

5. Д. Абдрахимов, А. Иоффин. «Универсальная информационно-аналитическая система (ИАС) поддержки принятия решений "ОЦЕНКА и ВЫБОР"».II Softel: 100 компьютерных программ для бизнеса, издательство "ХАМТЕК ПАБЛИШЕР".

6. Трахтенгерц Э.А., «Современные компьютерные технологии управления информационно-аналитической деятельностью». Москва, 2007.

7. Трахтенгерц Э. А. «Компьютерная поддержка переговоров при согласовании управленческих решений». Москва, 2003.

8. Трахтенгерц Э.А. «Компьютерный анализ в динамике принятия решений». Приборы и системы управления. # 1, 1997.

9. Черноруцкий И.Г. «Методы принятия решений». С.-П, 2005.

10. Шамис А.Л. «Пути моделирования мышления». Москва, 2006.

11. Ларичев О.И. «Объективные модели и субъективные решения». М., Наука. 1987.

12. Ларичев О.И., Мошкович Е.М. «Качественные методы принятия решений». М., Наука. Физматлит. 1996.

13. Т.Саати «Принятие решений. Метод анализа анархий». М., Радио и связь. 1993.

14. Э.Науман. «Принятьрешение, но как?» М.: Мир, 1987.

15. П. Фишберн. «Теория полезности для принятия решений». — М, Наука, 1978.

16. Брушлинский H.H. «Моделирование оперативной деятельности пожарной службы». М. Стройиздат, 1981 г.

17. Пранов Б.М. «О моделях оптимального распределения ресурсов пожарной охраны.// Опасные факторы пожара и противопожарная защита». Сборник науч. трудов. М, ВИПТШ МВД СССР, 1989.

18. Е.А. Мешалкин, В.Т. Олейников, А.П. Абрамов. «Структура программно-аппаратного комплекса поддержки принятия решений РТП».Н Крупные пожары: предупреждение и тушение. Материалы XVI научно-практической конференции. ФГУ ВНИИПО МВД РФ. Часть 2, М„ 2001.

19. Денисов А.Н. «Моделирование сосредоточения и введения сил и средств для планирования боевых действий пожарных подразделений при пожарах в резервуарных парках». Диссертация на соискание учёной степени к.т.н., Академия ГПС МВД России, 2001 г.

20. Ноженкова Л.Ф. «Интеллектуальная поддержка прогнозирования и ликвидации чрезвычайных ситуаций» / Интеллектуальные системы. Красноярск, изд. КГТУ, 1997.

21. С. Рассел, П. Норвиг «Искусственный интеллект. Современный подход», Москва С.Петербург - Киев, 2007.

22. Баргесян A.A., Куприянов М.С., Степаненко В.В., Холод И.И. «Технологии анализа данных». С.-П. 2007

23. Юрченко В. В. «Методы искусственного интеллекта и экспертные системы». М. 1992.

24. Б.В.Костров, В.Н.Ручкин, В.А.Фулин. «Основы искусственного интеллекта». Москва, Десс, 2007.

25. Интернет сайт http://www.softmart.ru

26. Интернет сайт http://www.forecsys.ru

27. Интернет сайт http://www.intalev.ru

28. Интернет сайт http://www.ibm.com

29. Интернет сайт http://www.mrcb.ru

30. Ясницкий Л.Н. «Введение в искусственный интеллект», Москва, «Академия», 2005

31. Д. Уотермен. «Руководство по экспертным системам». М.Мир,1989

32. Д.Джарратано, Г.Райли. «Экспертные системы. Принципы разработки и программирование». Издательсикй дом «Вильяме», 2007.

33. Т.А.Гаврилова, В.Ф.Хорошевский. «Базы знаний интеллектуальных систем». СПб, Питер, 2001

34. Геловани В. А., Башлыков А. А., Бритков В. Б., Вязилов Е.Д. «Интеллектуальные системы поддержки принятия решений в внештатных ситуациях с использованием информации о состоянии природной среды». М.: Эдиториал УРСС, 2001.

35. Открытый электронный журнал «Химическое разоружение», Интернет сайт http://www.chemicaldisarmament.ru

36. Интернет сайт http://www.mchs.gov.ru

37. Интернет сайт www.daytrading.com.ua

38. Справочник по искусственному интеллекту. В 3-х т. Под редакцией Э.В.Попова и Д.А.Поспелова М.Радио и связь, 1990

39. Нильсон Н. «Принципы искусственного интеллекта». М. Радио и Связь. 1985

40. Минский М. «Структура для представления знаний». М.Мир, 1978

41. Евграфов П.М., Глуховенко Ю.М. «Ноу-хау обучающих программ и деловых игр». Издательство «АРС», Москва 2004.

42. Евграфов П. М. «Анализ объективности методов оценивания сложных знаний. О вероятностной методике оценивания знаний психологически понятийной структуры». !! Информационные технологии. №5. 2002 г

43. Евграфов П. М. «Основания вероятностного подхода к процессу приобретения и оцениванию сложных знаний». // Научно-техническая информация. Серия 2. Издательство ВИНИТИ. 2002 г. № 5. с. 1-5.

44. Евграфов П. М., «Способ оценки знаний и интеллектуальных возможностей». Решение о выдаче патента на изобретение от 14.01.03 по заявке на изобретение России № 2001115884 от 15.06.01.

45. Кручинин В. В. «Разработка компьютерных учебных программ». Томск. Издательство Томского государственного университета. 1998.

46. Лущеев В. И. «Конструктор обучающих программ КОП. Инструкция по эксплуатации». Омский юридический институт. 1996.53. «Диалоговая информационно обучающая адаптивная система

47. Лазарева Г. В., Турковская М. Б. «Повышение эффективности компьютерных обучающих программ. //Деловые игры и методы активного обучения». Межвузовский сборник научных трудов. Челябинский государственный технический университет. Челябинск. 4.1. 1993.

48. Геронимус Ю.В. «Игра, модель, экономика». — М.: Знание, 1989.208 с.

49. Грэм Р., Грэй Р. «Руководство по операционным играм». — М.: Советское радио, 1977. 376 с.

50. Гидрович С.Р., Сыроежкин И.М. «Игровое моделирование экономических процессов (деловые игры)». — М.: Экономика, 1976.

51. Платов В.Я., Подиновский В.В., Бельский А.А. «Деловые игры по охране труда в строительстве». М.: Стройиздат, 1987.

52. Лифшиц А. Л. «Деловые игры в управлении».—Л.: Лениздат, 1989.

53. Бешелев С. Д., Гурвич Ф.Г. «Экспертные оценки в принятии плановых решений». — М.: Экономика, 1976.

54. Орлов А.И. «Экспертные оценки». Ж-л "Заводская лаборатория". 1996. Т. 62. №1.

55. Заде Л. А. «Понятие лингвинистической переменной и его применение к принятию приближённых решений». М. МИР. 1976.

56. Панфилов С. А. «Контроль знаний на ЭВМ». Саранск. Мордовский университет. 1989.

57. Свиридов А. П. «Основы статистической теории обучения и контроля знаний». М. Высшая школа. 1981.

58. Д.Н.Колисниченко. «Самоучитель Linux. Установка, настройка, использование», С.-П. 2004.

59. Попов Э.В., Фоминых И.Б., Кисель Е.Б., Шапот М.Д. «Статистические и динамические экспертные системы». М., Финансы и статистика. 1996.

60. Р.Саймон. «Microsoft Windows API. Справочник системного программиста». Издательство «Диасофт», Киев, 2004

61. Д.Кузан, В.Шапоров, «Программирование Win32 API в Delphi». СПб, 2005.

62. В.Фаронов, «Программирование баз данных в Delphi 7», СПб, 2003

63. Дж. Грофф, П.Вайнберг. «Энциклопедия SQL», СПб, 2003

64. Ю.Ревич. «Нестандартные приёмы программирования на Delphi». СПб, 2005

65. Ольга Кокорева. «Реестр Windows ХР». СПб, 2007

66. А.Шкрыль. «Разработка клиент серверных приложений в Delphi», СПб, 2006

67. Марко Кэнту. «Delphi 7 для профессионалов». СПб, 2005.

68. Мартин Грабер. «SQL справочное руководство». Москва, 2001

69. П.М. Евграфов, И.П. Евграфов. «Психологическое моделирование и вероятностное оценивание сложных знаний в области пожарной безопасности». II Пожаровзрывобезопасность. 2006. - № 3. - с. 21 - 29.

70. Евграфов П.М., Евграфов И.П. «Система интеллектуальной поддержки принятия решений организации при пожаре». II Пожаровзрывобезопасность. 2006. - № 4. - с. 10 - 18.

71. Евграфов И.П. «Один из путей компьютеризации метода анализа конкретных ситуаций». // Научно-техническая информация. Серия 2. Издательство ВИНИТИ. 2007 г. № 3. с. 37-41 (материал принят к опубликованию 16.05.06 рекомендация ВАК до 01.01.07).

72. Евграфов И.П. «Компьютерная обучающая система с деловыми играми». II Информационные технологии. №3. 2007 г., стр. 49-52.

73. Евграфов И.П. «Разработка системы интеллектуальной поддержки принятия решений при чрезвычайных ситуациях на предварительной стадии». II Научно-техническая информация. Серия 1. Издательство ВИНИТИ. 2007 г. № 9, с. 7-12.

74. Начальник Государственного образовательного учреждения „ дополнительного профессионального образования ¿Р'/Л- ч\ «Подольский учебный центр

75. Федеральной противопожарной службы»1. Щ службы1. Ю.М. Кривальцевич» 2008 г.1. У.'