Методы и средства верификации баз знаний в интегрированных экспертных системах тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Смирнов, Виталий Валерьевич

• Смирнов, Виталий Валерьевич
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Смирнов, Виталий Валерьевич

Введение

1. АНАЛИЗ СОВРЕМЕННОГО СОСТОЯНИЯ В ОБЛАСТИ ВЕРИФИКАЦИИ БАЗ ЗНАНИЙ ЭКСПЕРТНЫХ СИСТЕМ

1.1. Место верификации в жизненном цикле экспертных систем

1.2. Основные понятия и определения в области верификации баз знаний экспертных систем

1.3. Проблемы верификации БЗ ЭС

1.3.1. Анализ причины появления ошибок в БЗ ЭС

1.3.2. Проблема верификации баз знаний, содержащих различные виды НЕ-факторов 28 1.3 3. Проблема практической решаемости задач верификации 33 1.3.4. Проблемы верификации БЗ ЭС на этапе структурирования знаний

1.4. Классификация и сравнительный анализ методов верификации баз знаний экспертных систем

1.4.1. Методы обнаружения аномалий

1.4.2. Методы обнаружения статических аномалий, использующие непосредственный анализ правил

1.4.3. Методы обнаружения статических аномалий, основанные на таблицах (матрицах)

1.4.4. Вычислительная сложность алгоритмов обнаружения статических аномалий

1.4.5. Методы обнаружения динамических аномалий, основанные на логике первого порядка

1.4.6. Методы обнаружения аномалий, основанные на графах

1.4.7. Методы обнаружения аномалий, использующие метазнания

1.4.8. Использование таблиц (матриц) при обнаружении динамических аномалий

1.4.9. Вычислительная сложность алгоритмов обнаружения динамических аномалий

1.4.10. Методы обнаружения аномалий, учитывающие наличие в БЗ знаний, содержащих НЕ-факторы

1.4.11. Методы доказательства правильности БЗ ЭС

1.4.12. Сокращение перебора в методах верификации БЗ 47 1 4.13. Общая классификация методов верификации БЗ

1.5. Классификация и сравнительный анализ средств верификации баз знаний экспертных систем

1.6. Особенности верификации БЗ ИЭС в рамках ЗОМ

1.7. Постановка задачи диссертационного исследования 56 Выводы

2. ТЕОРЕТИЧЕСКИЕ ОСНОВЫ РАЗРАБОТКИ СРЕДСТВ ВЕРИФИКАЦИИ ПОЛЯ ЗНАНИЙ И БАЗЫ ЗНАНИЙ В ПРОЦЕССЕ ПОСТРОЕНИЯ СТАТИЧЕСКИХ ИЭС

2.1. Обобщенная модель обнаружения аномалий в БЗ

2.2. Метод обнаружения статических аномалий в ПЗ и БЗ, основанный на таблицах решений

2.3. Метод обнаружения динамических аномалий в ПЗ и БЗ, основанный на сетях Петри 84 Выводы

3. ПРОЕКТИРОВАНИЕ И ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СРЕДСТВ ВЕРИФИКАЦИИ ПОЛЯ ЗНАНИЙ И БАЗЫ ЗНАНИЙ

3.1. Анализ системных требований на разработку средств верификации, функционирующих в составе комплекса АТ-ТЕХНОЛОГИЯ

3.2. Проектирование средств обнаружения статических аномалий в ПЗ и БЗ

3.3. Проектирование средств обнаружения динамических аномалий в ПЗ и БЗ

3.4. Проектирование средств формирования и исполнения плана верификации ПЗ и БЗ

3.5. Реализация компонентов верификации ПЗ и БЗ

3.6. Проектирование и реализация средства визуализации протокола верификации

ПЗ или БЗ

3.7. Мастер корректировки ПЗ и БЗ 109 Выводы

4. ЭКСПЕРИМЕНТАЛЬНАЯ ПРОВЕРКА МЕТОДОВ, АЛГОРИТМОВ И СРЕДСТВ ВЕРИФИКАЦИИ ПОЛЯ ЗНАНИЙ И БАЗЫ ЗНАНИЙ ИЭС. ВНЕДРЕНИЕ РАЗРАБОТАННЫХ ПРОГРАММНЫХ СРЕДСТВ

4.1. Экспериментальная проверка методов и алгоритмов верификации ПЗ и БЗ

4.2. Сравнение характеристик реализованных средств верификации ПЗ и БЗ с существующими средствами обнаружения статических аномалий

4.3. Сравнение характеристик реализованных средств верификации ПЗ и БЗ с существующими средствами обнаружения динамических аномалий

4.4. Экспериментальная проверка средств верификации ПЗ и БЗ

4.5. Использование разработанных программных средств при создании ИЭС КИВС

4.6. Использование разработанных программных средств в области медицинской диагностики

4.7. Применение средств верификации БЗ ИЭС в учебном процессе МИФИ и РГСУ 128 Выводы 130 Выводы по диссертации 131 Литература 132 Приложения

Введение диссертации (часть автореферата) на тему «Методы и средства верификации баз знаний в интегрированных экспертных системах»

Особенности верификации традиционных (простых продукционных) экспертных систем (ЭС), связанные с их назначением, архитектурой и жизненным циклом, требуют проведения отдельных исследований в области верификации ЭС. Как известно, ЭС ориентированы на тиражирование опыта высококвалифицированных специалистов в областях, где качество принятия решений традиционно зависит от уровня экспертизы, например, медицина, юриспруденция, геология, экономика, военное дело, в частности, ЭС применяются для решения таких критических задач, как управление воздушным движением, ядерными реакторами и системами оружия.

ЭС предназначены для решения неформализованных задач, к которым относятся задачи, обладающие одной или несколькими из следующих характеристик: задачи не могут быть заданы в числовой форме; цели не могут быть выражены в терминах точно определенной числовой функции; не существует алгоритмического решения задачи; алгоритмическое решение существует, но его нельзя использовать из-за ограниченности ресурсов (время, память).

Главное архитектурное отличие ЭС от других программных средств - это наличие базы знаний (БЗ). С конца 70-х годов проблемы построения БЗ становятся центральными в исследованиях по искусственному интеллекту. При этом, такие процедуры, как анализ предметной области, получение знаний и их структурирование, выполняемые инженером по знаниям, традиционно считаются "узким местом" проектирования ЭС и усилия разработчиков направлены на создание инструментальной программной поддержки деятельности инженера по знаниям и эксперта.

Важной особенностью современного состояния исследований и разработок в области ЭС является значительный рост внимания к вопросам верификации БЗ ЭС, по которой чаще всего понимается обнаружение логических ошибок в представлении знаний. Постоянная потребность в верификации БЗ ЭС в течение всего жизненного цикла ЭС связана с трудностями получения знаний из их основного источника, которым, как известно, является эксперт. Результаты исследований в области ЭС показали, что суть трудностей «отбора» знаний эксперта состоит в их «дискретности», неполноте и плохой структурированности. Кроме того, требуется контроль за возможными ошибками, допускаемыми экспертом при извлечении из него знаний. Таким образом, целый ряд трудностей верификации БЗ ЭС, обусловленных спецификой технологических процессов разработки ЭС, таких как сложность получения и структурирования экспертных знаний, многообразие используемых языков представления знаний, отсутствие общепризнанных методов оценки результатов верификации БЗ и др., делает исследования в области верификации БЗ ЭС значимыми и актуальными.

Для нового поколения современных ЭС характерна способность сочетать решение неформализованных задач с задачами, решаемыми традиционными программами, что создает дополнительные трудности проверки правильности создаваемых для них БЗ. К таким системам, в частности, относятся системы типа интегрированных ЭС (ИЭС), где эти трудности связанны с масштабируемостью архитектуры ИЭС, позволяющей расширять функциональность систем с помощью дополнительных подсистем, что приводит к возрастанию числа стадий и итераций в моделях жизненного цикла построения отдельных компонентов ИЭС и повышению доли недостоверной и ошибочной информации.

В проведенных автором исследованиях использован практический опыт разработки прикладных интегрированных ЭС на основе заданно-ориентированной методологии (ЗОМ) и автоматизированной технологии, включающей инструментарий нового поколения АТ-ТЕХНОЛОГИЯ, в результате которого был вьивлен ряд проблем, связанных с процессами верификации БЗ ИЭС. Основными из этих проблем являются значительные объемы содержащейся в БЗ ИЭС информации, приводящие к существенным вычислительным затратам, трудоемкость привлечении экспертов к процессам верификации БЗ ИЭС, необходимость учета неопределенных, неточных, нечетких и других видов недостоверных знаний, эксплицитно проявляющихся в рассуждениях экспертов. Однако, адекватных методов и средств верификации БЗ прикладных ИЭС в настоящее время практически не существует, поэтому исследование и разработка методов и средств верификации БЗ ИЭС, является актуальным.

Целью диссертации является исследование и разработка методов и инструментальных программных средств верификации БЗ ИЭС в рамках ЗОМ, повышающих степень автоматизации процессов построения поля знаний и БЗ для ИЭС.

Для достижения поставленной цели в диссертации решены следующие основные задачи.

1. На основе анализа существующих методов и средств верификации БЗ ЭС построена обобщенная модель обнаружения аномалий в БЗ ЭС.

2. Разработаны методы обнаружения статических и динамических аномалий в поле знаний и БЗ ИЭС, предусматривающие совместную обработку неопределенных, неточных и нечетких знаний.

3. Выполнен анализ системных требований и проектирование инструментальных программных средств верификации и корректировки поля знаний и БЗ в соответствии с ЗОМ.

4. Разработаны инструментальные программные средства верификации поля знаний и БЗ, включенные в состав комплекса АТ-ТЕХНОЛОГИЯ третьего поколения.

5. Проведена экспериментальная апробация предложенных алгоритмов и разработанных инструментальных программных средств верификации поля знаний и БЗ для задач медицинской диагностики и проектирования корпоративных информационно-вычислительных сетей.

Для решения поставленных задач в диссертации использованы методы искусственного интеллекта (модели и методы представления и обработки знаний, методы инженерии знаний), нечеткая математика, теория множеств, теория графов, теория построения трансляторов, технология разработки программного обеспечения. В диссертации получены следующие новые результаты.

1. Построена обобщенная модель обнаружения аномалий в БЗ ЭС на основе выполненного анализа существующих методов и средств верификации БЗ ЭС.

2. Разработан оригинальный метод обнаружения статических аномалий в поле знаний и БЗ ИЭС, позволяющий учитывать случаи одновременного присутствия неопределенных, неточных и нечетких знаний.

3. Разработан оригинальный метод обнаружения динамических аномалий в поле знаний и БЗ ИЭС, который предусматривает совместную обработку неопределенных, неточных и нечетких знаний.

4. Впервые проведены исследования особенностей применения средств верификации на различных стадиях жизненного цикла построения ИЭС, влияющих на формирование и выполнение плана обнаружения аномалий.

5. Созданы оригинальные инструментальные программные средства верификации поля знаний и БЗ в ИЭС.

6. Разработан «мастер» автоматизированной корректировки поля знаний и БЗ, использующий данные протокола верификации об обнаруженных статических аномалиях в поле знаний и БЗ в процессе построения ИЭС.

В результате выполненных исследований разработаны модели, методы, алгоритмы и инструментальные программные средства, позволяющие снизить трудоемкость верификации и корректировки поля знаний и БЗ в процессе разработки прикладных ИЭС.

Основные научные результаты, выносимые на защиту: 1. Новая обобщенная модель обнаружения аномалий в БЗ ЭС, построенная на основе выполненного анализа существующих методов и средств верификации БЗ ЭС.

2. Оригинальные методы верификации поля знаний и БЗ в ИЭС, ориентированные на обнаружение как статических, так и динамических аномалий в поле знаний и БЗ, а также совместную обработку неопределенных, неточных и нечетких знаний.

3. Оригинальный подход к построению и исполнению плана верификации поля знаний, основанный на комбинированном использовании критериев охвата и метазнаний.

4. Комплекс инструментальных программных средств верификации и корректировки поля знаний и БЗ.

Практическая значимость проведенных исследований и полученных результатов заключается в разработке методов верификации поля знаний и БЗ, которые могут применяться для обнаружения нарушений целостности и согласованности в знаниях, представленных в виде объектов и правил, содержащих утверждения типа «объект-атрибут-значение-коэффициенты». Важной особенностью предложенных методов является возможность обработки значительных объемов информации, включающей, в том числе, неопределенные, неточные и нечеткие знания. Способность к обнаружению нарушений в большом объеме знаний достигается за счет комбинированного использования критериев охвата и метазнаний, что подтверждается результатами проведенных экспериментов.

Разработанные в диссертации инструментальные программные средства верификации поля знания и БЗ в составе комплекса АТ-ТЕХНОЛОГИЯ использованы при разработке отдельных компонентов для нескольких ИЭС, что подтверждается актами об использовании.

Во введении обоснована актуальность темы диссертации, её научная новизна и практическая значимость, сформулирована цель диссертационного исследования.

В первом разделе представлен анализ современного состояния в области верификации БЗ ЭС. Рассмотрены процессы верификации, как составляющие процессов жизненного цикла программного обеспечения вообще и ЭС, в частности. Показана роль верификации БЗ ЭС в процессах тестирования ЭС. Выделены проблемы, связанные с верификацией БЗ ЭС. В том числе, рассмотрены проблема верификации БЗ, содержащих различные виды НЕ-факторов, проблема «комбинаторного взрыва» при верификации БЗ ЭС, требующая пристального внимания при разработке ИЭС, в связи с тем, что создаваемые БЗ могут достигать достаточно больших объемов, проблемы верификации БЗ ЭС на этапе структурирования знаний. Приведены основные понятия и определения в области верификации программного обеспечения и показана их специфика для случая создания БЗ ЭС.

В диссертационном исследовании показано, что большинство современных методов верификации БЗ ЭС ориентированы в большей степени не на выявление конкретных ошибок, а на обнаружение логических аномалий, каждая из которых является признаком появления ошибок, относящихся к отдельной группе. Предложенная в диссертации классификация аномалий послужила основой для сравнения возможностей разнообразных методов и средств верификации БЗ ЭС по их способностям к обнаружению аномалий различных типов.

В диссертации также показано, что, несмотря на внешнее многообразие способов внутреннего представления знаний, на основе которых реализованы конкретные методы обнаружения аномалий, большинство методов основано на разновидностях правил, таблиц, логических моделей или графов. При этом значительное внимание в диссертации уделено анализу способов внутреннего представления, учитывающих случаи представления в БЗ ЭС НЕ-факторов знаний (термин НЕ-факторы впервые введен А.С.Нариньяни в середине 80-х годов). Показано, что такие случаи учитываются все еще не достаточно полно, причем у исследователей не выработано единого взгляда на природу и способы проявления знаний, содержащих НЕ-факторы (исключением является НЕ-фактор нечеткость, для которого в настоящее время существует более или менее универсальное определение).

В диссертации рассмотрена проблема «комбинаторного взрыва», возникающая с ростом объемов создаваемых БЗ, которая наиболее ощутима в алгоритмах обнаружения динамических аномалий, обладающих экспоненциальной временной вычислительной сложностью по отношению к количеству правил. Однако, предложенные на сегодня способы сокращения количества анализируемых комбинаций, среди которых наиболее распространенные основаны на индексации правил, включающей разбиение на кластеры, и использовании метазнаний, как правило, определяются особенностями конкретных видов внутреннего представления знаний.

В диссертации также исследованы вопросы, связанные с процессами верификации на этапе структурирования знаний, на котором информация, полученная от экспертов или других источников, структурируется, образуя поле знаний - полуформализованное описание знаний о предметной области в том виде, в каком его выразил инженер по знаниям (например, в виде графа, таблицы, диаграммы или др.). Поскольку структура поля знаний в одних случаях определяется конкретной методологией построения экспертных систем, в других - специально «изобретается» инженером по знаниям для конкретной проблемной области, то одной из возникающих на данном этапе проблем является применимость для верификации поля знаний уже существующих методов и программных средств.

Представленные в первом разделе диссертации проблемы верификации, связанные с представлением различных НЕ-факторов знаний и «комбинаторным взрывом», рассмотрены, прежде всего, с точки зрения верификации поля знаний, что имеет важное значение при использовании ЗОМ, включающей в жизненный цикл построения ИЭС этап структурирования информации, извлеченной из нескольких источников знаний (эксперты, естественно-языковые тексты, базы данных). Эти процессы характеризуются значительными объемами обрабатываемой информации, приводящими к существенным вычислительным затратам, постоянной потребностью в привлечении экспертов к процессу верификации поля знаний, необходимостью одновременного учета неопределенных, неточных и нечетких знаний, эксплицитно проявляющихся в рассуждениях экспертов. Однако, адекватных методов верификации, обеспечивающих решение данной группы проблем, в настоящее время не существует.

В конце первого раздела диссертации приводятся результаты анализа отечественных и зарубежных программных средств поддержки процессов верификации БЗ ЭС. Выделены базовые группы и рассмотрены функциональные возможности этих средств, связанные с особенностями реализации различных подходов к проверке целостности и согласованности знаний, обнаружению как статических, так и динамических аномалий, а также способы реализации отдельных методов выявления аномалий.

Показано, что несмотря на обилие созданных для этих целей различных программных средств, функционирующих как в составе многочисленных оболочек ЭС, так и автономно от других компонентов поддержки разработки ЭС, включая средства, предназначенные только для автоматизации этапа тестирования, в настоящее время, практически, не существует инструментальных программных средств, ориентированных на поддержку процессов верификации на всех этапах жизненного цикла разработки не только ИЭС, но и традиционных ЭС, не говоря уже о создании специальных средств обнаружения аномалий в поле знаний и БЗ проектируемых систем.

На основе выполненного в первом разделе диссертации анализа существующих методов и средств верификации БЗ ЭС делается вывод об актуальности темы диссертационного исследования, направленного на разработку эффективных методов и инструментальных программных средств верификации, повышающих степень автоматизации процессов построения поля знаний и БЗ для широкого класса прикладных ИЭС, в том числе проектируемых на основе ЗОМ.

Сформулирована цель и поставлены конкретные задачи диссертационного исследования.

Во втором разделе диссертации рассматриваются теоретические вопросы разработки специальных методов верификации, ориентированных на выявление аномалий и предназначенных для использования на различных стадиях жизненного цикла разработки ИЭС. Под аномалиями понимаются наблюдаемые нарушения в поле знаний или БЗ.

Проведенный анализ существующих методов верификации БЗ ЭС позволил построить обобщенную модель обнаружения аномалий и использовать ее для разработки методов верификации поля знаний и БЗ в рамках ЗОМ.

Описан предложенный метод обнаружения аномалий статических аномалий, основанный на расширенных таблицах решений (РТР). По сравнению с существующими методами верификации БЗ, основанными на табличном представлении анализируемой информации, применение РТР позволяет обрабатывать поле знаний и БЗ, содержащие выделенные виды НЕ-факторов: неопределенность, неточность, нечеткость. В процессе построения РТР производится поиск нарушений целостности, а сформированная РТР используется для поиска нарушений согласованности.

Описан предложенный метод обнаружения аномалий динамической несогласованности, основанный на раскрашенных сетях Петри. По сравнению с существующими методами верификации БЗ, основанными на сетях Петри, сеть Петри формируется по РТР.

Особенностью разработанных методов обнаружения аномалий является то, что для каждого из них определено множество типовых действий, которые используются при формировании общего плана верификации поля знаний (или БЗ), что в целом позволяет снизить объем вычислений для текущих действий за счет проверки условий, зависящих от заданного критерия охвата и результатов предыдущих действий. К таким результатам относятся данные об уже выявленных аномалиях в правилах, а также в атрибутах и значениях атрибутов.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Смирнов, Виталий Валерьевич

Выводы по диссертации

1. Предложена обобщенная модель обнаружения аномалий в базах знаний экспертных систем на основе выполненного анализа существующих методов и средств верификации баз знаний экспертных систем.

2. Разработаны оригинальные методы обнаружения статических и динамических аномалий в поле знаний и базе знаний ИЭС, предусматривающие совместную обработку неопределенных, неточных и нечетких знаний.

3. Разработаны инструментальные программные средства верификации и корректировки поля знаний и базы знаний в ИЭС, включенные в состав инструментального комплекса АТ-ТЕХНОЛОГИЯ третьего поколения.

4. Созданные инструментальные программные средства верификации и корректировки поля знаний и базы знаний использованы при создании исследовательского прототипа ИЭС для проектирования и моделирования корпоративных информационно-вычислительных сетей, применяемого в исследованиях и разработках ФГУП «Концерн «Системпром» (акт об использовании).

5. Метод и алгоритмы обнаружения статических аномалий использованы при создании компонента анализа целостности и согласованности медицинских знаний в эндоскопическом отделении ЦКБ Гражданской авиации (акт об использовании).

6. Проведенная апробация предложенных методов и разработанных инструментальных средств верификации показала применимость созданных средств для автоматизированной поддержки этапов верификации в жизненном цикле построения прикладных ИЭС, что в целом способствует созданию максимально полных, корректных и непротиворечивых баз знаний, сохраняя уникальный экспертный опыт ведущих специалистов, и снижает трудоемкость разработки ИЭС для широкого класса задач.

7. Разработанные инструментальные средства верификации и корректировки поля знаний и базы знаний в ИЭС в составе комплекса АТ-ТЕХНОЛОГИЯ использовались в учебном процессе Московского инженерно-физического института и Российского Государственного социального университета (акт о внедрении).

Список литературы диссертационного исследования кандидат технических наук Смирнов, Виталий Валерьевич, 2006 год

1. Люгер Д.Ф. Искусственный интеллект: стратегии и методы решения сложных проблем, 4-е издание.: Пер. с англ. - М.: Издательский дом «Вильяме», 2003. - 320 с.

2. Частиков А. П., Белов Д. Л., Гаврилова Т.А. Разработка экспертных систем. Среда CLIPS. СПб.: БХВ, 2003.-608 с.

3. Попов Э.В. Экспертные системы. Решение неформализованных задач в диалоге с ЭВМ. -М.: Наука, 1987.-441 с.

4. Попов Э.В., Фоминых И.Б., Шапот М.Д. Статические и динамические экспертные системы: Учеб. Пособие. М.: Финансы и статистика, 1996. - 320 с.

5. Осипов Г.С. Приобретение знаний интеллектуальными системами: Основы теории и технологии. -М.:Наука. Физматлит, 1997. 112 с.

6. Рыбина Г.В. Задачно-ориентированная методология автоматизированного построения интегрированных экспертных систем для статических проблемных областей. // Известия РАН Теория и системы управления. № 5,1997, С. 129-137.

7. Рыбина Г.В. Автоматизированное построение баз знаний для интегрированных экспертных систем // Изв. РАН. Теория и системы управления. № 5,1998, С.152-166.

8. Кандрапшна Е.Ю., Литвинцева Л.В., Поспелов Д.А. Представление знаний о времени и пространстве в интеллектуальных системах / Под ред. Д.А.Поспелова. М: Наука. Гл. ред. физ.-мат. лит. 1989. - 328 с.

9. Рыбина Г.В. Проектирование систем, основанных на знаниях. Учебное пособие. -М.:МИФИ, 1997. -104 с.

10. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. СПб: Питер, 2001.-384 с.

11. А.Н.Аверкин, А.Ф.Блишун, И.З.Батыршин и др. Нечеткие множества в моделях управления и искусственного интеллекта / Под ред. Д.А. Поспелова. М.:Наука, 1986.312 с.

12. Buchanan B.G., Barstow D., Bechtel R. et al. Constructing an expert system // Building Expert Systems (Eds.: Hayes-Roth F„ Waterman D.A., Levat D.). MA, Addison-Wesley, 1983. P.127-167.

13. IEEE Standard Dictionary of Electrical and Electronics Terms, 6th Edition // Institute of Electrical and Electronics Engineers, 1993. 1278 p.

14. Software Engineering Standards Collection //N.J., Piscataway, IEEE Press, 1999. V. 1-4.

15. Awad E.M. Building Expert Systems Principles, Procedures, and Applications. - MN, West Publishing Co., 1996.-638 p.

16. Santos E J. Verification and validation of Bayesian knowledge-bases // Data & Knowledge Engineering. Elsevier. 2001. V.37. P.307-329.

17. Молокова O.C. Методология анализа предметных областей. Новости искусственного интеллекта. 1992. № 3. С. 11-60.

18. Рыбина Г.В. Инструментарий нового поколения для построения интегрированных экспертных систем // 9-я Нац. Конф. По ИИ с межд. Участием КИИ-2004. Труды конференции. В 3-х томах-М.: Физматлит, 2004, С.621-629.

19. Рыбина Г.В. Инструментальные средства нового поколения для построения прикладных интеллектуальных систем // Авиакосмическое приборостроение. 2004, № 10. С.14-23.

20. Leemans P., Treur J., Willems М. A semantical perspective on verification of knowledge // Data & Knowledge Engineering. Holland, Amsterdam: Elsevier Science Publishers В. V. 2002. V. 40, № 1. P.33-70.

21. Cardevosa J., Juisto N. General Overview of the VALID Project // Proceedings of the European Symposium on the Validation and Verification of Knowledge-Based Systems (EVROVAV '93). Madrid, Universidad Politecnica de Madrid, 1993. P. 53-67.

22. Harmelen F. Applying rule-base anomalies to KADS inference structures // Decision Support Systems. 1998. V.21. № 4. P. 271-280.

23. Coenen F.P., Bench-Capon T.J.M. Maintenance of Knowledge Based Systems: Theory, Tools and Techniques. London: Academic Press, 1993. - 322 p.

24. Davis R. TEIRESIAS: Applications of Meta Level Knowledge // Knowledge-Based Systems in Artificial Intelligence. New York, McGraw Hill, 1982. P. 229-490.

25. Андерсон P. Доказательство правильности программ. M.: Мир, 1982. - 163 с.

26. Абрамова Н.А., Баталина Т.С., Гегемов Н.А., Коврига С.В. Новый математический аппарат для анализа внешнего поведения и верификации программ. Препринт. Российская Академия наук. Институт проблем управления. М.: 1998.

27. Apt R., Olderog. E.-R. Introduction to program verification. // Formal Description of Programming Concepts (Eds.: Neuhold E. J., Paul M.). New York, Springer-Verlag, 1991. P. 363429.

28. Neubert S. and Maurer F.: A Tool for Model Based Knowledge Engineering. In Proceedings of the 13th International Conference AI, Expert Systems, Natural Language (Avignon'93), May 24-28, Avignon, 1993.

29. Green, C.J.R., Keyes M.M. Verification and Validation of expert systems // Proceedings of the Western Conference on Expert Systems (WESTEX'87). Calif., Los Alamitos, IEEE CS Press, 1987. P. 38-43.

30. Geissman J.R., Schultz RD. Verification and Validation Expert Systems. // AI Expert. 1988. P. 26-33.

31. Ayel M. and Vignollet L. SYCOJET and SACCO, two tools for verifying expert systems // International Journal of Expert Systems: Research and Applications. 1993. V.6. № 3. P. 357-382.

32. Lopez B. CONKRET: a control knowledge refinement tool // Validation, Verification and Test of Knowledge-Based Systems. New York, Wiley, 1991, P. 191-206.

33. Politakis P.G. Politakis P.G. Empirical Analysis for Expert Systems (Research Notes in Artificial Intelligence). London, Financial Times Prentice Hall, 1998. 160 p.

34. Smith S., Kandel A. Verification and Validation of Rule-based Expert Systems. USA, FL, Boca Raton, CRC Press. 1993. 203 p.

35. Ларичев О.И., Болотов A.A. Система ДИФКЛАСС: построение полных и непротиворечивых баз экспертных знаний в задачах дифференциальной классификации // НТИ. Серия 2 Информационные процессы и системы., 1996. № 9. С.9-15.

36. Harmelen F., Fensel D. Formal Methods in Knowledge Engineering. // The Knowledge Engineering Review. 1995. V.10. №. 4. P. 345-360.

37. Зейденберг B.K., Зимарев A.H., Степанов A.M. и др. Англо-русский словарь по вычислительной технике: Ок. 42 000 терминов. / Под ред. Е.К. Масловского. М.: Рус.яз., 1990.-800 с.

38. Канер С., Фолк Д., Нгуен Е.К. К. Тестирование программного обеспечения. М.: "ДиаСофт", 2000.-544 с.

39. Nguyen T.A. Perkins W.A., Laffey T.J., Pecora D. Knowledge Base Verification. // AI Magazine, 1987. V. 8. №. 2. P. 69-75.

40. Clegg C., Warr P., Green T. et al. People and computers: how to evaluate your company's new technology. USA, NY, New York, Halsted Press, 1988. 245 p.

41. Preece A. D. Validation of Knowledge-Based Systems: The State-of-the-Art in North America // Journal of Communication and Cognition Artificial Intelligence, 1994. V.l 1. № 4. P. 381-413.

42. Towell G.G., Shavlik J.W., Noordewier M.O. Refinement of Approximate Domain Theories by Knowledge-Based Neural Networks // Proceedings of the Eighth National Conference on Artificial Intelligence. Boston, MA, 1990. P. 861-866.

43. Хьюигг К. Открытые системы. Реальность и прогнозы искусственного интеллекта: Сб. статей; пер. с англ. / Под ред. и с предисл. ВЛ.Стефанюка. М.: Мир, 1987. С. 85-102.

44. Ларичев О.И., Моргоев В.К. Проблемы, методы и системы извлечения экспертных знаний // Изв. АН СССР. Автоматика и телемеханика. М.:Наука, 1991, С. 3-26.

45. Simon Н.А. Information-processing theory of human problem solving // Handbook of learning and cognitive processing. Human Information Processing. Ed. Ectes, LEA, 1978. V 5. P. 271-295.

46. Kihlstrum J. The cognitive unconscious. // Science, 1987. V. 237. P. 1445-1451.

47. Ларичев О.И. Компьютерная имитация человеческих рассуждений в задачах классификации. НТИ. Серия 2 Информационные процессы и системы. 1996, № 9, С. 1-4.

48. Нариньяни А.С. Недоопределенность в системах представления и обработки знаний // Изв. АН СССР. Техн. кибернетика. 1986. № 5. С. 3-28.

49. Душкин Р.В., Рыбина Г.В. Об одном подходе к автоматизированному извлечению, представлению и обработке знаний с НЕ-факторами // Известия АН. Теория и системы управления, 1999, № 5. С.34-44.

50. Рыбина Г.В. Приобретение знаний, содержащих НЕ-факторы // Новости искусственного интеллекта. 2004, № 2. С.82-94.

51. Cragun B.J., Steudel H.J. A decision-table-based processor for checking completeness and consistency in rule-based expert systems // International Journal of Man-Machine Studies (UK). 1987. V. 26. №5. P. 633-648.

52. Зыкова C.A. Колчин А.Ф. Методы и средства верификации знаний в интеллектуальных системах, основанных на правилах. // В кн. КИИ-92. Третья конференция по искусственному интеллекту. Сборник научных трудов в 2-х томах. Т.1., Тверь 1992. С. 27-30.

53. Garg-Janardan С., Salvendy G. A conceptual framework for knowledge elicitation. Int. J. Man-Machine St. 1987. V.26. P. 521-531.

54. Джексон П. Введение в экспертные системы. М.: Издательский дом «Вильяме», 2001 -624 с.

55. Ильин В.В. Критерии научности знания. М.: Высшая школа, 1989.- 127 с.

56. Фуремс Е.М. Гнеденко Jl.C. STEPCLASS система извлечения экспертных знаний и проведения экспертизы для решения диагностических задач // НТИ. Информационные процессы и системы. 1996. № 9. С.16-20.

57. Тулупьев A.J1., Городецкий В.И. Алгебраические байесовские сети: поддержание непротиворечивости баз знаний. // Доклады международной конференции «Знания, диалог, решение-95» (KDS-95).-Jbrra, 1995. С. 151-159.

58. Городецкий В.И., Тулупьев A.JI. Непротиворечивость баз знаний с количественными мерами неопределенности. // В кн. КИИ-98. Шестая нац. конференция с межд. участием. Сборник научных трудов в 3-х томах. Пущино, 1998, Т.1. С. 100-107.

59. Preece A. A new approach to detecting missing knowledge in expert system rule bases // International Journal of Man-Machine Studies 1993. V. 38. P. 661-688.

60. Калинина E.A., Рыбина Г.В. Применение технологии Data Mining для автоматизированного построения баз знаний интегрированных экспертных систем // 7-ая нац. конф. по ИИ с межд. участием КИИ'2000. М.:ФИЗМАТЛИТ, 2000. С. 119-127.

61. Hicks R. С. The TRIMM Methodology for maintainable rule-based systems // Heuristics: The Journal of Intelligent Technologies. 1995. V. 8. №. 4. P. 15-24.

62. Yang S.J.H., Tsai J.J.P., Chen C.-C. Fuzzy Rule Base Systems Verification Using High-Level Petri Nets // IEEE Trans. Knowl. Data Eng. 2003. V. 15. № 2. P.457-473.

63. Vanthienen J., Wets G., Fuzzy Decision Tables: Modeling and V&V Issues // 12th European Conference on Artificial Intelligence. ECAI-96 workshop (W2). Validation, Verification and Refinement of KBS, Budapest, 1996. P.36-40.

64. Гэри M., Джонсон Д., Вычислительные машины и труднорешаемые задачи. М.: Мир, 1982.-416 с.

65. Levy A.Y., Rousset М.-С., CARIN: A Representation Language Combining Horn Rules and Description Logics // Proceedings of European Conference on Artificial Intelligence. Budapest, Hungary, 1996. P. 323-327.

66. Waterman D.A. User-oriented systems for capturing expertise: a rule-base approach // Expert systems in the microelectronic age. Edinburgh: Edinburgh University Press, 1979. P.26-34.

67. Simon H.A. Problem formulation and alternative generation in the decision making process // Utility and risk theory. MA, Boston, Kluwer, 1991. P. 77-84.

68. Chandrasekaran, B. Towards a functional architecture for intelligence based on generic information processing tasks // Proceedings of the 10th DCAI. Italy, Milan, 1987. P. 1183-1192.

69. Breuker I., Wielinda B. KADS: structured knowledge acquisition for expert systems // Proceedings of Expert Sytems and their Applcations, 1985. V. 2. P.887-900.

70. McDermott J. Preliminary steps towards a taxonomy of problem-solving methods. // Automating Knowledge Acquisition for Expert Systems (Ed.:Marcus S.). Boston, Kluwer, 1988. P.225-255.

71. Kelly, G.A. The Psychology of Personal Constructs. New York: Norton. 1955. - 187 p.

72. Boose J. H. A knowledge acquisition program for expert systems based on personal construct psychology // International Journal of Man-Machine Studies. 1985. V.23. P.495-525.

73. Larry E.W, Ford J. M. Structuring Interviews with Experts During Knowledge Elicitation // International Journal of Intelligent Systems. New York, John Wiley & Sons, Inc. 1993. V.8. P.71-90.

74. Boose, J.H. & Bradshaw, J.M Expertise transfer and complex problems: using AQUINAS as a knowledge acquisition workbench for knowledge-based systems // International Journal of Man-Machine Studies. 1987. V.26. P.3-28.

75. Meseguer P., Preece A. Verification and Validation of Knowledge-Based Systems with Formal Specifications. // Knowledge Engineering Review. 1995. V.10. № 4. P.331-343.

76. Spivey J.M. Understanding Z: Specification language and its formal semantics. United Kingdom, Cambridge University Press, 1988. - 144 p.

77. Sheppard D. An introduction to formal specification with Z and VDM. New York, McGraw-Hill, 1994.-398 p.

78. Fensel D., Van Harmelen F. A Comparison of Languages which Operationalize and Formalize KADS Models of Expertise // The Knowledge Engineering Review, 1994, V.9. № 2. P. 105-146.

79. Chandrasekaran В., Josephson J., Keuneke A., Herman D. Building routine planning systems and explaining their behavior // Int. J. Man-Mach. St. 1989. V 30. № 4. p. 377-398.

80. Alexander J. H., Freiling M.J., Shulman S. J. et al. Ontological analysis: an ongoing experiment. // Int. J. Man-Mach. St. 1987. V.26, № 4. P. 473-485.

81. Voss A, Karbach W. Implementing KADS Expertise Models with Model-K // IEEE Expert: Intelligent Systems and Their Applications, 1993, V. 8. №. 4. P. 74-81.

82. Wetter Т.: First-order logic foundation of the KADS conceptual model // Current trends in knowledge acquisition. Amsterdam, IOS Press, 1990. P. 356-375.

83. Van Harmelen F., Balder J. R. (ML)2: a formal language for KADS models of expertise // Knowledge Acquisition Journal. 1992. V. 4. № 1. P. 127-161.

84. Langevelde, I. A. Philipsen, Jan Treur: Formal Specification of Compositional Architectures // Proceedings of the 10th European Conference on Artificial Intelligence (ECAI'92). Vienna, 1992. P. 272-276.

85. Giunchiglia F., Traverso P. A system for multi-level mathematical reasoning. // Artificial Intelligence in Mathematics Conference Proceedings. Oxford University Press, 1994. P. 119-134.

86. Wilder М. Review: EZ-Xpert RAD Comes to Expert Systems // PC AI Magazine. V.12 № 1, 1998. P.39-41.

87. Nguyen, T.A., Perkins, W.A., Laffey, T.J., et al. Checking an Expert System's Knowledge Base for Consistency and Completeness // Proceedings of the Ninth International Joint Conference on Artificial Intelligence, CA, Los Angeles, 1985, P. 375-378.

88. Ларичев О.И., Мечитов А.И., Мошкович Е.М., и др. Система выявления экспертных знаний в задачах классификации // Изв. АН СССР. Техн. кибернетика. 1987. № 2. С. 74-94.

89. Ларичев О.И., Нарыжный Е.В. Компьютерное обучение экспертным правилам в задачах классификации. НТИ. Серия 2 Информационные процессы и системы. 1996, № 9. с 4-9.

90. Kleer J. An assumption based TMS // Artificial intelligence. 1986. V. 28, № 2. p.127-162.

91. Ginsberg A. Knowledge-Base Reduction: A New Approach to Checking Knowledge Bases for Inconsistency & Redundancy // Proceedings of the Seventh National Conf. on Artificial Intelligence (АААГ88). USA. CA. Menlo Park: AAAI-Press. 1988. V.2. P.585-589.

92. Preece, A.D. Towards a Methodology for Evaluating Expert System // Expert Systems, 1990. V.7 № 4. P. 215-223.

93. Rousset M.-C. On the consistency of knowledge bases: the COVADIS system // Computational Intelligence. 1988. V.4. P. 166-170.

94. Park J.H., Seong P.H. An integrated knowledge base development tool for knowledge acquisition and verification for NPP dynamic alarm processing systems // Annals of Nuclear Energy. Oxford, Pergamon, 2002. V. 29. №. 4. P. 447-463.

95. Prakash, R. G. Mahabala, H.N. SVEPOA: A Tool to Aid Verification and Validation of OPS5-based AI Applications // International Journal of Expert Systems. 1993. V.6. № 2, P. 193236.

96. Meseguer P. A new method to checking rule bases for inconsistency: A Petri net approach // Proceedings of the 9th European Conference on Artificial Intelligence (ECAI-90). Stockholm, Pitman Publishing, 1990. P. 437-442.

97. Котов В. E. Сети Петри. M.: Наука, 1984. - 160 с.

98. Chang С., Combs J., Stachovitz R. A report on Expert system Validation Associate (EVA) // Expert Systems with Applications, 1990, V.l. P. 217-230.

99. Смирнов B.B. Применение спецификаций при верификации баз знаний экспертных систем // Научная сессия МИФИ-2003. Сборник научных трудов. В 14 томах. Т.З. -М.:МИФИ, 2003. С.158-159.

100. Groot P., ten Teije A., Van Harmelen F. Formally verifying dynamic properties of KBS // Proceedings of the 11th European Workshop on Knowledge Acquisition, Modeling, and Management (EKAW'99). Springer-Verlag, 1999. P. 157-172.

101. Breuker J., Van de Velde W. The CommonKADS Library for Expertise Modelling. The Netherlands, Amsterdam, IOS Press. 1994. p. 372.

102. Forgy C. L. RETE: A fast algorithm for the many pattern / many object pattern match problem. //Artificial Intelligence. 1982. V.19. № 1. P. 17-37.

103. Coenen F.P. An Advanced Binary Encoded Matrix Representation for Rulebase Verification. Journal of Knowledge-Based Systems. 1995. V.8. № 4. P.201-210.

104. Вагин B.H. He-факторы знания и нетрадиционные логики. // Третья международная школа-семинар по искусственному интеллекту для студентов и аспирантов (Браславская школа-1999). Сборник научных трудов. Беларусь, 1999. С. 10-14.

105. Quinlan J.R. Induction of Decision Trees // Machine Learning Journal. 1986. № 1. P.81-106.

106. Van Melle W.J. System aids in constructing consultation programs. Mich., Ann Arbor, UMI Research Press, 1981.-185 p.

107. Shortliffe E. H., Scott A. C., Bischoff M. B. et al. ONCOCIN: An expert system for oncology protocol management // Proceedings of Seventh International Joint Conference on Artificial Intelligence. Canada, ВС, Vancouver, 1981. P.876-881.

108. Preece A. D., Talbot S and Vignollet L. Evaluation of Verification Tools for Knowledge-Based Systems // International Journal of Human-Computer Studies. Academic Press Limited, 1997. V. 47, P.629-658.

109. Рыбина Г.В., Смирнов B.B. Планирование процедур верификации баз знаний в интегрированных экспертных системах // Инженерная физика. 2006, № 3. С. 53-65.

110. Zadeh L.A. A Theory of Approximate Reasoning // Machine Intelligence. New York: Halstead Press, 1979. P.149-194.

111. Турксен И.Б. О вкладе Лотфи Заде в соверменную науку // Новости искусственного интеллекта. 2001. V. 44-45. № 2-3. С.12-15.

112. Рыбина Г.В., Смирнов В.В. Методы и алгоритмы верификации баз знаний в интегрированных экспертных системах // Новости искусственного интеллекта. 2005, № 3. С.7-19.