Построение баз экспертных знаний для интеллектуальных обучающих систем тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Кочин, Дмитрий Юрьевич

• Кочин, Дмитрий Юрьевич
• кандидат технических наук
• 2006

Оглавление диссертации кандидат технических наук Кочин, Дмитрий Юрьевич

ВВЕДЕНИЕ.

1 ПРОБЛЕМЫ ПЕРЕДАЧИ ЭКСПЕРТНЫХ ЗНАНИЙ.

1.1 Типы экспертных знаний.

1.2 характеристики экспертного знания.

1.3 интеллектуальные обучающие системы.

1.4 задача экспертной классификации.

1.5 методы выявления экспертных знаний.

1.6 вербальный анализ решений.

1.6.1 Метод ОРКЛАСС.

1.6.2 Метод КЛАНШ.

1.6.3 Метод БТЕРСЬАББ.

1.6.4 Метод ЦИКЛ.

1.7 достоверность извлеченных экспертных знаний.

1.8 выводы.

2 ПОРЯДКОВАЯ ЭКСПЕРТНАЯ КЛАССИФИКАЦИЯ АЛЬТЕРНАТИВ: МЕТОД КЛАРА.

2.1 Основные определения.

2.2 Алгоритм классификации.

2.3 Процедура поиска максимальной цепи.

2.4 Оценка вычислительной сложности алгоритма КЛАРА.

2.5 Устранение логических противоречий в ответах эксперта.

2.6 Сравнение алгоритмов порядковой классификации.

2.7 Оценка эффективности алгоритма КЛАРА.

2.8 Выводы.

3 ИЗВЛЕЧЕНИЕ ДОСТОВЕРНЫХ ЭКСПЕРТНЫХ ЗНАНИЙ.

3.1 В ыявление решающих правил классификации.

3.2 Построение минимального набора решающих правил.

3.3 Процедура проверки решающих правил.

3.4 Упрощенные задачи классификации.

3.5 Оценка эффективности упрощенных задач.

3.6 Гипотеза о зоне «неустойчивых знаний».

3.7 Методика извлечения достоверных экспертных знаний.

3.8 Выводы.

4 ИНТЕЛЛЕКТУАЛЬНЫЕ ОБУЧАЮЩИЕ СИСТЕМЫ.

4.1 кардиологические заболевания.

4.2 система извлечения экспертных знаний КЛАРА.

4.2.1 Архитектура и функции системы.

4.2.2 Структуризация задачи классификации.

4.2.3 Построение базы знаний.

4.3 Обучающие системы.

4.3. J Обучение декларативным знаниям.

4.3.2 Обучение проъ^едуральным знаниям.

4.3.3 Практическое применение.

Введение диссертации (часть автореферата) на тему «Построение баз экспертных знаний для интеллектуальных обучающих систем»

Во многих областях человеческой деятельности, путь развития от новичка до опытного специалиста занимает значительное время. Поэтому весьма актуальной является проблема поиска путей более быстрого и более эффективного обучения. Доступность персональных компьютеров делает возможным их повсеместное использование и в учебных заведениях, и для самостоятельной подготовки. Однако отсутствие эффективных обучающих программ не позволяет решить эту задачу в полной мере. Одной из причин такого положения вещей являются значительные методологические трудности в построении баз экспертных знаний, которые отражают практические навыки опытных специалистов - экспертов и составляют основу интеллектуальных обучающих систем (ИОС). К точности и полноте баз экспертных знаний, используемых в ИОС, предъявляются повышенные требования. Поэтому разработка новых методов построения баз экспертных знаний для интеллектуальных обучающих систем является актуальной теоретической и практической задачей.

Цель настоящей работы - развитие методов и технологий построения полных и непротиворечивых баз экспертных знаний в слабоструктурируемых предметных областях, в которых в настоящее время отсутствуют объективные модели принятия решений, и решения принимаются экспертом на основе своего профессионального опыта и интуиции. Научная новизна работы состоит в следующем: • Разработан новый метод КЛАРА (КЛАссификация Реальных Альтернатив) построения полных и непротиворечивых баз экспертных знаний для слабоструктурируемых предметных областей, позволяющий повысить эффективность опроса эксперта, и применимый к широкому кругу задач порядковой экспертной классификации.

• Формализовано понятие экспертного решающего правила и построен алгоритм их выявления.

• Введено понятие зоны неустойчивых экспертных знаний и предложена методика выявления этой зоны.

• Предложена общая методика построения достоверных баз экспертных знаний, минимизирующая случайные ошибочные суждения эксперта, а также выявляющая суждения эксперта с низкой степенью уверенности.

• Построены базы знаний по диагностике острого инфаркта миокарда и расслаивающей аневризмы аорты, на основе которых созданы соответствующие интеллектуальные обучающие системы.

В первой главе рассматриваются проблемы извлечения и последующей передачи экспертных знаний с помощью интеллектуальных обучающих систем с точки зрения информационного подхода - одного из основных направлений в современной когнитивной психологии.

Указывается принципиальное различие в подходах к построению ИОС для хорошо структурируемых областей знаний, к которым относится, например, решение типовых задач математики, физики, программирования, и слабоструктурируемых областей, таких как медицинская диагностика. Рассмотрены особенности мышления экспертов, порождающие основную проблему построения ИОС для слабоструктурируемых областей, таких как, например, медицинская диагностика - проблему извлечения экспертных знаний, когда эксперты не могут сформулировать правила, которыми они пользуются при принятии решений.

На основе анализа наиболее известных обучающих систем, основанных на экспертных знаниях, делается вывод, что эффективность обучающей системы в слабоструктурируемой области зависит, главным образом, от полноты и достоверности базы экспертных знаний. Все недостатки базы знаний, в том числе неполнота, наличие противоречий и возможные несовпадения с решениями эксперта, непосредственно отражаются на качестве обучающей системы и, следовательно, на качестве обучения. При этом главную сложность представляет именно извлечение процедуральных знаний, практических навыков, потому что эти знания носят подсознательный характер и не могут быть выражены (вербализованы) экспертом в явном виде.

Формулируется задача порядковой экспертной классификации и приводится обзор подходов к её решению. Для каждого подхода анализируются его достоинства и недостатки по отношению к проблеме построения баз экспертных знаний для интеллектуальных обучающих систем. Также рассматривается проблема достоверности извлеченных знаний. Указывается, что искажение знаний может происходить из-за ошибок эксперта, связанных с рядом причин, таких как усталость, редкая встречаемость случая на практике, недостаточность информации в формализованной задаче.

На основании проведенного анализа делаются выводы и формулируются цели исследования.

Во второй главе описывается новый алгоритм КЛАРА решения задачи порядковой экспертной классификации, имеющий широкую область применения, низкую вычислительную сложность и эффективно применимый для случаев разреженных пространств классифицируемых объектов, что особенно важно для задач медицинской диагностики.

Приводятся результаты численного моделирования, позволяющие оценить эффективность предложенного алгоритма и сравнить его с алгоритмами пространственной дихотомии, КЛАНШ, ОРКЛАСС и ЦИКЛ.

В третьей главе рассматривается проблема извлечения достоверных экспертных знаний. Результатом работы всякого метода порядковой классификации являются границы классов, по которым любую альтернативу из классифицированного множества можно отнести к одному из классов.

Путем анализа получившихся границ классов возможно выявить правила, которые породили данную классификацию.

Формализуется понятие экспертного решающего правила, приводятся алгоритмы для выявления набора решающих правил, описывающих классификацию.

Описывается методика разбиения исходной большой задачи классификации на серию задач меньшей размерности. Такая декомпозиция позволяет снизить нагрузку на эксперта и уменьшить вероятность ошибок.

Выдвигается гипотеза о возможном наличии у эксперта зоны неустойчивых знаний, когда эксперт может относить одну и ту же ситуацию к разным классам в разное время. Приводится метод локализации этой зоны, поскольку неустойчивые знания не пригодны для обучения.

Строится общая методика извлечения достоверных экспертных знаний, учитывающая все изложенные аспекты.

В четвертой главе описываются система КЛАРА извлечения экспертных знаний, реализующая предложенный метод построения полных и непротиворечивых баз экспертных знаний; система ОСДИМ для обучения навыкам диагностики острого инфаркта миокарда и система РАА для обучения навыкам диагностики расслаивающей аневризмы аорты, построенные на основе предложенных методов. Приводятся результаты применения обучающих систем при обучении молодых врачей в учебно-научном центре по внедрению передовых медицинских технологий городской клинической больницы (ГКБ) им. С. П. Боткина, г. Москва и на кафедре анестезиологии и реаниматологии Московского государственного медико-стоматологического университета (МГМСУ) в ГКБ № 33 им. А.А.Остроумова, г. Москва.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Кочин, Дмитрий Юрьевич

Выход

Индекс

0020011000 : 0.00 1. ОИМ

Ответ

Рис. 4.9. Один из учебных примеров

При решении примеров обучаемому рекомендуется выделять разными цветами с помощью мыши характерные значения диагностических признаков, что, как показал опыт, положительно сказывается на качестве обучения.

-I:I xi

Диагностика Острого Инфаркта Миокарда щтшт ш

Пояснение:

В данном случае появление на ЭКГ блокады левой ножки пучка Гиса в сочетании с повышением концентрации биомаркеров некроза миокарда и наличием зон акинезии свидетельствует о наличии ОИМ

ОИМ может проявиться общвмозговой или острой очаговой неврологической симптоматикой (инсульт) на фоне хронической цереброваскулярной недостаточности, так как нарушение гемодинамики при ОИМ ухудшает мозговое кровообращение

-щататвявввяввшшшиж

AA'.i

У." : '.¿I''*'*'-■ .■-■¿УУ'-'ГУЛ-,

Сложность:

50% , задача 6

Возраст старше 30 лет. В анамнезе гиперлипидемия. Болей не было. Одышки нет, хрипов нет Цереброваскулярныв расстройства Умеренное снижение ДЦ Пароксизм мерцательной аритмии.

Ширина комплекса QRS = 0,14сек. Комплексы QRS типа R без зубцов Q в первом AVL, V5-V6 Широкие и глубокие зубцы S в VIVÍ, Сегменты ST опущены и зубцы Т двухфазные (•/+) в I.AVL, v6 Повышение в крови уровня МВ-КФК, сердечны* тропонинов. миоглобина, АСТ/АЛТ, ЛДГ1, в 1-2 сутки заболевания Наличие зон акинезии, дискинезии в левом желудочке.

На этот раз правильно!

1 ОИМ

Нажмите любую клавишу.

0022011200 0 00 1. ОИМ

Ответ

-! 1*1

Диагностика Острого Инфаркта Миокарда

Пояснение:

Боли в животе могут быть проявлением ОИМ -гастралгическая форма ОИМ

ОИМ может начаться с приступа удушья и отека легких (астматический статус) в связи с развитием острой лееожелудочковой недостаточности.

Отсутствие зон акинезии или дискикезии на ЭхоКГ не исключает ОИМ. т

Сложность:

50% , задача 9

Возраст меньше 30 лет

Анамнез не отягощен.

Приступ болей в животе, тошнота, рвота

Приступ удушья, множество влажных разнокалиберных хрипов в легких.

Цереброваскулярных расстройств нет

АД обычное для больного.

Синусовая тахикардия

Ширина комплекса QRS = 0,14сек Комплексы ORS типа R без зубцов Q е первом AVL, VS-Vtj. Широкие и глубокие зубцы S в VIVÍ Сегменты ST опущены и зубцы Т двухфазные (-/+) в I, AVL, ■£

Уровень МВ-КФК, сердечных тропонинов, миоглобина, АСТ/АЛТ, ЛДП, в 1-2 сутки заболевания не повышался.

Зон акинезии в левом желудочке иет

На этот раз правильно!

1, ОИМ

Нажмите любую клавишу.

1110111211 : 0.001, ОИМ

Ответ

Рис. 4.10. Объяснение решения учебного примера При неправильных ответах обучаемому немедленно предоставляются объяснения и комментарии, поясняющие ход мыслей эксперта при решении аналогичных примеров (Рис. 4.10). Предоставляемые объяснения не могут непосредственно использоваться как решающие правила при решении примеров, но способствуют развитию клинического мышления у пользователей обучающей системы.

Обучение считается завершенным, когда обучаемому удается решить подряд без ошибок 15 примеров максимальной сложности. После прохождения курса обучения пользователь проходит еще раз экзамен, на той же выборке из 20 примеров максимальной сложности, в результате чего можно делать выводы об эффективности обучения.

4.3.3 Практическое применение

Обучение с помощью разработанных обучающих систем проходило на базе Учебно-научного центра по внедрению передовых медицинских технологий при ГКБ им. С.П. Боткина. В нем принимали участие клинические ординаторы Российской государственной медицинской академии постдипломного образования и молодые врачи ГКБ им. С.П. Боткина, всего более 15 человек. Курс обучения состоял из двух сеансов по 4 часа. За это время каждый из испытуемых решал в среднем около 500 задач. Если на предварительном тесте процент правильных ответов в среднем совпадал с показателями случайного выбора, то после окончания курса обучения испытуемые демонстрировали на контрольном тесте 90-100% совпадений с ответами эксперта. При этом они не могли сформулировать правила, которые они использовали при принятии решений. Некоторые испытуемые проходили повторный тест через 1-4 недели и демонстрировали те же показатели, что говорит о закреплении навыка.

В настоящее время система ОСДИМ и система обучения диагностике РАА используются в Учебно-научном центре по внедрению передовых медицинских технологий при ГКБ им. С.П. Боткина для повышения квалификации начинающих врачей и на кафедре анестезиологии и реаниматологии Московского государственного медико-стоматологического университета в ГКБ № 33 им. А.А.Остроумова, г. Москва.

5 Заключение

Накопленный опыт построения интеллектуальных обучающих систем, основанных на экспертных знаниях, показывает, что качество базы знаний является одним из наиболее значимых факторов для их успешного применения. Качество базы знаний, в свою очередь, определяется, прежде всего, точностью и полнотой представления экспертных знаний. Поэтому этап выявления и анализа экспертного знания во многом определяет качество, жизнеспособность и эффективность разрабатываемой интеллектуальной обучающей системы. Проведенный анализ современных методов выявления и представления экспертного знания показал, что на этом этапе имеется ряд серьезных трудностей, связанных с необходимостью учета возможностей и ограничений системы переработки информации человека, особенностей экспертного знания, обеспечения полноты и согласованности извлекаемого знания.

В диссертационной работе предложен новый подход к выявлению достоверного экспертного знания в задачах порядковой классификации. Разработана серия алгоритмов и методов, основанная на методологии вербального анализа решений, учитывающей психологические характеристики системы переработки информации человека. Учтены и использованы результаты изучения особенностей экспертного знания, полученные в ИСА РАН.

Предложенный подход обеспечивает эффективную процедуру построения полных и непротиворечивых баз экспертного знания, содержит средства для анализа достоверности извлекаемых знаний, включает алгоритмы выявления решающих правил, подобных используемыми экспертами в своей профессиональной деятельности. Особое внимание уделено корректной обработке возможных человеческих ошибок и зон неустойчивости экспертного знания.

Разработан новый алгоритм КЛАРА порядковой классификации многокритериальных альтернатив. Его отличие от существующих аналогов состоит в большей общности - способности работать с произвольными порядковыми шкалами критериев, произвольным количеством классов решений, неполным порядком на шкалах критериев, а также на сильно разреженном пространстве альтернатив. При этом алгоритм имеет большую эффективность, обеспечивая минимизацию времени, затрачиваемого экспертом. Результаты вычислительного сравнения эффективности алгоритмов порядковой классификации показывают, что алгоритм КЛАРА, уступая по средней эффективности алгоритму ЦИКЛ, имеющему более узкую область применения, существенно превосходит алгоритм КЛАНШ и другие алгоритмы.

Формализовано понятие экспертного решающего правила для задач порядковой классификации, построена серия алгоритмов выявления набора правил, описывающих заданную классификацию.

Выдвинута и экспериментально проверена гипотеза о возможном наличии у эксперта зоны неустойчивых знаний, когда эксперт может относить одну и ту же ситуацию к разным классам в разное время. Предложен метод локализации этой зоны, поскольку неустойчивые знания не пригодны для использования в интеллектуальных обучающих системах.

Предложена общая методика извлечения достоверных экспертных знаний, учитывающая все изложенные аспекты, в том числе декомпозицию задач большой размерности на серию упрощенных задач, локализацию и исключение зоны неустойчивых знаний, проверку границ классов решений и экспертных решающих правил.

Предложенные алгоритмы и методы реализованы в виде программной системы на платформе MS Windows® 9X/ME/NT/2000/XP. Разработанные системы и методы были использованы при создании интеллектуальных обучающих систем по диагностике острого инфаркта миокарда и расслаивающей аневризмы аорты, которые практически используются при обучении начинающих врачей.

Список литературы диссертационного исследования кандидат технических наук Кочин, Дмитрий Юрьевич, 2006 год

1. Асанов, 2002. Асанов, А. А., Методы извлечения и анализа экспертных знаний. Диссертация на соискание ученой степени кандидата технических наук, — М.: ИСА РАН., 2002.

2. Асанов, Кочин, 2002. Асанов, А. А., Кочин, Д. Ю. Метод выявления решающих правил в задачах экспертной классификации. // Искусственный интеллект, №2, 2002. — с. 20-31.

3. Асанов, Ларичев, 1999. Асанов, А. А., Ларичев, О. И., Влияние надежности человеческой информации на результаты применения методов принятия решений. // Автоматика и Телемеханика, № 5,1999.

4. Аткинсон, 1980. Аткинсон, Р. Человеческая память и процесс обучения. — М.: Прогресс, 1980.

5. Емеличев, 1990. Емеличев, В. А. Лекции по теории графов. — М.: Наука, 1990. — с. 382.

6. Кочин, 2005. Кочин, Д. Ю., Система неявного обучения диагностике острого инфаркта миокарда. Методы поддержки принятия решений. // Сборник трудов Института Системного Анализа РАН. Т. 12 М.: Едиториал УРСС, 2005. — с. 26-42.

7. Кочин, Подлипский, 2004. Кочин, Д. Ю., Подлипский, О. К., О границах классов решений в задачах экспертной классификации. Некоторые проблемы фундаментальной и прикладной математики, Московский Физико-Технический Институт, —М.: 2004.— с. 103-118.

8. Ларичев и др., 1988. Ларичев, О. И., Мошкович, Е. М., Ребрик, С.Б., О возможностях человека в задачах классификации многокритериальных объектов. // Системные исследования (ежегодник), 1988.

9. Ларичев и др., 1989. Ларичев, О. И., Мечитов, А. И., Мошкович, Е. М,, Фуремс, Е. М., Выявление экспертных знаний. — М.: Наука, 1989. — с. 128.

10. Ларичев, 1994. Ларичев, О. И., Структуры экспертных знаний в задачах классификации. // Доклады Академии Наук, т. 336, № 6, 1994. — с. 750-752.

11. Ларичев, 2006. Ларичев, О. И., Вербальный анализ решений. — Институт системного анализа РАН. — М.: Наука, 2006.

12. Ларичев, Болотов, 1996. Ларичев, О. И., Болотов А. А., Система ДИФКЛАСС: построение полных и непротиворечивых баз экспертных знаний в задачах дифференциальной диагностики. // НТИ, Сер. 2, Информ. процессы и системы, № 9, — М.: ВИНИТИ, 1996. — с. 9-15.

13. Ларичев, Мошкович, 1980. Ларичев, О. И., Мошкович, Е. М., О возможностях получения от человека непротиворечивых оценок многомерных альтернатив. //

14. Дескриптивный подход к изучению процессов принятия решений при многих критериях, сб. тр. ВНИИСИ, №9. — М.: 1980.

15. Ларичев, Мошкович, 1996. Ларичев, О. И., Мошкович, Е. М., Качественные методы принятия решений. — М.: Наука. Физматлит, 1996. — с. 207.

16. Липский, 1988. Липский, В., Комбинаторика для программистов. Пер. с польск. — М.: Мир, 1988, —с. 213.

17. Лорьер, 1991. Лорьер, Ж.-Л., Системы искусственного интеллекта / Пер. с франц. — М.: Мир, 1991, —с. 566.

18. Миллер, 1964. Миллер, Дж., Магическое число семь плюс-минус два. О некоторых пределах нашей способности перерабатывать информацию. // Инженерная психология. — М.: Прогресс, 1964.

19. Нарыжный, 1998. Нарыжный Е. В., Построение интеллектуальных обучающих систем, основанных на экспертных знаниях. Диссертация на соискание ученой степени кандидата технических наук, — М.: ИСА РАН, 1998.

20. Осипов, 1997. Осипов, Г. С., Приобретение знаний интеллектуальными системами. — М.: Наука. Физматлит, 1997. — с. 109.

21. Соколов, 1982. Соколов, Н. А., Об оптимальной расшифровке монотонных функций алгебры логики. // Журн. вычисл. матем. и матем. физ., т. 22, № 2, 1982. — с. 449461.

22. Соколов, 1987. Соколов, Н. А. Оптимальная расшифровка монотонных булевых функций. // Журн. вычисл. матем. и матем. физ., т. 27, № 12,1987. — с. 1878-1887.

23. Солсо, 1996. Солсо Р. Когнитивная психология. — М.: Тривола, 1996.

24. Форсайт, 1987. Форсайт, Р. (ред.). Экспертные системы. Принципы работы и примеры. / Пер. с англ. — М.: Радио и связь, 1987. — с. 224.

25. Фуремс, Гнеденко, 1996. Фуремс, Е. М., Гнеденко Л. С., Система STEPCLASS: построение полных и непротиворечивых баз экспертных знаний в задачах дифференциальной диагностики. // НТИ, Сер. 2, Информ. процессы и системы, — М.: ВИНИТИ, № 9,1996. — с. 16-20.

26. Хейес-Рот и др., 1987. Хейес-Рот, Ф., Уотерман, Д., Ленат, Д. (ред.), Построение экспертных систем / Пер. с англ. — М.: Мир, 1987. — с. 441.

27. Anderson, 1982. Anderson, J. R., Acquisition of a Cognitive Skill. // Psychological Review, 89, 1982, —pp. 369-406.

28. Anderson, 1982. Anderson, J. R., The Architecture of Cognition. // Harvard University Press, 1983.

29. Berry, 1987. Berry, D. C., The Problem of Implicit Knowledge. // Expert Systems, Vol. 4, No. 3, 1987.

30. Berry, Broadbent, 1984. Berry, D. C., Broadbent, D. E., On the Relationship Between Task Performance and Associated Verbalisable Knowledge. // Quarterly Journal of Experimental Psychology, 36A, 1984. — pp. 209-231.

31. Bordage, 1999. Bordage, G., Why did I miss the diagnosis? // Some cognitive explanations and educational implications. Academic Medicine, 74(10), 1999. —pp. 138-143.

32. Brehaut et al., 2006. Brehaut J.C., Stiell, I.G., Graham, I.D., Will a New Clinical Decision Rule Be Widely Used? the Case of the Canadian C-Spine Rule // Academic Emergency Medicine, Volume 13, Number 4, 2006. — pp. 413-420.

33. Chase, Simon, 1973. Chase, W. G., Simon H. A., The Mind's Eye in Chess. // Chase W.G. (Ed.) Visual Information Processing. — New York: Academic, 1973. — pp. 215-281.

34. Clancey, 1982. Clancey, W. J., GUIDON. // The Handbook of Artificial Intelligence. — Los Altos, California: William Kaufmann, 1982.

35. Clancey, 1986. Clancey, W. J., Qualitative Student Models. // Annual Review of Computer Science, 1, 1986. — pp. 381-450.de Groot, 1965. de Groot, A. D., Thought and Choice in Chess. // Netherlands: Mouton Publishers, The Hague, 1965.

36. Ericsson, Lehnmann, 1996. Ericsson, K. A., Lehnmann, A. C., Expert and Exceptional Perfomance: Evidence of Maximal Adaptation to Task Constraints // Annual Review of Psychology, 47, 1996. — pp. 273-305.

37. Feigenbaum, McCorduck, 1983. Feigenbaum, E. A., McCorduck, P. // The 5-th Generation. — Addison-Wesley, Mass, 1983. — p. 266.

38. Fitts, 1964. Fitts, P. M., Perceptual-Motor Skill Learning. // Melton A. W. (Ed.) Categories of Human Learning. — Academic Press, New York, 1964.

39. Furems et al., 2002. Furems E., Larichev O., Lotov A. et all // Artificial Intelligence. . — Donetsk, Ukraine: Наука i освгга, Vol. 2, 2002. — pp. 346-352.

40. Hoffman et al., 1995. Hoffinan, R. R., Shabolt, N. R., Burton, A. M., Klein, G., Eliciting Knowledge from Experts // A Methodological Analysis. Organizational Behavior and Human Decision Processes, Vol.62, No.2, 1995. — pp.129-158.

41. Hunt, 1989. Hunt, E., COGNITIVE SCIENCE: Definition, Status and Questions. // Annual Review of Psychology, 40,1989.

42. Kahneman et al., 1982. Kahneman, D., Slovic, P., Tversky, A. Judgment under uncertainty: heuristics and biases. // Cambridge: Cambridge University Press, 1982.

43. Kihlstrom, 1987. Kihlstrom, J. F. The Cognitive Unconscious. // Science. Vol. 237, 1987. — pp. 1445-1452.

44. Miller, Masarie, 1989. Miller, R., Masarie F., Use of the Quick Medical Reference (QMR) Program as a Tool for Medical Education. // Methods of Information in Medicine, 28, 1989.

45. Newell, 1990. Newell, A. Unified Theories of Cognition. // Cambridge, MA: Harvard University Press, 1990.

46. Newell, Simon, 1972. Newell, A., Simon, H. A., Human Problem Solving. // Englewood Cliffs, NJ: Prentice-Hall Inc.,1972.

47. Quinlan, 1993. Quinlan, J. R., C4.5: programs for machine learning. — Morgan Kaufmann, San Mateo, CA., 1993.

48. Reber et al., 1980. Reber, A. S., Kassin, S. M., Lewis, S., Cantor, G. On the Relationship Between Implicit and Explicit Models of Learning a Complex Rule Structure. // Journal of Experimental Psychology: Human Learning and Memory, 6,1980. —pp. 492-502.

49. Reber, 1967. Reber, A. S., Implicit Learning of Artificial Grammars. // Journal of Verbal Learning and Verbal Behaviour, 5,1967. — pp. 855-863.

50. Reinhardt, Schewe, 1995. Reinhardt, B., Schewe, S. A Shell for Intelligent Tutoring Systems. // Proceedings of Artificial Intelligence in Education. —Charlottesville, VA: AACE., 1995.

51. Roy, Bouyssou, 1993. Roy, B., Bouyssou, D. Aide multicritère à la décision: méthodes et cas. — Paris: Economica., 1993.

52. Schmidt, Boshuizen, 1993. Schmidt, H. G., Boshuizen P. A. On Acquiring Expertise in Medicine. // Educational Psychology Review, Volume 5, Number 3. — Springer Netherlands, 1993. — pp. 205-221

53. Self, 1990. Self, J., Theoretical Foundations for Intelligent Tutoring Systems. // Journal of Artificial Intelligence in Education. 1(4), 1990. — pp. 3-14.

54. Simon, Chase, 1973. Simon, H.A., Chase, W.G., Skill in chess. // American Scientist, 61,1973. — pp. 394-403.

55. Slowinski, Zopounidis, 1995. Slowinski, R., Zopounidis, C., Application of the rough set approach to evaluation of bankruptcy risk, // International Journal of Intelligent Systems in Accounting, Finance and Management, 4, No.l, 1995. —pp. 27-41.

56. Tversky, Kahneman, 1983. Tversky, A., Kahneman, D., Extensional Versus Intuitive Reasoning: The Conjunction Fallacy in Probability Judgement. // Psychological Review, 90,1983,—pp. 293-315.

57. Warner, 1992. Warner H., The ILIAD program: an expert computer diagnostic program. // Journal of Medical Practice Management; 8(2), 1992.

58. White, Frederiksen, 1986. White, B., Y., Frederiksen, J. R., Progressions of quantitative models as a foundation for intelligent tutoring environments. // Technical Report #6277, BBN, 1986.