Решение задач классификации при двух оценках по каждому признаку для построения полных баз экспертных знаний тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат физико-математических наук Подлипский, Олег Константинович

• Подлипский, Олег Константинович
• кандидат физико-математических наук
• 2005

Оглавление диссертации кандидат физико-математических наук Подлипский, Олег Константинович

ВВЕДЕНИЕ.

ГЛАВА 1. ВЫЯВЛЕНИЕ ЭКСПЕРТНЫХ ЗНАНИЙ.

1.1. Задачи экспертной классификации. щ 1.2. Современные представления об экспертных знаниях.

1.3. Структура экспертных знаний.

1.4. Задача порядковой экспертной классификации.

1.5. Системы выявления экспертных знаний.

1.6. Выводы.

ГЛАВА 2. МЕТОДЫ ПОСТРОЕНИЯ БАЗ ЭКСПЕРТНЫХ ЗНАНИЙ.

2.1. Метод построения баз экспертных знаний при помощи решения упрощенных задач.

2.2. Оценки выигрыша использования метода построения баз экспертных знаний при помощи решения упрощенных задач.

2.3. Опыт построения больших баз экспертных знаний.

ГЛАВА 3. МОДЕЛИ ПРЕДСТАВЛЕНИЯ ЭКСПЕРТНЫХ ЗНАНИЙ.

3.1. Экспертная классификация объектов.

• 3.2. Границы классов решений в задачах экспертной классификации.

3.3. Гипотеза о зоне «нестабильных знаний».

3.4. Методика извлечения экспертных знаний.

ГЛАВА 4. ПРИМЕНЕНИЕ ПРЕДЛОЖЕННЫХ МЕТОДОВ И ГИПОТЕЗ К РАЗРАБОТКЕ ПРИКЛАДНЫХ СИСТЕМ ИСКУССТВЕННОГО ИНТЕЛЛЕКТА.

4.1. Интеллектуальные обучающие системы.

4.2. Построение системы обучения диагностике РАА.

4.3. Результаты обучения.

Введение диссертации (часть автореферата) на тему «Решение задач классификации при двух оценках по каждому признаку для построения полных баз экспертных знаний»

Тема работы

Во многих важных областях человеческой деятельности отсутствуют объективные модели принятия решений, и эталоном качества решения задачи является опытный человек-эксперт. Однако путь развития новичка до опытного специалиста практически всегда занимает значительное время и часто требует существенных материальных и других затрат. Длительность формирования экспертных навыков определяет актуальность задачи сокращения этого времени.

Одним из основных направлений в искусственном интеллекте является создание компьютерных систем, имитирующих искусство эксперта. Подобные системы позволяют сохранить знание опытного профессионала, сделать его бессмертным и применимым одновременно во многих местах.

Для построения таких систем необходимо решить задачу экспертной классификации и, как следствие, задачу выявления подсознательных экспертных решающих правил. Эта задача имеет важное практическое значение, поскольку экспертные решающие правила могут быть проанализированы и использованы при построении систем искусственного интеллекта, а также при обучении молодых специалистов экспертному знанию.

Развитием теории и методов решения задач экспертной классификации в СССР и России в разные годы занимались

Айзерман М.А, Алескеров Ф.Т., Емельянов С.В., Ларичев О.И., Малишевский А.В., Поспелов Г.С., Финн В.К., Шахнов И.Ф. и др. [1, 10, 17, 20, 32, 43]. Среди зарубежных ученых следует отметить Андерсона (Anderson), Бушанана (Buchanan), Винограда (Vinograd), Дэвиса (Davis), Кланси (Clancey), Минского (Minsky), Ньюэлла (Newell), Руа (Roy), Саймона (Simon), Уинстона (Winston), Фейгенбаума (Feigenbaum) и Шортлифа (Shortliffe) [9, 37, 47, 54].

Во многих практических случаях задача создания компьютерной модели эксперта может быть представлена как задача классификации, так как экспертное знание часто состоит в отнесении объектов (альтернатив, состояний) к классам решений. Так, например, врач изучает состояние пациента и ставит диагноз, выбирая из нескольких возможных типов заболеваний.

Набор продукций из какой-либо области знаний образует базу экспертных знаний. Качество базы экспертных знаний и эффективность построенной на ее основе интеллектуальной системы определяется прежде всего полнотой и точностью имитации экспертного знания. Множество объектов (описаний, явлений) с которыми корректно работает такая система должно по возможности охватывать весь объем профессиональных знаний эксперта, а в идеале представлять собой множество всех возможных объектов (описаний, явлений) в рассматриваемой предметной области. Решения, предлагаемые такой интеллектуальной системой, должны максимально точно соответствовать устойчивым решениям человека-эксперта, предлагаемых при тех же исходных данных.

Экспертное знание как правило подсознательно [19, 20] — в большинстве случаев эксперты не могут сформулировать правила, которые они используют в принятии решений. Правила, которые они все же могут явным образом вербализовать, охватывают лишь подмножество наиболее простых задач. Именно подсознательный характер экспертного знания вызвал значительные трудности при построении экспертных систем, а извлечение экспертных знаний было названо «узким местом» искусственного интеллекта.

Задача построения полных классификаций на основе использования свойств монотонности имеет уже почти полувековую историю и имеет известные алгоритмические решения, оптимальные по Шеннону (Алексеев В.Б., Соколов Н.А.) [2, 12, 40, 41]. Однако известные оптимальные алгоритмы являются оптимальными лишь для самого наихудшего случая, который никогда не встречается на практике. В реальных задачах эти алгоритмы ведут себя неоптимально. Для решения практических задач под руководством О.И Ларичева было разработано целое семейство эвристических алгоритмов классификации (КЛАСС, ОРКЛАСС, ДИФКЛАСС, STEPCLASS, КЛАРА, ЦИКЛ) [21, 23, 24, 44, 61] которые, как показала практика, ведут себя в реальных задачах во много раз эффективнее своих предшественников, оптимальных по Шеннону. Однако остается класс практических задач, в которых существующие алгоритмы либо не применимы, либо ведут себя недостаточно эффективно. В частности возникают проблемы при построении баз экспертных знаний, число объектов в которых достаточно велико (более 10000).

Таким образом актуальной задачей является создание и совершенствование методов, позволяющих извлекать и анализировать экспертные знания в задачах классификации в слабоструктурированных предметных областях.

Настоящая диссертационная работа посвящена разработке и усовершенствованию

• методов извлечения экспертного знания и создания полных, точных и непротиворечивых (согласованных) баз экспертных знаний в задачах классификации;

• моделей представления экспертных знаний для слабоструктурированных предметных областей, где определяющими являются профессиональный опыт и интуиция лица, принимающего решения (ЛПР), при отсутствии объективных моделей принятия решений.

Научная новизна работы состоит в следующем:

В диссертации получены следующие новые результаты:

• Предложен новый метод построения баз экспертных знаний: выявление решающих правил эксперта при помощи решения упрощенных задач (в исходной задаче шкалы критериев заменяются бинарными - по каждому критерию выбираются две оценки) с использованием существующих программ извлечения экспертных знаний. Данный метод расширяет область применимости существующих программ, позволяя строить полные и непротиворечивые классификации в пространствах векторных описаний объектов с произвольными количествами классов и градаций на шкалах критериев в задачах большой размерности.

• Аналитически получены оценки эффективности предложенного метода при работе с существующими программами извлечения экспертных знаний.

• Разработан и проведен вычислительный эксперимент по оценке эффективности предложенного метода.

• Получено экспериментальное подтверждение корректности и эффективности предложенного метода на примере решения практических задач - построения баз экспертных знаний для задач медицинской диагностики, построения медицинской диагностической экспертной системы.

• Совместно с Д.Ю. Кочиным предложена гипотеза о существовании зоны «нестабильных знаний».

• Разработан и проведен эксперимент для проверки указанной гипотезы.

• Предложено добавить в модель представления экспертных знаний зону «нестабильных знаний».

• Экспериментально подтверждена возможность аппроксимации устойчивых решений эксперта для задач классификации с помощью малого числа дискриминантно-аддитивных решающих правил в случае больших баз экспертных знаний.

Для иллюстрации возможностей разработанного метода в диссертационной работе приведены описания баз экспертных знаний, построенных при помощи данного метода.

Основные особенности разработанного метода

С помощью предложенного метода построения баз экспертных знаний можно в короткие сроки создавать полные и непротиворечивые базы экспертных знаний для построения интеллектуальных обучающих систем (ИОС) и экспертных систем для задач классификации, полностью отражающие предпочтения эксперта, основанные на его опыте и интуиции.

Предложенный метод позволяет анализировать извлеченное экспертное знание, выявлять решающие правила экспертов, определять области неустойчивости экспертного знания.

Полученные в результате полные и непротиворечивые системы экспертных решающих правил могут быть непосредственно использованы при создании баз знаний различных интеллектуальных систем: экспертных, обучающих и др.

Предложенный метод позволяет обеспечить более ровную нагрузку на эксперта и качественное сохранение промежуточных результатов в виде решающих правил.

Предложенный метод особо эффективен в случае, когда базы экспертных знаний достаточно велики (содержат более 10000 объектов).

Структура работы

В первой главе с точки зрения информационного подхода рассматриваются проблемы построения баз экспертных знаний и проблемы передачи экспертных знаний путем создания ИОС. Рассматриваются особенности мышления экспертов, порождающие основную проблему построения ИОС для слабоструктурированных областей — проблему извлечения экспертных знаний, когда эксперты не могут сформулировать правила, которыми они пользуются при принятии решений. Формально ставится задача ординальной классификации. Вводятся основные определения. Отмечается, что решение задачи классификации может быть компактно представлено в виде описания границ классов решений при помощи «решающих правил»

Рассматриваются методы и современные системы извлечения экспертных знаний. Анализируются области экспертных знаний и задачи, для которых применимы рассматриваемые системы. На основе проведенного анализа формулируются нерешенные проблемы и формулируется цель диссертационного исследования.

Во второй главе предлагается новый метод построения баз экспертных знаний: выявление решающих правил эксперта при помощи решения упрощенных задач с использованием существующих программ извлечения экспертных знаний.

Для решения больших задач классификации предлагается метод, состоящий в выделении из исходной задачи упрощенных задач. В исходной задаче шкалы критериев заменяются бинарными — по каждому критерию Kq выбираются две оценки.

Для оценки эффективности и применимости предложенного метода формулируются и доказываются основные теоремы и утверждения.

В работе оценивается примерное количество вопросов, которое необходимо задать при использовании метода построения баз экспертных знаний при помощи решения упрощенных задач для того, чтобы полностью классифицировать все объекты в зависимости от структуры задачи и вида решающих правил.

Описываются проведенные эксперименты, подтверждающие эффективность предложенного метода. Решаются практические задачи — построены базы экспертных знаний для задач медицинской диагностики острого инфаркта миокарда (ОИМ) и расслаивающей аневризмы аорты (РАА).

В третьей главе на основании проведенных экспериментов выдвигается гипотеза о существовании зоны «нестабильных знаний». В работе описываются эксперименты, подтверждающие указанную гипотезу. Границы между классами решений представляются в виде набора решающих правил. Приводятся оценки максимального количества граничных элементов одного класса в зависимости от количества критериев и количества оценок по каждому из критериев.

Дополняется существующая модель представления экспертных знаний. Предлагается усовершенствованная методика опроса эксперта.

В четвертой главе рассматривается применение предложенных методов и гипотез к разработке прикладных систем искусственного интеллекта. Описываются эксперименты по построению баз экспертных знаний для задач медицинской диагностики. Описывается система AD для обучения искусству диагностики расслаивающей аневризмы аорты (РАА), построенная на основе предложенных методов. Приводятся результаты экспериментов по обучению молодых врачей ГКБ им. С.П. Боткина и ординаторов Российской Государственной Медицинской академии постдипломного образования.

В заключении излагаются основные результаты и выводы по диссертационной работе.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Подлипский, Олег Константинович

Основные результаты, полученные в работе, заключаются в следующем:

1. Предложен новый метод построения баз экспертных знаний: выявление решающих правил эксперта при помощи решения упрощенных задач с использованием существующих программ извлечения экспертных знаний. Данный метод расширяет область применимости существующих программ, позволяя строить полные и непротиворечивые классификации в пространствах векторных описаний объектов с произвольными количествами классов и градаций на шкалах критериев в задачах большой размерности. Данный метод обеспечивает равномерную нагрузку на эксперта и качественное сохранение промежуточных результатов в виде решающих правил. Применение метода позволяет сократить количество вопросов, которые необходимо задать эксперту для построения базы экспертных знаний. Аналитически и при помощи вычислительного эксперимента показана эффективность предложенного метода.

2. Предложена гипотеза о существовании зоны «нестабильных знаний». Проведена серия экспериментов, подтверждающих указанную гипотезу.

3.В модель О.И. Ларичева представления экспертных знаний добавлены зоны «нестабильных знаний» и описания границ классов в виде совокупности решающих правил.

4. С помощью метода построения баз экспертных знаний при помощи решения упрощенных задач построены полные и непротиворечивые базы знаний для задач диагностики острого инфаркта миокарда, расслаивающей аневризмы аорты.

5. На основе построенной базы знаний для диагностики расслаивающей аневризмы аорты создана интеллектуальная обучающая система AD, которая в настоящее время используется в Учебно-научном центре по внедрению передовых медицинских технологий ГКБ им. С. П. Боткина.

Заключение

Список литературы диссертационного исследования кандидат физико-математических наук Подлипский, Олег Константинович, 2005 год

1. Айзерман М.А., Алескеров Ф.Т. Выбор вариантов. Основы теории М.:Наука, 1990 - 240 с.

2. Алексеев В.Б. О расшифровке некоторых классов монотонных многозначных функций. // Журнал Вычислительной Математики и Математической Физики. 1976 -Т.16, № 1 - С. 189-198.

3. Асанов А.А., Кочин Д.Ю. Выявление подсознательных экспертных решающих правил в задачах многокритериальной классификации. // КИИ-2002. Труды конференции. Т. 1. -М.:Физматлит, 2002. С. 534-544.

4. Асанов А.А., Кочин Д.Ю. Метод выявления решающих правил в задачах экспертной классификации. // Научно-теоретический журнал «Искусственный интеллект» Института Проблем Искусственного Интеллекта Украинской Академии Наук, №2-2002. Украина, 2002. -С. 20-21

5. Асанов А.А., Подлипский O.K. Опыт построения большой базы экспертных знаний. // Методы поддержки принятия решений: Сборник трудов Института системного анализа Российской академии наук. М.: Эдиториал УРСС, 2001. - С. 42-50.

6. Аткинсон Р. Человеческая память и процесс обучения. М.: Прогресс, 1980-528 с.

7. Баранов В.И., Стечкин Б.С. Экстремальные комбинаторные задачи и их приложения. М.:Физматлит, 2004 - 240 с.

8. Брушлинский А.В. Субъект: мышление, учение, воображение. — М.: Изд-во "Институт практической психологии"; Воронеж: НПО "Модэк", 1996.-392 с.

9. Джексон 77. Введение в экспертные системы М.: Вильяме, 2001 -624 с.

10. Емельянов С.В., Ларичев О.И. Многокритериальные методы принятия решений. М.: Знание, 1985. - 32 с.

11. И. Клацки Р. Память человека. Структуры и процессы. — М.: Мир, 1978-320 с.

12. Кожевников Д.Л., Ларичев О.И. Сравнение алгоритмов расшифровки монотонных функций методом статистического моделирования // Журнал вычислительной математики и математической физики. 1999. - Т. 39, № 8. - С. 1415-1421.

13. Кочин Д.Ю., Подлипский O.K. Построение баз экспертных знаний. // Моделирование процессов управления. Сборник научных трудов. М., 2004. - С. 116-123.

14. Кочин Д.Ю., Подлипский O.K. Системы неявного обучения экспертным знаниям. // Научно-теоретический журнал «Искусственный интеллект» Института Проблем Искусственного Интеллекта Украинской Академии Наук, №2-2004. — Украина, 2004. -С. 305-309.

15. Кочин Д.Ю., Подлипский O.K. О границах классов решений в задачах экспертной классификации. // Некоторые проблемы фундаментальной и прикладной математики. Сборник научных трудов.-М., 2004.-С. 103-118.

16. Ларичев. О.И. Структуры экспертных знаний. // Психологический журнал. 1995 - № 3 - С. 82-89.

17. Ларичев О.И. Компьютерная имитация человеческих рассуждений в задачах классификации. // Научно-техническая информация, серия 2 «Информационные процессы и системы» -1996 -№9с. 1-4.

18. Ларичев О.И. Структура экспертных знаний в задачах классификации. // Доклады Академии Наук 1994 - Т. 336. № 6. - С. 750-752.

19. Ларичев О.И. Теория и методы принятия решений, а также Хроника событий в Волшебных Странах. М.: Логос, 2000.

20. Ларичев О.И, Мошкович Е.М. Метод непосредственной классификации и проблемы получения надежной экспертной информации // Известия АН СССР. Техническая кибернетика. 1987. -№ 1.-С. 151-161.

21. Ларичев О.И., Мошкович Е.М. Качественные методы принятия решений. М.: Наука, Физматлит, 1996

22. Ларичев О.И., Асанов А.А. Метод ЦИКЛ порядковой классификации многокритериальных альтернатив // Доклады Академии Наук 2000 - Т. 375, № 5.

23. Ларичев О.И., Болотов А.А. Система ДИФКЛАСС: построение полных и непротиворечивых баз экспертных знаний в задачах дифференциальной классификации // Научно-техническая информация, серия 2 «Информационные процессы и системы» -1996 -№ 9 — С. 9-15.

24. Ларичев О.И., Брук Э.И. Компьютерное обучение умениям как часть университетского образования // Университетская Книга 2000 - №5 - С. 13-15

25. Ларичев О.И., Мечитов А.И., Мошкович Е.М., Фуремс Е.М. Выявление экспертных знаний. М., Наука, 1989.

26. Ларичев О.И., Нарыжный Е.В. Компьютерное обучение экспертным знаниям // Доклады Академии наук 1998 — Т. 332.

27. Ларичев О.И., Нарыжный Е.В. Компьютерное обучение процедуральным знаниям. // Психологический журнал — 1999 Т. 20, №6-С. 53-61.

28. Ларичев О.И., Нарыжный Е.В. Компьютерное обучение экспертным правилам в задачах классификации. // Научно-техническая информация, серия 2 «Информационные процессы и системы» - 1996 - № 9.

29. Ларичев, О.И., Нарыжный, Е.В., Кузнецова, В.П., Брук, Э.И. Новые возможности компьютерного обучения. // Вестник Российской Академии Наук 1999 - Т. 69, №2 - С. 106-119.

30. Макаров И.М., Виноградская Т.М., Рубчинский А.А., Соколов В.Б. Теория выбора и принятия решений: Учебное пособие М.: Наука, 1982-328 с.

31. Макеев С.П., Шахнов И.Ф. Упорядочение альтернатив на основе расплывчатых оценок // Сообщения по прикладной математике. — М.: ВЦАН СССР, 1989.-42 с.

32. Миллер Д.А. Магическое число семь плюс или минус два. О некоторых пределах нашей способности перерабатывать информацию. // Инженерная психология. М.: Прогресс, 1964. — С. 192-225.

33. Ногин В.Д. Принятие решений в многокритериальной среде — М.: Физматлит, 2002 176 с.

34. Оре О. Теория графов М.: Наука, 1980 - 336 с.

35. Подлипский O.K. Экспертные обучающие системы. // Труды XL VI научной конференции Московского физико-технического института (государственного университета). Современные проблемы фундаментальных и прикладных наук. Часть X. М., 2003. - С.9.

36. Руа Б. Проблемы и методы принятия решений в задачах с многими целевыми функциями. // В сб. Вопросы анализа и процедуры принятия решений. М.: Мир, 1976 - С.20-58.

37. Саймон Г., Чинг Ц. Распознавание, мышление и обучение как информационные процессы. // Психологический журнал 1988 - Т.9, №2-С. 33-46.

38. Сачков В.Н. Комбинаторные методы дискретной математики. -М.гНаука, 1977-320 с.

39. Соколов Н.А. Об оптимальной расшифровке монотонных функций алгебры логики. // Журнал вычислительной математики и математической физики. 1982 - Т. 22, № 2 - С. 449-461.

40. Соколов Н.А. Оптимальная расшифровка монотонных булевых функций. // Журнал вычислительной математики и математической физики.-1987-Т. 27, № 12-С. 1878-1887.

41. Солсо Р.Л. Когнитивная психология. М.: Тривола, 1996.

42. Финн В.К. Интеллектуальные системы: проблемы их развития и социальные последствия. // Будущее искусственного интеллекта М.: Наука, 1991-С. 157-177.

43. Фуремс ЕМ., Гнеденко Л.С. Система STEPCLASS: построение полных и непротиворечивых баз экспертных знаний в задачах дифференциальной диагностики // Научно-техническая информация, серия 2 «Информационные процессы и системы» — 1996 — № 9 — С. 16-20.

44. Харари Ф. Теория графов М. Мир, 1973 — 302 с.

45. Эрдёш П., Спенсер Дж. Вероятностные методы в комбинаторике. -М.: Мир, 1976.

46. Anderson J.R. Acquisition of a Cognitive Skill. // Psychological Review. 1982 -V.4, № 89. - P. 369-406.

47. Anderson JR. Rules of the Mind. Hillsdale. NJ: Er-Ibaum, 1993 -320 p.

48. Anderson J.R., Corbett A.T., Koedinger K., Pelletier R. Cognitive tutors: Lessons learned. // The Journal of Learning Sciences 1995 — №4 — P. 167-207.

49. Anderson J.R., Reder L.M., Simon H.A. Applications and Misapplications of Cognitive Psychology to Mathematics Education — 1995 Carnegie Mellon University.

50. Bordage G. Why did I Miss the Diagnosis? Some Cognitive Explanations and Educational Implications // Academic Medicine 1999 -V. 74, № 10, October Supplement - P. 318-341.

51. Ericsson K.A., Charness N. Expert Performance. Its Structure and Acquisition. // American Psychologist 1994 - V. 49, № 8 - P. 725-747.

52. Gobet F., Simon H. Expert chess memory: Revisiting the chunking hypothesis. // Memory 1998 - №6 - P. 225-255.

53. Ignizio J.P. Introduction to expert systems McGraw-Hill, Inc, 1991 -402 p.

54. Katona G.O.H. Extremal problems for hypergraphs Mathematical centre tracts - 1974 - V. 56 - P. 13-42.

55. Kochin D., Podlipsky O. Building Implicit Learning Systems for Teaching Expert Knowledge. // EURO XX. 20th European Conference on

56. Operational Research. OR and the Management of Electronic services. Abstract Book Rhodes, Greece, 2004. - P. 131.

57. Koedinger K., Anderson J.R. Effective use of intelligent software in high school math classrooms. To appear in Artificial Intelligence in Education // Proceedings of the World Conference on AI in Education -AACE: Charlottsville, VA, 1993

58. Koksalan M., Ulu C. An interactive approach for placing alternatives in preference classes. // European Journal of Operational Research — 2003 -V. 144, № 2, P. 429-439.

59. Larichev О. I. Close Imitation of Expert Knowledge: the Problem and Methods // International Journal of Information Technology and Decision Making. 2002. - V. 1, № 1. - P. 27-42.

60. Larichev O.I., Asanov A.A., Naryzhny Y. V. Effectiveness evaluation of expert classification methods // European Journal of Operational Research. 2002 - V. 138, №. 2. - P. 260-273.

61. Larichev O. /., Kochin D. Yu., Kortnev A.V. Decision support system for classification of a finite set of multicriteria alternatives. // Decision Support Systems 2002 - V. 33, № 1 - P.l 3-21.

62. Shanteau J. Psychological Characteristics of Agricultural Experts: Application to Expert Systems. // In A. Weiss (Ed.), Climate and Agriculture: Systems approaches to decision making. — Lincoln: University of Nebraska, 1990.

63. Schmidt H.G., Boshuizen H.P.A. On acquiring expertise in medicine. // Educational Psychology Review 1993 - №5 - P. 1-17.

64. Simon H. How big is a chunk? // Science. 1974, V. 183, P. 482-488.

65. Singley M.K., Anderson J.R. The transfer of cognitive skill. -Cambridge, MA: Harvard University Press, 1989.

66. Svenson O., Sjoberg K. Evolution of cognitive processes for solving simple additions during the first three year school years. // Scandinavian Journal of Psychology 1983 -№24-P. 117-124.

67. Wielinga B.J., Schreber A.T., Breuker J.A. KADS: A modelling approach to knowledge engineering. // Knowledge Acquisition 1992 -V4, №1 - P. 5-53

68. Zhu X, Simon H.A. Learning mathematics from examples and by doing. // Cognition and Instruction 1988 - №4 - P. 137-166.