Исследование и разработка алгоритмов обобщения на основе теории приближенных множеств тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Куликов, Алексей Владимирович

• Куликов, Алексей Владимирович
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Куликов, Алексей Владимирович

ВВЕДЕНИЕ.

ГЛАВА 1. ОБЗОР МЕТОДОВ ИЗВЛЕЧЕНИЯ И ОБОБЩЕНИЯ ЗНАНИЙ.

1.1. Машинное обучение и извлечение знаний.

1.2. Основные понятия и определения.

1.3. Представление знаний.

1.4. Проблемы извлечения и обобщения знаний.

1.4.1. Ограниченная информация.

1.4.2. Искаженная и неполная исходная информация.

1.5. Подходы к решению задачи обобщения понятий.

1.5.1. Стратегии управления в обучении на примерах.

1.5.2. Алгоритм исключения кандидата и фокусирование.

1.5.3. Индукция решающих деревьев.

1.5.4. Подход с использованием приближенных множеств.

1.6. ВЫВОДЫ.

ГЛАВА 2. ПОДХОД С ИСПОЛЬЗОВАНИЕМ ТЕОРИИ ПРИБЛИЖЕННЫХ МНОЖЕСТВ.

2.1. Основные понятия и определения теории приближенных множеств

2.2. Методы теории приближенных множеств.

2.2.1. Проблема поиска среза.

2.2.2. Выполнение дискретизации.

2.2.3. Построение решающих правил.

2.3. Выводы.

ГЛАВА 3. РАЗРАБОТКА АЛГОРИТМА ОБОБЩЕНИЯ НА ОСНОВЕ

ПОДХОДА ПРИБЛИЖЕННЫХ МНОЖЕСТВ.

3.1. Разработка модификации алгоритма дискретизации непрерывных областей значений атрибутов.

3.2. Разработка модификации алгоритма выбора существенных атрибутов, совмещенного с этапом дискретизации.

3.3. Разработка модифицированной стратегии применения решающих правил для классификации ранее неизвестных объектов.

3.4. Эксперименты на тестовых наборах данных.

3.4.1. Эксперименты на данных «задач монахов».

3.4.2. Медицинские данные.

3.4.3. Данные проекта StatLog.

3.4.4. Другие наборы данных.

3.5. Выводы.

ГЛАВА 4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ.

4.1. Структура программного комплекса.

4.2. Основные функции, выполняемые программой.

4.3. Описание программы.

4.4. Примеры работы.

4.5. Выводы.

Введение диссертации (часть автореферата) на тему «Исследование и разработка алгоритмов обобщения на основе теории приближенных множеств»

Диссертационная работа посвящена исследованию и разработке алгоритмов обобщения на основе теории приближенных множеств. Задача обобщения информации является одной из важных задач искусственного интеллекта. Благодаря применению методов обобщения информации в системах принятия решений возможно построение обобщенных моделей данных и обработка больших массивов экспериментальных данных, полученных в ходе различного рода процессов и явлений. Источники таких больших потоков данных имеются во многих областях. Общим для этих данных является то, что они содержат большое количество скрытых закономерностей, которые важны для принятия стратегических решений. Однако выявление этих закономерностей лежит за пределами человеческих возможностей главным образом из-за большого и все возрастающего объема данных. Поэтому для вывода таких закономерностей разрабатываются методы обобщения и компьютерные системы, реализующие эти методы. В качестве областей применения алгоритмов обобщения можно назвать медицину, биологию, маркетинг, банковскую деятельность, прогнозирование спроса, космические исследования и многое другое.

В настоящее время известен ряд алгоритмов, решающих задачу распознавания объекта по его признаковому описанию. Эти алгоритмы используют различные подходы к построению классификационных правил, такие как фокусировка [18, 47], индукция решающих деревьев (ID3 [43, 21], С4.5 [42], ID4 [45], ID5R [51, 52], CART [7, 21], ДРЕВ [3]), построение продукционных правил (семейство алгоритмов AQ [29, 30]), нейронные сети [44, 12], использование теории приближенных множеств [40, 36, 23, 41] и другие подходы [2, 20, 19]. Однако при обработке реальных массивов данных, которые характеризуются большим размером, неполнотой, противоречивостью и зашумленностью хранящейся информации, данные алгоритмы либо не пригодны вовсе, либо не всегда показывали удовлетворительные результаты, что привело к дальнейшим исследованиям в области применения методов обобщения для обработки реальных массивов данных. Одним из способов решения проблемы работы с неполной и противоречивой информацией является подход, основанный на теории приближенных множеств.

В работах [5, 38, 48] было показано, что использование теории приближенных множеств в алгоритмах обобщения позволяет существенно повысить точность классификации объектов. Важнейшими этапами в работе алгоритма обобщения, основанного на теории приближенных множеств, являются следующие: дискретизации непрерывных областей значений атрибутов, выделение значимых атрибутов (поиск срезов) и формирование решающих правил. Следует отметить, что задачи дискретизации и поиска минимального среза КР-сложны, что требует разработки эффективных эвристических алгоритмов для их решения. Таким образом, исследование и разработка алгоритмов обобщения, основанных на теории приближенных множеств и в то же время способных обрабатывать большие обучающие выборки за приемлемое время, является весьма актуальной задачей.

Объектом исследования работы являются методы обобщения понятий. Предметом исследования - методы обобщения, основанные на теории приближенных множеств.

Цель работы заключается в разработке алгоритма обобщения, способного обрабатывать реальные массивы данных и основанного на теории приближенных множеств.

Поставленная задача потребовала решения следующих проблем:

1. Разработка эффективного эвристического алгоритма дискретизации непрерывных областей значений признаков.

2. Разработка эффективного алгоритма выбора существенных атрибутов, совмещенного с этапом дискретизации.

3. Разработка модифицированной стратегии применения решающих правил для классификации ранее неизвестных объектов.

4. Разработка и программная реализация системы обобщения понятий на основе предлагаемого алгоритма обобщения.

В работе будет предложен оригинальный алгоритм дискретизации количественных атрибутов. Как отмечалось ранее, для выполнения дискретизации необходимы эффективные эвристические алгоритмы. Вычислительная сложность наиболее часто используемого алгоритма Джонсона имеет кубическую зависимость от количества объектов обучающей выборки, что делает его неприменимым для обработки больших баз данных. Предлагаемый эвристический алгоритм дискретизации направлен на снижение затрат времени и памяти. Он основан на стратегии Джонсона и развивает идею итерационного вычисления количества пар объектов, различимых делением, первоначально предложенную в [36], на случай произвольной решающей таблицы. Вычислительная сложность разработанного на основе этой идеи алгоритма дискретизации имеет линейную зависимость от количества объектов решающей таблицы.

В большинстве алгоритмов, основанных на теории приближенных множеств и выполняющих разбиение непрерывных областей значений атрибутов на конечное число интервалов, этап дискретизации рассматривается как подготовительный перед поиском существенных атрибутов. И поэтому на этапе дискретизации происходит разбиение областей значений всех непрерывных атрибутов, в том числе и несущественных. В данной работе предлагается совмещенное выполнение дискретизации с поиском среза для того, чтобы производить дискретизацию только тех количественных атрибутов, которые окажутся существенными в процессе поиска среза. В качестве существенных признаков рассматриваются признаки, входящие в приблизительные срезы достаточно высокого качества. Идею сокращения множества атрибутов можно обобщить путем введения понятия значимости атрибутов, что позволяет отразить степень важности атрибута в решающей таблице.

Кроме того, в работе предлагается модификация процедуры применения решающих правил для классификации новых объектов. Как показывают эксперименты на тестовых данных, в большинстве случаев предложенная процедура позволяет увеличить точность классификации.

Для достижения поставленной в работе цели использовались следующие методы исследования: методы дискретной математики, математической логики, искусственного интеллекта, теории приближенных множеств, математической статистики и методы анализа математической сложности алгоритмов.

Достоверность научных результатов подтверждена теоретическими выкладками, данными компьютерного моделирования, результатами экспериментов, а также сравнением полученных результатов с результатами, приведенными в научной литературе.

Научная новизна исследования состоит в следующем:

1. Сформулированы и доказаны две теоремы, предназначенные для итерационного вычисления количества пар объектов, различимых делением непрерывного атрибута, и имеющие силу для произвольной решающей таблицы. Они положены в основу предлагаемого алгоритма дискретизации.

2. Разработан эффективный эвристический алгоритм дискретизации непрерывных областей значений атрибутов.

3. Разработан алгоритм выбора существенных атрибутов, совмещенный с этапом дискретизации, что позволяет избежать разбиения на интервалы непрерывных областей значений несущественных признаков.

4. Разработана модифицированная стратегия применения решающих правил при классификации неизвестных объектов, позволяющая в большинстве случаев достичь более высокую точность классификации.

Практическая значимость работы заключается в создании программной системы обобщения понятий, реализующей разработанные алгоритмы дискретизации и выбора существенных признаков, а также модифицированную стратегию применения решающих правил.

Практическая значимость работы подтверждается использованием полученных результатов в динамической экспертной системе оперативной диагностики состояния экологически опасных объектов и производств «ДИЭКС» в ОАО «ЦНИИКА», о чем имеется акт о внедрении, а также применением на известном тестовом наборе данных Калифорнийского университета информатики и вычислительной техники UCI Machine Learning Repository, включающем реальные данные из различных сфер: медицины, экономики, биологии и др.

Реализация результатов. Результаты работы использованы в НИР, выполненных в рамках грантов РФФИ, проекты №99-01-00049 и №02-07-90042 по тематике «Исследование и разработка инструментальных средств создания экспертных систем семиотического типа» и в рамках Федеральной целевой научно-технической программы «Исследования и разработки по приоритетным направлениям развития науки и техники» на 2002-2006 годы по теме «Системы мониторинга и поддержки принятия решений на основе аппарата нетрадиционных логик».

Апробация работы. Основные положения и результаты диссертации докладывались и обсуждались на 7-й национальной конференции по искусственному интеллекту с международным участием КИИ-2000 (г.Переславль-Залесский, 2000 г.), Международной школе по искусственному интеллекту (Белоруссия, г. Минск, 1999 г.), пяти научно-технических конференциях МЭИ (ТУ) (2000, 2001, 2002, 2003, 2004 гг.), четырех научных сессиях МИФИ (2001, 2002, 2003 и 2004 гг.), на 9-й национальной конференции по искусственному интеллекту с международным участием КИИ-2004 (г.Тверь, 2004 г.), на международных форумах информатизации МФИ-2000, МФИ-2003 и МФИ-2004 (Международные конференции «Информационные средства и технологии» (г. Москва, 2000, 2003, 2004 гг.), на двух молодежных научнотехнической конференциях студентов, аспирантов и молодых ученых «Наукоемкие технологии и интеллектуальные системы» (г. Москва, 2003, 2004 гг.).

Публикации. Основные результаты, полученные по теме диссертационной работы, опубликованы в 20 печатных работах.

Рассмотрим структуру диссертационной работы подробнее.

В первой главе формализуется задача обобщения понятий и рассматриваются основные способы представления знаний в системах извлечения и обобщения понятий. Далее рассматриваются проблемы, возникающие при извлечении и обобщении знаний, и предлагаются способы их преодоления. Также в этой главе дается обзор основных подходов к обобщению и сравниваются возможности их применения к реальным массивам данных.

Во второй главе рассматривается подход к выполнению обобщения, который основан на теории приближенных множеств, вводятся основные понятия теории, исследуются этапы работы алгоритма, базирующего на данном подходе. Далее рассматривается ряд алгоритмов теории приближенных множеств, выявляются их сильные и слабые стороны.

В третьей главе, опираясь на выявленные достоинства и недостатки рассмотренных ранее алгоритмов, предлагается их модификация - алгоритм, предназначенный для обработки реальных массивов данных. При этом учитываются такие особенности информации, хранящейся в реальных массивах данных, как большой объем, а также неполнота и противоречивость данных. Представлены результаты тестирования разработанного алгоритма на наборах данных из известного хранилища UCI Machine Learning Repository [28], проведено их сравнение с результатами других эффективных алгоритмов обобщения.

В четвертой главе рассматривается реализация системы на основе предложенной модификации. Описывается структура, основные функции реализованного программного комплекса, а также его главные возможности.

Также представлено описание пользовательского интерфейса и приведены примеры работы программы.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Куликов, Алексей Владимирович

4.5. Выводы

В этой главе была рассмотрена реализация программной системы на основе алгоритма обобщения, использующего разработанные алгоритмы дискретизации и поиска существенных признаков. Система формирует обобщенное правило в виде наборов решающих правил, а также производит распознавание объектов на базе предложенной стратегии применения решающих правил. При этом обобщение и классификация могут проводиться на неполной информации об объектах, что может выражаться в отсутствии ряда значений атрибутов для части объектов. Были представлены структура, основные функции реализованного программного комплекса и его главные возможности. Также были приведены примеры работы программы, в том числе на выборках из коллекции тестовых наборов данных UCI Machine Learning Repository [28].

Заключение

Целью диссертационной работы являлась разработка алгоритма обобщения, способного обрабатывать реальные массивы данных и основанного на теории приближенных множеств. При этом были получены следующие основные результаты:

1. Проведено исследование подходов к обобщению понятий на предмет возможности обработки реальных массивов данных и установлено, что подход приближенных множеств способен удачно справляться с противоречивой и неполной информацией, однако имеет недостаток, связанный с высокой вычислительной сложностью этапов дискретизации, выбора существенных признаков и построения решающих правил.

2. Сформулированы и доказаны две теоремы, предназначенные для итерационного вычисления количества пар объектов, различимых делением непрерывного атрибута, и имеющие силу для произвольной решающей таблицы. Они положены в основу предлагаемого алгоритма дискретизации.

3. Разработан эффективный эвристический алгоритм дискретизации непрерывных областей значений атрибутов, который расширяет идею, предложенную в [36] на случай произвольной решающей системы и имеет значительно более низкую вычислительную сложность, чем наиболее широко используемый алгоритм дискретизации.

4. Разработан алгоритм выбора существенных атрибутов, совмещенный с этапом дискретизации, что позволяет избежать разбиения на интервалы непрерывных областей значений несущественных признаков.

5. Разработана модифицированная стратегия применения решающих правил при классификации неизвестных объектов, позволяющая в большинстве случаев достичь более высокую точность классификации.

6. Разработана и программно реализована система обобщения понятий, которая использует полученные теоретические результаты и создана на основе предложенных алгоритмов. Проведены эксперименты по сравнению эффективности созданной модификации с известными алгоритмами обобщения на тестовых наборах данных.

Разработанные алгоритмы и программные средства применены в динамической экспертной системе оперативной диагностики состояния экологически опасных объектов и производств «ДИЭКС» в ОАО «ЦНИИКА» для повышения точности технической диагностики и эффективности прогнозирования ресурса оборудования.

Работа выполнена по тематике НИР кафедры ПМ по разработке интеллектуальных систем поддержки принятия решений семиотического типа (проект РФФИ № 02-07-90042).

По теме диссертации опубликовано 20 работ и сделано несколько выступлений на научно-технических конференциях:

1. Куликов A.B. Исследование алгоритмов обобщения, строящих деревья решений // Третья международная школа-семинар по искусственному интеллекту для студентов и аспирантов (Браславская школа - 1999): Сборник научных трудов. - Мн.: БГУИР, 1999. - С. 173-177.

2. Куликов A.B., Фомина М.В. Разработка алгоритма обобщения знаний // Труды седьмой национальной конференции по искусственному интеллекту с международным участием (КИИ 2000). В 2 т. - Т. 1. - М.: ФизМатЛит, 2000. - С. 135-142.

3. Куликов A.B. Исследование и разработка алгоритмов извлечения и обобщения знаний в системах поддержки принятия решений // Радиоэлектроника, электротехника и энергетика: Тез. докл. шестой междунар. науч.-техн. конф. студентов и аспирантов. В 3-х т. - Т.1. - М.: МЭИ, 2000. - С. 229-230.

4. Фомина М.В., Куликов A.B. Исследование алгоритмов извлечения и обобщения знаний // Международный форум информатизации - 2000:

Доклады международной конференции «Информационные средства и технологии». В 3-х т. - Т.2. - М.: Станкин, 2000. - С.76-79.

5. Куликов A.B. Индуктивный вывод в системах поддержки принятия решений // Научная сессия МИФИ - 2001: Сборник научных трудов. В 14 т. - Т.З. Банки данных. Интеллектуальные системы. Программное обеспечение. - М.: МИФИ, 2001. - С. 198-199.

6. Куликов A.B. Современные методы классификации // Радиоэлектроника, электротехника и энергетика: Тез. докл. седьмой междунар. науч.-техн. конф. студентов и аспирантов. В 3-х т. - Т.1. - М.: МЭИ, 2001. - С. 260261.

7. Куликов A.B. Исследование и разработка методов обобщения объектов по признакам // Научная сессия МИФИ - 2002: Сборник научных трудов. В 14 т. - Т.З. Интеллектуальные системы и технологии. - М.: МИФИ, 2002. - С.161-162.

8. Куликов A.B. Исследование методов обобщения, основанных на теории приближенных множеств // Радиоэлектроника, электротехника и энергетика: Тез. докл. восьмой междунар. науч.-техн. конф. студентов и аспирантов. В 3-х т. - Т. 1. - М.: МЭИ, 2002. - С. 277.

9. Куликов A.B. Алгоритмы обобщения, основанные на теории приближенных множеств // Научная сессия МИФИ - 2003: Сборник научных трудов. В 14 т. - Т.З. Интеллектуальные системы и технологии. - М.: МИФИ, 2003. - С. 93-94.

Ю.Куликов A.B. Методы приближенных множеств в интеллектуальных системах // Радиоэлектроника, электротехника и энергетика: Тез. докл. девятой междунар. науч.-техн. конф. студентов и аспирантов. В 3-х т. -Т.1. - М.: Изд. МЭИ, 2003. - С.295-296.

П.Куликов A.B. Использование методов приближенных множеств в области интеллектуального анализа данных // Молодежная научно-техническая конференция «Наукоемкие технологии и интеллектуальные системы

2003»: Сборник научных трудов. В 2-х ч. - Часть 1. - М.: МГТУ им. Н.Э.Баумана, 2003. - С.157-160.

12.Куликов A.B. Этап дискретизации в решении задачи обобщения объектов с использованием теории приближенных множеств // Международный форум информатизации - 2003: Труды международной конференции «Информационные средства и технологии». В 3-х т. - T.1 - М.: Янус-К, 2003. - С. 139-142.

1 З.Куликов A.B., Фомина М.В. Использование алгоритмов обобщения, основанных на теории приближенных множеств, в интеллектуальных системах // Труды международных научно-технических конференций «Интеллектуальные системы (IEEE AIS'03)» и «Интеллектуальные САПР (CAD-2003)». Научное издание в 3-х томах. - T.I. - М.: ФизМатЛит, 2003.- С.357-362.

14.Куликов A.B. Разработка алгоритма обобщения, основанного на теории приближенных множеств и предназначенного для обработки реальных массивов данных. // Научная сессия МИФИ - 2004: Сборник научных трудов. В 14 т. - T.3. Интеллектуальные системы и технологии. - М.: МИФИ, 2004. - С. 180-181.

15.Куликов A.B. Разработка алгоритма обобщения на основе теории приближенных множеств // Радиоэлектроника, электротехника и энергетика: Тез. докл. десятой междунар. науч.-техн. конф. студентов и аспирантов. В 3-х т. - Т. 1. - М.: Изд. МЭИ, 2004. - С.319-320.

16.Куликов A.B. Разработка алгоритма обобщения информации, основанного на теории приближенных множеств // Молодежная научно-техническая конференция «Наукоемкие технологии и интеллектуальные системы - 2004»: Сборник научных трудов. В 2-х ч. - Часть 1. - М.: МГТУ им. Н.Э.Баумана, 2004. - С.157-160.

17.Kulikov A., Fomina М. The Development of Concept Generalization Algorithm Using Rough Set Approach / Knowledge-Based Software

Engineering: Proceedings of the Sixth Joint Conference on Knowledge-Based Software Engineering (JCKBSE 2004) // V.Stefanuk and K. Kajiri (eds). - IOS Press, 2004. - pp.261-268.

18.Куликов A.B., Фомина M.B. Разработка модификации алгоритма обобщения на основе теории приближенных множеств // Труды девятой национальной конференции по искусственному интеллекту с международным участием (КИИ 2004). В 3-х т. - Т.1. - М.: ФизМатЛит, 2004. - С.289-298.

19.Куликов A.B., Фомина М.В. Алгоритм индуктивного формирования понятий на основе подхода приближенных множеств // Международный форум информатизации - 2004: Труды международной конференции «Информационные средства и технологии». В 3-х т. - Т.1. - М.: Янус-К, 2004. - С.175-178.

20.Вагин В.Н., Куликов A.B., Фомина М.В. Методы теории приближенных множеств в решении задачи обобщения понятий // Известия РАН. Теория и системы управления. - 2004. - №6. - С.62-76.

В заключение хотелось бы выразить свою благодарность за оказанное содействие в процессе работы над диссертацией, за обеспечение необходимыми теоретическими материалами и за общую организацию работы своему научному руководителю — доктору технических наук, профессору кафедры ПМ института АВТ МЭИ Вагину Вадиму Николаевичу и кандидату технических наук, доценту Фоминой Марине Владимировне.

Список литературы диссертационного исследования кандидат технических наук Куликов, Алексей Владимирович, 2004 год

1. Бонгард М.М. Проблема узнавания. М.: Наука, 1967. - 320 с.

2. Вагин В.Н., Гулидова В.Г., Фомина М.В. Распознавание состояний сложного объекта при неполной входной информации. Техническая кибернетика, 1992. - №5. - С. 120-132.

3. Вагин В.Н. Дедукция и обобщение в системах принятия решений. М.: Наука, 1988.-384 с.

4. Гладун В.П. Эвристический поиск в сложных средах. Киев: Наукова думка, 1977.-206 с.

5. Berzal F., Cubero J.C., Sanchez D., Serrano J.M. ART: A Hybrid Classification Model // Machine Learning, 2004. Vol. 54. - № 1. - P. 67-92.

6. Breiman L., Friedman J.H., Olshen R.A., Stone C.J. Classification and Regression Trees. Monterey: Wadsworth and Books, 1984. - 368 p.

7. Dietterich T.G., Michalski R.S. Inductive Learning of Structural Descriptions: Evaluation Criteria and Comparative Review of Selected Methods // Artificial Intelligence, 1981. Vol. 16. - P. 251-294.

8. Dietterich T.G., Michalski R.S. A Comparative Review of Selected Methods for Learning from Examples // Machine Learning: An Artificial Intelligence

9. Approach. / Michalski R.S., Carbonell J., Mitchell T.M., (Eds.). Chapter 3. -Palo Alto: Tioga Press, 1983. - P. 41-82.

10. Efron B., Tibshirani R. J. An Introduction to the Bootstrap. New York: Chapman and Hall, 1993. - 456 p.

11. Halgamuge S. K., Glesner M. Neural networks in designing fuzzy systems for real world applications // Fuzzy Sets and Systems, 1994. №65. - P. 1-12.

12. Haussler D. Learning Conjunctive Concepts in Structural Domains // Machine Learning, 1989. Vol. 4. - P. 7-40.

13. Hayes-Roth F., McDermott J. Knowledge Acquisition from Structural Descriptions // Proceedings of 5th International Joint Conference on Artificial Intelligence. Cambridge, MA, 1977. - P. 356-362.

14. Holsheimer M., Siebes A. Data mining: the search for knowledge in databases / Technical Report CS-R9406, CWI, 1994. 78 p.

15. Hu X. Knowledge Discovery in Databases: Attribute-Oriented Rough Set Approach. PhD thesis Canada, Regina, University of Regina, 1995.

16. Hutchinson A. Algorithmic Learning. Oxford: Clarendon Press, 1994. -460 p.

17. Janikow C.Z., Fajfer M. Fuzzy Partitioning with FID3.1 // Proceedings of the 18th International Conference of the North American Fuzzy Information Society. June 10-12, 1999, New York. N.Y.: IEEE Press, 1999. - P.467-471.

18. Janikow C.Z. Fuzzy Decision Trees: Issues and Method // IEEE Transactions on Systems, Man and Cybernetics, 1998. Vol. 28. - Issue 1. - P.1-14.

19. Kohavi R., Quinlan J.R. Decision-tree discovery // Handbook of Data Mining and Knowledge Discovery / Will Klosgen, Jan M. Zytkow (Eds.). Chapter 16.1.3. - Oxford University Press, 2002. - P. 267-276.

20. Kohavi R., Frasca B. Useful Feature Subsets and Rough Set Reducts. // Proceedings of the third international workshop on rough sets and soft computing (RSSC'94). San Jose, California, 1994. - P. 310-317.

21. Komorowski J., Pawlak Z., Polkowski L., Skowron A. Rough Sets: A Tutorial // Rough Fuzzy Hybridization A New Trend in Decision Making. / Pal S.K., Skowron A. (Eds.). - Singapore: Springer-Verlag, 1999. - P. 3-98.

22. Langley P., Bradshaw G., Simon H.A. Rediscovering chemistry with the BACON system // Machine Learning: An Artificial Intelligence Approach / R.S. Michalski, J.G. Carbonell, T.M. Mitchell (Eds.). Palo Alto, CA: Tioga Press. -1983. - P.307-330.

23. Langley P., Simon H.A., Bradshaw G.L., Zytkow J.M. Scientific Discovery: Computational Explorations of the Creative Process. Cambridge, MA: MIT Press, 1987.-344 p.

24. Lenat D.B. On automated scientific theory formation: a case study using the

25. AM program. / J.E. Hayes and D. Michie (editors). // Machine Intelligence, 1981. Vol. 9. - N.Y.: Horwood. - P.251 -283.

26. Lindsay R.K., Buchanan B.G., Feigenbaum E.A., Lederberg J. DENDRAL: A Case Study of the First Expert System for Scientific Hypothesis Formation. -Artificial Intelligence, 1993. №61. - P. 209-261.

27. Merz C.J., Murphy P.M. UCI Repository of Machine Learning Datasets. -Information and Computer Science University of California, Irvine, CA, 1998. Режим доступа: http://www.ics.uci.edu/~mlearn/MLRepository.html.

28. Michalski R., Wnek J. Constructive Induction: An Automated Improvement of Knowledge Representation Spaces for Machine Learning // The Second International Workshop on Intelligent Information Systems. Augustow, Poland, June 7-11,1993.-P. 188-236.

29. Michie D., Spiegelhalter DJ., Taylor C.C. Machine Learning, Neural and Statistical Classification. N.Y.: Ellis Horwood, 1994.

30. Mitchell T.M. Version Spaces: A Candidate Elimination Approach to Rule Learning // Proceedings of 5th International Joint Conference on Artificial Intelligence. Cambridge, MA, 1977. - P.305-310.

31. Mitchell T.M. An Analysis of Generalization as a Search Problem // Proceedings of the 6th IJCAI Conference. Tokyo, Japan, 1979. P.577-582.

32. Nguyen H.S., Skowron A. Quantization of real value attributes // Proceedings of the Second Annual Joint Conference on Information Sciences (JCIS'95) // Wang P.P. (ed.). Wrightsville Beach, North Carolina, USA, 1995. - P.34-37.

33. Nguyen H.S., Nguyen S.H. Discretization methods in data mining // Rough Sets in Knowledge Discovery 1: Methodology and Applications / Polkowski L. and Skowron A. (Eds.). Heidelberg: Physica-Verlag, 1998. - P.451-482.

34. Nguyen S., Nguyen H. Pattern extraction from data. Fundamenta Informaticae, 1998. - Vol. 34. - № 1-2. - P. 129-144.

35. Nilsson N.J. Introduction to Machine Learning // Department of Computer Science, Stanford University, 1999. Режим доступа: http://robotics.stanford.edu/ people/ nilsson/ mlbook.html.

36. Pawlak Z. Rough Sets // International Journal of Information and Computer Science, 1982.-№ 11(5).-P. 341-356.

37. Pawlak Z. Rough sets and intelligent data analysis // Information Sciences, Elsevier Science, 2002. Vol. 147. - № 1-4. - P. 1-12.

38. Quinlan J.R. C4.5: Programs for Machine Learning. San Mateo, CA: Morgan Kaufmann Publishers, 1993.

39. Quinlan J.R. Induction of Decision Trees // Machine Learning, 1986. № 1 -P.l-81.

40. Schlimmer J.C., Fisher D. A Case Study of Incremental Concept Induction // Proceedings of the 5th National Conference on Artificial Intelligence. Philadelphia, PA. In 2 volumes. Vol. 1. - San Mateo: Morgan Kauffman Publishers, 1986. -P.496-501.

41. Skowron A., Rauszer C. The Discernibility Matrices and Functions in Information Systems // Intelligent Decision Support Handbook of Applications and Advances of the Rough Sets Theory / R. Slowinski (Ed.). - Kluwer, 1992. -P.331-362.

42. Stepaniuk J. Optimizations of Rough Set Model // Fundamenta Informaticae, 1998. Vol. 36. - № 2-3. - P. 265-283.

43. Subramanian D., Feigenbaum J. Factorization in Experiment Generation 11 Proceedings of the 5th National Conference on Artificial Intelligence. Philadelphia, PA. In 2 volumes. Vol. 1. - San Mateo: Morgan Kauffman Publishers, 1986. -P.518-522.

44. Utgoff P.E. ID5: An Incremental ID3 // Proceedings of the Fifth International Conf. on Machine Learning. San Mateo: Morgan Kauffman Publishers, 1988. -P. 107-120.

45. Utgoff P.E. Incremental Induction of Decision Trees // Machine Learning, 1989.-№4.-P. 161-186.

46. Watanabe L., Elio R. Guiding Constructive Induction for Incremental Learning from Examples // Proceedings of the 10th IJCAI Conference. Milan, Italy, 1987. -P. 293-296.

47. Weiss S., Kulikowski C. Computer Systems that Learn. San Mateo: Morgan Kaufmann Publishers, 1991.-223 p.