Методы решения задач распознавания образов комбинированного типа тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат технических наук Борисова, Ирина Артемовна

• Борисова, Ирина Артемовна
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Борисова, Ирина Артемовна

Введение.

Глава 1. Формулировка задач распознавания образов основного и комбинированного типов с кратким обзором существующих подходов к их решению.

1.1. Задачи распознавания образов основных типов.

1.1.1. Формулировка задачи построения решающего правила.

1.1.2. Формулировка задачи таксономии.

1.1.3. Формулировка задачи выбора системы информативных признаков.

1.2. Задачи распознавания образов комбинированного типа.

1.2.1. Построение решающего правила + выбор признаков (DX).

1.2.2. Таксономия+выбор признаков (SX).

1.2.3. Таксономия+построение решающего правила (SD).

1.2.4. Таксономия+распознавание+выбор признаков (SDX).

Выводы по первой главе.

Глава 2. Функция конкурентного сходства в задаче DX.

2.1. Функция конкурентного сходства.

2.2. Реальная и случайная информативность в задаче DX.

2.2.1. Эффект «псевдоинформативности» в задаче DX.

2.2.2. Сравнение критериев информативности.

2.2.3. Оценка «неслучайности» выбранных подсистем.

2.2.4. Проверка на реальных данных.

2.3. Целесообразность и эффективность применения аппарата FRiS-функций в задаче DX.

2.3.1 Построение решающего правила алгоритмом FRiS-Stolp.

2.3.2. Оценка надежности распознавания конкретных объектов.

2.3.3. Алгоритм FRiS-Agent в задаче DX.

Выводы по второй главе.

Глава 3. Использование функций конкурентного сходства при решении задачи SD.

3.1. Редуцированная функция конкурентного сходства.

3.2. Алгоритм FRiS-Tax.

3.2.1 Кластеризация (этап FRiS-Cluster).

3.2.2. Построение классификации (этап FRiS-Class).

3.2.3. Выбор оптимального числа таксонов.

3.3. Примеры работы алгоритма.

3.4. Экспериментальная проверка алгоритма FRiS-Tax, сравнение с существующими аналогами.

Выводы по третьей главе.

Глава 4. Задача «естественной» классификации и ее связь с задачей комбинированного типа SX.

4.1. Дискуссионная природа термина «естественная классификация».

4.2. Специфические свойства «естественных» классификаций.

4.3. Формулировка задачи построения «естественной» классификации в терминах задач комбинированного типа.

4.3.1 Критерий качества в задаче « естественной классификации».

4.3.2 Алгоритм NatClass.

4.4. Иерархическая таксономия.

4.4.1. Иерархический NatClass.

4.4.2. Другие возможные подходы к построению иерархической естественной классификации.

4.5. Экспериментальная проверка эффективности алгоритма NatClass.

4.6. Связь FRiS-функции и предсказательной способности таксономии.Г.

Выводы по четвертой главе.

Глава 5. Использование FRiS функции для решения задачи SDX.

5.1. Формальная постановка задачи SDX.

5.1.1. Формулировка задачи SDX в терминах FRiS-функций.

5.2. Алгоритм отыскания решения задачи SDX.

5.3.Иерархическая классификация.

5.3.1. Алгоритм решения иерархической задачи SDX.

5.4. Экспериментальная проверка.

Выводы по пятой главе.

Введение диссертации (часть автореферата) на тему «Методы решения задач распознавания образов комбинированного типа»

Человек обладает врожденной способностью к обработке информации, ее систематизации, обобщению, упрощению. Эта способность с древнейших времен интересовала исследователей, которые пытались понять ее механизмы. Процесс изучения способности человека производить знания продолжается до сих пор, по сути, он бесконечен. Долгое время им интересовались в основном философы, затем к ним подключились биологи, физиологи, психологи. С появлением компьютеров решение этих вопросов стало уже делом не только удовлетворения некоторого абстрактного научного любопытства. Теперь изучение и формализация человеческой способности к анализу информации, к познанию мира дает возможность частично наделять этой способностью искусственные объекты - компьютеры.

Даже самые примитивные модели анализа данных, реализованные в виде алгоритмов и компьютерных программ, позволяют достигать значительных результатов в процессе обработки информации. Машина не просто выполняет некоторые рутинные операции, освобождая человека для творческих занятий. Использование этих моделей позволяет с помощью машин решать задачи, ранее недоступные человеку из-за своей громоздкости и трудоемкости. Это становится особо актуально в последнее время, когда накопление информации в различных прикладных областях идет с огромной скоростью и ее обработка в принципе невозможна без помощи компьютера.

Одним из наиболее важных этапов обработки информации нам представляется ее систематизация и упрощение - представление в виде, доступном для понимания, более подробного исследования и дальнейшего использования. Человеком для этого используются различные приемы, многие из которых формализованы в рамках предметной области, называемой интеллектуальным анализом данных (ИАД), и относятся к задачам распознавания образов.

Упоминание о первом из них — группировке встречается еще у Демокрита в «Письме к ученому соседу». Он пишет: «Если тебе, мой друг, нужно разобраться в сложном нагромождении фактов или вещей, ты сначала разложи их на небольшое число куч по похожести. Картина прояснится, и ты поймешь природу этих вещей». Этот способ познания - создание классификационных структур на множестве объектов схожей природы широко используется наукой и в наши дни. Его формализация и развитие делается в рамках научного направления, которое называется большим количеством синонимов: таксономия, группировка, кластерный анализ, автоматическая классификация, обучение без учителя, самообучение и т.д. В задаче таксономии упрощение информации происходит за счет сокращения числа рассматриваемых объектов. Вместо изучения каждого отдельного представителя выборки появляется возможность сосредоточить внимание на изучении классов сходных объектов. Похожесть в рамках класса позволяет заменять множества объектов из этого класса неким эталонным (идеальным) образцом.

Этой задачей занимались такие известные российские и зарубежные ученые как Воронин Ю.А., Загоруйко Н.Г., Ивахненко А.Г., Шлезингер М.И., Ватанабе М.С., Себестиан Г.С, Фукунага К. и другие. Далее мы будем обозначать задачу таксономии символом S.

Если разбиение на классы задано непосредственно в исходных данных, то для дальнейшей работы обычно требуется построить некоторую обобщающую систему описаний этих классов, позволяющую отличать их друг от друга и отвечать на вопрос, к какому классу принадлежит новый объект. Эта задача в различных источниках называется задачей распознавания, задачей построения решающего правила, обучением с учителем, задачей классификации. В ней упрощение информации происходит за счет упрощения описания классов. Действительно, исходное описание класса в виде прямого перечисления всех объектов, попавших в него, заменяется описанием в виде обобщающего правила (логического решающего правила, линейной разделяющей границы и т.п.). Построение описаний уже существующих классов в виде решающих правил той или иной степени сложности, позволяет более четко представить структуру этих классов, их однородность.

Исследованиям задачи построения решающего правило посвящено огромное количество работ. Значительный вклад в развитие этой области внесли Журавлев Ю.И., Лбов Г.С., Вапник В.Н, Червоненкис А.Я, Мазуров В.Д, Симон, Фу К., Михальский Р. С. и многие другие исследователи. Задачу построения решающего правила далее мы будем обозначать символом D.

В процессе интеллектуального анализа информации объект обычно рассматривается как некая система признаков. Часть из них поступает человеку через его рецепторы (зрение, слух, осязание), часть проявляет себя во взаимодействии с другими объектами (измеряется приборами), часть может быть выведена (объем предмета через длины его сторон). От правильного выбора системы учитываемых свойств в общем случае зависит простота и эффективность оперирования с объектом. Таким образом, третьим способом упрощения исследуемого множества объектов является сокращение числа используемых в га описании признаков. Производиться оно может как за счет исключения слабых, неинформативных, несущественных, случайных, шумящих признаков, так и за счет выделения такой системы информативных, существенных признаков, по которой можно восстановить все остальные неслучайные признаки с достаточной степенью точности.

Методики выбора информативной системы признаков активно разрабатывались в рамках ИАД такими исследователями как Айвазяном С.А., Барабашом, Мерилом, Грином и рядом других. Далее эту задачу мы будем обозначать символом X.

Все описанные выше методы упрощения информации и соответствующие им задачи распознавания образов могут использоваться по отдельности. Однако самая совершенная система анализа информации — человеческий мозг - обычно решает их одновременно. То есть выбор системы информативных признаков, построение некоторой классификации объектов и решающего правила для различения созданных классов происходит параллельно и взаимосвязано. Аналогом реализации такого комплексного подхода в ИАД является задача комбинированного типа SDX [16].

Объект исследований. Задача SDX считается сложной и общего подхода к ее решению не существует. Прежде чем приступить к решению этой задачи, мы рассмотрим более простые задач комбинированного типа SX, DX, SD, в каждой из которых одновременно используются два из трех описанных выше приема упрощения информации [16]. Это позволит нам создать необходимый фундамент для решения задачи SDX непосредственно. Именно задачи распознавания образов комбинированного типа являются основными объектами исследования в данной работе. Комбинированные задачи хорошо согласуются с механизмами анализа информации, используемыми человеком, и S открывают новые возможности для решения сложных плохо обусловленных прикладных задач.

Цель работы. В отличии от задач основных типов, алгоритмов и методов решения задач комбинированного типа имеется относительно немного, по большей части они разработаны для частных случаев и оказываются эффективными лишь при выполнении ряда дополнительных требований к исходным данным. В связи с этим целью данной работы является разработка системы согласованных и универсальных алгоритмов для решения задач комбинированного типа.

Основные направления исследований. Требование согласованности алгоритмов здесь оказывается очень важным. Для его выполнения необходимо иметь единый базис для решения всех задач. В этой работе таким базисом стали функции конкурентного сходства (FRiS-функции) [68]. Выбор функций конкурентного сходства в качестве основы для большинства представленных алгоритмов решения задач комбинированного типа объясняется еще и тем, что основным методом исследования для нас является моделирование интеллектуальной деятельности человека при решении комбинированных задач. FRiS-функция оказывается при этом особенно эффективной, так как она моделирует психофизиологические особенности человеческого восприятия при оценке близости между объектами.

Методы исследований Помимо имитационного моделирования для решения задач распознавания образов комбинированного типа привлекается аппарат методов оптимизации и математическая статистика.

Научная новизна исследования состоит в том, что к решению задач комбинированного типа привлекается принципиально новый подход, основанный на функциях конкурентного сходства. А универсальность и эффективность алгоритмов, полученных в рамках данного исследования, обеспечивают его практическую значимость.

Именно задачам комбинированного типа, их связям с естественно-человеческой методологией познания, методам решения этих задач, анализу возможностей алгоритмов комбинированного типа, и областям их-применения посвящена данная диссертация.

На защиту выносятся следующие основные результаты:

• В рамках исследования применимости FRiS-функций показана их эффективность в качестве критерия информативности при решении задачи одновременного построения решающего правила и выбора наиболее информативного подпространства признаков. Предложена методика оценки надежности получаемых информативных систем признаков, их «неслучайности». Также предложена методика оценки надежности распознавания каждого нового объекта при использовании решающих правил, полученных с помощью алгоритма FRiS-Stolp.

• Разработан алгоритм FRiS-Tax для решения задачи комбинированного типа - одновременного построения таксономии и решающего правила, ее описывающего. Этот алгоритм не только достаточно точно воспроизводит действия человека эксперта при решении задач таксономии в пространствах малых размерностей, но и позволяет автоматически определять оптимальное число таксонов из заданного диапазона.

• Сформулированы основные требования, предъявляемые к «естественным» классификациям. Установлена связь между задачей построения «естественной» классификации и одной из задач распознавания образов комбинированного типа — задачей построения таксономии с одновременным выбором наиболее информативного подпространства признаков. Для решения данной задачи разработан алгоритм NatClass.

• Сформулирована наиболее сложная задача распознавания образов комбинированного типа - SDX - задача одновременного построения таксономии и решающего правила для ее описания в наиболее информативном признаковом пространстве. Предложена методика ее решения, позволяющая максимально структурировать массивы данных в случае отсутствия какой бы то ни было дополнительной информации относительно природы этих данных.

• Все алгоритмы, описанные в диссертации, опробованы на модельных и реальных прикладных задачах, проведено сравнение их эффективности с существующими в настоящее время аналогами. Большая часть разработок включена в пакет сервисных программ, автоматизирующих работу человека эксперта при анализе спектров образцов различных материалов для целей криминалистики.

Достоверность и обоснованность предлагаемых решений подтверждается результатами применения предложенных алгоритмов как к модельным, так и к реальным задачам различной природы.

Практическая ценность работы состоит в том, что практика использования разработанных алгоритмов для задач с плохо обусловленными данными показывает их более высокую эффективность по сравнению с существующими аналогами. Кроме того предложенные алгоритмы позволяют имитировать действия человека при анализе информации. Большая часть разработок включена в пакет сервисных программ, автоматизирующих работу эксперта при анализе спектров образцов мелкодисперсных материалов созданный по заказу института криминалистики.

Апробация работы. Основные результаты, представленные в данной работе, были доложены на следующих международных и всероссийских конференциях и форумах:

• KDS-2001, 2007 (Knowledge-Dialog-Solutions),

• PRIA-2004, 2007 (Pattern Recognition and Image Analysis),

• PRIP-2005, 2007 (Pattern Recognition and Image Processing),

• MMPO-12, 13 (Математические Методы Распознавания Образов),

• ACIT-SE-2005 (Automation, Control and Information Technology),

• BGRS-2006 (Bioinformatics of Genome Regulation and Structure),

• 30HT-2007 (Знания, Онтологии, Теории).

Отдельные этапы работы прошли экспертизу в ходе выполнения проектов, поддержанных грантами РФФИ (проекты № 02-01-00082-а, №05-01-00241-а).

Публикации. По теме диссертации опубликованы 16 работ, из них 2 научные статьи в журналах, входящих в перечень изданий, рекомендованных ВАК РФ, 2 научные статьи в ведущих рецензируемых журналах, 2 - в сборниках научных трудов, 10 - в сборниках трудов конференций.

Структура работы. Диссертационная работа изложена на 121 страницах и состоит из введения, обзора литературы (глава 1), четырех глав, содержащих основные результаты, и заключения. Иллюстративный материал представлен 24 рисунками и 1 таблицей. Список литературы включает 77 ссылок.

Заключение диссертации по теме «Теоретические основы информатики», Борисова, Ирина Артемовна

Выводы по пятой главе

1.Задача SDX (одновременного выбора наилучшего разбиения множества объектов на классы, решающего правила для их распознавания и наиболее информативного подпространства признаков) может рассматриваться как задача систематизации и структуризации информации в самом общем виде [76].

2. Формулировка этой задачи в терминах FRiS-функций позволяет использовать для ее решения все основные наработки, полученные в данной работе, и предложить эффективный алгоритм для построения иерархической классификации с одновременным выбором решающего правила и пространства наиболее информативных признаков.

Заключение

Разработка методов решения задач распознавания образов комбинированного типа является актуальным направлением исследований. Сами задачи такого вида лучше согласуются с общими механизмами анализа информации, используемыми человеком. Объясняется это тем, что в силу особенностей восприятия человеческий мозг обычно решает несколько базовых задач по систематизации и структуризации новых данных одновременно и согласованно. Таким образом, рассматривая возникающие прикладные задачи анализа данных как задачи комбинированного типа, мы можем имитировать действия человека-эксперта и в некоторых случаях заменять его. Кроме того, комбинированный подход позволяет минимизировать число дополнительных предположений относительно анализируемой выборки, а получаемые решения оказываются более устойчивыми к ошибкам и выбросам в исходных данных. В связи с этим особенно полезным комбинированный подход оказывается при решении задач Data Mining в условиях, которые не позволяют применить методы классической статистики. Ярким примером являются задачи, в которых число объектов М меньше числа описывающих их характеристик N и, кроме того, априорная информация о распределениях объектов, о зависимостях между объектами и между признаками отсутствует.

Наиболее общей задачей комбинированного типа, интересующей нас в данном исследовании, является задача SDX, когда одновременно решается задача таксономии (S), построения решающего правила для ее описания (D) и выбора информативного пространства признаков (X). Для корректного решения этой сложной задачи необходимо уметь решать все три основные задачи распознавания образов согласовано.

Единым базисом для решения всех задач распознавания образов в данной работе является функция конкурентного сходства. Именно использование этой функции, имитирующей особенности человеческого восприятия при определении меры похожести объектов и явлений, позволило нам создать ряд алгоритмов для решения более простых комбинированных задач SX, DX, SD и перейти к решению интересующей нас в первую очередь задачи SDX.

Перечислим основные результаты, полученные в данной работе:

1. В рамках анализа существующих подходов к решению задачи DX был исследован процесс возникновения «псевдоинформативных» признаков в плохо обусловленных задачах распознавания. Продемонстрировано, что критерий выбора информативной системы признаков для дальнейшего распознавания, основанный на функции конкурентного сходства (Fs), оказывается более устойчивым к эффекту «псевдоинформативности» и позволяет получать лучшие результаты, в сравнении с наиболее популярными критериями выбора признаков. Кроме того, показано, что сравнение значения меры (Fs), вычисляемой для наилучшей информативной подсистемы признаков на основе обучающей таблицы, и аналогичной величины, вычисленной на серии случайных таблиц того же размера, позволяет получить качественную оценку степени «неслучайности» выбранного подпространства признаков.

Было обнаружено, что в процессе решения задачи DX целесообразно опираться не на все объекты выборки, а лишь на некоторый набор эталонных образцов (столпов). Среднее значение функции конкурентного сходства, вычисленное с опорой на набор столпов, является наиболее эффективным критерием выбора информативной для распознавания системы признаков. Кроме того, величина функции конкурентного сходства контрольного объекта с образом, к которому он был отнесен, дает возможность сопроводить принятое решение оценкой уверенности в правильности этого решения.

2. Введение в рассмотрение «виртуального конкурента» позволило определить редуцированную функцию конкурентного сходства для неклассифицированной выборки. Предложенный алгоритм FRiS-Tax, опирающийся на редуцированную FRiS-функции, в процессе решения задачи SD позволяет строить разбиение выборки на адекватные с точки зрения человеческого восприятия кластеры и классы. При этом кластеры представляют из себя мелкие линейно разделимые группы объектов, имеющие простую форму, которые, объединяясь, образуют более сложные структуры «классы» произвольной формы. Использование среднего значения FRiS-функции для оценки качества таксономии позволило автоматизировать процесс выбора оптимального числа кластеров и классов в создаваемой таксономии.

3. При анализе наиболее удачных «естественных» классификаций было обнаружено, что ключевым их свойством является высокая предсказательная способность. Формализация этого понятия, а также рассмотрение задачи автоматического построения классификации, обладающей свойствами «естественной», как задачи комбинированного типа SX, позволила сформировать новый критерий качества для построения таксономии с одновременным выбором системы существенных признаков. Для ее решения был разработан алгоритм NatClass, который позволяет строить таксономии, обладающие свойствами «естественных», в виде иерархического дерева.

4. Задача SDX рассматривалась как задача представления данных в сжатом виде, удобном для дальнейшего анализа и использования человеком, который в силу особенностей своего восприятия предпочитает иметь дело с небольшим числом групп объектов, описанным в небольшом информативном подпространстве исходных признаков. Подобное сокращенное описание должно содержать систему простых правил, в соответствии с которыми каждый новый анализируемый объект может быть отнесен к той или иной группе. Кроме того, сокращенное описание выборки должно удовлетворять требованию «естественности», то есть содержать систему простых правил, по которым для нового объекта значения признаков, не вошедших в число информативных, должны восстанавливаться по значениям его информативных признаков и по общим характеристикам группы, к которой относится этот объект.

Формулировка задачи SDX в терминах FRiS-функций позволяет использовать для ее решения все основные наработки, полученные в данной работе, и предложить эффективный алгоритм FRiS-SDX для построения иерархической классификации с одновременным выбором решающего правила и отысканием пространства наиболее информативных признаков.

5. Все предложенные в работе алгоритмы проверялись как на различных модельных задачах, так и на реальных данных. Такая проверка подтвердила их применимость и эффективность в процессе решения задач распознавания образов комбинированного типа. Кроме того, большая часть описанных здесь алгоритмов вошла в пакет программ «Спектран» для интеллектуального анализа спектральных характеристик химических веществ, созданного по заказу Института Криминалистики ФСБ. Данная разработка получила высокую оценку заказчика.

Список литературы диссертационного исследования кандидат технических наук Борисова, Ирина Артемовна, 2008 год

1. Айвазян, С.А. Прикладная статистика: Классификация и снижение размерности / С.А. Айвазян, В.М. Бухштабер, И.С. Енюков, Л.Д. Мешалкин. -Москва: Финансы и статистика, 1989. 607 с.

2. Айвазян, С.А. Прикладная статистика: Основы моделирования и первичная обработка данных / С.А. Айвазян, И.С. Енюков, Л.Д. Мешалкин. -Москва: Финансы и статистика, 1983. — 471 с.

3. Аркадьев, А.Г. Обучение машины классификации объектов / А.Г. Аркадьев, Э.М. Браверманн. Москва: Наука, 1971. - 192 с.

4. Боровков, А.А. Математическая статистика / А.А. Боровков. -Новосибирск: Наука, 1997. 772 с.

5. Вапник, В.Н. Алгоритмы и программы восстановления зависимостей / В.Н. Вапник, Т.Г. Глазкова, В.А. Кощеев, А. И. Михальский, А.Я. Червоненкис; Под редакцией В. Н. Вапника. М.: Наука, Главная редакция физико-математической литературы, 1984. - 816 с.

6. Вапник, В.Н. Теория распознавания образов / В.Н. Вапник, А.Я. Червоненкис. Москва: Наука, 1974. - 415 с.

7. Витяев, Е.Е. Извлечение знаний из данных. Компьютерное познание. Модели когнитивных процессов / Е.Е. Витяев. Новосибирск: Издательство НГУ, 2006. - 293 с.

8. Воронин Ю.А. Введение в теорию классификаций / Ю.А. Воронин. -Новосибирск, 1982. 194 с.

9. Горелик, А.Л. Современное состояние проблемы распознавания / А.Л. Горелик, И.Б. Гуревич, В.А. Скрипкин. Москва: Радио и связь, 1985. - 160 с.

10. Жук, Е.Е. Устойчивость в кластер анализе многомерных наблюдений / Е.Е. Жук, Ю.С. Харин. Минск: Белгосуниверситет, 1998. - 240 с.

11. Журавлев, Ю.И. Распознавание: Математические методы. Программная система. Практические применения / Ю.И. Журавлев, В.В. Рязанов, О.В. Сенько. Москва: Фазис, 2006. - 176 с.

12. Забродин, В.Н. О критериях естественности классификаций / В.Н. Забродин // НТИ, сер.2, 1981. - №8. - С. 92-112.

13. Загоруйко, Н.Г. Прикладные методы анализа данных и знаний / Н.Г. Загоруйко. Новосибирск: Издательство И.М., 1999. — 270 с.

14. Загоруйко, Н.Г. Методы распознавания и их применение / Н.Г. Загоруйко.- Москва: Сов. Радио, 1972. 208 с.

15. Ивахненко, А.Г. Применение принципа самоорганизации для объективной кластеризации изображений, системного анализа и долгосрочного прогноза / А.Г. Ивахненко // Автоматика. 1986. - №1. С. 5-11.

16. Колмогоров, А.Н. "К вопросу о пригодности найденных статистическим путем формул прогноза"/ А.Н. Колмогоров // Заводская лаборатория. 1933. -№1. - С. 164-167.

17. Котюков, В.И. Формирование решающих правил / В.И. Котюков // Вычислительные системы. Новосибирск, 1971. - Вып.44. - С. 37-48.

18. Красилов, В.А. Нерешенные проблемы теории эволюции / В.А. Красилов.- Владивосток: Изд-во ДВГУ, 1986. 138 с.

19. Лапко, А.В. Непараметрические системы обработки информации / А.В. Лапко, С.В. Ченцов. Москва: Наука, 2000. - 352 с.

20. Лбов, Г.С. Построение дерева разбиений в задаче группировки объектов с использованием логических функций / Г.С. Лбов, Т.М. Пестунова // Анализ данных в экспертных системах: Вычислительные системы. Новосибирск, 1986.-Вып. 117. С. 63-77.

21. Лбов, Г.С. Логические решающие функции и вопросы статистической устойчивости решений / Г.С. Лбов, Н.Г. Старцева. Новосибирск: Издательство ИМ., 1999.-212 с.

22. Мазуров, В.Д. Метод комитетов в распознавании образов / В.Д. Мазуров // Метод комитетов в распознавании образов. Свердловск: Изд. УО АН СССР, 1974.-С. 10-40.

23. Миленький, А.В. "Классификация сигналов в условиях неопределенности / А.В. Миленький. Москва: Советское радио, 1975. - 328 с.

24. Раудис, Ш.Ю. Об определении объема обучающей выборки линейного классификатора / Ш.Ю. Раудис // Вычислительные системы. Новосибирск, 1967.-Вып.28.-С. 79-88.

25. Себестиан, Г.С. Процессы принятия решений при распознавании образов/ Г.С. Себастиан. Киев: Техника, 1965. — 151 с.

26. Смирнов, Е.С. Таксономический анализ / Е.С. Смирнов. Москва: МГУ, 1969.-352 с.

27. Ту, Д. Принципы распознавания образов / Дж. Ту, Р. Гонсалес. Москва: Мир, 1978.-411 с.

28. Фу, К. Последовательные методы в распознавании образов и обучении машин / К. Фу. Москва: Наука, 1971. - 256 с.

29. Фукунага К. Введение в статистическую теорию распознавания образов / К. Фукунага. Москва: Наука, 1979. - 367 с.

30. Шлезингер, М. Десять лекций по статистическому и структурному распознаванию /М. Шлезингер, В. Главач. Киев: Наукова Думка, 2004. - 548 с.

31. Шлезингер, М.И. О самопроизвольном разделении образов / М.И. Шлезингер // Читающие автоматы и распознавание образов: сб. науч. трудов -Киев: Наукова думка, 1965. С. 46-61.

32. Battiti, R. Using Mutual Information for Selecting Features in Supervised Neural Net Learning / Battiti R. // IEEE Trans. Neural Networks. 1994. - vol. 5, no. 4.-P. 537-550.

33. Boser, E. A training algorithm for optimal margin classifiers / E. Boser, I.M. Guyon, V.N. Vapnik // 5th Annual ACM Workshop on COLT. Pittsburgh, 1992. -P. 144-152.

34. Dempster, A. Maximum likelihood from incomplete data via the EM algorithm / A. Dempster, N. Laird, D. Rubin // Journal of the Royal Statistical Society, Series B. 1977. - Vol. 39(1). - P. 1-38.

35. Dy, J.G. Feature Subset Selection and Order Identification for Unsupervised Learning / J.G. Dy, C.E. Brodley // Proc. 17th Int'l Conf. Machine Learning. 2000. - P. 247-254.

36. Everitt, B.S. Cluster analysis. Third edition. / B. Everitt. London: Edvard Arnold, 1993.- 170 pp.

37. Fukunaga, K. A criterion and an algorithm for grooping data / K. Fukunaga, W.L.G. Koontz // IEEE Trans. Сотр., С-19. 1970. - P. 917-923.

38. Gennari, J.H. Models of incremental concept formation / J.H. Gennari, P. Langeley, D. Fisher// Artificial Intelligence 40. 1989. - P. 11 -61.

39. John, G. Irrelevant features and the subset selection problem / G. John, R. Kohavi, K. Pfleger // Machine Learning: Proc. Of the 11-th Int. Conf. Morgan Kaufmann, 1994. - P.121-129.

40. Kim, Y. Feature Selection in Unsupervised Learning via Evolutionary Search / Y. Kim, W. Street, F. Menczer // Proc. Sixth ACM SIGKDD Int'l Conf. Knowledge Discovery and Data Mining. -2000. P. 365-369.

41. Kira, K. The Feature Selection Problem: Traditional Methods and a New Algorithm / K. Kira, L. Rendell // Proc. 10th Nat'l Conf.Artificial Intelligence (AAAI-92). 1992. - P. 129-134.

42. Kohavi, R. Wrappers for Feature Subset Selection / R. Kohavi, G.H. John // Artificial Intelligence. 1997. - vol. 97, nos. 1-2. - P. 273-324.

43. Kwak, N. Input Feature Selection by Mutuallnformation Based on Parzen Window / N. Kwak, C.-H. Choi // IEEE Trans. Pattern Analysis and Machine Intelligence. 2002. - vol. 24, no. 12. - P. 1667-1671.

44. Law, M.H.C. Simultaneous Feature Selectio and Clustering Using Mixture Models / M.H.C. Law, M.A.T. Figueiredo, A.K. Jain // IEEE Trans. Pattern Analysis and Machine Intelligence. 2004. - vol. 26, no. 9. - P. 1-13.

45. MacQueen J. "Some methods for classification and analysis of multivariate observations / J. MacQueen // Proceedings of the 5th Berkley Symposium on Mathematical Statistic and Probability. University of California Press, 1967. -Vol.1.-P. 281-297.

46. Merill, T. On the effectiveness of receptors in recognition systems / T. Merill, О. M. Green // IEEE Trans. Inform. Theory. 1963. - Vol. IT-9. - P. 11-17.

47. Michalski, R.S. Machine Learning and Data Mining, Methods and Applications / R. S. Michalski, I. Bratko, M. Kubat. N.Y.: John Wiley & Sons, 1998.-472 pp.

48. Mitra, P. Unsupervised Feature Selection Using Feature Similarity / P. Mitra, C.A. Murthy // IEEE Trans. Pattern Analysis and Machine Intelligence. 2002. -Vol. 24, No. 3. - P. 301-312.

49. Niemann, H. Pattern analysis and understanding / H. Niemann. Springer-Verlag, 1990. 371 pp.

50. Pawalk, Z. Rough sets: preset state and the future / Z. Pawalk // Foundations of Computing and Decision Sciences. 1993. - Vol. 18(3-4). - P. 157-166.

51. Robnik-Sikonja, M. Theoretical and Empirical. Analysis of ReliefF and RReliefF / M. Robnik-Sikonja, I. Kononenko // Machine Learning. 2003. - Vol. 53. -P. 23-69.

52. Sahami, M. Using Machine Learning to Improve Information Access / M. Sahami // PhD thesis, Computer Science Dept., Stanford Univ. 1998. - 240 p.

53. Siedlecki, W. "On automatic feature selection / W. Siedlecki, J. Sklansky // Int. Journal of Patt. Rec. and Art. Intel. 1988. - Vol. 2 (2). - P. 179-220.

54. Siedlecki, W. A note on genetic algorithms for large-scale feature selection"/ W. Siedlecki, J. Sklansky // Pattern Recognition Letters. 1989. - Vol.10. - P. 335347.

55. Thrun, S.B. The Monk's problems: A performance comparison of different learning algorithms / S. B. Thrun et al. // Technical Report CMU-CS-91-97. -Carnegie Mellon University, 1991. 112 pp.

56. Watanabe, M.S. Knowing and Guessing: Formal and Qualitative Study/ M.S. Watanabe. N.Y.: John Wiley, 1969. 267 pp.

57. Xu, L. Best first strategy for feature selection / L. Xu, P. Yan, T. Chang // 9-Int. Conf. on Patt. Rec. IEEE Сотр. Society Press, 1989. - P. 706-708.

58. Борисова, И.А. Естественная классификация / И.А. Борисова, Н.Г. Загоруйко // Интеллектуальный анализ информации. Сборник трудов российско-украинского научного семинара, Киев, 19-21 мая 2004 г. Киев: Просвгга, 2004. - С. 33 - 42.

59. Zagoruiko, N.G. Principles of natural classification / N.G. Zagoruiko, I.A. Borisova // Pattern Recognition and Image Analysis. Germany: Springer Verlag GmbH, 2005. - vol 15, №1. - P.27 - 29. Принципы естественной классификации.

60. Борисова, И.А. Использование FRiS-функции для построения решающего правила и выбора признаков(задача комбинированного типа DX) / И.А. Борисова, В.В. Дюбанов, Н.Г. Загоруйко, О.А. Кутненко // Знания. Онтологии.

61. Теории. Материалы Всероссийской Конференции, Новосибирск, 2007. -Новосибирск, 2007. том 1. - С. 37-44.

62. Борисова, И.А. Функция конкурентного сходства в задаче таксономии / И.А. Борисова, Н.Г. Загоруйко // Знания. Онтологии. Теории. Материалы Всероссийской Конференции, Новосибирск, 2007. Новосибирск, 2007. - том 2. - С. 67-76.

63. Борисова, И.А. Алгоритм таксономии FRiS-Tax / И.А. Борисова // Научный вестник НГТУ Новосибирск : Изд-во НГТУ, 2007. - №3. - С. 3-12.

64. Борисова, И.А. Критерии информативности и пригодности подмножества признаков, основанные на функции сходства / И.А. Борисова, Н.Г. Загоруйко, О.А. Кутненко // Заводская лаборатория. Диагностика материалов. Москва, 2008. - №1, том 74. - С. 68-71.

65. Борисова, И.А. Задачи комбинированного типа в интеллектуальном анализе данных"/ И.А. Борисова, Н.Г. Загоруйко // Сборник научных трудов научной сессии МИФИ-2008. Москва, 2008. - том 10. - С. 209-210.