Адаптивная модель распознавания образов для решения задач классификации в условиях неопределенности тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Кувшинов, Борис Михайлович

• Кувшинов, Борис Михайлович
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Кувшинов, Борис Михайлович

ОСНОВНЫЕ ОБОЗНАЧЕНИЯ.

ВВЕДЕНИЕ.

1 ИССЛЕДОВАНИЕ СОСТОЯНИЯ ЗАДАЧИ РАСПОЗНАВАНИЯ ОБРАЗОВ.

1.1 Место методов распознавания образов в задачах оценивания и управления.

1.2 Общая постановка задачи распознавания.

1.2.1 Типы решаемых задач.

1.2.2 Типы обрабатываемой информации.

1.3 Концепция обучения.

1.4 Классы алгоритмов распознавания.

1.4.1 Структура алгоритмов распознавания.

1.4.2 Способы задания распознающих операторов.

1.5 Коллективные решающие правила.

1.5.1 Логическая и геометрическая интерпретация комитетов в задаче распознавания образов.

1.5.2 Критерии оптимальности коллективных решающих правил.

1.5.3 Алгоритмы построения комитетов.

1.6 Цель и задачи диссертационного исследования.

2 МОДЕЛЬ АДАПТАЦИИ КЛАССИФИКАТОРА К ИСТОЧНИКУ АПРИОРНОЙ ИНФОРМАЦИИ.

2.1 Формы представления обучающей информации и ее неопределенности в задаче распознавания.

2.2 Организация процесса адаптации.

2.3 Преобразование коррекции обучающей информации.

2.4 Преобразование коррекции матрицы алгоритмических оценок параметра качества.

Выводы.

3 АЛГОРИТМЫ ПОСТРОЕНИЯ АДАПТИВНОГО КЛАССИФИКАТОРА.

3.1 Выбор меры несогласованности алгоритмических оценок для кусочно-линейных комитетных решающих правил.

3.2 Алгоритм адаптации комитетного решающего правила к априорной классификации.

3.2.1 Базовая операция изменения рангов объектов.

3.2.2 Организация итерационного процесса перемещения комитета в пространстве параметров состояния.

3.2.3 Использование эвристических процедур при поиске решающего правила.

3.2.4 Алгоритм линейной коррекции для проверки линейной разделимости множеств.

3.2.5 Анализ сходимости итерационного процесса.

3.3 Алгоритм адаптивной кластеризации для построения немонотонной меры близости в пространстве параметров состояния.

3.3.1 Связь с проблемой неопределенности априорной информации.

3.3.2 Алгоритм кластеризации.

Выводы.

4 ОРГАНИЗАЦИЯ СИСТЕМЫ РАСПОЗНАВАНИЯ В УСЛОВИЯХ НЕОПРЕДЕЛЕННОСТИ АПРИОРНОЙ ИНФОРМАЦИИ РАЗЛИЧНЫХ ВИДОВ.

4.1 Задача дискриминантного анализа.

4.2 Выбор информативных параметров состояния.

4.3 Схемы построения системы распознавания при решении задач классификации.

4.4 Проверка работоспособности алгоритмов на модельных примерах.

4.4.1 Базовый алгоритм адаптации.

4.4.2 Алгоритм решения задачи дискриминантного анализа.

4.4.3 Алгоритм кластеризации.

Выводы.

5 ЧИСЛЕННОЕ РЕШЕНИЕ ЗАДАЧ КЛАССИФИКАЦИИ НА ОСНОВЕ АЛГОРИТМОВ АДАПТАЦИИ.

5.1 Задача контроля качества кристаллов искусственного кварца.

5.1.1 Постановка задачи неразрушающего контроля качества.

5.1.2 Организация системы распознавания.

5.1.3 Результаты работы системы распознавания.

5.2 Задача оценивания тяжести гипертрофической кардиомиопатии.

5.2.1 Постановка задачи оценивания.

5.2.2 Организация системы распознавания.

5.2.3 Классификация объектов обучающей выборки.

5.2.4 Выбор информативного подпространства и построение решающих правил.

Выводы.

Введение диссертации (часть автореферата) на тему «Адаптивная модель распознавания образов для решения задач классификации в условиях неопределенности»

Диссертация посвящена разработке и практическому применению методов и алгоритмов распознавания образов, позволяющих решать задачи классификации в условиях неопределенности. Под неопределенностью понимается использование в ходе обучения системы распознавания неточной, неполной и противоречивой априорной информации о классифицируемых объектах. Предполагается также отсутствие информации о статистических законах распределения значений параметров классифицируемых объектов.

Актуальность темы. В настоящее время экспертные системы (системы поддержки принятия решений) получают широкое применение в разнообразных прикладных областях при решении задач оценивания и управления [10, 11, 17, 26, 60, 74, 85]. Задача таких систем - выявить и формализовать знания и правила, которые используют эксперты из какой-либо прикладной области при принятии решения о выборе оптимального управления, либо оптимальных оценок для объекта управления, а затем применить полученную информацию для автоматизации принятия аналогичных решений.

Методы распознавания образов являются одним из основных средств, используемых при построении экспертных систем [26, 74]. Задача распознавания, в общем виде, представляется как задача наилучшего, с точки зрения выбранных целей, разбиения на классы какого-либо множества объектов. Классы при этом соответствуют различным возможным управлениям (оценкам) для объектов. Систематическая постановка задачи распознавания образов впервые рассмотрена в работах Р.Фишера, А.Н.Колмогорова, А.Я.Хинчина, Ф.Розенблатта. В 1960-е г.г. широкое развитие получил вероятностный подход к задачам распознавания в работах В.М.Глушкова, Я.З.Цыпкина, А.Г.Ивахненко, Ю.И.Журавлева, М.А.Айзермана, Э.М.Бравермана, М.М.Бонгарда, Л.И.Розоноэра, Н.Г.Загоруйко, В.Н.Вапника, А.Я.Червоненкиса, Г.С.Себастиана. В дальнейшем были предложены постановки задачи распознавания, позволяющие использовать различные виды априорной информации о классифицируемых объектах: числовые и логические признаки объектов, логические закономерности (в т.ч. с использованием аппарата нечеткой логики) [33, 83, 84, 93-95, 110, 118, 123], регулярные свойства классов объектов [19, 107, 116], вероятностные законы распределения значений признаков [1, 12-15, 70, 88, 120] и т.д.

В настоящее время разработка методов обработки нечетких, неполных и противоречивых знаний составляет основное содержание работ в области создания экспертных систем [74]. Такие системы должны обнаруживать противоречия между имеющимися и вновь поступающими данными и обладать средствами согласования этих противоречий. В рамках задачи распознавания образов это свойство обуславливает необходимость разработки методов, позволяющих решать задачи классификации при наличии недостаточного количества достоверной информации об объектах исследования. Во многих случаях разработка систем распознавания затрудняется именно тем, что эксперты не обладают достаточным количеством информации для принятия гарантированно безошибочных решений. Поэтому актуальной представляется разработка методов, позволяющих решать задачи классификации в условиях, когда информация, описывающая возможные состояния объектов и соответствующие им управления (оценки), может содержать ошибки.

В диссертации рассматривается случай, когда в качестве априорной обучающей информации используются результаты некоторых инструментальных измерений, проводимых над объектами исследования, а также суждения экспертов относительно классов некоторых из обследованных объектов. В этом случае, как правило, используются некоторые предположения относительно статистических законов распределения значений параметров, характеризующих состояние объектов [1, 10, 62, 89]. При этом решения, принимаемые системой классификации, также носят статистический характер, а недостаток априорной информации компенсируется сведениями, полученными за счет сделанных вероятностных допущений. В то же время существует широкий класс практических задач, в которых никаких предположений о статистических характеристиках распределения значений параметров объектов сделать невозможно. Это обуславливает необходимость разработки соответствующих методов для случая статистической неопределенности параметров объектов.

В данной ситуации система распознавания образов должна компенсировать недостаток достоверной априорной информации об объектах за счет интерактивного взаимодействия с экспертами. При этом задача методов распознавания заключается в том, чтобы оценить достоверность каждого элемента априорной информации, т.е. его согласованность со всем объемом доступной априорной информации. На основе этих оценок эксперты должны иметь возможность целенаправленно уточнять отдельные элементы априорного описания объектов, в результате чего качество работы системы распознавания при построении классификации будет возрастать. Это обуславливает необходимость разработки методов, которые объединяли бы используемые в системах распознавания процедуры обучения (для использования априорных экспертных оценок) и самообучения (для построения оценок достоверности априорной информации). Такой подход позволяет расширить смысл понятия "обучающая выборка" и придает системе распознавания динамические свойства, т.е. возможность постепенного улучшения своих характеристик в процессе эксплуатации за счет целенаправленного уточнения априорной информации в ходе взаимодействия с экспертами.

Для реализации процедур распознавания в диссертации используется подход, основанный на использовании коллективных решающих правил (комитетов) [51, 68]. Использование коллективного решения позволяет формировать решающие правила, сложность которых оказывается адекватной сложности задачи при изменении сложности предоставляемых для обработки данных. Наибольшее развитие получили вопросы применения коллективных решений для построения кусочно-линейных комитетных решающих правил, в первую очередь в рамках научной школы В. Д. Мазурова: в работах В.Д.Мазурова, М.Ю.Хачая, Н.Г.Белецкого, В.С.Казанцева и др. [7-9, 31, 32, 50-57, 71-73, 96-99, 103-106]. В рамках научной школы Ю.И.Журавлева, исследованию свойств комитетов, как частного случая алгебраического подхода к задаче распознавания [22-24], посвящены работы В.В.Рязанова, Ю.А. Зуева, К.В.Рудакова и др. [27-29, 64-68,

85, 99, 112, 113, 115]. Алгоритмическая база построения комитетных решающих правил имеет некоторые принципиальные ограничения [73, 96, 98]. Эти ограничения заставляют искать компромисс между качеством работы системы распознавания и ее практической реализуемостью на вычислительных средствах. Используемый в диссертации принцип объединения процедур обучения и самообучения позволяет предложить новую формулировку задачи построения коллективного решающего правила - как задачи оптимизации относительно критерия согласованности коллективного решения. Это дает возможность использовать для построения комитетных решающих правил процедуры оптимизационного поиска, имеющие полиномиальную вычислительную сложность и при этом обеспечивающие максимально достижимое на данном уровне неопределенности качество решения задачи классификации.

Об актуальности работы свидетельствует также ее поддержка грантами Российского фонда фундаментальных исследований (грант №04-01-96078) и Министерства образования РФ (грант № Е02-2.1-23).

Цель и задачи работы. На основе методов распознавания образов необходимо разработать процедуры использования и коррекции априорной обучающей информации и алгоритмы построения решающих правил для решения задачи классификации при наличии неполной, неточной и противоречивой информации о значениях параметров состояния и классах объектов и при отсутствии информации о статистической природе измеряемых параметров объектов.

Для достижения цели диссертационного исследования необходимо решить следующие задачи.

1. Построить модель и разработать метод адаптации системы распознавания к цели решения задачи оценивания (управления), т.е. итеративного изменения и дополнения всего объема априорной информации о классах и параметрах состояния объектов заданной выборки, позволяющего согласовать противоречивые априорные данные при заданном допустимом уровне изменений, вносимых в априорную информацию.

2. Разработать, в рамках предлагаемого метода адаптации, алгоритмы построения коллективных решающих правил, обеспечивающие построение оценок достоверности каждого элемента априорной информации и классификацию объектов на основе этих оценок.

3. Разработать процедуру взаимодействия эксперта с системой распознавания, обеспечивающую итеративное согласование классификации, параметров состояния объектов предоставленной выборки, алфавита классов и словаря параметров состояния объектов, получаемых от эксперта и достигаемых при построении решающих правил.

4. Разработать программное обеспечение, реализующее предлагаемый метод и алгоритмы и использовать его для решения прикладных задач классификации в условиях неопределенности.

Методы исследования. Теоретические исследования основывались на применении методов распознавания образов и математической статистики, теории оптимизации, методов вычислительной геометрии, теории математического моделирования.

Научная новизна

1. Построена модель адаптации системы распознавания к неопределенной априорной информации, объединяющая процедуры обучения и самообучения и обеспечивающая целенаправленную коррекцию данных обучающей выборки на основе итеративного взаимодействия с экспертом.

2. Разработаны алгоритмы построения кусочно-линейных комитетных решающих правил: алгоритм коррекции классификации объектов, алгоритм кластеризации, алгоритм решения задачи дискриминантного анализа, алгоритм ускоренного построения комитета, обеспечивающие решение задачи классификации в рамках построенной модели адаптации.

3. Предложены процедуры совместного использования разработанных алгоритмов при взаимодействии с экспертами. Они позволяют решать задачи классификации с неточной, неполной и противоречивой априорной информацией о параметрах состояния, классах объектов, алфавите классов и словаре параметров состояния и при отсутствии информации о статистических законах распределения значений параметров распознаваемых объектов.

Практическая ценность и внедрение. Разработанные метод и алгоритмы позволяют решать задачи классификации при наличии неточной, неполной и противоречивой априорной информации. Это дает возможность существенно расширить область применения методов распознавания для поддержки принятия решений в системах управления и оценивания различного назначения. Алгоритмы построения комитетных решающих правил, использующие предложенную постановку задачи обучения в форме задачи адаптации к неопределенной априорной информации, имеют линейную вычислительную сложность. Это позволяет использовать их для решения задач оценивания и управления в режиме реального времени.

Создан пакет прикладных программ для программного комплекса Math Works Matlab, реализующих предложенный метод и алгоритмы. Предложенные в работе метод адаптации системы распознавания, алгоритмы построения решающих правил и их программная реализация были использованы при решении практических задач классификации:

1) в ОАО «Южноуральский завод «Кристалл» - для организации неразрушающего контроля качества кристаллов искусственного кварца на основе данных электромагнитного зондирования контрольных образцов, в условиях неточных измерений откликов кристаллов на зондирующие сигналы.

2) в Челябинской государственной медицинской академии и Челябинской городской клинической больнице №1 - для оценивания тяжести заболевания гипертрофической кардиомиопатией по данным электрокардиографического и эхокардиографического исследования пациентов при отсутствии достоверных априорных экспертных суждений о тяжести заболевания.

3) в лечебной практике неврологического отделения для больных с нарушениями мозгового кровообращения городской клинической больницы №3 г. Челябинска - для прогнозирования переходящих нарушений мозгового кровообращения у больных с дисциркуляторной энцефалопатией.

4) в ООО «Южно-Уральский сотовый телефон» - для прогнозирования спроса на услуги сотовой связи, с учетом влияния на него социальноэкономического состояния региона сбыта и информации о развитии рынка сотовой связи и социально-экономическом состоянии в других регионах.

Апробация работы. Основные результаты работы докладывались на:

1)31-й и 34-й Региональной молодежной конференции «Проблемы теоретической и прикладной математики» (Екатеринбург, 2000, 2003);

2) 2-й Международной конференции молодых ученых «Актуальные проблемы современной науки» (Самара, 2001); ф 3) Междисциплинарной научной конференции «Новые биокибернетические и телемедицинские технологии 21 века для диагностики и лечения заболеваний человека» (Петрозаводск, 2002);

4) 12-й Всероссийской конференции «Математическое программирование и приложения» (Екатеринбург, 2003);

3) 15-й Международной научно-технической конференции «Экстремальная робототехника» (С.-Петербург, 2004).

Доклады по теме диссертации были приняты на:

1) Международную конференцию «Modeling & Simulation in Technical and Social Sciences» (Жирона, Испания, 2002);

2) Международную научно-техническую конференцию «Искусственный интеллект-2002» (Таганрог, 2002);

3) 2-ю Международную научно-практическую конференцию «Фундаментальные и прикладные исследования в системе образования» (Тамбов, 2004).

Публикации. По теме диссертации опубликованы 17 работ, в том числе 4 ф статьи в ведущих научных журналах, рекомендованных ВАК РФ. Материалы диссертации были использованы в 6 отчетах по НИР.

Структура и объем диссертации. Диссертация состоит из введения, пяти глав, заключения, списка литературы (125 наименований), шести приложений. Основной текст диссертации изложен на 146 страницах и содержит 32 иллюстрации.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Кувшинов, Борис Михайлович

Выводы измерения значений откликов кристаллов на зондирующие сигналы до 40% точность автоматической классификации по различным показателям составляет от 58% до 70%, что в 2-3,5 раза выше точности случайной сортировки кристаллов в отсутствие процедуры неразрушающего контроля.

- задача оценивания тяжести гипертрофической кардиомиопатии сформулирована и решена как задача адаптации системы распознавания к неточной (классификация пациентов экспертными суждениями вида «легкий или средний класс тяжести»), неполной (отсутствие экспертных суждений для некоторых пациентов) и противоречивой (ошибочные экспертные суждения) априорной информации о классах объектов; получена классификация выборки из 75 пациентов, дающая 98% согласованности оценок экспертов и системы распознавания; доля правильных ответов при классификации объектов тестовой выборки составила 80% - по значениям 10 наиболее информативных параметров состояния и 88% - при использовании значений 131 параметра состояния; использовавшиеся ранее для оценивания тяжести ГКМП эмпирические методики требовали привлечения высококвалифицированного медицинского персонала и обеспечивали точность классификации не выше 57%.

2. Предложенные алгоритмы реализованы в виде программного обеспечения для ЭВМ и могут быть использованы для решения различных задач классификации с неточной, неполной и противоречивой априорной информацией в технических, социально-экономических системах, медицине. Помимо описанных задач, разработанные алгоритмы были использованы при решении задачи прогнозирования переходящих нарушений мозгового кровообращения у больных с дисциркуляторной энцефалопатией (см. приложение 5) и задачи прогнозирования спроса на услуги сотовой связи [46, 78, 79] (см. приложение 6).

ЗАКЛЮЧЕНИЕ

При наличии неполной, неточной и противоречивой априорной информации о классифицируемых объектах в существующих методах распознавания образов используется два основных способа снижения неопределенности информации. В первом случае вводятся дополнительные предположения о классифицируемых объектах: нечеткие логические правила вывода, допущения о статистической природе измеряемых параметров объектов и т.д. При невозможности использования таких допущений исходная задача сводится к задаче распознавания с достоверной априорной информацией. В зависимости от количества доступной априорной информации она формулируется как задача обучения с учителем, либо самообучения.

Для повышения качества решения задачи классификации в диссертационной работе предложено использовать весь доступный объем информации, в том числе недостоверной, и целенаправленно уточнять отдельные ее составляющие за счет взаимодействия с экспертом. Вместо стандартных задач обучения и самообучения сформулирована и решена задача адаптации системы распознавания к неопределенной априорной информации. Как и в случае задач обучения и самообучения она состоит в минимизации функционала потерь. Однако в задачах обучения и самообучения априорная информация (классы и измеряемые параметры объектов) считается достоверной, поэтому оптимизация проводится только за счет изменения решающего правила. В задаче адаптации априорная информация может быть недостоверной, поэтому оптимизация проводится как за счет изменения решающего правила, так и за счет изменения самой априорной информации. На основе использования свойств коллективного решающего правила определяется соотношение потерь при изменении решающего правила и при изменении априорной информации.

Получены следующие теоретические и практические результаты.

1. Построена модель адаптации системы распознавания к неточной, неполной и противоречивой априорной информации о классифицируемых объектах. Она обладает следующими свойствами:

- процедуры обучения и самообучения объединены в рамках единой процедуры, обеспечивающей построение оценок согласованности каждого элемента априорной информации со всей совокупностью предоставленных данных;

- для принятия решений о целенаправленном уточнении части неопределенной априорной информации на основе полученных оценок используются суждения эксперта.

2. Предложена характеристика качества обучения решающих правил -функционал несогласованности алгоритмических оценок параметра качества. Она обеспечивает использование при построении решающих правил как механизма обучения (для использования экспертных оценок), так и механизма самообучения (для построения оценок достоверности информации).

3. Разработан алгоритм построения кусочно-линейных комитетных решающих правил, который обеспечивает минимизацию значения функционала несогласованности. Решающие правила, построение которых обеспечивается этим алгоритмом, рассматриваются как модификация разделяющих комитетов, учитывающая возможность неточного, неполного и противоречивого задания априорной информации. Вычислительная сложность алгоритма линейна относительно размерности задачи. Это позволяет использовать его в задачах управления и оценивания, требующих выполнения операции классификации в режиме реального времени. Разработан также алгоритм ускоренного построения комитета, который позволяет регулировать вычислительную сложность основного алгоритма за счет целенаправленного "огрубления" комитета, т.е. уменьшения количества его членов в ходе процесса адаптации.

4. На основе предложенного алгоритма построения комитета разработаны обобщения: алгоритм кластеризации и алгоритм решения задачи дискриминантного анализа. Они позволяют решать различные подзадачи общей задачи распознавания. Все алгоритмы имеют унифицированный вид входной и выходной информации: алфавиты классов, словари параметров состояния, классификации объектов, наборы значений параметров объектов и кусочно-линейные комитетные решающие правила. Процедуры совместного использования алгоритмов при взаимодействии с экспертом позволяют решать общую задачу распознавания при наличии неточной, неполной и противоречивой априорной информации всех рассмотренных видов. При этом качество классификации увеличивается по мере накопления сведений об объектах из данной предметной области.

5. На основе предложенных алгоритмов построена система распознавания образов, реализованная в виде пакета программ для ЭВМ. Эффективность алгоритмов проверена при решении ряда практических задач классификации:

1) задачи неразрушающего контроля качества кристаллов искусственного кварца на основе данных электромагнитного зондирования контрольных образцов, в условиях неточных измерений откликов кристаллов на зондирующие сигналы;

2) задачи оценивания тяжести заболевания гипертрофической кардиомиопатией по данным эхокардиографического и электрокардиографического исследования пациентов при отсутствии достоверных априорных экспертных суждений о тяжести заболевания;

3) задачи прогнозирования переходящих нарушений мозгового кровообращения у больных с дисциркуляторной энцефалопатией при оценке тяжести заболевания и выборе оптимальной терапевтической тактики;

4) задачи прогнозирования спроса на услуги сотовой связи, с учетом влияния на него социально-экономического состояния региона сбыта и информации о развитии рынка сотовой связи и социально-экономическом состоянии в других регионах.

Во всех случаях для существенного объема исходных данных и уровня неопределенности априорной информации точность решения задач классификации в 1,5-3,5 раза выше точности классификации без использования процедуры адаптации. Это говорит о возможности эффективного применения разработанных метода и алгоритмов при решении широкого спектра задач классификации с неточной, неполной и противоречивой априорной информацией в технических, социально-экономических системах, медицине и других прикладных областях.

Список литературы диссертационного исследования кандидат технических наук Кувшинов, Борис Михайлович, 2004 год

1. Айвазян С.А., Бухштабер В.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М.: Финансы и статистика, 1989. 428 с.

2. Алескеров Ф.Т., Дуган Д. Процедуры голосования в пространстве функций выбора: Немонотонный случай //Автоматика и телемеханика. 1994, №6. С. 115-134.

3. Бабак О.Б., Гасанов A.C. Новый подход к решению задач кластеризации данных //Кибернетика и системный анализ. 2001, №6. С. 126-133.

4. Бабак О.В. Об одном подходе к решению задачи восстановления зависимостей в классе кусочно-линейных функций //Проблемы управления и информатики. 1995, №6. С. 134-141.

5. Бабак О.В. Об одном принципе самоорганизации математических моделей //Проблемы управления и информатики. 2001, №2. С. 98-107.

6. Бархушин А.П. Обучение и самообучение систем распознавания образов //Сб. науч. тр. НИИ информационных технологий. 1999, №7. С. 14-20.

7. Белецкий Н.Г. Применение комитетов для многоклассовой классификации //Численный аппарат решения задач линейного и выпуклого программирования. Свердловск, 1983. С. 156-162.

8. Белецкий Н.Г. Об одном итерационном методе кусочно-линейной дискриминации //Классификация и оптимизация в задачах управления. Свердловск: УНЦ АН СССР, 1981. С. 64-66.

9. Белецкий Н.Г. Модели комитетных алгоритмов распознавания образов //Математические методы планирования промышленного производства. — Свердловск: УНЦ АН СССР, 1984. С. 91-95.

10. Буркин B.C. Синтез оптимальных алгоритмов портретного распознавания при различном уровне априорной осведомленности //Известия АН. Теория и системы управления. 1997, №6. С. 152-163.

11. П.Бушманов О.Н., Дюкова Е.В., Журавлев Ю.И. и др. Система анализа изображений и распознавания образов //Распознавание. Классификация. Прогноз. Вып. 2. М.: Наука, 1989. С. 250-273.

12. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 379 с.

13. Вапник В.Н. Индуктивные принципы поиска эмпирических закономерностей //Распознавание. Классификация. Прогноз. Вып. 1. М.: Наука, 1989. С. 17-81.

14. Вапник В.Н., Червоненкис А .Я. Теория распознавания образов. М.: Наука, 1974.416 с.

15. Вапник В.Н., Червоненкис А .Я. Необходимые и достаточные условия состоятельности метода минимизации эмпирического риска //Распознавание. Классификация. Прогноз. Вып. 2. М.: Наука, 1989. С. 207-249.

16. Глотов В.А., Павельев В.В. Векторная стратификация. М.: Наука, 1984. 94 с.

17. Горелик A.JL, Гуревич И.Б., Скрипкин В.А. Современное состояние проблемы распознавания: Некоторые аспекты. М.:Радио и связь, 1985. 161 с.

18. Горелик A.JL, Скрипкин В.А. Методы распознавания. М.: Высшая школа, 1977. 222 с.

19. Гренандер У. Лекции по теории образов: В 3 т. /Пер.с англ. /Под ред.Ю.Журавлева. М. Мир, 1983.

20. Дюран Б., Оделл П. Кластерный анализ. М.: Статистика, 1977. 215 с.

21. Еремин И.И., Мазуров В.Д. Нестационарные процессы математического программирования. М.: Наука, 1979. 288 с.

22. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания образов или классификации //Проблемы кибернетики. Вып. 33. М.: Наука, 1978. С. 5-68.

23. Журавлев Ю.И., Зенкин A.A., Зенкин А.И. и др. Задачи распознавания и классификации со стандартной обучающей информацией //ЖВМиМФ. 1980, Т.20, №5. С. 1294-1309.

24. Журавлев Ю.И. Корректные алгебры над множествами некорректных (эвристических) алгоритмов. I-III //Кибернетика. 1977, №4. С. 14-21; 1977, №6. С. 21-27; 1978, №2. С. 35^3.

25. Журавлев Ю.И. и др. Параметрические логические модели анализа данных //Математические методы распознавания образов. М.: ВЦ РАН, 1995. С. 95-96.

26. Захаров В.Н. Интеллектуальные системы управления: основные понятия и определения //Известия РАН. Теория и системы управления. 1997, № 3. С. 56-74.

27. Зуев Ю.А. Вероятностная модель комитета классификаторов //ЖВМиМФ. 1986, Т.26, №2. С. 276-292.

28. Зуев Ю.А. Метод повышения надежности классификации при наличии нескольких классификаторов, основанный на принципе монотонности //ЖВМиМФ. 1981, Т.21, №1. С. 157-167.

29. Зуев Ю.А. Наихудший случай для принятия решений большинством голосов //ЖВМиМФ. 1989, Т.29, №8. С. 1256-1257.

30. Исаев И.В. Задача синтеза корректного алгоритма распознавания как задача построения минимального покрытия //ЖВМиМФ. 1984, Т.23, №2. С. 467^76.

31. Казанцев B.C. Задачи классификации и их программное обеспечение. М.: Наука, 1990. 135 с.

32. Казанцев B.C., Белецкий Н.Г., Мазуров В.Д. и др. Комитеты в принятии решений //Кибернетика. 1984, №1. С. 90-95.

33. Кириченко Н.Ф., Куц Р., Лепеха Н.П. Множества принадлежности в задачах классификации сигналов //Проблемы управления и информатики. 2001, №5. С. 71-84.

34. Кривоногов А.И. О некоторых комитетных конструкциях классификации //Методы оптимизации и распознавания образов в задачах планирования. Свердловск: УНЦ АН СССР, 1980. С. 92-98.

35. Кривоногов А.И. Некоторые вопросы обоснования комитетных алгоритмов //Классификация и оптимизация в задачах управления. Свердловск: УНЦ АН СССР, 1981. С. 39-51.

36. Кувшинов Б.М., Ширяев О.В., Шапошник И.И. Система диагностики заболеваний методами распознавания образов и классификации в п-мерном пространстве //Информационные технологии. 2000, №6. С. 43-47.

37. Кувшинов Б.М., Ширяев О.В., Богданов Д.В., Шапошник И.И., Ширяев В.И. Использование комитетов в задачах распознавания образов с неточными экспертными оценками //Известия Челябинского научного центра. 2001, №2. С. 12-17.

38. Кувшинов Б.М., Ширяев О.В., Богданов Д.В., Шапошник И.И., Ширяев В.И. Система классификации многопараметрических объектов для задач распознавания образов с неточной априорной информацией //Информационные технологии. 2001, №11. С. 37-43.

39. Кувшинов Б.М., Ширяев О.В. Метод комитетов в задачах распознавания образов в условиях неопределенности априорной информации //Вестник ЮУрГУ. 2002, №3. Сер. Математика. Физика. Химия. Вып. 2. С. 34-43.

40. Кувшинов Б.М., Ширяев О.В. Адаптивная система распознавания образов для задач принятия решений в условиях неопределенности информации //Комплексные системы поддержки принятия решений руководителей: Сб. науч. тр. Челябинск: ЮУрГУ, ЦНТИ, 2002. С. 62-66.

41. Кувшинов Б.М., Шапошник И.И., Ширяев В.И., Ширяев О.В. Использование комитетов в задачах распознавания образов с неточными экспертными оценками //Известия РАН. Теория и системы управления. 2002, №5. С. 87-94.

42. Лапко A.B. Непараметрические методы классификации и их применение. Новосибирск: КНЦ СО РАН, 1993. 149 с.

43. Лапко A.B., Крохов C.B., Ченцов С.И., Фельдман Л.А. Обучающиеся системы обработки информации и принятия решений. Новосибирск: Наука, 1996.284 с.

44. Лапко A.B., Лапко В.А., Ченцов C.B. Непараметрические модели распознавания образов в условиях малых выборок //Автометрия. 1999, №6. С. 105-113.

45. Мазуров В.Д. Комитеты систем неравенств и задача распознавания //Кибернетика. 1979, №3. С. 140-146.

46. Мазуров В.Д. Метод комитетов в задачах оптимизации и классификации. М.: Наука, 1990. 248 с.

47. Мазуров В.Д. О построении комитета системы выпуклых неравенств //Кибернетика. 1967, №2. С. 56-59.

48. Мазуров В.Д., Хачай М.Ю. Комитетные конструкции //Известия УрГУ. Сер. Математика и механика. Екатеринбург: УрГУ, 1999, Вып. 2 (24). С. 77-108.

49. Мазуров В.Д. Теория линейных неравенств и распознавание образов //Алгебра и оптимизация: Тр. междунар. семинара. Екатеринбург: УрО РАН, 2002. С. 284-291.

50. Мазуров В.Д., Казанцев B.C., Белецкий Н.Г. Пакет Квазар прикладных программ распознавания образов (версия 2): Информ. материалы по математ. обеспечению. АН СССР. УНЦИММ. Свердловск: Б.и., 1979. 121 с.

51. Мазуров В.Д. Теория и приложения комитетных конструкций //Методы для нестационарных задач матем. программирования. Свердловск: УНЦ АН СССР, 1979. С. 31-63.

52. Мазуров В.Д., Казанцев B.C., Белецкий Н.Г. и др. Вопросы обоснования и применения комитетных алгоритмов распознавания //Распознавание. Классификация. Прогноз. Вып. 1. М.: Наука, 1989. С. 114-148.

53. Матросов B.JI. Синтез оптимальных алгоритмов в алгебраических замыканиях моделей алгоритмов распознавания //Распознавание. Классификация. Прогноз. Вып. 1. М.: Наука, 1989. С. 149-175.

54. Метод комитетов в распознавании образов: Сб. статей. Свердловск: УНЦ АН СССР, 1974. 165 с.

55. Методы анализа данных: Подход, основанный на методе динамических сгущений /Кол. авт. под рук. Э. Дидэ. /Пер. с франц. М.: Финансы и статистика, 1985. 357 с.

56. Нильсон Н. Обучающиеся машины. М.: Мир, 1968. 225с.

57. Обобщенный спектрально-аналитический метод обработки информационных массивов: Задачи анализа изображений и распознавания образов /Ф.Ф. Дедус, С.А. Махортых, М.Н. Устинин, А.Ф. Дедус. М.: Машиностроение, 1999. 357 с.

58. Препарата Ф., Шеймос М. Вычислительная геометрия: Введение /Пер. с англ. М.: Мир, 1989. 478 с.

59. Рудаков К.В. Об алгебраической теории универсальных и локальных ограничений для задач классификации //Распознавание. Классификация. Прогноз. Вып. 1. М.: Наука, 1989. С. 176-200.

60. Рязанов В.В. О построении оптимальных алгоритмов распознавания и таксономии (классификации) при решении прикладных задач //Распознавание. Классификация. Прогноз. Вып. 1. М.: Наука, 1989. С. 229-279.

61. Рязанов В.В. О синтезе классифицирующих алгоритмов на конечных множествах алгоритмов классификации (таксономии) //ЖВМиМФ. 1982, Т.22, №2. С. 429-440.

62. Рязанов В.В., Сенько О.В. О некоторых моделях распознавания и методах их оптимизации //Распознавание. Классификация. Прогноз. Вып. 3. М.: Наука, 1990. С. 106-145.

63. Рязанов В.В. Комитетный синтез алгоритмов распознавания и классификации//ЖВМиМФ. 1981, Т.21, №6. С. 1533-1543.

64. Ту Дж., Гонсалес Р. Принципы распознавания образов /Пер. с англ. /Под ред.Ю.И. Журавлева.-М.:Мир,1978. 411с.

65. Фор А. Восприятие и распознавание образов /Пер. с фр. /Под ред. Г.П. Катыса. М.: Машиностроение, 1989. 272 с.

66. Хачай М.Ю. Об эффективном алгоритме построения приближения к минимальному по числу элементов комитетному решающему правилу //Сб. тр. 6-й Междунар. конф. «Распознавание образов и анализ изображений», НовГУ: Новгород, 2002. С. 593-596.

67. Хачай М.Ю. Об одной игре с природой, связанной с принятием решений большинством голосов //ЖВМиМФ. 2002, Т.42, №10. С. 1609-1616.

68. Хачай М.Ю. Равномерно распределенные по Гейлу системы линейных неравенств //Тез. докл. 12-й Всеросс. конф. «Математическое программирование и приложения» (Екатеринбург, 24—28 февраля 2003 г.). Екатеринбург: УрО РАН, 2003. С. 237-238.

69. Чекинов С.Г. Экспертные системы в системах управления: состояние и перспективы //Информационные технологии. 2001, №4. С. 32-37.

70. Черников С.Н. Линейные неравенства. М.: Наука, 1968.

71. Ширяев В.И., Кувшинов Б.М. Использование адаптивных методов распознавания образов в задачах принятия решений //Искусственный интеллект. 2002, № 4. С. 526-533.

72. Ширяев В.И., Кувшинов Б.М. Использование адаптивных методов распознавания образов в задачах принятия решений //Материалы междунар. науч.-техн. конф. «Искусственный интеллект-2002» (г. Таганрог, 26-30 июня 2002 г.). С. 161-165.

73. Ширяев В.И., Кувшинов Б.М., Афанасьева К.Е. Прогнозирование объема продаж по макроэкономическим показателям регионов //Наука и технологии. Сер. Проблемы экономики: Тр. 23-й Всеросс. школы. М.: РАН, 2003. С. 153-160.

74. Ablow С.М., Kaylor D.J. Inconsistent homogenous linear inequalities //Bull, of American Math. Soc. 1965, V.71, №5. P. 724.

75. Bargjela A., Pedrycz W. Granular computing. Kluwer Academic Press, 2002. 480 p.

76. Bezdek J. Pattern recognition with fuzzy objective function algorithms. Kluwer Academic Publishers, 1981. 256 p.

77. Bezdek J.C., Pal S.K. Fuzzy models for pattern recognition: Methods that search for pattern in data. N.Y.: IEEE Press, 1992. 317 p.

78. Bogomolov V.P., Bushmanov O.N., Ryazanov V.V., Senco O.V., Zhuravlev Yu.I., Data analysis and recognition systems: algorithms, programs and applications //Pattern Recognition and Image Analysis. 1991, V.l, №3. P. 335-346.

79. Chawla N.V., Moore T.E., Hall L.O. et al. Distributed learning with bagging-like performance //Pattern Recognition Letters. 2003, V.24,1.3. P. 455-471.

80. De Stefano C., Delia Cioppa A., Marcelli A. An adaptive weighted majority vote rule for combining multiple classifiers //Proc. of 16-th Int. Conf. on Pattern Recognition. 2002, V.2. P. 192-195.

81. Duda R.O., Hart P.E. Pattern classification and scene analysis. N.Y.: John Wiley & Sons, 1973.540 p.

82. Duda R.O., Hart P.E., Stork D.G. Pattern classification. N.Y.: Wiley Intersciences, 2002. 680 p.

83. Fu K.S. Syntactic methods in pattern recognition. N.Y.: Academic Press, 1974. 617 p.

84. Fu K.S. Syntactic pattern recognition and applications. N.J.: Prentice-Hall, Englewood Cliffs, 1982. 721 p.

85. Giusti N., Sperduti A. Theoretical and experimental analysis of a two-stage system for classification // IEEE Trans, on Pattern Analysis and Machine Intelligence. 2002, V.24,1.7. P. 893-904.

86. Jang J.-S.R., Sun C.-T., Mizutani E. Neuro-fuzzy and soft computing. N.J.: Prentice Hall, Upper Saddle River, 1997. 53 5 p.

87. Kandel A. Fuzzy techniques in pattern recognition. N.Y.: Whiley Intersciences, 1982. 646 p.

88. Kandel A., Zhang Y.Q., Bunke H. A genetic fuzzy neural network for pattern recognition //Proc. of "FUZZ-IEEE", July, 1997, Barcelona, Spain. P. 11-21.

89. Khachai M.Yu. Classification of committee solutions of majority //Pattern Recognition and Image Analysis. 1997, V.7, №2. P. 222-230.

90. Khachai M.Yu., Rybin A.I. A new estimate of the number of members in a minimum committee of a linear inequalities system //Pattern Recognition and Image Analysis. 1998, V.8, №4. P. 491^196.

91. Khachai M.Yu., Mazurov V.D., Rybin A.I. Committee constructions for solving problems of selection, diagnostics, and prediction //Proc. of the Steklov Institute of Math. 2002, №1. P.67-101.

92. Kobylkin K.S. Necessary conditions of committee existence //Pattern recognition and image analysis. 2002, V.12, №1. P. 26-31.

93. Kuvshinov B.M., Shaposhnik I.I, Shiryaev V.I., Shiryaev O.V. Application of Committees in Pattern Recognition Problems with Inexact Expert Evaluations // Journal of Computer and System Sciences International. 2002, №5. P. 752-758.

94. Larin S.B., Ryazanov V.V. On a search of logical regularities for pattern recognition and data analysis //Pattern Recognition and Image Analysis. 1997, V.7, №3. P. 78-89.

95. Mascarilla L., Frelicot C. Another look at combining rejection-based pattern classifiers //Proc. of 15-th Int. Conf. on Pattern Recognition. 2000, V.2. P. 156159.

96. Mazurov V.D., Plotnikov S.V., Rybin A.I., Tyutin A.N., Khachai M.Yu. Algorithms of the KVAZAR+ package //Pattern Recognition and Image Analysis. 1998, V.8, №3. P. 374-375.

97. Mazurov Vl.D. Recognition and choice in a multistage procedure of modeling complex systems //Pattern Recognition and Image Analysis. 1994, V.4, №2. P. 87-92.

98. Mazurov Vl.D. Generalized existence in nonequilibrium models of choice in modeling complex systems //Pattern Recognition and Image Analysis. 1995, V.5, №1. P. 7-12.

99. Mazurov V.D., Krivonogov A.I., Kazantsev V.S. Solving of optimization and identification problems by the committee methods //Pattern Recognition. 1987, №4. P. 371-378.

100. Miclet L. Structural methods in pattern recognition. N.Y.: Springer-Verlag, 1986. 515 p.

101. Novikoff A.B.J. On convergence proofs for perceptrons //Proc.Symp.Math. Theory of Automata. N.Y.: Polytechnika, 1963, V.12, P. 416-428.

102. Osborne M.L. The seniority logic: a logic for a committee machine //IEEE Trans. Computing. 1977, V.C-26, №12. P. 1302-1306.

103. Pedrycz W. Fuzzy sets in pattern recognition methodology and methods //Pattern Recognition. 1990,V.23.P. 121-146.

104. Rosenblatt F. Principles of Neurodynamics. Washington: Spattan, 1962. 485 p.

105. Ryazanov V.V. Recognition algorithms based on local optimality criteria //Pattern Recognition and Image Analysis. 1994, V.4, №2. P. 98-109.

106. Ryazanov V.V. Program System LoReg Logical Regularities (software for classification recognition, data mining). Doronicyn Computer Center of Russian Academy of Sciences (CCRAS). http://www.ccas.ru/rvv/loreg.htm.

107. Saranli A., Demirekler M. A unified view of rank-based decision combination // Proc. of 15-th Int. Conf. on Pattern Recognition. 2000, V.2. P. 479-482.

108. Senko O.V. The algorithm of prognosis, based on the procedure of voting by system of boxes on multidimensional space //Pattern Recognition and Image Analysis. 1993, V.3, №3. P. 283-284.

109. Schalkoff RJ. Pattern recognition: Statictical, structural and neural approaches. N.Y.: John Wiley & Sons, 1992. 478 p.

110. Swiniarski R.W., Skowron A. Rough set methods in feature selection and recognition //Pattern Recognition Letters. 2003, V.24,1.6. P.833-849.

111. Tou J., Gonzalez R. Pattern recognition principles. Mass.: Addison Wesley, 1974. 512 p.

112. Turksen I.B., Jiang S. Rule based reorganization and search with a fuzzy claster analysis //Int. J. of Approximate Reasoning. 1993, V.9, №3. P. 1267-1296.

113. Vapnik V.N. Statistical learning theory. N.Y.: Wiley Interscience, 1998. 648 p.

114. Vlasov L.P. A problem of committee theory //Pattern recognition and image analysis. 1999, V.9, №3. p. 427-430.

115. Windeatt T. Vote counting measures for ensemble classifiers //Pattern Recognition. 2003, V.36,1.12. P. 2743-2756.

116. Woods K., Kegelmeyer W.P., Jr. Bowyer K. Combination of multiple classifiers using local accuracy estimates //IEEE Trans, on Pattern Analysis and Machine Intelligence. 1997, V.19,1.4. P. 405-410.

117. Yager R.R., Zadeh L.A. An introduction to fuzzy logic applications in intelligent systems. Boston: Kluwer, 1992. 709 p.

118. Zadeh L.A. Fuzzy sets //Inf. Control. 1965, №8. P. 338-353.