Алгебраические методы синтеза алгоритмов классификации элементов временных рядов тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат физико-математических наук Сарапас, Владимир Викторович

• Сарапас, Владимир Викторович
• кандидат физико-математических наук
• 2010

Оглавление диссертации кандидат физико-математических наук Сарапас, Владимир Викторович

Введение.

Глава

Описание основных конструкций алгебраического подхода к задачам распознавания и классификации

1.1. О задачах распознавания и классификации.

1.2. Постановка задачи классификации в рамках алгебраического подхода.

1.3. Элементы теории универсальных и локальных ограничений.

1.4. О понятиях регулярности и полноты.

Глава

Постановка и формализация класса задач выделения трендов, описание методов решения задач этого класса, проблемы полноты

2.1. Постановка и формализация класса задач выделения трендов.

2.2. Описание параметрических семейств алгоритмических операторов для решения задач выделения трендов.

2.3. Проблемы полноты. Общие результаты.

2.4. Теоремы о полноте.

Глава

Экспериментальное исследование методов синтеза алгоритмов выделения трендов

3.1. Описание проведённых экспериментов.

3.2. О работе экспериментальной программы.

Введение диссертации (часть автореферата) на тему «Алгебраические методы синтеза алгоритмов классификации элементов временных рядов»

В настоящее время алгебраический подход к распознаванию образов представляет собой математическую технологию построения проблемно-ориентированных теорий синтеза корректных алгоритмов распознавания образов на базе параметрических семейств операторов, отражающих некоторые экспертные знания о предметной области.

Алгебраический подход к проблеме распознавания образов возник в рамках направления исследований, представители которого, несмотря на отсутствие адекватных математических моделей конкретных ситуаций, строили алгоритмы, реализующие необходимые процессы преобразования информации. Научные исследования в этом направлении можно, вслед за академиком РАН Ю.И. Журавлёвым, разделить на три основных периода.

Для первого периода характерна разработка и реализация отдельных алгоритмов распознавания для конкретных прикладных задач. Стало ясно, что вместо адекватной математической модели, описывающей ту или иную ситуацию или предметную область, возможно использование пар вида «входная информация - выходная информация», то есть массивов прецедентов. В это время накапливались примеры корректно решённых прикладных задач и соответствующих алгоритмов, которые принято называть эвристическими, так как они построены на основе не имевших теоретического обоснования содержательных гипотез. Такие исследователи, как М.М. Бонгард, М.Н. Вайнцвайг, Н.Г. Загоруйко, Д.В. Кочетков, Г.С. Лбов, Г.С. Себастьян и другие, в своих работах описали общие принципы построения решений, базирующиеся на идее разделения точечных множеств гиперповерхностями, выделении частичных описаний объектов, использовании метрических характеристик, применении информационных весовых коэффициентов и других приёмах. Также в этот период появились первые труды по разработке специального общего математического аппарата для исследования задач и алгоритмов, в которых были отчасти теоретически обоснованы некоторые эвристические процедуры и конструкции (Л.А. Асланян, Ю.И. Журавлёв, C.B. Яблонский и другие).

Второй период характеризуется переходом от принципа «прикладная задача - алгоритм» к принципу «семейство алгоритмов -прикладная задача». Таким образом, были выделены параметрические семейства алгоритмов, которые имели универсальный характер и большое прикладное значение. Эти семейства принято называть моделями, или моделями алгоритмов распознавания, или эвристическими информационными моделями. Решение практических задач свелось к решению проблемы выбора значений параметров, выделяющих из семейства оптимальный для конкретной задачи алгоритм. Наибольшую известность среди моделей алгоритмов распознавания, возникших в этот период, имеют алгоритмы вычисления оценок (А.Р. Ашуров, И.Б. Гуревич, Ю.И. Журавлёв, B.JI. Матросов, К.В. Рудаков, В.В. Рязанов), алгоритмы метода потенциальных функций (М.А. Айзерман, Э.М. Браверман, Л.И. Розоноэр, К.В. Рудаков), алгоритмы, основанные на принципе комитетных решений (Н.Г. Белецкий, B.C. Казанцев, В.Д. Мазуров), статистические (В.Н. Вапник, В.И. Васильев, A.JI. Горелик, Н.Г. Загоруйко, Г.С. Лбов, А .Я. Червоненкис) и структурные (А.Б. Глаз, У. Гренандер) семейства. Следует подчеркнуть, что модели вычисления оценок (школа Ю.И. Журавлёва) включают в себя большинство используемых эвристических принципов и поэтому можно сказать, что они являются в некотором смысле универсальным языком для описания алгоритмов распознавания.

Исследования третьего периода послужили основанием для развития теории алгебраического подхода к распознаванию образов. В их основу легло некоторое внутреннее противоречие самой идеи использования заранее зафиксированных параметрических семейств алгоритмов. Дело в том, что локально экстремальные решения, которые с помощью приближённых методов оптимизации можно получить в рамках «богатого» семейства, могут оказаться хуже оптимального решения, найденного в рамках достаточно простого семейства, а поиск оптимального решения в рамках «богатых» семейств, как правило, является трудно разрешимой или вовсе не разрешимой на практике задачей.

Академик РАН Ю.И. Журавлёв в 70-х годах XX века заложил основы алгебраического подхода к синтезу корректных алгоритмов распознавания образов [34]. Алгебраический подход к проблеме распознавания образов позволил по-новому и эффективно решать многие задачи классификации, прогнозирования и, вообще говоря, задачи преобразования информации. В основу алгебраического подхода легла идея о том, что помимо использования эвристических семейств алгоритмов в качестве фиксированных областей, где производится поиск решения, есть альтернативный путь: из данных семейств можно определенным образом выбирать некоторые алгоритмы и, используя подходящие корректирующие операции над ними, целенаправленно строить оптимальные алгоритмы для конкретных задач. Необходимо подчеркнуть, что идея совместного использования наборов алгоритмов при решении отдельных задач широко распространена и активно применяется различными группами исследователей (Н.Г. Белецкий, B.C. Казанцев, В.Д. Мазуров, JI.A. Растригин, Р.Х. Эренштейн и др.). Эта идея была использована в основополагающих работах Ю.И. Журавлева

33, 34] по алгебраическому подходу к распознаванию образов. Необходимо отметить, что Ю.И. Журавлёвым были также предложены так называемые «прямые методы» построения точных на прецедентах алгоритмов классификации путём применения специальных алгебраических операций к эвристическим распознающим операторам. Им были введены такие основополагающие понятия алгебраического подхода, как регулярность и полнота.

При дальнейших исследованиях были получены важные результаты для многих семейств алгоритмов и корректирующих операций над ними (А.Р. Ашуров, Ю.И. Журавлёв, И.В. Исаев, В.В. Краснопрошин, К.В. Рудаков, В.В. Рязанов и др.). В итоге всех вышеперечисленных исследований алгебраический подход стал общетеоретической базой для решения задач распознавания и используемых при этом математических конструкций и методов.

Отметим, что применение алгебраических конструкций было обосновано на базе принятия некоторых дополнительных метрических и статистических гипотез. Исследования первого типа проводились Ю.И. Журавлевым и его учениками, а исследования второго типа, для которых был создан специальный тонкий математический аппарат, были проведены академиком РАН В.Л. Матросовым [47-54]. Им были устранены некоторые внешние противоречия между статистической теорией и алгебраическим подходом.

Таким образом, алгебраический подход позволил осуществить переход от принципа «семейство алгоритмов - прикладная задача» к принципу «прикладная область — модель алгоритмов».

Основополагающие идеи академика РАН Ю.И. Журавлёва развил в своих трудах член-корреспондент РАН К.В. Рудаков [59-67]. Он разработал алгебраическую теорию универсальных и локальных ограничений для алгоритмов распознавания, чем расширил границы применимости идей алгебраического подхода. К.В. Рудаков создал язык для описания точной постановки задач классификации, распознавания, прогнозирования, то есть задач преобразования информации. Им была исследована проблема разрешимости и регулярности задач классификации и получен общий необходимый и достаточный критерий регулярности, который для отдельных конкретных систем универсальных ограничений сводится к легко проверяемым на практике условиям. Также К.В. Рудаковым были получены критерии полноты для моделей алгоритмов как на общем уровне, так и для конкретных систем универсальных ограничений; выявлены критерии полноты для моделей алгоритмических операторов и семейств корректирующих операций и сформулировано понятие корректности семейств решающих правил. Понятие регулярности и непосредственно связанные с ним понятия полноты используются в алгебраическом подходе преимущественно для анализа проблемы разрешимости.

К.В. Рудаковым были предложены и изучены некоторые параметрические модели алгоритмов распознавания, получены результаты для алгоритмов распознавания типа потенциальных функций и другие важные для теории алгебраического подхода результаты.

В рамках этого подхода Ю.В. Чехович разработал теорию [80-86], для решения задачи синтеза алгоритмов, описывающих отображения из пространства начальных информаций (конечных множеств точек на плоскости) во множество финальных информаций (множество конечных наборов «меток» - слов в конечном алфавите), то есть теорию синтеза алгоритмов выделения трендов временных рядов. В качестве основного объекта исследований Ю.В. Чехович рассматривает конечные множества точек на плоскости, которым могут соответствовать временные ряды различного вида и происхождения. Это могут быть данные информационных потоков в сетях связи, поведения атмосферных и океанических течений, колебаний земной коры, динамики биологических популяций, наблюдений излучения, приходящего из космоса, медицинских и биологических сигналов, колебательных и волновых процессов в радиофизических устройствах, показателей финансового рынка и другие. Для обозначения таких множеств Ю.В. Чеховичем было введено понятие конечных плоских конфигураций (КПК). Обычно при решении прикладных задач возникает необходимость выделения внутри временного ряда так называемых трендов. Как правило, трендом называют интервал временного ряда, не содержащий точек экстремума. В работах Ю.В. Чеховича под выделением трендов подразумевается решение задачи классификации, в которой каждой точке конфигурации сопоставляется номер класса из заранее определенного множества классов или, говоря иначе, метка из фиксированного словаря разметки.

Ю.В. Чеховичем были описаны критерии разрешимости и регулярности задач синтеза алгоритмов выделения трендов, исследована полнота семейств алгоритмов выделения трендов, был разработан новый аппарат, предназначенный для исследования и решения задач с теоретико-множественными ограничениями, которыми, в частности, являются и задачи синтеза алгоритмов выделения трендов. В то же время, в работах Ю.В. Чеховича не были построены конкретные примеры алгоритмических семейств, удовлетворяющие разработанной теории. Поэтому построение таких семейств является актуальной задачей.

Актуальность предпринятого исследования определяется тем, что задачи выделения трендов временных рядов находятся в эпицентре многих отраслей науки и прикладных сфер. Анализ распределенных во времени элементов требует применения комплексных решений, что и обеспечивают алгебраические методы синтеза алгоритмов классификации. Кроме того, алгебраический подход, являясь математической технологией построения проблемно-ориентированных теорий синтеза высококачественных алгоритмов на базе эвристических информационных моделей, позволяет построить такую теорию над предметной областью, объектами изучения которой будут являться алгоритмы, семейства алгоритмов и операции над ними.

Целью данной работы является синтез и исследование параметрических семейств алгоритмов классификации элементов временных рядов, допускающих минимум ошибок на прецедентах и удовлетворяющих наборам дополнительных ограничений. Для достижения указанной цели в работе поставлены и решены следующие задачи:

1) конкретизировать основные принципы и методы алгебраического подхода для задач выделения трендов;

2) построить параметрические модели алгоритмов классификации элементов временных рядов, задать семейства корректирующих операций над этими алгоритмами и семейства решающих правил;

3) исследовать построенные параметрические модели алгоритмов классификации элементов временных рядов;

4) разработать соответствующее программное обеспечение;

5) провести серию экспериментов и сделать необходимые выводы.

Методы исследования. В настоящей работе использовались методы алгебраического подхода к распознаванию образов, теории задач с теоретико-множественными ограничениями, теории оптимизации, системного анализа, для проведения экспериментов использовались специально разработанные программные средства.

Научная новизна исследования обусловлена тем, что в его рамках созданы новые модели алгоритмов, проведён их анализ с помощью аппарата теории задач с теоретико-множественными ограничениями и тем, что впервые разработана программа для синтеза обучающихся алгоритмов выделения трендов временных рядов.

Теоретическая значимость обусловлена, прежде всего, тем, что впервые для анализа моделей алгоритмов используется теория задач с теоретико-множественными ограничениями. Данное исследование развивает и дополняет алгебраическую теорию синтеза обучаемых алгоритмов выделения трендов временных рядов.

Практическая значимость заключается в том, что результаты работы могут быть использованы в дальнейших научных исследованиях, посвящённых проблеме выделения трендов временных рядов, а также в возможности использования результатов исследования в таких практических сферах, как экономика, астрономия, медицинская диагностика, геологический анализ.

Апробация работы. Результаты диссертационного исследования и его отдельные положения были представлены в докладах и выступлениях на кафедре теоретической информатики и дискретной математики Московского педагогического государственного университета, в отделе «Интеллектуальные системы» Вычислительного центра имени A.A. Дородницына РАН, обсуждались на научно-практической конференции преподавателей, аспирантов и сотрудников математического факультета Mill У (Москва, 2007, 2008), заседаниях круглого стола молодых ученых по приоритетным направлениям развития науки (Москва, 2007, 2008), Девятой международной научно-практической конференции «Высокие технологии, исследования, промышленность» (Санкт-Петербург, 2010), XI Всероссийской научно-практической конференции студентов, аспирантов и молодых учёных с международным участием «Молодежь и наука XXI века» (Красноярск, 2010), II Международной научно-практической конференции «Наука и современность-2010» (Новосибирск, 2010).

Структура диссертации соответствует логике научного исследования, определяется его целью и основными задачами: работа (общим объёмом 102 страниц) состоит из введения, трёх глав, заключения, списка литературы и приложения. Библиография включает 103 наименования научной литературы.

Заключение диссертации по теме «Теоретические основы информатики», Сарапас, Владимир Викторович

Результаты работы могут быть использованы в дальнейших научных исследованиях, посвященных проблеме выделения трендов временных рядов, а также в таких практических сферах, как экономика, астрономия, медицинская диагностика, геологический анализ.

Заключение

Алгебраический подход к распознаванию образов представляет собой математическую технологию построения проблемно-ориентированных теорий синтеза корректных алгоритмов распознавания образов на базе параметрических семейств операторов.

В русле этого подхода в настоящее время эффективно решаются задачи и классы задач преобразования информации. Проведённое нами исследование задач синтеза обучаемых алгоритмов выделения трендов позволило построить эффективные в рамках рассматриваемого класса задач семейства алгоритмических операторов, решающих правил и корректирующих операций и разработать соответствующее программное обеспечение.

В первой главе описаны основные конструкции алгебраического подхода к задачам распознавания и классификации. В контексте алгебраического подхода к синтезу корректных алгоритмов преобразования информации рассмотрен класс задач, , характеризующийся наличием теоретико-множественных ограничений на множество допустимых ответов алгоритма, изложены элементы теории универсальных и локальных ограничений для алгоритмов распознавания и классификации.

Проблема разрешимости является важнейшим теоретическим вопросом для задач синтеза корректных алгоритмов классификации, удовлетворяющих одновременно системам универсальных и локальных ограничений, в связи с этим в первой главе также рассмотрены понятия регулярности и полноты задач преобразования информации в соответствии с теорией члена-корреспондента РАН К.В. Рудакова.

Постановка и формализация класса задач выделения трендов, а также описание практических методов решения задач этого класса представлено во второй главе настоящего исследования.

Построены параметрические семейства алгоритмических операторов для решения задач выделения трендов, разработана сплит-модель, позволяющая практически решать задачу выделения трендов.

Разработана программа для синтеза обучаемых алгоритмов выделения трендов временных рядов на основе предложенной модели, описан принцип её работы. Изложены требования к семействам алгоритмов, выполнение которых обеспечивает их полноту.

В третьей главе описаны серии проведённых экспериментов с использованием разработанной программы, на схемах подробно представлены принципы её работы. Сделаны выводы о результатах экспериментов.

Таким образом, впервые для анализа моделей алгоритмов была использована теория задач с теоретико-множественными ограничениями.

Данное исследование развивает и дополняет алгебраическую теорию синтеза обучаемых алгоритмов выделения трендов временных рядов.

Список литературы диссертационного исследования кандидат физико-математических наук Сарапас, Владимир Викторович, 2010 год

1. Авдеенко Т.В. Компьютерные методы анализа временных рядов и прогнозирования. Новосибирск: НГТУ, 2008. 270 с.

2. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин. М.: Наука, 1970. 320 с.

3. Алексанян A.A., Журавлев Ю.И. Об одном подходе к построению эффективных алгоритмов распознавания // ЖВМ и МФ. 1985. Т. 25, №2, с. 283-291.

4. Алимов Ю.И. Альтернатива методу математической статистики. Знание, 1980.

5. Асарин Е.А. О некоторых свойствах случайных в алгоритмическом смысле конечных объектов // ДАН СССР. 1987. Т. 295, № 4. С. 782785.

6. Асланян Л.А. Алгоритмы распознавания с логическими отделителями // Сб. работ по матем. кибернетике. Вып. 1. М.: ВЦ АН СССР, 1976, с. 116-131.

7. Ашуров А.Р., Рудаков K.B. О задачах распознавания образов с континуальной начальной информацией. М.: ВЦ АН СССР, 1983. 21 с.

8. Ашуров А.Р., Рудаков К.В. Алгоритмы вычисления оценок для задач с континуальной начальной информацией // ЖВМ и МФ. 1984. Т. 24, № 12, с. 1871-1880.

9. Белецкий Н.Г. Задача коррекции параметров объекта в распознавании образов // ЖВМ и МФ. 1987. Т. 27, № 4, с. 610-616.

10. Ю.Бонгард М.М. Проблема узнавания. М.: Наука, 1967. 320 с.

11. П.Борисова И.А., Дюбанов В.В., Загоруйко Н.Г., Кутненко O.A. Сходство и компактность // Всеросс. конф. Математические методы распознавания образов-14. М.: МАКС Пресс, 2009. С. 89-92.

12. Бурбаки Н. Теория множеств, М. Мир, 1965. 456 с.

13. Ботов П.В. Точные оценки вероятности переобучения для монотонных и унимодальных семейств алгоритмов // Всеросс. конф. Математические методы распознавания образов-14. М.: МАКС Пресс, 2009. С. 7-10.

14. Вапник В.Н. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979. 448 с.

15. Вапник В.Н., Червоненкис А .Я. Теория распознавания образов. М.: Наука, 1974.

16. Васильев В.И. Распознающие системы. Киев: Наукова думка, 1983. 466 с.

17. Венжега A.B., Ументаев С.А., Орлов A.A., Воронцов К.В. Проблема переобучения при отборе признаков в линейной регрессии с фиксированными коэффициентами // Математические методы распознавания образов-13. М.: МАКС Пресс, 2007. С. 90-93.

18. Воронцов К.В. О проблемно-ориентированной оптимизации базисов задач распознавания // ЖВМ и МФ. 1998 Т. 38, № 5, с. 870-880.

19. Воронцов К.В. Оптимизационные методы линейной и монотонной коррекции в алгебраическом подходе к проблеме распознавания // ЖВМ и МФ. 2000. Т. 40, №1, с. 166-176.

20. Воронцов К.В., Рудаков К.В., Чехович Ю.В. Информационные методы анализа сложных систем // Тезисы докладов научной конференции "Математические модели сложных систем и междисциплинарные исследования", ВЦ РАН им. A.A. Дородницына, 2002 г., Москва, с. 9.

21. Воронцов К.В. Обзор современных исследований по проблеме качества обучения алгоритмов // Таврический вестник информатики и математики. 2004. № 1. С. 5-24.

22. Воронцов К.В. Слабая вероятностная аксиоматика и надёжность эмпирических предсказаний // Математические методы распознавания образов-13. М.: МАКС Пресс, 2007. С. 21-25.

23. Воронцов К.В. Комбинаторный подход к проблеме переобучения // Всеросс. конф. Математические методы распознавания образов-14. М.: МАКС Пресс, 2009.С. 18-21.

24. Гаек Я., Шидак 3. Теория ранговых критериев. М.: Наука, 1971.

25. Гуз И.С. Нелинейные монотонные композиции классификаторов // Математические методы распознавания образов-13. М.: МАКС Пресс, 2007. С. 111-114.

26. Дуда Р., Харт П. Распознавание образов и анализ сцен. М.: Мир, 1976.

27. Дюкова Е.В. Дискретные (логические) процедуры распознавания: принципы конструирования, сложность реализации и основные модели. М.: Прометей, 2003. 29 с.

28. Дюкова Е.В. О числе тупиковых покрытий целочисленной матрицы // ЖВМ и МФ. 2005. Vol. 45, по. 5. Pp. 935-940.

29. ДюковаЕ.В., ИнякинА.С. О процедурах классификации, основанных на построении покрытий классов // ЖВМ и МФ. 2003. Т. 43, № 12. С. 1910-1921.

30. Журавлев Ю.И. Локальные алгоритмы вычисления информации I, II //Кибернетика 1965 г. № 1, с. 12-19, 1966 г. №2, с. 1-11.

31. Журавлев Ю.И. Об одном классе алгоритмов над конечными множествами, ДАН СССР, т 151, 5, М. 1963, с. 1025-1028.

32. Журавлев Ю.И., Лосев Г.Ф. Окрестности в задачах дискретной математики // Кибернетика и системный анализ, 1995 г., №2, с. 3241.

33. Журавлев Ю.И. Корректные алгебры над множествами некорректных (эвристических) алгоритмов. I-III // Кибернетика. 1977. № 4, с. 5-17, 1977, № 6, с. 21-27, 1978, № 2, с. 35-43.

34. Журавлев Ю.И. Об алгебраическом подходе к решению задач распознавания и классификации // Проблемы кибернетики. Вып. 33 М.: Наука, 1978, с. 5-68.

35. Журавлев Ю.И. Рудаков К.В. Об алгебраической коррекции процедур обработки (преобразования) информации // Проблемы прикладной математики и информатики. М. Наука, 1987, с. 187-198.

36. Ивахненко A.A., Воронцов K.B. Верхние оценки переобученности и профили разнообразия логических закономерностей // Математические методы распознавания образов-13. М.: МАКС Пресс, 2007. С. 33-37.

37. Кац Дж. О., МакКормик Д. JI. Энциклопедия торговых стратегий //Пер. с англ. — Москва, Альпина Паблишер, 2002. 400 с.

38. Колби Р.В., Мейерс Т.А., Энциклопедия технических индикаторов рынка //Пер. с англ. Москва, Альпина, 1998. 581 с.

39. Колмогоров А.Н. Теория информации и теория алгоритмов / Под ред. Ю.В. Прохорова. М.: Наука, 1987. 304 с.

40. Кочедыков Д.А. Структуры сходства в семействах алгоритмов классификации и оценки обобщающей способности // Всеросс. конф. Математические методы распознавания образов-14. М.: МАКС Пресс, 2009. С. 45-48.

41. Лбов Г.С. Методы обработки разнотипных экспериментальных данных. Новосибирск: Наука, 1981.

42. Леонтьев В.К., Сметанин Ю.Г. О восстановлении вектора по набору его фрагментов. // ДАН СССР. 1988. - Т. 302, № 6, с. 1319 - 1322.

43. Мазуров В.Д. Метод комитетов в задачах оптимизации и классификации. М. Наука. 1990. 248 с.

44. Матросов В.Л. Нижние оценки емкости многомерных алгебр алгоритмов вычисления оценок // ЖВМ и МФ. 1984, Т. 24, № 12, с. 1881-1892.

45. Матросов В.Л. Емкость алгебраических расширений модели алгоритмов вычисления оценок // ЖВМ и МФ. 1984, Т. 11, № 5, с. 1719-1730.

46. Матросов В.Л. Емкость полиномиальных расширений множества алгоритмов вычисления оценок // ЖВМ и МФ. 1985, Т. 25, № 1, с. 122-133.

47. Матросов В.Л. Корректные алгебры ограниченной емкости над множествами некорректных алгоритмов // ДАН СССР. 1980, Т. 253, № 1, с. 25-30.

48. Матросов В.Л. Корректные алгебры ограниченной емкости над множествами некорректных алгоритмов // ЖВМ и МФ. 1981, Т. 21, №5, с. 1276-1291.

49. Матросов В.Л. О критериях полноты модели алгоритмов вычисления оценок и ее алгебраических замыканий // ДАН СССР. 1981, Т. 258, № 4, с. 791-796.

50. Матросов В.Л. Оптимальные алгебры в алгебраических замыканиях операторов вычисления оценок // ДАН СССР. 1982, Т. 262, № 4, с. 818-822.

51. Матросов В.JI. Синтез оптимальных алгоритмов в алгебраических замыканиях моделей алгоритмов распознавания // Распознавание, классификация, прогноз. М.: Наука, 1989, с. 149-176.

52. Минский М., Пайперт С. Персептроны. М.: Мир, 1971.

53. Норушис А. Построение логических (древообразных) классификаторов методами нисходящего поиска (обзор) // Статистические проблемы управления. Вып. 93 / Под ред. Ш. Раудис. Вильнюс, 1990. С. 131-158.

54. Райгородский A.M. Экстремальные задачи теории графов и анализ данных. М.: НИЦ «Регулярная и хаотическая динамика», Институт компьютерных исследований, 2008. 118 с.

55. Растригин Л.А., Эренштейн Р.Х. Коллективные правила распознавания. М.: Энергия, 1981. 244 с.

56. Рудаков К.В. Алгебраическая теория универсальных и локальных ограничений для алгоритмов распознавания. Дис. . докт. физ.-мат. наук. Москва, 1991. 146 с.

57. Рудаков К.В. О некоторых универсальных ограничениях для алгоритмов классификации // ЖВМ и МФ. 1988, Т.26, № 11, с. 1719 1729.

58. Рудаков К.В. О применении универсальных ограничений при исследовании алгоритмов классификации // Кибернетика. 1988, № 1, с. 1-5.

59. Рудаков К.В. Полнота и универсальные ограничения в проблеме коррекции эвристических алгоритмов классификации // Кибернетика. 1987, № 3, с. 106-109.

60. Рудаков К.В. Построение проблемно-ориентированных теорий на основе алгебраического подхода к задачам распознавания образов // Доклады 10-й Всероссийской конференции "Математические методы распознавания образов", Москва, АЛЕВ-В, 2001, с. 113-115.

61. Рудаков К.В. Симметрические и функциональные ограничения для алгоритмов классификации // Кибернетика. 1987, № 4, с. 73-77.

62. Рудаков К.В. Универсальные и локальные ограничения в проблеме коррекции эвристических алгоритмов классификации // Кибернетика. 1987, № 2, с. 30-35.

63. Рудаков К.В., Чехович Ю.В. О проблеме синтеза обучаемых алгоритмов выделения трендов (алгебраический подход) // Прикладная математика и информатика, 2001, № 8, с. 97-113.

64. Рудаков К.В., Воронцов К.В. О методах оптимизации и монотонной коррекции в алгебраическом подходе к проблеме распознавания // ДАН. 1999, Т. 367 №3, с. 314-317

65. Рудаков К.В., Чехович Ю.В. Алгебраический подход к проблеме синтеза обучаемых алгоритмов выделения трендов // Доклады Академии наук, 2003, том 388, № 1, с. 33-36.

66. Рудаков К.В., Чехович Ю.В. Критерии полноты моделей алгоритмов и семейств решающих правил для задач классификации с теоретико-множественными ограничениями // ДАН. 2004, Т. 394, № 4, с. 1-3.

67. Рязанов В.В. Комитетный синтез алгоритмов распознавания и классификации//ЖВМ и МФ. 1981, Т. 21, № 6, с. 1533-1543.

68. Рязанов В.В. О построении оптимальных алгоритмов распознавания и таксономии (классификации) при решении прикладных задач // Распознавания, классификация, прогноз. Выпуск 1. М.: Наука. 1989, с. 229-279.

69. Рязанов В. В., Сенько О. В. О некоторых моделях голосования и методах их оптимизации // Распознавание, классификация, прогноз. 1990. Т. 3. С. 106-145.

70. Сметанин Ю.Г. Распознавание при представлении исходных данных в виде длинных последовательностей. // Распознавание,классификация и прогноз. Математические методы и их применения. Вып. 2. М.: Наука. 1988, с. 38 41.

71. Хайкин С. Нейронные сети: полный курс, 2-е издание. М.: Издательский дом «Вильяме», 2006.

72. Черепнин A.A. О радиусах разрешимости и регулярности задач распознавания // Доклады 11-й Всероссийской конференции "Математические методы распознавания образов", 2003, Пущино, с. 210-211.

73. Черепнин A.A. Об оценках регулярности задач распознавания и классификации // Журнал вычислительной математики и математической физики. 1993, №1, с. 155-159

74. Чехович Ю.В. Об обучаемых алгоритмах выделения трендов // Интеллектуализация обработки информации: тезисы докладов Международной научной конференции, Симферополь, 2002, с. 153154.

75. Чехович Ю.В. Мощности окрестностей в задачах выделения трендов // Доклады 11-й Всероссийской конференции "Математические методы распознавания образов". Пущино, 2003, с. 215-216.

76. Чехович Ю.В. Элементы алгебраической теории синтеза обучаемых алгоритмов выделения трендов. Дис. . канд. физ.-мат. наук. Москва, 2003. 70 с.

77. Abu-Mostafa Y. S. Hints // Neural Computation. 1995. Vol. 7, no. 4. Pp. 639-671.

78. Anderson A.P. Algorythm synthesis: A comparative study // D.M. Steier, A.P. Anderson. New York etc.: Springer, Cop. 1989. VIII. 118 p.

79. Anthony M. Uniform glivenko-cantelli theorems and concentration of measure in the mathematical modelling of learning: Tech. Rep. LSE-CDAM-2002-07: 2002.

80. Anthony M., Bartlett P.L. Neural Network Learning: Theoretical Foundations. Cambridge University Press, Cambridge, 1999.

81. Bontempi G., Birattari M. A bound on the cross-validation estimate for algorithm assessment // Eleventh Belgium/Netherlands Conference on Arti.cial Intelligence (BNAIC). 1999. Pp. 115-122.

82. Bousquet O., Elissee. A. Algorithmic stability and generalization performance // Advances in Neural Information Processing Systems 13. 2001. Pp. 196-202.

83. Cohen W. W., Singer Y. A simple, fast and e.ective rule learner // Proc. of the 16 National Conference on Arti.cial Intelligence. 1999. Pp. 335342.

84. Elissee. A., Evgeniou T., Pontil M. Stability of randomized learning algorithms // Journal of Machine Learning Research. 2005. no. 6. Pp. 5579.

85. Kearns M., Valiant L.G. Cryptographic limitations on learning Boolean formulae and finite automata // Proc. of the 21st Annual ACM Symposium on Theory of Computing. 1989. Pp. 433-444.

86. Kittler I. Feature set search algoritms // Pattern Recogn. and Signal Process. 1978. P. 41-60.

87. Leont'ev V.K., Smetanin Yu.G. Problems of Information on the Set of Words. // Journal of Mathematical Sciences. Kluwer Academic/Consultants Bureau, New York, 2000, p. 49-70.

88. Leont'ev V.K., Smetanin Yu.G. Recognition Model with Representation of Information in the Form of Long Sequences. // Pattern Recognition and Image Analysis: Advances in Mathematical Theory and Applications. 2002, Vol. 12, No. 3, p. 250-287.

89. Mann H. B., Whitney D. R. On a test of whether one of two random variables is stochastically larger than the other // The Annals of Mathematical Statistics. 1947. Vol. 18, no. 1. Pp. 50-60.

90. Pavel M. Algebraic, topological and cathegorial aspects of pattern recognition: a survey // Pattern Recogn. 1981, V. 14, № 1-6, p. 117-120.

91. Quinlan J. Induction of decision trees // Machine Learning. 1986. Vol. 1, no. l.Pp. 81-106.

92. Rivest R. L. Learning decision lists // Machine Learning. 1987. Vol. 2, no. 3. Pp. 229-246.