Многоуровневые непараметрические системы распознавания образов на основе декомпозиции обучающей выборки по ее размерности тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Капустин, Антон Николаевич

• Капустин, Антон Николаевич
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Капустин, Антон Николаевич

Введение

1 Анализ коллективов решающих правил в задачах 10 распознавания образов

1.1 Классификация статистических алгоритмов распознавания 10 образов коллективного типа

1.2 Традиционные методы построения коллективов решающих 13 правил

1.3 Метод комитетов Вл.Д. Мазурова

1.4 Алгебраический подход Ю.И. Журавлёва

1.5 Метод группового учёта аргументов в задаче распознавания 19 образов

1.6 Непараметрические алгоритмы обучения распознаванию 20 образов

1.7 Многоуровневые системы распознавания образов

1.8 Линейные непараметрические коллективы решающих правил 28 Выводы

2 Нелинейные непараметрические коллективы в 32 двуальтернативной задаче распознавания образов

2.1 Нелинейные непараметрические коллективы решающих 32 правил, основанные на оценках частных решающих функций

2.2 Нелинейные непараметрические коллективы решающих 38 правил, основанные на оценках частных решений

2.3 Нелинейные непараметрические коллективы решающих 40 правил, основанные на оценках частных плотностей вероятности

2.4 Исследование свойств нелинейных непараметрических 42 коллективов решающих правил

Выводы

3 Синтез и анализ непараметрических систем распознавания 50 для многоальтернативной задачи классификации

3.1 Постановка задачи распознавания образов

3.2 Методика синтеза многоуровневых непараметрических 51 систем распознавания образов, основанная на методе дихотомии

3.3 Синтез непараметрических систем распознавания образов, 59 основанных на декомпозиции обучающей выборки с учётом статистической независимости наборов признаков

3.4 Модификация непараметрической системы классификации, 62 основанная на методе дихотомии

3.5 Исследование свойств многоуровневых непараметрических 65 систем распознавания образов

Выводы

4 Программное обеспечение, реализующее многоуровневые 86 непараметрические системы распознавания образов, и его применение

4.1 Назначение и функциональные возможности программного 86 обеспечения

4.2 Структура программного обеспечения

4.3 Инструкции пользователю программного обеспечения для 95 проведения вычислительных экспериментов

4.4 Применение программного обеспечения при выборе режимов 98 функционирования хранилища материалов

Выводы

Введение диссертации (часть автореферата) на тему «Многоуровневые непараметрические системы распознавания образов на основе декомпозиции обучающей выборки по ее размерности»

Актуальность работы. Большинство статистических методов распознавания образов ориентировано на представительные обучающие выборки. Однако при решении прикладных задач часто располагают ограниченным объемом наблюдений — короткой либо малой выборкой, что обусловливается нестационарностью объекта исследования, высокой стоимостью и сложностью получения дополнительной информации. Получаемые на их основе решающие правила не всегда обеспечивают приемлемые результаты классификации, так как информация малых обучающих выборок недостаточна для оценивания вероятностных характеристик изучаемых закономерностей.

Для "обхода" проблем малых выборок широко использовались принципы декомпозиции систем и последовательные процедуры формирования решений. Множества ранее разработанных методов, представленные в работах Растригина JI.A., Розенблатта Ф., Нильсона Н., Патрика Э., Айзермана М.А. были обобщены и развиты в работах Мазурова Журавлёва Ю.И., Вл.Д., Ивахненко А.Г.

В соответствии с подходом Вл.Д. Мазурова (метод комитетов, 1990), для увеличения отношения "объем/размерность" (п/к) обучающей выборки формируются наборы признаков классифицируемых объектов, в пространстве которых строятся частные решающие правила. Для получения обобщенного решения используются методы коллективного оценивания на основе вторичных факторов, соответствующих количеству наборов исходных признаков. Недостатком метода комитетов является потеря информации при переходе от исходного вектора описания классифицируемых объектов к его булевому представлению при формировании обобщённого уравнения разделяющей поверхности.

Идея алгебраического подхода, предложенного Журавлёвым Ю.И в 1989 году, состоит в представлении алгоритма распознавания образов в виде двух операторов: распознающего и решающего правила. Распознающий оператор определяет меру близости контрольного объекта с каждым классом, а решающее правило относит ситуацию к конкретному классу. С распознающими операторами различных алгоритмов распознавания образов можно производить алгебраические операции (сложения, умножения и умножения на число). Априорные сведения составляют обучающая выборка и конечное множество алгоритмов распознавания образов, имеющих самостоятельное значение. Необходимость определения вводимых порогов, констант, коллективов алгоритмов и порядок алгебраического замыкания создают вычислительные трудности в реализации предлагаемого подхода.

Метод группового учета аргументов (МГУ А) предложенный Ивахненко А.Г (1990). Данный алгоритм реализует последовательную процедуру усложнения решающего правила путем целенаправленного отбора (селекции) пар, состоящих из первичных и промежуточных признаков. Каждый этап синтеза алгоритма характеризуется отношением п/к = п/2. Алгоритмы МГУА отличаются друг от друга критерием селекции, количеством промежуточных моделей и их сложностью. Недостатком МГУА является резкое повышение вычислительных затрат при увеличении размерности признакового пространства.

В работе с позиции последовательных процедур принятия решений и принципов коллективного оценивания предлагаются статистические модели распознавания образов, представляющие собой семейство частных решающих функций, организация которых в нелинейном решающем правиле осуществляется с помощью методов непараметрической статистики. Частные решающие функции формируются на основе однородных частей обучающей выборки, которые удовлетворяют одному или нескольким требованиям, например, наличие однотипных признаков, возможность декомпозиции исходных признаков на группы в соответствии со спецификой решаемой задачи. Это порождает широкий круг постановок задач синтеза непараметрических систем распознавания образов. При интеграции частных решающих функций используются непараметрические оценки оптимальных байесовских решающих правил.

Исследования выполнены в рамках гранта РФФИ №07-01-00006 и поддержке Совета по грантам Президента РФ (гранты МД-2130.2005.9, НШ-3428.2006.9).

Объектом исследований являются многоуровневые системы распознавания образов.

Предметом исследований являются методы синтеза и анализа многоуровневых непараметрических системы распознавания образов, основанных на декомпозиции обучающей выборки по её размерности.

Цель диссертационной работы состоит в разработке методических, алгоритмических и информационных средств построения многоуровневых непараметрических систем распознавания образов, основанных на принципах декомпозиции систем и последовательных процедурах формирования решений, обеспечивающих эффективное использование информации обучающих выборок большой размерности, включая априорные сведения о виде решающих функций.

Цель достигается путём решения следующих задач:

1. Систематизация существующих наиболее известных методов классификации, определение условий их применимости.

2. Развитие методов синтеза и анализа многоуровневых непараметрических систем в задачах распознавания образов, обеспечивающих эффективное использование информации обучающих выборок большой размерности.

3. Исследование свойств многоуровневых непараметрических систем распознавания образов в многоальтернативной задаче распознавания образов, при конечных объёмах обучающих выборок и их сравнение с традиционными непараметрическими классификаторами, определение области их компетентности.

4. Разработка и внедрение результатов теоретических исследований и программных средств, реализующих многоуровневые непараметрические систем распознавания образов, при выборе режимов функционирования неопределенных систем.

Методы исследования. Основные теоретические и прикладные результаты работы были получены на основе теории обучающихся систем, аппарата теории вероятности и математической статистики, методов коллективного оценивания и статистического моделирования.

Научная новизна результатов исследований 1. Предложена и обоснована оригинальная методика построения непараметрических систем распознавания образов в условиях обучающих выборок большой размерности на основе декомпозиции признаков классифицируемых объектов, построении частных уравнений

разделяющих поверхностей и их обобщении в едином решающем правиле, что позволяет наиболее полно учитывать априорную информацию и использовать технологию параллельных вычислений.

2. Разработано три модификации двухуровневой непараметрических системы распознавания образов для двуальтернативной задачи классификации, отличающихся видом преобразования частных решающих функций. Их применение обеспечивает достоверное снижение ошибки распознавания образов, на порядок сокращает время формирования решений по сравнению с традиционным непараметрическим классификатором парзеновского типа.

3. С позиций модификации метода дихотомии предложен подход синтеза эффективных непараметрических систем распознавания образов в условиях обучающих выборок большой размерности, обобщённый для многоальтернативной задачи классификации.

4. Установлена зависимость оценки вероятности ошибки распознавания образов многоуровневых непараметрических систем распознавания образов от параметров их структуры и особенностей обучающих выборок, что создаёт основу автоматизации проектирования разработанного класса систем.

Значение для теории. Результаты, полученные при выполнении диссертационной работы, имеют существенное значение при развитии теории непараметрических систем распознавания образов и позволяют находить эффективное решение задач классификации в условиях обучающих выборок большой размерности на основе их декомпозиции и использовании технологии параллельных вычислений. Предложенная методика синтеза многоуровневых непараметрических систем распознавания образов допускает развитие при построении моделей стохастических зависимостей при малых объёмах обучающих выборок. разработке методики, алгоритмических и программных средств построения многомерных непараметрических систем распознавания образов, ориентированных на решение задач классификации объектов различной природы в пространстве их признаков большой размерности, включая условия малых выборок.

Практическая ценность диссертации заключается в возможности использования принципов декомпозиции обучающей выборки по её размерности при синтезе структуры многоуровневых систем распознавания образов обеспечивающих применение технологии параллельных вычислений и в несколько раз сократить время формирования решений по сравнению с традиционными непараметрическими алгоритмами классификации парзеновского типа.

Структура многоуровневых непараметрических систем распознавания образов гарантирует преемственность результатов научных и прикладных разработок путём использования известных алгоритмов классификации в качестве частных решающих правил.

Рекомендации по выбору рациональных параметров структуры многоуровневых непараметрических систем распознавания образов создают методическую и алгоритмическую основу автоматизации их проектирования при построении типовых информационных систем.

Достоверность полученных результатов подтверждается корректным использованием современных математических средств синтеза и анализа многоуровневых непараметрических систем распознавания образов, результатами исследований их свойств методом статистического моделирования, совпадением модельных данных с экспериментальными.

Реализация результатов работы. Разработаны многоцелевые информационные средства синтеза и анализа многоуровневых непараметрических систем распознавания образов, которые использованы при создании автоматизированной системы поддержания микроклимата в хранилище материалов.

На защиту выносятся:

1. Двухуровневые непараметрические системы классификации для двуальтернативной задачи распознавания образов, основанная на декомпозиции выборки по её размерности, и их свойства.

2. Двухуровневая непараметрическая система классификации для многоальтернативной задачи распознавания образов, синтез которой основан на декомпозиции обучающей выборки по её размерности с учётом статистической независимости наборов признаков.

3. Многоуровневые непараметрические системы распознавания образов, основанные на модификации метода дихотомии, и их свойства.

4. Результаты применения разработанных программных средств, реализующих многоуровневую непараметрическую систему распознавания образов, при решении задачи выбора режима функционирования хранилища материалов.

Апробация работы. Основные научные результаты работы докладывались и обсуждались на следующих конференциях: IV Всероссийская научно-практическая конференция студентов, аспирантов и молодых учёных «Молодежь и современные информационные технологии» (г.Томск, 28 февраля — 2 марта 2006г.), I открытая научно-практическая конференция молодых работников ГКХ (г. Железногрск, 28-29 сентября 2006г.), VII Всероссийская конференция молодых ученых по математическому моделированию и информационным технологиям (с участием иностранных ученых) (г. Красноярск, 1-3 ноября 2006г.), Всероссийская отраслевая конференция «Технология и автоматизация атомной энергетики и промышленности» ТААЭП-2007 (г. Северск, 22-24 мая 2007г.), II открытая научно-практическая конференция молодых работников ГКХ (г. Железногрск, 27-29 сентября 2007г.), VII научно-практическая конференция «Молодёжь в науке» (г. Саров, 28-30 октября 2008 г.).

Публикации. Результаты теоретических, экспериментальных и прикладных исследований опубликованы в семи печатных работах, из них две статьи в журналах, рекомендованных ВАК для представления материалов диссертаций.

Структура и объём работы. Диссертация состоит из введения, четырёх глав, заключения, списка использованной литературы (70 наименований), содержит 113 страниц машинописного текста, иллюстрируется 33 рисунками.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Капустин, Антон Николаевич

выводы

1. Разработано программное обеспечение, реализующее построение многоуровневых непараметрических систем распознавания образов в условиях обучающих выборок большой размерности, адаптируемое к объектам различной природы и условиям их исследования.

2. Функциональные возможности обеспечивают синтез рациональной структуры многоуровневых непараметрических систем классификации и оценку показателей эффективности задачи классификации.

3. Использование разработанного программного обеспечения позволило снизить влияние субъективного фактора на функционирование хранилища материалов и уменьшить ошибку . выбора режима регулирования его состояния в три раза.

ЗАКЛЮЧЕНИЕ

Сформулированная цель диссертации достигнута, получены следующие основные результаты и выводы:

1. С учётом особенностей пространства формирования частных решений и вида обобщающего их оператора предложена методика типизации алгоритмов распознавания образов коллективного типа, что позволило систематизировать наиболее известные методы классификации и определить условия применения исследуемых в диссертации нелинейных непараметрических коллективов решающих правил многоуровневой структурой.

2. С позиции принципов декомпозиции исходной задачи и коллективного оценивания разработаны оригинальные нелинейные непараметрические классификаторы с двухуровневой структурой для двуальтернативной задачи распознавания образов в условиях обучающих выборок большой размерности. Их применение обеспечивает значительное снижение ошибки распознавания образов на контрольных выборках в (1.5-3) раза и на порядок с использованием обучающих выборок по сравнению с традиционным непараметрическим классификатором.

3. На основе метода дихотомии и его модификаций предложен подход синтеза непараметрических систем распознавания образов обобщён на многоальтернативную задачу классификации.

Установлено достоверное преимущество предлагаемых многоуровневых непараметрических систем классификации над традиционным непараметрическим алгоритмом распознавания образов парзеновского типа, которые особо проявляются при относительно малых значениях отношения «объёль выборки/(количество классов х размерность выборки)». При этом оценка вероятности ошибки исследуемой системы классификации меньше традиционной в 1,5 раза, а при больших значения в 1,2 раза.

4. Обоснована методика синтеза двухуровневых непараметрических систем распознавания образов для многоальтернативных задач классификации, основанная на формировании независимых групп признаков исследуемых объектов, построении на этой основе частных и обобщённых решающих правил. При этом вычислительная эффективность решения двух и многоальтериативных задач распознавания образов мало отличаются.

5. По результатам анализа данных вычислительного эксперимента определена зависимость оценки вероятности ошибки распознавания образов многоуровневых непараметрических классификаторов от параметров их структуры и особенностей обучающей выборки. Для эффективной работы предлагаемых непараметрических систем необходимо на первых уровнях структуры формировать независимые наборы признаков, а их размерность должна быть соизмерима с количеством групп признаков. Эффективность многоуровневой непараметрический системы слабо зависит от ошибок классификации частных решающих правил первого уровня структуры.

Обнаружен экстремальный характер зависимости оценки вероятности ошибки распознавания образов от количества Т частных решающих правил. Положение экстремума зависит от объёма исходной выборки и размерности признаков классифицируемых объектов.

6. Разработано программное обеспечение, реализующее построение многоуровневых непараметрических систем распознавания образов в условиях обучающих выборок большой размерности, адаптируемое к объектам различной природы и условиям их исследования. Его функциональные возможности обеспечивают синтез рациональной структуры многоуровневых пепараметрических систем классификации и оценку показателей эффективности задачи классификации. Использование разработанного программного обеспечения позволило снизить влияние субъективного фактора на функционирование хранилища материалов и уменьшить ошибку выбора режима регулирования его состояния в три раза.

Список литературы диссертационного исследования кандидат технических наук Капустин, Антон Николаевич, 2009 год

1. Айвазян, С.А. Прикладная статистика. Исследование зависимостей / С.А. Айвазян, И.С. Еников, Л.Д. Мешалкин. М.: Финансы и статистика, 1985. -487с.

2. Алгоритмы и программы восстановления зависимостей / В.Н. Вапник, Т.Г. Глазкова и др. М.: Наука, 1984.- 815 с.

3. Андреев, Н.А. Об одной модели консилиума / Н.А. Андреев, J1.A. Растригин, Р.Х. Эренштейн // Адаптивные системы. Рига: Зипатне, 1972. -(Вып. 2.) - С. 16-25.

4. Бусленко, Н.П. Метод статистических испытаний / Н.П. Бусленко, Ю.А. Шрейдер. М.: Государственное издательство физико-математической литературы, 1961. - 228с.

5. Вапник, В.Н. Восстановление зависимостей по эмпирическим данным / В.Н. Вапник М.: Наука, 1979. - 447с.

6. Вапник, В.Н. Теория распознавания образов / В.Н. Вапник, А .Я. Черновенкис. М.: Наука, 1974. - 414 с.

7. Варядченко, Т.В. Непараметрический метод обращения функции регрессии / Т.В. Варядченко, В.Я. Катковник //Стохастические системы управления. Новосибирск: Наука, 1979. - С.4-14.

8. Васильев, В.И. Конструирование пространств в процессе обучения распознаванию образов / В.И. Васильев // Автоматика. 1982.- №5. - С. 18-27.

9. Гмурман, В.Е. Теория вероятностей и математическая статистика: Учеб. пособие / В.Е. Гмурман. М.: Высш. шк., 1999. — 479с.

10. Головченко, В.Б. Комбинирование моделей неопределённости / В.Б. Головченко. — Новосибирск: Наука, 2002. — 190с.

11. Горелик, А.А. Методы распознавания / А.А. Горелик, В.А. Скрипник.1. М: Высш. шк, 1977. 222 с.

12. Дервой, Л., Дьерфи Л. Непараметрическое оценивание плотности (/,,-подход) / Л. Дервой, Л. Дьерфи. М.: Мир, 1988. - 407с.

13. Дуда, Р. Распознавание образов и сцен / Р. Дуда, П. Харт. М.: Мир, 1976. - 511 с.

14. Епанечников, В.А. Непараметрическая оценка многомерной плотности вероятности / В.А. Епаненчиков // Теория вероятности и ее применения, 1969. Т.Н.-(Вып. 1). -С.156-161.

15. Живоглядов, В.П. Непараметрические алгоритмы адаптации / В.П. Живоглядов, А.В. Медведев. Фрунзе: Илим, 1974. - 134с.

16. Журавлёв, Ю.И. Избранные научные труды / Ю.И. Журавлёв. М.: Издательство Магистр, 1998. - 420 с.

17. Журавлёв, Ю.И. Класс коллективно-групповых решающих правил, основанных на дисперсионном критерии компетентности предикторов / Ю.И. Журавлёв, Н.Г. Загоруйко // Анализ данных и сигналов, Новосибирск, 1998. (Вып. 163). - С.82-90.

18. Загоруйко, Н.Г. Комбинированный метод принятия решений / Н.Г. Загоруйко // Вычислительные системы, Новосибирск. — 1966. — (Вып.28). С.22-31.

19. Ивахненко, А.Г. Долгосрочное прогнозирование и управление сложными системами / А.Г. Ивахненко. Киев: Техника, 1975. - 372с.

20. Ивахненко, А.Г. Непараметрический комбинаторный алгоритм МГУА на операторах поиска аналогов / А.Г. Ивахненко, В.А. Чаинская, Н.А. Ивахненко // Автоматика, 1990. № 5. - С. 14-27.

21. Ивахненко, А.Г. Непараметрический комбинированный алгоритм МГУАна операторах поиска аналогов / А.Г. Ивахненко // Автоматика, 1990. -№5. С. 14-27.

22. Ивахненко, А.Г. Самоорганизация прогнозирующих моделей / А.Г. Ивахненко, Й.А. Мюллер. Киев: Техника, 1985. - 223с.

23. Искусственный интеллект и экспертные системы: Сборник научных трудов / Под общей ред. Н.Г. Загоруйко. Новосибирск: ИМ СО РАН, 1997. - 218с.

24. Капустин А.Н. Нелинейные непараметрические коллективы решающих правил / Лапко В.А., Бадмаев Р.В., Капустин А.Н., // Вестник КРАСГУ, 2006, №4. -с.103-108.

25. Капустин А.Н. Синтез нелинейных непараметрических решающих правил в задачах распознавания образов. / Лапко В.А., Капустин А.Н. // Автометрия, 2006 №6. с.26-33.

26. Катковник, В.Я. Линейные и нелинейные методы непараметрического регрессионного анализа / В.Я. Катковник // Автоматика, 1979. №5. - С. 165-170.

27. Катковник, В.Я. Линейные оценки и стохастические задачи оптимизации. -М.:Наука, 1976. 188с.

28. Катковник, В.Я. Непараметрическая идентификация и сглаживание данных: Метод локальных аппроксимаций / В.Я. Катковник. М.: Наука,1985.-336с.

29. Лапко, А.В. Многоуровневые непараметрические системы принятия решений / А.В. Лапко, С.В. Ченцов. Новосибирск: Наука, 1997. - 200с.

30. Лапко, А.В. Непараметрические модели коллективного типа / А.В. Лапко, В.А. Лапко, М.И. Соколов, С.В. Ченцов. Новосибирск: Наука, 2000. - 144с.

31. Лапко, А.В. Непараметрические модели распознавания образов в условиях малых выборок / А.В. Лапко, В.А. Лапко, С.В. Ченцов // Автометрия, 1999. №6. - С. 105-113.

32. Лапко, А.В. Непараметрические системы классификации / А.В. Лапко, В.А. Лапко, М.И. Соколов, С.В. Ченцов. Новосибирск: Наука, 2000. -240с.

33. Лапко, А.В. Обучающиеся системы обработки информации и принятия решений / А.В. Лапко, С.В. Ченцов, С.И. Крохов, Л.А. Фельдман. -Новосибирск: Наука, 1996 296с.

34. Лапко, В.А. Непараметрические коллективы решающих правил / В.А. Лапко. Новосибирск: Наука, 2002. - 168с.

35. Лапко, В.А. Непараметрические методы обработки информации: Учеб. пособие / В.А. Лапко, М.И. Соколов. Красноярск: КГТУ, 2001. - 116с.

36. Лапко, В.А. Непараметрические модели временных зависимостей, основанные на методе двойного коллективного оценивания / В.А. Лапко // Автометрия, 2002. №1. - С.42-50.

37. Лбов, Г.С. Методы обработки разнотипных экспериментальных данных / Г.С. Лбов. — Новосибирск: Наука, 1981. 160с.

38. Мазуров Вл.Д. Метод комитетов в задачах оптимизации и классификации. М.: Наука, 1990. - 248с.

39. Медведев, А.В. Непараметрические системы адаптации / А.В. Медведев. -Новосибирск: Наука, 1983. 174 с.

40. Патрик, Э. Основы теории распознавания образов / Э. Патрик. М.: Сов.радио, 1980.

41. Райбман, Н.С. Идентификация технологических объектов методами кусочной аппроксимации / Н.С. Райбман, А.А. Дрофеюк и др. М.: 1977. - 70с.

42. Растригин, Л.А. Адаптация сложных систем / Л.А. Расстригин. Рига: Зинатне, 1981.- 375 с.

43. Растригин, Л.А. Методология решения задач обнаружения закономерностей и прикладная гносенология / Л.А. Расстригин // Машинные методы обнаружения закономерностей. Новосибирск: Ин-т математики СО АН СССР, 1981,- С. 14-16.

44. Растригин, Л.А. Гибридное распознавание / Л.А. Растригин // Автоматика и телемеханика, 1993. № 4. -С.3-20.

45. Растригин, Л.А. Метод коллективного распознавания / Л.А. Растригин, Р.Х. Эренштейн. М.: Энергоиздат, 1981. ;

46. Розенблатт, Ф. Принципы нейродинамики / Ф. Розенблатт. М.: Мир, 1965.

47. Рубан, А.И. Методы анализа данных: Учеб. пособие / А.И. Рубан. -Красноярск: КГТУ, 1994. Ч. 1. - 220с.

48. Солодовников, А.С. Теория вероятностей: Учеб пособие / А.С. Солодовников. М.: Вербум-М, 1999. - 208с.

49. Титов, B.C. Основы теории распознавания образов: Учеб. пособие / С.В. Дегтярёв, Е.И. Духнич, Н.А. Кореневский, B.C. Титов и др. Курск: Курск. ГТУ, 1999.-136с.

50. Ту, Дж. Принципы распознавания образов / Дж Ту, Р. Гонсалес. М.: Мир, 1978.-411 с.

51. Фукунаги, К. Введение в статическую теорию распознавания образов / К. Фукунаги. М.: Наука, 1979.- 367 с.

52. Хардле, В. Прикладная непараметрическая регрессия / Хардле В. М.: Мир, 1993.-349 с.

53. Холингворт Джаррод. Borland С++ Builder 6. Руководство разработчика. / Холингворт Джаррод, Сворт Боб, Кэшмэн Марк, Густавсон Поль. Пер. с англ. - М.: Издательский дом «Вильяме», 2003. - 976с.:ил. - Парал. тит. англ.

54. Цыпкин, Я.З. Основы теории обучающихся систем / Я.З. Цыпкин. — М.: Наука, 1970.-280 с.

55. Шаракшанэ, А.С. Сложные системы / А.С. Шаракшанэ, И.Г. Железнов, В.А. Ивницкий. М.: Высш. шк., 1977. - 247с.

56. Friedman, J. Projection pursuit regression / J. Friedman, W. Stuetzle // Journal of the American Statistical Association, 1981. Vol. 76. - pp. 817-823.

57. Lapko, A.V. Nonparametric Models Of Pattern Recognition Under Conditions Of Small Samples / A.V. Lapko, V.A. Lapko, S.V. Chentsov // Optoelectronics, Instrumentation And Data Processing, 1999. №6. - pp. 83-90.

58. Lapko, A.V. Nonparametric algorithms and classification systems / A.V. Lapko, V.A. Lapko, S.V. Chentsov // Pattern recognition and image analysis,2000.-Vol. 10. -№l.-pp. 31-42.

59. Lapko, A.V. Synthesis And Analysis Nonparametric Algorithms Of Pattern Recognition When Samples Are Large / A.V. Lapko, V.A. Lapko, S.V. Chentsov // Pattern recognition and image analysis, 2001. Vol. 11. - №1. — pp. 53-55.

60. Lapko, V.A. Synthesis And Analysis Of Nonparametric Collective-Type Models / V.A. Lapko // Optoelectronics, Instrumentation And Data Processing,2001. №6.-pp. 83-90.

61. Lapko, V.A. Nonparametric Models of Pattern Recognition of Collective Type

62. V.A. Lapko // Pattern recognition and image analysis, 2002. Vol. 12. - №4. -pp. 354-361.

63. Lapko, V.A. Nonparametric Models Of Time Dependences Based On Double Collective Estimation / V.A. Lapko // Optoelectronics, Instrumentation And Data Processing, 2002. №1. - pp. 37-44.

64. Lapko, A.V. Hybrid Models Of Stochastic Dependences / A.V. Lapko, V.A. Lapko // Optoelectronics, Instrumentation And Data Processing, 2002. №5. -pp. 33-42.

65. Leontief, W. A note on the interrelation of subsets of independent variables of a continuons function with continuous first derivatives / W. Leontief // Bulletin of the American Mathematical Society, 1947. Vol. 53.- pp. 343-350.

66. Parzen, E. On estimation of a probability density / E. Parzen // Ann. Math. Statistic, 1969. pp. 1038-1050.

67. Rolinson, P.M. Asymptotically eficient estimation in the presence of heteroskedasticity of unknown from / P.M. Rolinson // Econometrica, 1987-Vol. 55,-pp. 875-891.