Построение и оптимизация непараметрических оценок регрессии по наблюдениям с выбросами тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат физико-математических наук Кирик, Екатерина Сергеевна

• Кирик, Екатерина Сергеевна
• кандидат физико-математических наук
• 2002

Оглавление диссертации кандидат физико-математических наук Кирик, Екатерина Сергеевна

Введение

Глава 1. Некоторые известные непараметрические оценки

1.1 Оценивание функции плотности вероятности по наблюдениям

1.2 Оценивание регрессии по наблюдениям

1.3 Алгоритм распознавания образов.

1.4 Оптимизация непараметрических оценок

Глава 2. Построение непараметрической робастной оценки регрессии

2.1 Описание проблемы.

2.2 Постановка задачи.

2.3 Идея моделирования робастной оценки регрессии.

2.4 Робастная оценка регрессии.

2.5 Критерии качества робастной оценки.

2.6 Ремонт данных.:.

2.7 Численное исследование.

Введение диссертации (часть автореферата) на тему «Построение и оптимизация непараметрических оценок регрессии по наблюдениям с выбросами»

Актуальность проблемы.

Бурное развитие вычислительной техники и ее широкое применение для решения уже известных и новых задач в различных областях человеческой деятельности требует появления новых методов исследования, которые могут эффективно использоваться в информационных технологиях.

Необходимые истинные значения не всегда доступны человеку в явном виде. Нередко об них приходиться судить по некоторым, связанными с ними, косвенным данным, которые могут содержать помехи. При обработке результатов исследований эти косвенные данные представляют априорную информацию, количество и качество которой определяют метод решения задачи. А правильный выбор метода (т.е. его соответствие уровню априорной информации) в свою очередь влияет на результат.

В задачах идентификации статических объектов, распознавания образов, когда данные возмущены случайными помехами, в настоящее время доминирует параметрическая теория, предполагающая выбор или определение на основании априорной информации класса соответствующих характеристик моделей с точностью до вектора параметров. Тогда говорят, что решение задачи рассматривается в "узком" смысле и состоит из двух основных этапов: выбор параметрического семейства моделей; оценка параметров модели по имеющимся реализациям, наблюдениям (обучающей выборке) ([1], [2], [3], [15], [22], [35] и др.).

Если априорной информации недостаточно для обоснованного определения соответствующей параметрической структуры, то использование параметрической теории затруднено, особенно в задачах, формулируемых в пространстве многих переменных. Можно, конечно, постулировать класс параметрических моделей, но результат решения задачи будет определяться "степенью везения", которое определяется адекватностью принятой структуры моделей и реально исследуемого процесса.

Оказалось возможным развить теорию моделирования стохастических процессов, когда априорная информация о предполагаемой структуре модели исследуемого процесса отсутствует, но имеется информация о его качественных свойствах, как то однозначность или неоднозначность статических характеристик. В подавляющем числе задач практики исследователь почти всегда располагает информацией такого рода. Математическим основанием для развития теории идентификации в условиях априорной неопределенности явилась непараметрическая статистика. Первые работы (конец 50-х -начало 60-х годов XX века: Rozenblat М. [69]; Parzen Е. [66]; Watson G. [78]; Надарая Э.А. [19]; Епанечников В.А. [4], Тарасенко Ф.П. [27]) в области непараметрической статистики были связаны с восстановлением оценок плотности вероятности и затем кривой регрессии. Эти работы носили теоретический характер. С начала 70-х годов прошлого столетия появились работы, использующие непараметрические оценки в задачах распознавания образов(Раудис Ш. [23]; Ко-новаленко В.В.; Серых А.П.), а несколько позже эти идеи получили развитие в непараметрической теории идентификации и управления (Живоглядов В.П., Медведев А.В. [6], Лапко А.В. [14], Рубан А.И. [25], Катковник В.Я. [8], Ченцов С.В. [13] и др.).

Крайне важными для развития исследований в этой области явились первые попытки практического применения непараметрических алгоритмов, результаты которых оказались чрезвычайно успешными. Прежде всего это касалось значительного сокращения времени, затраченного на решение поставленных задач ввиду отсутствия необходимости выбора структуры модели.

Таким образом, преимущество непараметрических методов (перед параметрическими) идентификации статических объектов заключается в том, что, предполагая наличие только некоторых сведений о качественных свойствах объекта, процесса, они позволяют на основе экспериментальных данных успешно решать задачи, минуя этап построения их структуры, которая бывает либо частично, либо полностью не известна. В связи с этим разработка новых методов непараметрического оценивания является актуальной. В частности представляют интерес алгоритмы обработки данных, когда наблюдения содержат выбросы. Наличие выбросов в данных влечет нарушение условий оптимальности классических методов непараметрического оценивания зависимостей неизвестной функциональной структуры. Поэтому в настоящее время не случаен интерес к робастным методам, предполагающим высокую работоспособность при нарушении условий оптимальности для классических процедур. В отличие от параметрического варианта, в классе непараметрических решений эта задача приобретает особый оттенок, связанный необходимостью в извлечении неявно содержащейся в обучающей выборке информации о предмете исследования (выбросах) в соответствии с поставленной задачей.

Целью настоящей диссертационной работы является построение и оптимизация непараметрических оценок зависимостей неизвестной (однозначной) функциональной структуры по наблюдениям с выбросами: решаются задачи о восстановлении робастной оценки регрессии и явного представления разделяющей поверхности в задаче распознавания образов, формализуется критерий качества для определения оптимальной степени цензурирования выборки в обеих задачах.

Методы исследований. В работе используются методы теории статистических решений, теории вероятностей, математической статистики, методы непараметрического и робастного оценивания, идентификации статических объектов.

Научная новизна. В работе получены следующие результаты:

- предложен и обоснован метод идентификации выбросов в задаче восстановления регрессии, на его основе построена модель непараметрической оценки регрессии цензорного типа;

- формализован критерий (функция влияния) для определения оптимальной цензурированной выборки в задаче непараметрического робастного оценивания регрессии и обоснована его оптимальность с точки зрения точности приближения оценкой искомой функции;

- решена задача идентификации элементов обучающей выборки, находящихся вблизи разделяющей поверхности, в задаче распознавания образов и обоснован метод ее решения, предложена модель явной непараметрической оценки разделяющей поверхности;

- формализован критерий оптимальности для выбора наилучших параметров явной непараметрической оценки разделяющей поверхности;

- проведена серия вычислительных экспериментов, подтверждающих полученные теоретические результаты.

Результаты являются новыми в классе непараметрических методов оценивания и несут вклад как в развитие непараметрической теории робастной идентификации статических объектов и распознавания образов, так и в развитие алгоритмической базы компьютерных систем обработки информации.

Теоретическая и практическая значимость полученных результатов. Возникновение проблемы робастной идентификации продиктовано необходимостью решать статистическими методами именно практические задачи, где наличие выбросов в данных является обычным, и во многих случаях неустранимым, явлением. Разработанный в настоящей диссертационной работе подход позволяет решать задачу идентификации выбросов и восстановления робастной оценки регрессии, не требуя, в отличие от известных, привлечения специальной информации и априорных предположений о наличии выбросов. Возможность непараметрического восстановления разделяющей поверхности в явном виде представляет интерес с точки зрения "визуализации" последней в целях исследования структуры данных и выявления причинно-следственных связей разбиения выборочных элементов на классы. Качество результатов в обоих случаях определяется путем оптимизации оценок в соответствии со сформулированными критериями оптимальности для настройки неизвестных параметров оценок. Программная реализация разработанных методов обеспечит новый мощный инструмент статистической обработки данных, который может быть использован в различных компьютерных системах, нацеленных на решения как конкретных практических задач, так и научно-исследовательских.

На защиту выносятся:

- метод идентификации выбросов в задаче восстановления регрессии, модель непараметрической оценки регрессии цензорного типа;

- критерий (функция влияния) для определения оптимальной цензурированной выборки в задаче непараметрического робастного оценивания регрессии;

- метод идентификации элементов обучающей выборки, находящихся вблизи разделяющей поверхности, в задаче распознавания образов и модель явной непараметрической оценки разделяющей поверхности;

- критерий оптимальности для выбора наилучших параметров явной непараметрической оценки разделяющей поверхности.

Апробация работы. Материалы диссертации докладывались на XXXV-XXXIX Международных студенческих конференциях "Студент и научно-технический прогресс" (Новосибирск, 1997-2001 гг.), ИНПРИМ-98, ИНПРИМ-2000 (Новосибирск, 1998, 2000 гг.), Международной конференции "Компьютерный анализ данных и моделирование" (Минск, 1998, 2001 гг.), Молодежной международной конференции "XXV Гагаринские чтения" (Москва, 1999 г.), "Нейроин-форматика и ее приложения" (Красноярск, 1999 г.), XXXI Молодежной школе-конференции по прикладной математике (Екатеринбург, 2000, 2001 гг.), конференции посвященной юбилею Н.Н.Яненко (Новосибирск, 2001 г.), конференции молодых ученых СО РАН (Новосибирск, 2000, 2001 гг.), ежегодной ФAM-конференции (Красноярск, 2000-2002 гг.), научном семинаре профессора А.В. Медведева (ИВМ СО РАН) и др.

Публикации. По теме диссертации опубликованы работы [80]-[94], среди которых две статьи в центральной печати [89], [93], тезисы и труды Российских и Международных конференций.

Структура и объем работы. Диссертация объемом 149 страниц состоит из настоящего введения, трех глав, заключения, списка литературы из 94 наименований и приложения.

Работа поддержана грантами 1М0033, 10F123N, 12G188 Красноярского краевого фонда науки.

Краткий обзор работы. Первая глава носит подготовительный характер, где излагаются известные результаты, которые в дальнейшем используются в работе и лежат в основе предлагаемых оценок. Здесь приводятся известные сведения о построений непараметрических оценок плотности типа Розенблата-Парзена и их асимптотических свойствах. Затем на основе введенных оценок плотности выводятся непараметрическая оценка регрессии (типа Надарая-Ватсона) и непараметрическая оценка байесовой решающей функции. Заключительный параграф главы посвящен методам оптимизации этих оценок по неизвестным параметрам, которые определяют качество аппроксимации.

Вторая глава посвящена задаче робастного оценивания неизвестных зависимостей по наблюдениям. Рассматривается цензорный подход к построению непараметрических робастных оценок регрессии. Формализуется критерий (функции влияния) для определения цен-зурированной выборки и обосновывается его оптимальность.

Удобным математическим описанием наблюдений с выбросами является смесевой закон распределения ошибок наблюдений [59]. Пусть между х и у существует неизвестная однозначная функциональная зависимость у = fix)- Считаем, что распределение Р(() ошибок = f(xi) — yi},i = I,п наблюдений {yi,Xi},i = 1,п неизвестной функциональной зависимости £ = f{0) принадлежит классу загрязненных (contaminated) распределений Q:

Q = {НО ■ ПО = а - A)Pi(0 + АР2(0). где закон Pi(0 характеризует основной низкий уровень (3-5% от истинного значения функции) ошибок наблюдений, Рг(£) является законом распределения грубых ошибок (выбросов), тогда Д > 0 характеризует степень загрязнения выборки. Будем считать, что законы распределения -Pi(-) и Рг(-) заданы функциями плотности вероятности Pi(-) и Р2(') соответственно. Если рассматривать относительные ошибки наблюдения = 1? ^ — l'71' то естественно, что области, где pi{-) > 0 и рг(') > 0 не пересекаются. Как следствие, выбросами следует считать измерения, которые очень мало похожи на основную массу данных в некоторой локальной области. Согласно этому определению выбросами следует считать измерения, которые очень мало похожи на основную массу данных в некоторой локальной области.

Наличие выбросов в данных влечет нарушение условий оптимальности классических методов статистического оценивания. В связи с этим в настоящее время не случаен интерес к робастным методам статистики — методам, предполагающим высокую работоспособность при нарушении условий оптимальности для классических процедур.

В определении Хампеля [28] оценку следует называть робастной, если ее распределение мало меняется при малых изменениях распределения ошибок наблюдений: пусть р — некоторая метрика на множестве всех функций распределения на R1 и пусть функция распределения оценки fn(x) для /(ж) в случае, когда ошибки измерения £ распределены по закону Р, есть Lp(fn), тогда, согласно [28], оценка fn(x) является робастной на распределении если для Ve > 0 3 5 > 0:

ПЕр(/,Ро(/п), LP{fn)) < £ при р(Р°, Р) < 5.

В начале главы приводится обзор известных подходов и методов. В настоящее время развиваются два подхода к построению робаст-ных оценок. Подход на основе цензурирования данных, когда подозрительные на выбросы точки исключаются из рассмотрения ([50], [74], [64], [38], [40], [76], [79], [58], [70], [56], [37] и др.); и другой, так называемый Хьюберовский, где влияние последних снижается путем нахождения оценки заданной структуры из условия минимума некоторого функционала ([59], [39], [47], [51], [65], [8], [31], [29], [44], [72] и др.). Оба подхода объединяет тот факт, что наиболее информативной характеристикой с точки зрения определения ее "годности" считается величина невязки h = yn{xi),i = 1 ,п, где у(,г = 1,п — выборочные значения, yn(xi) — их неробастные (классические) оценки.

Идеология подхода Хьюбера [59] заключается в нахождении своего рода компромисса между желанием удалить элементы выборки, которые в соответствии с принятым критерием (величина невязки) являются "подозрительными", и не удалять таковые, боясь исключить непохожие на основную массу, но все же, по какой либо причине, возможно "годные" наблюдения. Эта цель достигается путем снижения весов таких элементов. Причем в зависимости от величины Д используются различные целевые функции для определения наилучших параметров оценки. Очевидно, что на конечных выборках достижение качества таких робастных оценок сравнимого с качеством классических оценок в отсутствии выбросов не преследуется и является невозможным в силу того, что выбросы вносят вклад как при нахождении параметров оценки, так и в саму искомую оценку.

Особое внимание уделяется обзору алгоритмов цензорного типа. В противовес Хьюберовскому существует робастный подход на основе цензурирования данных. Идеология этого подхода исходит из понятия о том, что выбросы, будучи редкими необычными наблюдениями для некоторой локальной области, должны быть исключены из выборки, как не соответствующие основной массе данных в этой области и, как следствие, искажающие искомую зависимость. Цензорный подход в общем виде состоит в предварительном анализе данных, который нужен для исключения из выборки "подозрительных" элементов, и последующем построении искомых оценок по цензурированной выборке. Таким образом, основными этапами этого подхода являются: построение информативных характеристик элементов выборки с точки зрения выделения "подозрительных", построение самой оценки, в которую входят параметры, регулирующие качество оценки, последним и наиболее важным, поскольку наименее исследован, является этап формализации критерия, который определяет значения для этих параметров так, чтобы оценка получилась наилучшей с точки зрения ее близости к истинной характеристике.

Анализ известных методов цензурирования позволяет говорить о том, что определяющими ту или иную процедуру оценивания в подавляющем числе случаев являются априорные сведения, касающиеся предполагаемой доли выбросов в выборке и вида распределения невязок. Поэтому, будучи ориентированными на выполнение определенных условий эти алгоритмы представляют только частные решения. Случай, когда такого рода информация отсутствует на сегодняшний день наименее исследован. В отличие от параметрического подхода, где смысл робастизации в общем виде сводится к "подгонке" данных под некоторую заранее предполагаемую модель, в классе непараметрических алгоритмов основная трудность как раз состоит в формализации критерия качества процедуры цензурирования выборки. С другой стороны, решение последней задачи представляется возможным. Цензорный подход, предполагающий удаление выбросов из выборки, допускает получение цезурированной выборки, не содержащей выбросов. Тогда условия оптимальности классической оценки выполняются и обе оценки (робастная и классическая) совпадают.

С учетом проведенного анализа известных методов были сформулированы следующие новые требования к робастной процедуре оценивания неизвестных функций по их наблюдениям. Робастная оценка должна 1) быть независимой от правильности задания структуры восстанавливаемой функции; 2) наименьшим образом определяться априорной информацией о предполагаемых выбросах. Соответственно, качество оценки не должно зависеть от достоверности этой информации и должно определяться в соответствии с формализованным критерием, который, в свою очередь, следует определять как функцию от выборки. Удовлетворение этим требованиям выделяет робастную оценку из числа известных и позволяет говорить о получении общего решения задачи робастного оценивания широкого класса однозначных функций. Эти требования легли в основу предложенного подхода. Решение построено в классе непараметрических оценок (что позволяет ему быть независимым от правильности предположения о виде восстанавливаемой функции) с использованием идеологии цензорного подхода.Цензорный подход, предполагающий удаление выбросов из выборки, допускает получение цезурированной выборки, не содержащей выбросов, что в свою очередь определяет выполнение условий оптимальности классической оценки регрессии.

Далее формулируется постановка задачи и последовательно излагается метод ее решения.

Построение непараметрической оценки регрессии сводится к тому, что в классическую оценку типа Надарая-Ватсона вводится индикатор, роль которого состоит в удалении из рабочей выборки элементов "подозрительных" на выброс [93]. Идея заложенная в индикаторную функцию следующая. "Подозрительными" элементами являются те, что имеют наибольшие относительные невязки. (Переход от использования абсолютных значений невязок е^ i = 1, п к их относительным значениям €{ = — 1 п объясняется достаточно

Уг сильным расширением класса функций, для которых эти выборочные величины являются информативными с точки зрения выделения "подозрительных" на выброс элементов. В этом случае каждое значение — 1,п представляет долю, которую составляет ошибка оценивания от самого выборочного значения.) Очевидно, что большое по модулю значение невязки некоторого элемента выборки свидетельствует о плохом качестве оценивания этого элемента. Причин этому может быть несколько. Но будем считать, что выполняется

Предположение В.1. Величины |е;|,г = 1 ,п определяются качеством наблюдений, содержащихся в выборке.

Очевидно, что в этом случае большие значения |е4|,г = 1,тг являются следствием наличия выбросов в данных и соответствуют непосредственно самим выбросам. Тогда оправданным будет и другое

Предположение В. 2. Закон распределения невязок Р(б) является смесевым Р(е) = (1 - A)Pi(e) + АР2(б).

Поскольку с точки зрения задачи идентификации выбросов в большей степени интересуют собственно области, где pi(e) > 0 и рг(б) = P2^{e) UP29ht{e) > 0, а не профили этих распределений, тогда под распределением Р(е), в первую очередь, будем понимать непересекающиеся интервалы Р\(е) и Рг(б) = Р2^{е) U -Р™5^6)' где определены Pi (б) и рг(б). То есть такие интервалы на числовой оси, куда попадают только значения невязок "годных" элементов выборки и только выбросов соответственно. Тогда вопрос об удалении "подозрительных" элементов выборки сводится к восстановлению функции плотности вероятности р(е) и исследованию ее на непрерывность. И следовательно, массу достоверных измерений составят те, распределение невязок которых , будет соответствовать компоненте Pi в распределении Р. В качестве р(е) используется ее непараметрическая оценка рп(е) типа Розенблата-Парзена. Она содержит неизвестный параметр размытости С*, который по сути и является параметром, определяющим качество робастной оценки, поскольку именно от него зависит точность идентификации распределения невязок, и, следовательно, состав цензурированной выборки.

Для построения критерия качества и нахождения параметра Сеп использовалась идея Хампеля [51] о том, что важна не столько сама точность оценивания функции сколько ее динамика с изменением объема выборки. Поскольку в непараметрическом случае вид искомой функции заранее не предполагается, то и нельзя никаким образом оценить, оказывается ли она искаженной в локальной области относительно ее предполагаемого значения (пусть даже известного только с точностью до параметров). Но известными являются наблюдения восстанавливаемой зависимости, и тогда можно оценивать искажение оценок выборочных значений с удалением наблюдений из выборки. Причем представляет интерес не столько само наличие искажения оценки сколько изменение точности оценивания с удалением наблюдений из выборки. В диссертационной работе предлагается статистика е2(б, РР(е)) (где RP(e) — фиксированное распределение невязок), чувствительная к изменению объема обучающей выборки. Такой статистикой оказалась сумма квадратов невязок выборочных значений и их робастных оценок.

В соответствии с терминологией Хампеля, введенная статистика была названа, функцией влияния. Как показано, с изменением значений параметра С€п динамика значений функции влияния е2(е, RP(e)) при фиксированном распределении невязок однозначно отражает изменение качества оценивания выборочных значений, и, как следствие, робастной оценки, с удалением элементов из рабочей выборки — минимальному значению функции влияния соответствует наилучшее качество при фиксированном распределении невязок RP(e). Показано, если выполняются предположения В.1 и В.2, тогда функция влияния достигает своего глобального минимума на всем множестве распределений {RP(e) = (1 - A)PPi(e) + ДРР2(е)} D (Р(е) = (1 — A)Pi(e) + APzfc)}. Причем точкой минимума является значение параметра Сеп = C€nopt, который соответствует точной идентификации компонент .Pi(e) и Рг(е) распределения Р(е). Затем традиционным способом на новой выборке настраивается второй неизвестный параметр — параметр оценки регрессии.

Нередко, в силу различных причин возникают, так называемые, эффекты маскировки выбросов, которые приводят к тому, что предположение В.1 выполняется, а предположение В.2 нет (интервалы RP\(e) и RP2(e)} частично пересекаются). Тогда получение наилучшего решения не возможно в результате однократного применения процедуры оптимизации робастной оценки. Поэтому процесс определения параметров в общем виде должен носить итерационный характер. Как показано, если выполняется предположение В.1, то с каждым тактом итерации распределение невязок приближается к наилучшему вида Р(е) = (1 — A)Pi(e) + ДР2(б), итерационный процесс является сходящимся и на fc-ом такте выходит на свое устойчивое положение (то есть распределение невязок стабилизируется). Если предположение В.1 не выполняется, процесс расходится. Решением задачи оптимизации функции влияния по параметру С* является распределение невязок, при котором итерационный процесс становится устойчивым. Показано, что распределение вида Р(е) = (1 — A)Pi(e) + ДР2(е) обеспечивает устойчивость итерационному процессу. Выполнение предположения В.1 является достаточным, выполнение предположения В.2 - необходимым условиями оптимальности процедуры идентификации выбросов.

Было показано, что введенная процедура идентификации выбросов не приводит к значительным изменениям в распределении оценки с изменением распределения Р(£) (Д < 0.25), и поэтому, в соответствии с определением Хампеля [28], она является робастной.

Затем обсуждается задача "ремонта данных". Необходимость процедуры "ремонта данных" возникает при недостаточном объеме обучающей выборки и состоит в замене выборочных значений, отнесенных в результате идентификации к категории выбросов, на их ро-бастные оценки, полученные при оптимальных параметрах в ходе скользящего экзамена.

Далее приводятся результаты и обсуждение вычислительных экспериментов по численной проверке свойств предложенного алгоритма восстановления робастных оценок регрессии для различных типов однозначных функций. Можно выделить следующие ситуации. 1. Начальное приближение таково, что предположения В.1 и В.2 выполняются, тогда функция влияния достигает своего глобального минимума, вследствии чего из выборки удаляются все выбросы уже на первом шаге итерации. 2. Предположение В.1 выполняется, В.2 — нет, тогда выполнение предположения В.2 достигается в результате применения итерационной процедуры и решение оптимально; 3. Предположение В.1 не выполняется, тогда процесс настройки параметра Сеп расходится. Последний случай может возникать в силу недостатков применяемых методов оценивания регрессии, а точнее критериев оценивания неизвестных параметров в классической оценке, и предлагаемой робастной. Основная проблема связана с "глобальным" характером выбираемых параметров. В то же время они не обязательно оптимальны для конкретной точки х [29]. Поэтому имеет место обсуждение методов локальной адаптации параметров регрессии.

В заключении главы проводится сравнительный анализ предложенного в диссертационной работе подхода к моделированию робаст-ных оценок регрессии с известными. В данном подходе удалось реализовать следующие идеи:

- идею Хогга [58] о том, что исследование невязок не должно сводиться только к исследованию их значений, более важно уделять внимание распределению невязок, так как оно, вообще говоря, не обязано быть симметричным (относительно нулевого значения е), что не отражено в подавляющей массе цензорных алгоритмов;

- в непараметрическом виде идею Хампеля [28] о том, что прежде чем исключать элементы выборки из оценки, следует исследовать их влияние на эту оценку и находить наилучшее множество исключаемых элементов с точки зрения качества восстанавливаемой робастной оценки;

- вводя процедуру ремонта данных — в некоторой степени идею Хьюбера [59] о том, что "подозрительные" данные не следует исключать из рассмотрения, а лишь снижать их вес.

Формализация этих идей и их реализация средствами непараметрического анализа данных позволили создать новый подход к моделированию устойчивых к выбросам оценок регрессии, обладающих следующими характеристиками:

1 Независимость от точности априорной информации: не нужны предположения о виде искомой функции, распределении и распределении невязок;

2) функция влияния при выполнении определенных условий, накладываемых на начальное приближение, позволяет наилучшим образом идентифицировать элементы выборки по типу выброс-не выброс, и, как следствие, качество приближения искомой функции ее робастной оценкой определяется только точностью наблюдений цен-зурированной выборки.

3) в случае небольших объемов данных элементы, отнесенные в результате идентификации к категории выбросов, могут быть заменены их робастными оценками;

Таким образом, без привлечения дополнительной информации данный подход позволяет моделировать робастные оценки регрессии непараметрического типа, превосходящие по качеству классические при нарушении условий оптимальности последних, и, в отличие от известных, не уступающие классическим в случае выполнения этих условий.

В третьей главе рассматривается вопрос о восстановлении разделяющей поверхности в явном виде в вероятностной постановке задачи распознавания образов, а не решающей функции, как это делается традиционно. Решение задачи сводится к восстановлению робастной оценки регрессии, удовлетворяющей определенным условиям. Введенное в предыдущей главе определение выбросов, в контексте задачи оценивания регрессии, в данной задаче приобретает несколько иной оттенок. Здесь понятие о выбросах в данных рассматривается с более общих позиций, как о наблюдениях, которые не являются "ценными" с точки зрения качественного решения поставленной задачи.

В начале главы обсуждается классический подход к решению задачи распознавания образов и особенности постановки задачи о восстановлении явного представления разделяющей поверхности в классе непараметрических оценок.

В общей постановке задача распознавания образов состоит в отнесении объекта, предъявляемого системе опознавания, к одному из классов. Классы характеризуются тем, что принадлежащие им объекты обладают некоторым сходством. Если удается представить набор существенных для классификации признаков в виде вектора параметров х = (ж1,. ухк), то М классам отвечает набор из М обласм тей в ^-мерном пространстве параметров X = (J Х{. г=1

Ясно, что если границы областей заданы в аналитическом виде, то для любого опознаваемого объекта легко определить его класс. Например, для двух смежных областей можно рассмотреть решающую функцию f{x) такую, что f[x) > 0 в одной области, /(ж) < 0 в другой и f(x) = 0 на границе между областями. Точки исследуемого пространства, удовлетворяющие уравнению f(x) = 0, составляют разделяющую поверхность. Тогда знак f(x) позволяет определить, к какому классу принадлежит объект, описываемый вектором х. То есть, восстановление решающей функции по существу решает задачу распознавания, причем в вероятностной постановке она определяется оптимально единственным образом. Кроме того, в некоторых случаях вид этих поверхностей сам по себе представляет интерес. Это относится, например, к динамическим задачам, когда в каждый момент времени необходимо знать положение объекта по отношению к границе класса, то есть можно рассматривать задачу об удержании объекта в заданном классе (подмножестве пространства параметров). В этом случае явное уравнение для разделяющей поверхности дает информацию, необходимую для управления объектом.

В отличие от байесова или параметрического подходов, в силу своей природы непараметрический подход не предполагает, что непараметрическую разделяющую поверхность fn(x) = 0 можно разрешить относительно одной из компонент вектора ж, и следовательно найти выражение для явного представления уравнения разделяющей поверхности.

Задача о восстановлении явного представления разделяющей поверхности в вероятностной постановке задачи распознавания образов в классе непараметрических оценок уже рассматривалась [18]. Предложенная в [18] оценка содержит неизвестные параметры, метод нахождения оптимальных значений которых остался неформализованной задачей, хотя качество оценки существенным образом зависит от их правильного выбора. Поэтому полученное решение не является единственным и, соответственно, оптимальным. В то же время вероятностная постановка задачи распознавания образов предполагает существование единственной наилучшей, в смысле минимума ошибок классификации, разделяющей поверхности.

Предложенный в диссертационной работе метод моделирования оценки разделяющей поверхности в явном виде и способ ее оптимизации по неизвестным параметрам предусматривает минимизацию ошибок первого и второго рода. В основе алгоритма построения оценки лежит идея А.В. Медведева, изложенная в [18].

Решение данной задачи строится в предположении, что известна однозначная функциональная зависимость некоторой компоненты вектора х от остальных, например х1 = сс1(ж2,.,хк). Тогда задача сводится к нахождению непараметрической оценки х1 — х\ = х^(х2,., хк) по обучающей выборке V = {а?;}, г — 1,п: Xi = (xj,., х\) — вектор признаков, причем V = У\ U V2, V\ = {xi},i — l,n'i — элементы, принадлежащие Xi, V2 = {xi},i — 1,^2 — элементы, принадлежащие Х2, п = п\ + П2.

Для моделирования неизвестной однозначной функциональной зависимости традиционно используют регрессию. Чтобы воспользоваться непараметрической оценкой условного математического ожидания, например оценкой регрессии типа Надарая-Ватсона, нужны измерения (которые могут быть не совсем точными) искомой функции. В данном случае таких измерений нет. Имеется лишь обучающая выборка V, элементы которой "разбросаны" по всей исследуемой области X. Информация о том, какие из элементов лежат непосредственно вблизи разделяющей поверхности отсутствует. Будем называть совокупность элементов, лежащих в окрестности разделяющей поверхности, подвыборкой V0 = {£;}, г = 1 ,п° выборки V, V0 С V. Если решена задача выделения V0, то восстановление поверхности сводится к оцениванию следующего условного математического ожидания: М{х1\(х2, ~.,хк), х £ У0}. Поскольку задача регрессии решается не на всей исходной обучающей выборке, а требуется лишь ее некоторая часть, удовлетворяющая указанным условиям, то можно говорить о сведении поставленной задачи к восстановлению робастной оценки регрессии, которая принадлежит классу цензорных.

Таким образом решение задачи содержит два этапа. Первый заключается в выделении элементов обучающей выборки У0, лежащих вблизи разделяющей поверхности, то есть цензурировании данных, второй — в восстановлении разделяющей поверхности в явном виде, как робастной оценки регрессии по новой рабочей выборке У0.

Далее рассматриваются известные методы выделения выборки У0 ([49], [55], [68], [77],[75]). Впервые эта задача была поставлена в связи с проблемой большого объема обучающей выборки. При больших п задача распознавания образов становилась времеемкой в вычислительном плане (особенно для больших размерностей). Вероятностная постановка задачи распознавания образов предполагает, что наиболее характерными являются элементы, лежащие вблизи разделяющей поверхности. Указываются причины, которые не позволяют применить известные методы в данной задаче.

Затем излагается подход, предлагаемый автором, к решению вопроса об идентификации элементов множества У0. Как и в предыдущей главе основная идея состоит в нахождении информативной характеристики, позволяющей сделать классификацию элементов начальной обучающей выборки. В соответствии с [18] такой характеристикой могут быть приняты значения непараметрической оценки решающей функции каждого элемента выборки. Действительно, с приближением к разделяющей поверхности модуль значения решающей функции стремится к нулю. Но это условие выполняется при достаточно большом объеме обучающей выборки. В противном случае малые значения модуля оценки решающей функции могут свидетельствовать и о малой плотности выборочных данных р(х) в некоторой локальной области. Более того возникает вопрос о том, насколько малыми должны быть модули этих величин, чтобы элемент выборки можно было считать лежащим вблизи разделяющей поверхности. Поэтому было предложено использовать модифицированную непараметрическую оценку байесовой решающей функции, которая отличается от традиционной тем, что имеет в качестве знаменателя непараметрическую оценку рп(х). Тогда значения решающей функции принадлежат интервалу (рп(х) £ [—1,1]: равенство \<рп(х)\ — 1 означает переферийное положение элемента х относительно разделяющей поверхности; если <рп{х) Е (—1,1), то экзаменуемый элемент выборки х лежит в окрестности РП.

Величина байесова риска оказывает значительное влияние на множество элементов, удовлетворяющих условию (рп(щ) Е (—1,0) U(0,1), и, как следствие, сказывается на качестве искомой оценки. В отсутствии необходимых сведений о вероятностных характеристиках классов вычислить байесов риск не представляется возможным, однако косвенным показателем его значения является количество ошибок классификации. Показателем близости выборочного элемента к разделяющей поверхности является выполнение условий: 1) наличие в окрестности этого элемента элементов выборки, у которых значения ipn{x) разных знаков; 2) значения (рп{х) близки к нулю. Такие элементы выборки можно считать измерениями разделяющей поверхности, возмущенными случайной помехой.

Несимметричность плотностей вероятности распределения элементов в классах относительно байесовой разделяющей поверхности (которая определяется множеством точек пространства X, где вероятностные характеристики классов равны) влечет за собой несимметричное относительно нуля выборочное распределение плотности вероятности рп{(рп(х)). Вследствие этого явная оценка разделяющей поверхности, как показано, может оказаться смещенной в сторону класса с большей плотностью рп{<рп{х)). Чтобы избежать этого эффекта вклады элементов выборки предлагается "уравновесить" введением коэффициента = 1,™ для каждого элемента обучающей выборки, где рп(-) оценка плотности.

Таким образом оценка М{х1\{х2,., хк), х Е является оценкой регрессии (типа Надарая-Ватсона), но числитель и знаменатель содержат по два дополнительных множителя: первым является индикатор, выделяющий элементы выборки V, удовлетоворяющие, условиям указанным выше; второй — коэффициент —, — 1,п.

Рп yfn ^г))

Решение задачи о восстановлении разделяющей поверхности в явном виде в непараметрическом классе оценок, по сути, является и решением задачи о сокращении объема обучающей выборки, которая для класса непараметрических оценок в задаче распознавания образов является актуальной. Привлекательной стороной предложенного решения, в отличие от известных методов, является сохранение качества классификации в сравнении с непараметрическим байесовым решением, которое здесь является своего рода эталоном для сравнения, поскольку является единственным доступным в условиях непараметрической неопределенности. Следует отметить, что непосредственно сама процедура классификации элементов с использованием новой обучающей выборки становится отличной от традиционной байесовой схемы распознавания, осуществляемой с помощью решающей функции (или ее оценки). Это отличие связано с тем, что новая выборка сосредоточена в некоторой локальной области (в районе разделяющей поверхности), а не во всей исследуемой. Поэтому для классификации следует применять не оценку решающей функции, а оценку явного представления разделяющей поверхности, которая определяется по данным новой выборки.

Далее в главе обсуждаются вопросы определения неизвестных параметров, входящих в оценку. Поскольку оценка разделяющей поверхности содержит неизвестные параметры, существенным образом определяющие ее качество, то не менее важной задачей является оптимизация оценки по этим параметрам. Естественным образом возникает вопрос о критерии качества оценки разделяющей поверхности в явном виде. В вероятностной постановке задачи распознавания образов наилучшая разделяющая поверхность минимизирует функцию среднего риска. В этом случае минимума достигают ошибки первого и второго рода, и, соответственно, минимизируется общее число ошибок классификации. Из этих соображений строится критерий для нахождения оптимальных значений параметров. При этом учитывается тот факт, что задача об оценивании М{ вообще говоря, является задачей о восстановлении робастной оценки регрессии (в качестве выбросов здесь рассматривается множество элементов лежащих вдалеке от разделяющей поверхности), и следовательно, используются методы Главы 2 для нахождения параметра е, который в данном случае отвечает за качественную "очистку" выборки, и затем параметра оценки регрессии.

Оценка явной разделяющей поверхности допускает псевдорекуррентное представление. Тогда если требуется знать значение оценки М{х1\ (ж2,., хк), х £ У0} в ряде фиксированных точек х области возможных значений, то расчеты во всех точках можно выполнять параллельно по экономичной в вычислительном отношении псевдорекуррентной формуле и избавиться от необходимости хранить всю обучающую выборку.

Проведенные численные исследования показали, что даже на первый взгляд простых двумерных моделях, где плотности распределения элементов в классах имеют, нормальный закон, значение байесова риска не высоко и байесова разделяющая поверхность линейна, возникает проблема локализации множества V0 из достаточно обширной области, то есть встает проблема настройки параметра а. Введение коэффициента —, 1п, г = 1 ,п также оказалось оправданным,

Рп \fn i^i )) особенно в случае несимметричных относительно байесовой разделяющей поверхности вероятностных характеристиках, за счет этого оценка оказывается несмещенной относительно оптимальной байесовой разделяющей поверхности. В целом численное моделирование показало, что качество, достигаемое явной оценкой разделяющей поверхности, высоко и с точки зрения ее геометрического совпадения с байесовой, которая легко вычислялась, поскольку речь идет об искусственных моделях, и с точки зрения классификации элементов обучающей выборки V относительно этой поверхности — качество классификации совпало с непараметрическим байесовым решением задачи распознавания образов.

В Заключении формулируются результаты диссертационной работы.

Автор выражает искреннюю благодарность профессорам А.В. Медведеву и В.В. Шайдурову за постановку задачи и ценные замечания, высказанные во время неоднократных обсуждений представленных результатов.

Заключение диссертации по теме «Теоретические основы информатики», Кирик, Екатерина Сергеевна

Заключение

Таким образом, в работе разработаны подходы к моделированию и оптимизации непараметрических оценок зависимостей неизвестной (однозначной) функциональной структуры по наблюдениям с выбросами: решены задачи о восстановлении робастной оценки регрессии и явного представления разделяющей поверхности в задаче распознавания образов. Для этого впервые были получены следующие результаты:

- предложен и обоснован метод идентификации выбросов, на его основе построена модель непараметрической оценки регрессии цен-зорного типа;

- формализован критерий (функция влияния) для определения оптимальной цензурированной выборки в задаче непараметрического робастного оценивания регрессии и обоснована его оптимальность с точки зрения точности приближения оценкой искомой функции;

- решена задача идентификации элементов обучающей выборки, находящихся вблизи разделяющей поверхности, в задаче распознавания образов и обоснован метод ее решения, предложена модель явной непараметрической оценки разделяющей поверхности;

- формализован критерий оптимальности для выбора наилучших параметров явной непараметрической оценки разделяющей поверхности;

- проведена серия вычислительных экспериментов, подтверждающих полученные теоретические результаты.

Результаты являются новыми в классе непараметрических методов оценивания и несут вклад как в развитие непараметрической теории робастной идентификации статических объектов и распознавания образов, так и в развитие алгоритмической базы компьютерных систем обработки данных.

Список литературы диссертационного исследования кандидат физико-математических наук Кирик, Екатерина Сергеевна, 2002 год

1. Айзерман М.А., Браверман Э.М., Розоноэр Э.М. Метод потенциальных функций в теории обучения машин. - Москва: Наука.- 1971.- 384с.

2. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов.- Москва: Наука. — 1974ю 414с.

3. Горелик А.А., Скрипкин В.А. Построение систем распознавания.- Москва: Сов. радио. 1974. -224с.

4. Епанечников В. А. Непараметрическая оценка многомерной плотности вероятности // Теория вероятностей и ее приложения. 1968. - Т. XIV. - С. 156-161.

5. Ершов А.А. Стабильные методы оценки параметров.Обзор // Автоматика и телемеханика. 1978. - N 5. - С.66-101.

6. Живоглядов В.П., Медведев А.В. Непараметрические алгоритмы адаптации. Фрунзе: Илим. - 1974. - 200с.

7. Загоруйко Н.Г. Методы распознавания образов и их применение.- Москва: Сов. радио. 1972. - 207с.

8. Катковник В.Я. Линейные и нелинейные методы непараметрического регрессионного анализа // Автоматика, Киев. 1979. -N 5. - С. 35-46.

9. Катковник В.Я. Непараметрическая идентификация и сглаживание данных. Москва: Наука. - 1985. - 336с.

10. КирикЕ.С. О непараметрическом восстановлении многозначных зависимостей по экспериментальным данным // Вестник НИИ СУВПТ. В.5. - Красноярск: НИИ СУВПТ. - 2000. - С.25-33.

11. Кирик Е.С. Об идентификации многозначных характеристик в задачах стохастического моделирования // Труды конференции, посвященной памяти А.А. Ляпунова. Новосибирск: ИВТ СО РАН. - 2001. - С.233-240.

12. Лбов Г. С. Методы обработки разнотипных экспериментальных данных. Новосибирск: Наука. - 1981. - 160с.

13. Лапко А.В., Ченцов С.В., Крохов С.И., Фельдман Л.А. Обучающиеся системы обработки информации и принятия решений: непараметрический подход. Новосибирск: Наука, Сибирская издательская фирма РАН. - 1996. - 296с.

14. Лапко А.В., Медведев А.В. О непараметрических алгоритмах обработки экспериментальных данных // Алгоритмы и программы в системах обработки экспериментальных данных. Фрунзе: Илим. - 1975. - С.56-68.

15. Льюнг Л. Идентификация систем. Теория для пользователя. -Москва: Наука. 1991. - 432с.

16. Медведев А. В. Адаптация в условиях непараметрической неопределенности // Адаптивные системы и их приложения. Новосибирск: Наука. - 1982. - С.3-34.

17. Медведев А. В. Непараметрические системы обучения и адаптации // Препринт, Красноярск: ВЦ СО РАН СССР. 1981. -72с.

18. Медведев А. В. Непараметрические системы адаптации. Новосибирск: Наука. - 1983. - 174с.

19. Надарая Э.А. Об оценке регрессии // Теория вероятностей и ее применение. 1964. — Т.9. - Вып.1. - С.157-159.

20. Надарая Э.А. О непараметрических оценках плотности вероятности и регресии // Теория вероятностей и ее применение. -1965. Т.10, Вып.1. - С.199-203.

21. Пестунов И.А. Быстрые непараметрические алгоритмы классификации для обработки больших массивов данных // Автометрия. 1999. - N 6. - С.114-118.

22. Растригин Л.А. Адаптация сложных систем. Рига: Зинатне. -1981. - 375с.

23. Раудис Ш. Ю. Оптимизация непараметрического алгоритма классификации // Адаптивные системы и их приложения. Новосибирск: Наука. - 1978. - С.57-61.

24. Рубан А. И. Методы анализа данных. Учебное пособие в 2ч. -4.1. - Красноярск: КГТУ. - 1994. - 220с.

25. Рубан А.И. Идентификация стохастических объектов на основе непараметрического подхода // Автоматика и телемеханика. -1979. N 11. - С.106-118.

26. Смоляк С.А., Титаренко Б.П. Устойчивые методы оценивания.- Москва: Статистика. 1980.

27. Тарасенко Ф. П. Непараметрическая статистика. Томск: КГТУ. - 1976. - 292с.

28. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робасность в статистике. Подход на основе функции влияния. Москва: Мир.- 1989. 512с.

29. Хардле В. Прикладная непараметрическая регрессия. Москва: Мир. - 1994. - 349с.

30. Хьюбер П. Робасность в статистике. Москва: Мир. - 1984. -304с.

31. Цыбаков А.Б. Непараметрическое оценивание сигнала при неполной информации о распределении шума // Проблемы передачи информации. 1982. - Т.18. - N 2. - С.44-60.

32. Цыбаков А.Б. Робастные оценки значений функции // Проблемы передачи информации. 1982. - Т.18. - N 3. - С.39-52.

33. Цыбаков А.Б. О сходимости непараметрических робастных алгоритмов восстановления функций // Автоматика и телемеханика. 1983. - N 9. - С.3-46.

34. Цыпкин Я.З. Применение метода стохастической аппроксимации к оценке неизвестной плотности распределения по наблюдениям // Автоматика и телемеханика. 1966. - N 27. - С.94-96.

35. Цыпкин Я.З. Основы теории обучающихся систем. Москва: Наука. - 1970. - 251с. •

36. Ahmad I.A., Lin Р.Е. Nonparametric seguential estimation of a multiple regression function // Bulletin of Mathematical Statistics.- 1976. Vol.17. - P. 63-75.

37. Andrews D.F. A robust method for multiple linear regression // Technometrics. 1974. - Vol.16. - No. 4. - P. 523-531.

38. Anscombe F.J. Rejection of outliers. // Technometrics. 1960. -Vol.2. — No.2. - P. 159-166.

39. Anscombe F.J. Topics of the investigation of linearrelations fitted by the method of least squares // J. of American Roal Statistical

40. Society. Series B. - 1967. - Vol.29. - P. 1-52.

41. Bickel P.J. On some robust estimates of location // Ann. Math. Statistics. 1965. - Vol.36. - P. 847-858.

42. Bickel P.J., Doksum K.A. Mathematical statistics: basic ideas and selected topics. San-Francisco: Holden-Day. 1977.

43. Box G.E.P. Non-normality and tests on variances // Biometrics, 1953. Vol.40. - P. 318-335.

44. Clark R.M. A calibration curve for radiocarbon dates // Antiquity.- 1975. Vol.49. - P. 251-266.

45. Cleveland W.S. Robust locally weighted regression and smoothing scatterplots // J. of American Statistical Association. 1979. -Vol.74. - P. 829-836.

46. Devroy L.P. The uniform convergence of the Nadaraya-Watson regression function estimate // Canadian Journal of Statistics. -1978. Vol.6. - P. 179-191.

47. Devroy L.P., Wagner T.J. Distribution free consistency results in nonparametric discrimination and regression function estimation // Annals of statistics. 1980. - Vol.8. - P. 231-239.

48. Forsythe А.В. Robust estimation of straight line regression coefficients by minimizing p-th power deviations // Technometrics.- 1972. Vol.14. - P. 159-166.

49. Fukunaga K., Hayes R.R. The reduced Parsen recognition classifier // IEEE Trans., on Pattern Analysis and Machine Intelligence. 1989. - Vol.11. -No.4. - P. 423-425.

50. Gates G.W. The reduced Nearest Neighbor rule // IEEE Trans, on Information Theory, 1972, Vol.18. P. 431-433.

51. Grubbs F.E. Procedere for detecting outlying observations in sanples // Technometrics. 1969. - Vol.11, - No.l. - P. 1-21.

52. Hampel F.R. A general qualitative definition of robustness // Ann. Math. Statistics. -'1971. Vol. 42. - No.6. - P. 1887-1896.

53. Hardle W., Luckhaus S. Uniform consistency of a class of regression function estimators // Annals of statistics. 1984. - Vol.12. -P. 612-623.

54. Hardle W.,Marron J.S. Asymptotic nonequivalents of some bandwidth selection// Biometrica. 1985. - Vol.72. - P. 481-484.

55. Hardle W.,Marron J.S. Optimal bandwidth selection in nonparametric regression function estimation // Annals of statistics. 1985. - Vol.13. - P. 1465-1481.

56. Hart P.E. The condensed nearest neighbor rule // IEEE Trans, on Information Theory. 1968. - Vol. IT-14. - No.3. - P. 515-516.

57. Hinich 'M.J., Talvar P.P. A simple method for robust regression // J. of American Statistical Association. 1975. - Vol.70. - No.379.- P.113-119.

58. Hogg R.V. Some observation on robust estimation // J. of American Statistical Association. 1974. - Vol. 69. - P.909-923.

59. Hogg R.V. Adaptive robust procedure: a partial review and some suggestions for future applications and theory // J. of American Statistical Association. 1974. -Vol. 69. -P. 909-923.

60. Huber P.J. Robust estimation of location parameter // Ann. Math. Statistics. 1964. -Vol. 35. -P. 73-101.

61. Huber P.J. Robust statistics: a review // Ann. Math. Statistics. -1972. Vol. 43. -P. 1041-1067.

62. Jaeckel L.A. Some flexible estimates of location // Ann. Math. Statistics. 1971. -Vol. 42. -P. 1540-1552.

63. Mack Y.P., Silverman B.W. Weak and strong uniform consistency of kernel regression estimates // Zeitschrift fur Wahrscheinlichkeitstheorie und verwandle Gebiete. 1982, Vol.61. - P. 405-415.

64. Marron J.S., Hardle W. Random approximations to an error criterion of nonparametric statistics // Journal of Multivariate Analysis. 1986. - Vol.20. -P. 91-113.

65. McMillan R.G. Test for one or two outliers in normal samples with unknown veriance // Technometrics. -1971. Vol.49. - P. 87-100.

66. Papantoni-Kazakos P. Robustness in parameter estimation // IEEE transactions on information theory. 1977. - Vol. IT-23. - No.2. -P. 223-231.

67. Parzen E. On estimation of probability Density Function. //Ann. Math. Stat. 1962. - Vol.33. - P. 1065-1076.

68. Ripley B.D. Pattern recognition and Neural Networks. . -Cambridge University Press. 1996. - 403p.

69. Ritter G.L., Woodroff H.B., Lowry S.R., Isenhour T.L. An algorithm for a selective nearest neighbor decision rule // IEEE Trans, on Information Theory. 1975. - Vol.21. - P. 655-669.

70. Rosenblat M. Remarks on some non-parametric estimates of a density function // Ann. Math. Stat. 1956. - Vol.27. - P. 832837.

71. Rosner B.R. On detection of many outliers // Technometrics. -1975. Vol.17. - No.2. - P. 221-227.

72. Rousseuw P.J., Zomeren B.C. Unmasking multivariate outliers and leverage points // J. of American Statistical Assosiation. 1990, Vol. 85. - No.411. - P. 633-639.

73. Stone C.J. Consistent nonparametric regression // Annals of statistics. 1977. - Vol.5. - No.4. - P. 595-645.

74. Stone C.J. Optimal global rates of convergence for nonparametric regression // Annals of statistics. 1982. - Vol.10. - P. 1040-1053.

75. Tietjen G.L., Moore R.H. Some Grubbs-type statistics for the detections of several outliers // Technometrics. 1972. - Vol.55. - P. 583-598.

76. Tomek I. Two modification of CNN //IEEE Trans, on Systems, Man and Cybernetics. 1976. - Vol.6. - P. 769-772.

77. Tukey J.W.The future of the data analysis // Ann.Math.Stat. -1962. Vol.33. - No.l'. - P. 1-67.

78. Ullmann S.R. Automatic selection of reference data for use in a nearest neighbor method of pattern classification // IEEE Trans, on Information Theory. 1974. - Vol.20. - P. 541-543.

79. Watson G. Smooth regression analysis //Sankhya, ser.A. 1965. -Vol.26. - part 4. - P. 359-372.

80. Yale C., Forsythe A.B. Winsorized regression //Technometrics. -1976. Vol.18. - No.3. - P. 291-300.

81. Труды автора по теме диссертации:

82. Кирик Е.С. О восстановлении разделяющей поверхности в задаче распознавания образов // Сборник тезисов конференции "Студент, наука и цивилизация". Красноярск: КГАЦМиЗ. -1998. - С. 36-40.

83. Кирик Е.С. Алгоритм восстановления разделяющей поверхности в задаче распознавания образов // Материалы третьего сибирского конгресса ИНПРИМ. Новосибирск. - 4.4. - 1998. -С. 95-96.

84. Кирик Е.С. Восстановление разделяющей поверхности в задаче распознавания образов //. Материалы XXVII научной студенческой конференции "Студент и научно-технический прогресс". Новосибирск: НГУ. - Математика. - 1999. - С. 62-63.

85. Кирик Е.С. О восстановлении разделяющей поверхности в задаче распознавания образов // Материалы Международной молодежной научной конференции "XXV Гагаринские чтения". -Москва: МАТИ. Т.1. - 1999. - С. 188-189.

86. Кирик Е.С., Паньшин А.Б. Непараметрические алгоритмы в информационных технологиях технической диагностики // Вестник НИИ СУВИТ, В.2. Красноярск: НИИ СУВПТ. - 1999. -С. 83-96.

87. Кирик Е.С. Прямые непараметрические методы восстановления разделяющей поверхности в задаче распознавания образов // Труды XXXI молодежной школы-конференции. Екатеринбург: ИММ УрО РАН. - 2000. - С. 111- ИЗ.

88. Иконников О.А., Каркарин А.П., Кирик Е.С., Пупков.А.Н. О задачах регулирования и диагностики режимов работы энергоблока // Труды 4 Международного симпозиума "Интеллектуальные системы". Москва. - 2000. - С. 129-131.

89. Кирик Е.С.,.Симонов К.В. Нелинейный анализ явлений цунами-генности // Тезисы докладов четвертого сибирского конгресса ИНПРИМ. 4.2. - Новосибирск. - 2000. - С. 51-52.

90. Кирик Е.С. Непараметричёский подход к восстановлению разделяющей поверхности в задаче распознавания образов // Вестникмолодых ученых. В.4 (сер. Прикладная математика и механика). - 2000. - С. 73-82.

91. Кирик Е.С. Построение и оптимизация робастных оценок функции // Труды XXXII молодежной школы-конференции. Екатеринбург: ИММ УрО РАН. - 2001. - С. 31-37.

92. Кирик Е.С. Об одном подходе к восстановлению робастной непараметрической оценки регрессии // Труды конференции молодых ученых, посвященной 10-летию ИВТ СО РАН. Т.1. -Новосибирск: ИВТ СО РАН. - 2001. - С. 91-95.

93. Кирик Е.С. Моделирование и оптимизация робастных оценок функций по наблюдениям // Вычислительные технологии. Т.6.- 4.2. Спец. выпуск. - 2001. - С. 351-355.

94. Kirik E.S. On nonparametrical approach to the robust regression estimation // Proceedings of the International conference "CDAM".- Minsk: BSU. 2001. - P. 225-231.