Методы эмпирического прогнозирования, основанные на устойчивых разбиениях и коллективных решениях тема диссертации и автореферата по ВАК РФ 05.13.17, доктор физико-математических наук Сенько, Олег Валентинович

• Сенько, Олег Валентинович
• доктор физико-математических наук
• 2006

Оглавление диссертации доктор физико-математических наук Сенько, Олег Валентинович

Введение.

Глава 1. Существующие подходы к повышению обобщающей способности алгоритмов эмпирического прогнозирования

1.1 Введение.

1.2. Методы, основанные на повышении аппроксимирующей способности на обучающей информации.

1.3. Методы, основанные на подборе модели, оптимальной по уровню сложности.

1.4.Робастные процедуры.

1.5. Методы регуляризации.

1.6. Коллективные методы

1.6.1 Методы коллективной коррекции для групп алгоритмов.

1.6.2 Методы голосования по множествам закономерностей.

Глава 2. Методы повышения точности эмпирического прогнозирования, основанные на минимизации обобщённой ошибки

2.1. Функционал обобщённой ошибки в задачах прогнозирования скалярных величин и его составные элементы.

2.2. Способы снижения составляющей нестабильности.

2.3. Коллективные методы прогнозирования непрерывных величин, использующие взвешенное голосование

2.3.1. Введение.

2.3.2. Метод взвешенных средних, минимизирующий компоненту нестабильности.

2.3.3. Метод взвешенных парных регрессий.

2.4. Использование Монте-Карло экспериментов для оценки эффективности коллективных методов

2.4.1 Сценарии экспериментов.

2.4.2 Результаты экспериментов для метода среднеарифметических.

2.4.3 Результаты экспериментов для метода взвешенных парных регрессий.

2.5 Методы оценивание составляющей нестабильности.

2.6 Обобщенная ошибка и методы её снижения в задачах с нескалярными прогнозируемыми величинами.

2.6 .1. Случай векторной прогнозируемой величины конечной размерности.

2.6.2. Случай прогнозирования функциональных зависимостей.

Глава 3. Процедуры эмпирического прогнозирования, основанные на взвешенном голосовании по системам базовых множеств в пространстве прогностических переменных.

3.1 Процедура статистически взвешенного голосования

3.1.1 Введение.

3.1.1 Максимизации функционала правдоподобия специального вида.

3.1.2. Использование процедуры статистически взвешенного голосования для прогнозирования скалярных непрерывных переменных.

3.1.3 Использование процедуры взвешенного голосования для оценки кривых вероятности отказов.

3.2 Процедура взвешенного голосования, основанная на интервальных оценках функционала локальных потерь

3.2.1 Введение.

3.2.2. Неравенства для распределений функций

3.2.3 Метод оценивания весовых коэффициентов, основанный на оптимизации функционала La[<F(x'),%и].

Глава 4. Методы распознавания, основанные на голосовании по системам подобластей признакового пространства

4.1. Метод Статистически Взвешенных Синдромов

4.1.1 Введение.

4.1.1. Методы построения синдромов.

4.1.2. Выбор модели разбиений оптимального уровня сложности.

4.1.3. Процедура вычисления оценок за классы в методе СВС.

4.1.4. Отбор признаков.

4.1.5. Решающее правило.

4.2. Метод двумерных линейных разделителей.

4.3. Алгоритм мультимодельного голосования с пропорциональной коррекцией.

4.4. Исследование эффективности предложенных алгоритмов

4.4.1. Задачи.

4.4.2. Результаты экспериментов.

Глава 5. Методы повышения стабильности процедур обучения, основанные на идентификации выпадающих наблюдений

5.1. Введение.

5.2. Монте-Карло исследования влияния выпадающих объектов на точность множественной линейной регрессии.

5.2.1 Используемые процедуры поиска выпадающих объектов.

5.2.2. Сценарии экспериментов.

5.2.3. Результаты экспериментов.

5.3. Влияние выпадающих объектов на точность распознавания.

Глава 6. Метод оценки статистической достоверности результатов эмпирического прогнозирования, основанный на перестановочном тесте

6.1 Ведение.

6.2. Перестановочный тест.

6.3. Примеры использования перестановочного теста.

6.3.1. Прогноз результатов BCG терапии рака мочевого пузыря.

6.3.2. Прогноз биологических свойств химических соединений по их молекулярной структуре.

6.4 Точный расчёт распределения статистики перестановочного теста (опримизируемого функционала качества разбиений) при исследований зависимости бинарной величины от непрерывной прогностической переменной

6.4.1.Введени е.

6.4.2 Свойства оптимизируемого функционала качества.

6.4.3 Алгоритм расчета распределения оптимальных значений функционала качества на множестве всевозможных перестановок.

6.4.4.Численные эксперименты.

Глава 7. Метод анализа данных, основанный на достоверных оптимальных разбиениях пространств прогностических переменных

7.1 Введение.

7.2. Метод оптимальных разбиений.

7.3. Оценки эффективности методов анализа данных, основанных на оптимальных разбиениях

7.3.1 Введение.

7.3.2. Сценарий генерации выборок.

7.3.3. Методика оценивания эффективности алгоритмов поиска закономерностей.

7.3.4. Результаты тестирования метода ПЗ.

7.3.5. Метод максимальной значимости и результаты его тестирования.

7.3.6.Метод условных значимостей.

7.3.7. Исследование зависимости эффективности поиска закономерностей от объёма обучающей информации.

Введение диссертации (часть автореферата) на тему «Методы эмпирического прогнозирования, основанные на устойчивых разбиениях и коллективных решениях»

8.2. Программные средства.

8.2.1. Введение.190

8.2.2. Программная система «РАЗБИЕНИЯ».191

8.3. Примеры решённых задач

8.3.1 Прогнозирование исходов психогенных расстройств.195

8.3.2 Прогноз результатов лечения остеогенной саркомы

8.3.2.1 Постановка задачи.199

8.3.2.2. Прогнозирование гистологического ответа в ходе предоперационной химиотерапии.201

8.3.2.3. Прогнозирование отдалённых результатов лечения.203

8.3.3 Прогноз динамики депрессивных синдромов в остром периоде сотрясения головного мозга.204

Приложение 1.208

Приложение 2.209

Приложение 3.209

Список литературы .210

Введение

Актуальность темы. Методы прогнозирования, в основе которых лежат анализ внутренней структуры и эмпирической информации, получили значительное распространение в различных областях прикладных исследований. Методы такого рода далее будут называться методами эмпирического прогнозирования. Особенно интенсивно эмпирическое прогнозирование используется в слабоформализованных областях, где моделирование, основанное на априори известных и описывающих суть изучаемых явлений физических законах, невозможно или малоэффективно. К таким областям могут быть отнесены медицинские и биометрические исследования, различные задачи, возникающие в бизнесе, экономике, социологии, геологии, экологии, технике, сельском хозяйстве.

В зависимости от типа прогнозируемой величины могут быть выделены три группы наиболее широко используемых методов эмпирического прогнозирования.

К первой группе отнесем разнообразные методы регрессионного анализа, которые предназначены в основном для прогнозирования непрерывных скалярных величин по известным векторам прогностических (независимых) переменных.

Ко второй группе, которая в настоящее время, по-видимому, лидирует по числу приложений, отнесем методы распознавания образов. Методы распознавания предназначены для отнесения объектов к конечному числу априори фиксированных классов по известным описаниям, которые обычно представляют собой вектора значений переменных (признаков).

Можно выделить также третью группу методов, предназначенных для оценки по вектору прогностических переменных вероятности безотказной работы объектов в течение произвольного интервала времени, прошедшего с начала функционирования. Фактически векторам прогностических переменных ставятся в соответствие монотонно невозрастающие функции, заданные на некотором интервале временной оси.

В основе всех вышеупомянутых методов лежит процедура обучения, заключающаяся в настройке параметров прогнозирующего алгоритма по имеющемуся в распоряжении исследователей массиву эмпирических данных, который мы далее будем называть обучающей выборкой.

Естественно, что одной из центральных проблем, связанных с правомерностью использования эмпирического прогнозирования, является сохранение точности прогноза на новых аналогичных по типу и условиям получения объектах, но не содержащихся в обучающей выборке. Данное свойство прогнозирующих алгоритмов принято называть обобщающей или экстраполирующей способностью.

Может быть выделен ряд основных направлений исследований, связанных с разработкой методов улучшения обобщающей способности. В их число входит разработка методов повышения точности прогноза или распознавания на известной обучающей информации. Повышение точности может быть достигнуто путём использования высокопараметризованных моделей с широкими возможностями аппроксимации. В качестве примера могут быть приведены алгоритмы распознавания из модели вычисления оценок[5,23, 25] , модели с потенциальными функциями[3], модели опорных векторов[84], многослойного перцептрона[4,68], методы, основанные на аппроксимации сплайнами. Одним из путей повышения аппроксимационных возможностей параметризованных моделей является использование их алгебраических замыканий относительно операций над матрицами оценок[24]. Однако при ограниченном объёме обучающей информации и высокой размерности данных чрезмерное увеличение аппроксимационных возможностей используемых методов приводит к потере устойчивости получаемых решений и к реальному снижению прогнозирующей способности на новой информации, которая не использовалась при обучении[12, 11].

Достаточно распространённым подходом к повышению точности распознавания является использование коллективных решений. При этом такие решения могут строиться как по набору заранее обученных алгоритмов из разных моделей, так и по наборам элементов (закономерностей), которые строятся в рамках одной модели. Существуют также целый ряд методов принятия коллективных решений наборами заранее обученных алгоритмов. Наряду с простейшими голосованием по большинству и классификацией по максимальным величинам суммарных оценок к их числу могут быть отнесены различные методы логической [30] и алгебраической коррекции. В качестве примеров моделей распознавания, основанных на голосовании по наборам закономерностей, могут быть названы тестовый алгоритм, алгоритмы типа Кора и Jloper[6,75,110], метод комитетов[42]. Вместе с тем описанные в литературе методы голосования носят в основном эвристический характер и не включают в себя статистически обоснованных процедур взвешивания различных элементов.

Повышения точности эмпирического прогнозирования может быть достигнуто путём уменьшения или исключения влияния на обучение объектов, которые по разным причинам значительно отклоняются от закономерностей, связанных с задачей прогнозирования. К настоящему времени предложено большое число устойчивых к выпадающим объектам методов для прогнозирования непрерывных переменных [72,70,7]. В меньшей степени задача рассматривалась также в теории распознавания [70]. Однако слабо изученным остаётся количественное влияние выпадающих объектов на точность эмпирического прогнозирования с учётом степени их отклонения от основных закономерностей и распределения в пространстве прогностических переменных.

С задачей собственно эмпирического прогнозирования связана не менее важная задача оценки влияния на прогнозируемую величину отдельных прогностических переменных или групп переменных. Широкий спектр методов для решения данной задачи был разработан в рамках теории математической статистики. К их числу следует отнести одномерные и многомерные статистические тесты, методы корреляционного, регрессионного, дисперсионного и ковариационного анализов. Однако методы корреляционного и линейного регрессионного анализа требуют предположений о линейном характере зависимостей, дисперсионный анализ применим только в случае категориальных или порядковых прогностических переменных с ограниченным числом возможных значений. Основные цели работы. Наиболее значимой целью работы является новых методов распознавания и других методов эмпирического прогнозирования, обладающих высокой обобщающей способностью. Данная цель включает в себя также тестирование разработанных методов на достаточно представительных наборах практических или искусственно сгенерированных задач и выявление условий их наиболее эффективного функционирования. Целью исследования также является разработка универсальных методов, позволяющих оценивать влияние на прогнозируемую величину отдельных прогностических переменных или групп переменных.

Научная новизна исследования. Рассматривался подход к повышению обобщающей способности методов эмпирического прогнозирования, основанный на минимизации обобщённой ошибки прогнозирования, представляющей собой усреднение ошибки не только по пространству всевозможных объектов, для которых осуществляется прогноз, но и по пространству всевозможных обучающих выборок. Обобщённая ошибка может быть представлена в виде суммы трёх составляющих: неустранимой шумовой составляющей, составляющей смещения и составляющей нестабильности. Составляющая смещения представляет собой среднеквадратичное отклонение математического ожидания прогнозирующей функции по пространству обучающих выборок (ПОВ) от условных математических ожиданий в точках пространства прогностических переменных. Составляющая нестабильности представляет собой усредненное по среднеквадратичное отклонение прогнозирующих функций от их, усредненных по ПОВ значений.

Неустраняемая шумовая составляющая представляет собой среднеквадратичное отклонение прогнозируемой величины от условных математических ожиданий в точках пространства прогностических переменных. Повышение обобщающей способности методов эмпирического прогнозирования может достигаться путём снижения составляющих смещения и нестабильности.

В качестве средств снижения составляющих смещения и нестабильности рассматривались коллективные методы. На первом шаге рассматривалась задача прогнозирования скалярных переменных. Было показано, что использование в качестве прогнозируемых значений среднеарифметических значений по наборам прогностических алгоритмов приводит к коллективному методу, для которого составляющие смещения, нестабильности и, как результат, вся обобщённая ошибка не превышают средние значения этих параметров по наборам. При этом может достигаться значительное снижение составляющей смещения, зависящее от величины взаимных различий алгоритмов коллектива. Откуда может быть сделан вывод об эффективности наборов относительно слабо коррелирующих друг с другом алгоритмов с низкими значениями составляющей нестабильности. В частности могут быть использованы наборы алгоритмов, осуществляющих прогноз по подмножествам переменных с размерностью существенно меньшей размерности исходной задачи. Данный вывод был убедительно подтверждён для коллективов алгоритмов множественной линейной регрессии с помощью Монте-Карло экспериментов. Было показано, что аналоги результатов, касающихся поведения составляющих обобщённой ошибки для метода среднеарифметических значений, справедливы также для задач прогнозирования векторных величин и функциональных зависимостей.

Была разработана процедура построения прогнозирующих функций путём взвешенного голосования по системам подобластей в многомерном признаковом пространстве (базовых множеств). Весовые коэффициенты при голосовании вычисляются путём максимизации функционала правдоподобия специального вида. Данную процедуру построения прогнозирующих функций далее будет называться методом прогнозирования статистически взвешенным голосованием (ПСВГ).

Недостатком метода ПСВГ является независимое включение в используемый функционал правдоподобия сомножителей, соответствующих отдельным базовым множествам. При этом не предполагается учёт меры их взаимного пересечения, что в реальности может привести к существенному завышению вклада множеств, в значительной степени дублирующих друг друга. В связи с этим была предложена процедура построения оптимальных коллективных решений, основанная на минимизации оценок локального функционала потерь и принимающая во внимание степень коррелированности вошедших в коллектив элементов.

Метод ПСВГ был использован при построении ряда алгоритмов распознавания. В первую очередь здесь следует упомянуть разработанный автором совместно с группой сотрудников Института биохимической физики им. Н.М.Эмануэля РАН метод «Статистически взвешенные синдромы» [35,97], в котором в качестве базовых множеств выступают двумерные и одномерные частичные логические закономерности. При этом граничные точки, формирующие логические закономерности ищутся с помощью метода оптимальных разбиений интервалов допустимых значений отдельных признаков. Отбор закономерностей производится по величине функционала, характеризующего степень разделения классов, при возможном использовании также функционала, характеризующего стабильность границ. Метод СВС был достаточно успешно использован при решении целого ряда практических задач [29,31,35,36,92]. Вместе с тем в нём используются только одномерные модели оптимальных разбиений, а в голосовании участвуют только закономерности, выделенные с помощью границ, параллельных координатным осям. Для преодоления этих ограничений были предложены метод двумерных линейных разделителей (ДЛР) [86] и метод мультимодельного голосования с пропорциональной коррекцией (МГПК), [66] использующие для вычисления оценок за классы процедуру ПСВГ.

В методе ДЛР базовые множества формируются путём дихотомических разбиений двумерных областей допустимых значений пар признаков. При этом разбиения производятся с помощью прямых с произвольной ориентацией относительно координатных осей, а элементы разбиения включаются в систему базовых множеств при превышении порогового значения функционала, характеризующего степень разделения классов.

В методе МГПК совместно используются базовые множества, полученные с помощью а) одномерных разбиений; б) двумерных разбиений с границами, параллельными координатным осям; в) двумерных разбиений, производимых с помощью прямых с произвольной ориентацией относительно координатных осей.

Также как и в методах ДЛР и МГПК в систему базовых множеств включаются элементы разбиений, для которых величина функционала, характеризующего степень разбиения, превышает пороговые значения. Для снижения эффекта перенастройки величины пороговых значений варьируются в зависимости от сложности используемой модели разбиений. В работе произведён сравнительный анализ трёх методов. Исследования показали, что метод МГПК в среднем обеспечивает высокую точность на широком круге задач.

В диссертации также представлен ряд исследования по оценке влияния выпадающих объектов на экстраполирующую способность множественной линейной регрессии и линейного дискриминанта Фишера. Исследования проводились на искусственно сгенерированных выборках данных с различным характером отклонения распределения выпадающих объектов от распределения. В ходе исследований были предложены новые процедуры выявления выпадающих объектов и проведена оценка их эффективности.

В диссертации также исследуется задача оценки статистической достоверности зависимости прогнозируемой величины от группы прогностических переменных, выявленной с помощью методов эмпирического прогнозирования. В качестве средства оценки достоверности рассматривается перестановочный тест, не требующий предположений о характере шумовой составляющей и ограничений на размер выборок.

Предложен новый метод исследования влияния отдельных прогностических переменных, а также пар переменных на прогнозируемую величину. Метод основан на построении оптимальных разбиений областей допустимых значений прогностических переменных в рамках моделей различного уровня сложности. Для верификации выявленных таким образом закономерностей используется перестановочный тест и его модификации. Эксперименты, проведённые на искусственно сгенерированных выборках, продемонстрировали возможности метода по выявлению закономерностей, предусмотренных сценарием генерации данных, а также низкую вероятность включения в выходной набор ложных и частично ложных закономерностей. Важным преимуществом разработанного метода построения оптимальных статистически достоверных разбиений является возможность использования его в задачах со смешанным типом скалярных прогностических переменных, включая непрерывные, порядковые и категориальные переменные. Метод допускает также и самую разнообразную природу прогнозируемых величин. В качестве прогнозируемых переменных, наряду со скалярными переменными, могут выступать также и векторные величины, а также кривые выживаемости.

1) Совокупность теоретических и экспериментальных результатов, устанавливающих взаимосвязь составляющих смещения и нестабильности для метода среднеарифметических значений по коллективу прогностических алгоритмов со средними значениями данных составляющих по алгоритмам коллектива. Взаимосвязь установлена для задач прогнозирования как скалярных, так и векторных величин, а также функциональных зависимостей.

2) Процедура построения прогнозирующих функций путём взвешенного голосования по системам подобластей в многомерном признаковом пространстве (базовым множествам), в которой весовые коэффициенты при голосовании вычисляются путём максимизации функционала правдоподобия специального вида.

3) Процедура построения оптимальных коллективных решений, основанная на минимизации оценок локального функционала потерь и принимающая во внимание степень коррелированности вошедших в коллектив элементов.

4) Методы распознавания, основанные на взвешенном голосовании по системам подобластей признакового пространства.

5) Методы выявления в данных объектов, выпадающих из основных закономерностей, основанные на использовании искажений регрессионных функций или разделяющих поверхностей.

6) Совокупность результатов, обосновывающих использование перестановочных тестов в качестве средства оценки достоверности результатов эмпирического прогнозирования.

7) Метод анализа данных, основанный на построении оптимальных разбиений пространства прогностических переменных в рамках заранее фиксированных моделей различного уровня сложности и использующий для верификации перестановочные тесты.

8) Результаты применения разработанных методов распознавания данных для решения задач медицинской диагностики и прогнозирования.

Методы исследований. В работе использованы методы математической теории распознавания образов, а также методы математической статистики. Практическая значимость. Разработанные метод поиска закономерностей с помощью оптимальных статистически достоверных разбиений (см. Гл. 7), метод распознавания "Статистически взвешенные синдромы" (см. Гл. 4), а также методика верификации, основанная на перестановочном тесте были реализованы в рамках программной системы РАЗБИЕНИЯ. Метод "Статистически взвешенные синдромы" вошёл в состав программной системы "РАСПОЗНАВАНИЕ". Разработанные методы успешно использовались для решения прикладных задач в сотрудничестве с Институтом Биохимической Физики им. Н.М.Эммануэля РАН, Научно-исследовательским институтом неврологии РАМН, Российским онкологическим научным им Н.Н.Блохина РАМН, 1586 Окружного военного клинического госпиталя МВО РФ, Институтом органической химии РАН, Эдинбургским университетом (Великобритания) и др. При этом метод оптимальных разбиений, описанный в Главе 7, использовался для детального изучения влияния потенциальных прогностических показателей на зависимую величину с целью выявления оптимального набора. Метод «Статистически Взвешенные Синдромы», описанный в Главе 4, использовался для решения собственно диагностических или прогностических задач. Для статистической верификации полученных решений использовалась представленная в Главе 6 методика, основанная на перестановочном тесте. Результаты большинства исследований опубликованы в научной периодике или представлены на конференциях соответствующей тематики.

Апробация работы. Основные результаты работы докладывались и обсуждались на Всероссийских конференциях "Математические методы распознавания образов" (6-ая Москва, 1993 г., 7-ая Москва, 1995 г., 8-ая Москва, 1997г., 9-ая Москва, 1999 г., 10-ая Москва, 2001 г., 11-ая Москва, 12-ая Москва, 2003 г.); на международной конференции "Математические методы интеллектуализации обработки информации" (Алушта, 1996 г.), "Распознавание образов и обработка информации" (Минск, 2003 г.); COMPSTAT 2000 (Утрехт, j

Нидерланды, 2000); 2 Conference «Computer Science and Information Technologies - CSIT-99» ( Ереван, Армения, 1999 г.); на международных конференциях «Распознавание образов и анализ изображений: новые информационные технологии» (РОАИ-3-98, Нижний Новгород, 1996, РОАИ-5-2000, Самара, 2000г.; РОАИ-6-2002 Великий Новгород, 2002г.; РОАИ-7-2004,

Санкт-Петербург, 2004); на 18-ом международном семинаре по статистическому моделированию (Лёвен, Бельгия, 2003), International conference on systems and signals in intelligent technologies (Минск, 1998 г.), на 14-ом международном семинаре по статистическому моделированию ( Грац, Австрия, 1999г.); Международная научно-практической конференция «KDS-2001»(Санкт Петербург, 2001); Fourth International Conference «Pattern Recognition and Information Processing-PRIP'97>> (Минск, 1997 г.); на 6-ом открытом германо-российском семинаре "Pattern Recognition and Image Understanding" (Новосибирск, 2003), на 14-ой международной конференции по распознаванию образов (Брисбен, Australia, 1998)

Заключение диссертации по теме «Теоретические основы информатики», Сенько, Олег Валентинович

Выводы

1) В главе характеризуются особенности использования методов распознавания для решения задач диагностики и прогнозирования в медицине.

2) Описаны программные пакетные реализации методов распознавания и анализа данных, представленных в главах 4 и 8.

3) Приведены примеры успешно решённых практических задач.

7.3.8 Заключение

Результаты экспериментов на искусственно сгенерированных данных, представленные в пунктах 7.3.5 и 7.3.6 , продемонстрировали высокую эффективность метода условной значимости как с точки зрения высокой доли правильно идентифицированных предусмотренных сценарием закономерностей, так и с точки зрения незначительного числа попавших в выходной набор ложных и частично ложных закономерностей. Таким образом, именно данная модификация может быть предложена для практического использования. Вместе с тем серьёзным недостатком рассмотренного подхода является необходимость большого объёма вычислений при использовании перестановочного теста. Так обработка таблицы данных, содержащей 170 строк (объектов) и 16 столбцов (признаков) потребовало 14 минут работы процессора Pentium (R) 4 CPU 2.60GHz. Одним из возможных путей повышения быстродействия является использование параллельных методов. Следует отметить, что исходная задача поиска закономерностей легко разбивается на набор подзадач, которые могут выполняться независимо. Например, наиболее трудоёмкие процедуры поиска и верификации двумерных закономерностей для непересекающихся подмножеств пар признаков могут производиться совершенно независимо.

Другим возможным способом повышения быстродействия является досрочное прекращение процесса верификации с помощью перестановочного теста, если накопленные результаты свидетельствуют об очень небольшой вероятности достижимости априори заданного порога значимости.

Список литературы диссертационного исследования доктор физико-математических наук Сенько, Олег Валентинович, 2006 год

1. Айвазян С.А., Енюков ЙС., Мешалкин Л.Д. Прикладная статистика. Исследование зависимостей. М.: Финансы и статистика, 1985.

2. Айвазян С.А., Бухштабер В.М., Енюков С.А., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М.: Финансы и статистика, 1989.

3. Айзерман М.А., Браверманн Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин. М.: Наука, 1970. 384 с.

4. Амосов, Т.Н. Байдык, А.Д. Гольцев и др . НЕЙРОКОМПЬЮТЕРЫ и интеллектуальные роботы. К.: Наук, думка, 1991. 271 с.

5. Баскакова Л.В., Журавлев Ю.И. Модель распознающих алгоритмов с представительными наборами и системами опорных множеств //Журн. вычисл. матем. и матем. физики. 1971. Т.21, № 5. С.1264-1275.

6. М.В.Болдин, Г.И.Симонова, Ю.Н.Тюрин Знаковый статистический анализ линейных моделей. М.: Наука, 1997

7. Бонгард М.М. Проблема узнавания. -М.: Наука, 1967, 320 с.

8. А.А.Боровков. Математическая статистика. Оценка параметров. Проверка гипотез. М.: Наука, Главная редакция физико-математической литературы,, 1984,816 с.

9. Вайнцвайг М.Н. Алгоритм обучения распознаванию образов "Кора" // Алгоритмы обучения распознаванию образов. М.: Сов.радио, 1973.

10. В.Н. Вапник, Т.Г. Глазкова, В.А.Кощеев, А.И. Михальский, А.Я. Червоненкис. Алгоритмы и программы восстановления зависимостей. Москва: Наука, 1984

11. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов (статистические проблемы обучения). -М.:Наука, 1974.-415 с.

12. Витушко М.А., Гуров Н.Д., Переверзев-Орлов B.C. Синдромное прогнозирование изменчивости // Сб. докладов 10-й Всероссийской конференции "Математические методы распознавания образов" (ММРО-Ю), Звенигород, 2001, с. 28-30.

13. Воронцов К.В. Оптимизационные методы линейной и монотонной коррекции в алгебраическом подходе к проблеме распознавания// ЖВМ и МФ. -2000-Т.40.№1, с.166-176.

14. Л.Деврой, Л.Дьёрфи. Непараметрические методы оценивания плотности. Lx-подход. -Москва: Мир, 1988.

15. С.И. Гуров. Оценка надёжности классифицирующих алгоритмов. -Москва: Издательский отдел факультета Вычислительной математики и кибернетики МГУ им. М.В. Ломоносова, 2002.

16. А.Н.Дмитриев, Ю.И.Журавлев, Ф.П.Кренделев, О математических принципах классификации предметов и явлений. Сб. "Дискретный анализ". Вып. 7. Новосибирск, ИМ СО АН СССР. 1966. С. 3-11.

17. Дмитриев А.Н., Журавлёв Ю.И., Кренделев Ф.И. Об одном принципе классификации и прогноза геологических объектов и явлений. Известия Сиб. Отд. АН СССР, Геология и геофизика, 5,1968, 50-64.

18. Дюкова Е.В. Асимптотически оптимальные тестовые алгоритмы в задачах распознавания// Проблемы кибернетики. М.: Наука, 1982. Вып. 39. С. 165-199.

19. Дюкова Е.В. Алгоритмы распознавания типа "Кора": сложность реализации и метрические свойства// Распознавание, классификация, прогноз (матем. методы и их применение). М.: Наука, 1989. Вып.2. С. 99-125.

20. Ю.Б. Котов. Новые математические подходы к задачам медицинской диагностики. -Москва: Издательство «Едиториал УРСС», 2004.

21. Журавлёв Ю.И., Камилов М.М., Туляганов Ш.Е. Алгоритмы вычисления оценок и их применение. «ФАН», Ташкент, 1974.

22. Журавлёв Ю.И. Об алгебраическом подходе к решению задач распознавания или классификации , сб. «Проблемы кибернетики», М.: Наука, 1978, вып. 33, с. 5-68.

23. Журавлев Ю.И., Никифоров В.В. Алгоритмы распознавания, основанные на вычислении оценок // Кибернетика. 1971. №3. С. 1-11.

24. Ю.И. Журавлев. Корректные алгебры над множествами не кор ректных (эвристических) алгоритмов. I. // Кибернетика. 1977. N4. С. 5-17. , II. Кибернетика, N4,1977, III. // Кибернетика. 1978. N2. С. 35-43.

25. Журавлев Ю.И, ИЗБРАННЫЕ НАУЧНЫЕ ТРУДЫ. М.: Издательство Магистр, 1998. - 420 с.

26. Журавлёв Ю.И. Рязанов В.В. Сенько О.В. РАСПОЗНАВАНИЕ. Математические методы. Программная система. Применения. -Москва: Фазис, 2006.

27. Зуев Ю.А. Метод повышения надежности классификации при наличии нескольких классификаторов, основанный на принципе монотонности// Ж. вычисл. матем. и матем. физ,1981, Т.21, № 1, С.157-167

28. Краснопрошин В.В. Об оптимальном корректоре совокупности алгоритмов распознавания// Ж. вычисл. матем. и матем. физ., 1979. Т.19. №1. С. 204-215.

29. Кузнецов В.А., Сенько О.В., Кузнецова А.В. и др. // Распознавание нечетких систем по методу статистически взвешенных синдромов и его применение для иммуногематологической нормы и хронической патологии. // Химическая физика, 1996, т.15 . №1. С. 81-100.

30. Кузнецов В.А., Ившина А.В., Кузнецова А.В., Сенько О.В. Анализ фенотипа лимфоцитов крови в прогнозировании метастазирования у больных остеосаркомой. Подход, основанный на распознавании нечетких систем. // Иммунология. 1995. N 5. С.52-58.

31. Кузнецова А.В. Диагностика и прогнозирование опухолевого роста по иммунологическим данным с помощью методов синдромного распознавания. Автореф. дис. канд. биол. наук. М., 1995. 23 с.

32. Кузнецова А.В., Мамаев В.Б., Сенько О.В. Логико статистическое прогнозирование биологического возраста по данным биоактивных точек. Математические методы распознавания образов (ММРО 12), Москва, 2005, с. 356-359.

33. Лисенков А.Н. Сенько О.В, Воскобойников В.В. Прогнозирование рисков развития рецидивов у больных оперированных больных эутиреоидным зобом. Математические методы распознавания образов (ММРО 9) с.215-217

34. Мазуров Вл.Д. Комитеты систем неравенств и задача распознавания // Кибернетика. 1971. №3. С. 140-146.

35. Мачак Г.Н. Кузнецова А.В. Сенько О.В. Использование методов распознавания для прогноза результатов лечения остеогенной саркомы. //Тезисы докладов 8 ой всероссийской конференции ММРО 8, с. 192-193

36. Мачак Г.Н., Лукьянченко А.Б., Долгушин Б.И., Кочергина Н.В.,Вирашке Э.Р., Сенько О.В., Кузнецова А.В. Критерий эффективности предоперационной химиотерапии остеосаркомы. Роль лучевых методов. Вопросы онкологии 2005, № 3

37. Матросов В.Л. Синтез оптимальных алгоритмов в алгебраических замыканиях моделей алгоритмов распознавания// Распознавание, классификация, прогноз: Матем. методы и их применение. М.: Наука, 1988. Вып.1, С.229-279.

38. С.Р.Рао. Линейные статистические методы .М. «Наука», 1968

39. Раудис Ш. О количестве априорной информации при построении алгоритма классификации. Изв. АН СССР. Техн. кибернетика. М., 1972. N.4. с.168-174.

40. Реброва О.Ю., Сенько О.В., Кузнецова А.В. Использование логико-статистического анализа в задаче дифференциальной диагностики типов инсульта. // Научно-техническая информация. Серия 2: Информационные процессы и системы. 2003, N 7, с. 15-21.

41. Рудаков К.В. Универсальные и локальные ограничения в проблеме коррекции эвристических алгоритмов //Кибернетика, 1987, № 2,с.30 35.

42. Рудаков К.В. Полнота и универсальные ограничения в проблеме коррекции эвристических алгоритмов классификации. //Кибернетика, 1987, № 3,с.Ю6 109.

43. Рудаков К.В. Об алгебраической теории универсальных и локальных ограничений для задач классификации // Распознавание, классификация, прогноз: Матем. методы и их применение. М.: Наука, 1988. Вып.1, С.176-200.

44. Рязанов В.В. Сенько О.В. О некоторых моделях голосования и методах их оптимизации. Распознавание, классификация, прогноз (Математические методы и их применение)./М.: Наука, 1990, вып.З., с. 106-145.

45. Рязанов В.В. Оптимизация алгоритмов вычисления оценок по параметрам, характеризующим представительность эталонных строк./Ж. вычисл. матем. и матем. физ, т. 16, №6,1976.

46. Сенько О.В. Алгоритмы распознавания, основанные на принципах принятия коллективных решений.//Автореферат диссертации канд.физ- мат наук, 01.01.09. Москва, 1990,15 с.

47. Сенько О.В. Алгоритмы распознавания, основанные на принципах принятия коллективных решений.//Диссертация канд.физ- мат наук, 01.01.09. Москва, 1990,71 с.

48. Сенько О.В. Оценка апостериорных вероятностей принадлежности объектов классам при процедуре голосования.// Ж. вычисл. матем. и матем. физ, т.32, с. 635-644, 1992.

49. О.В. Сенько. Об одном методе выбора оптимальной моделиаппроксимации // Доклады 9-ой Всероссийской конференции "Математические методы распознавания образов", 1999, С. 103-104

50. Сенько О.В. Использование процедуры взвешенного голосования по системе базовых множеств в задачах прогнозирования //Ж. вычисл. матем. и матем. физ, 1995, т. 35, с. 249-257.

51. Сенько О.В. Перестановочный тест в методе оптимальных разбиений. //Ж. выч. матем. и матем. физ. N9,2003, с.1438-1447.

52. Сенько О.В. Использование коллективных методов для повышения обобщающей способности прогнозирования. //Доклады академии наук, 2006, Том 411, №6, с. 1-3.

53. Сенько О.В., Кузнецова А.В. Метод построения оптимальных по сложности разбиений многомерного признакового пространства. // Тезисы докладов 8-ой Всероссийской конференции "Математические методы распознавания образов", 1997, С.104-105

54. Сенько О.В., Кузнецова А.В. Метод предварительной селекции признаков.// Доклады 11-й Всероссийской конференции "Математические методы распознавания образов.", Пущино, 2003, с. 171-172.

55. О.В. Сенько, А.В. Кузнецова, Метод анализа данных, основанный на построении оптимальных разбиений. Труды Международной научно-практической конференции KDS-2001. Том 2, с. 573-579

56. Сенько О.В., Кузнецова А.В., Алгоритмы распознавания, основанные на голосовании по системам закономерностей различных типов // Доклады 12-ой Всероссийской конференции "Математические методы распознавания образов" (ММРО 12), Москва, 2005, С. 200-203.

57. Ф.Уоссермен, Нейрокомпьютерная техника, М.,Мир, 1992.

58. Ширяев А.Н. Вероятность. М.: Наука, 1989.

59. А.М.Шурыгин "Прикладная стохастика: робастность, оценивание, прогноз". Москва, "Финансы и статистика", 2000.

60. Чегис И.А., Яблонский. Логические способы контроля электрических схем. Труды Матем. ин -та им. В.А. Стеклова АН СССР, 51, 1958, 270-360.

61. Хьюбер П. Робастность в статистике. М.: Мир, 1984.

62. Хардле В. Прикладная непараметрическая регрессия. М.: Мир, 1993.

63. Abdolell М., LeBlanc М., Stephens D., Harrison R.V. Binary partitioning forcontinuous longitudinal data: categorizing a prognostic variable. // Statistics in Medicine.2002,21:3395-3409

64. L. Breiman Bagging predictors. Machine learning, 24,123-140,1996.

65. L.Breiman. Random forests random features. Technical report 567. Statistics department. University of California, Berkley, September 1999. //www.boosting.org

66. L.Breiman Bias, variance and arcing classifiers. Technical report 460. Statistics department. University of California, Berkley, April 1996. //www.boosting.org

67. C. Chatfield Model Selection, Data Mining and Model Uncertainty. Proceedings of the 18th International Workshop on Statistical Modelling Leuven, Belgium, 2003, pp. 79-84.

68. Cox D.R. Regression models and life tables.//J.R. Statist. Soc., B. p. 34-187

69. C.E.McCulloch "An Introduction to Generalized Linear Mixed Models", Proceedings of the 14th IWSM, Graz, Austria,July, 1999, p.39=56.

70. Chitchian, R., Safaryan, I. A Nonparametric Approach to Bivariate Dependence Models Comparison. Computer Science and Information Technologies. Proceedings of the conference. Erevan, Armenia, 2001.

71. Christopher J.C. Burges. A Tutorial on Support Vector Machines for Pattern Recognition, Appeared in: Data Mining and Knowledge Discovery 2, 121-167, 1998.

72. A.C.Davidson "The Bootstrap: A Tutorial", Proceedings of the 14th IWSM, Graz, Austria, July, 1999, р.10=18.

73. Dokukin A.A. Senko O.V. About new pattern recognition который method for the universal program system Recognition. Proceedings of the International Conference I.Tech-2004,, Varna (Bulgaria), 14-24 June 2004,pp. 54-58.

74. Efron,B. Bootstrap methods: another look at the jackknife. Ann. Statist., 7, 126,1979.

75. Friedman, J.H. (1991), "Multivariate adaptive regression splines", Annals of Statistics, 19, p. 1-141.

76. Y. Freund, R.E. Schapire. Experiments with New Boosting Algorithm.// Machine Learning:Proceedings of the Thirteenth International Conference, Bari, Italy, 1996.

77. Hadi, A.S., Simonoff, J.S., 1993. Procedures for thei dentification of multiple outliers in linear models. J. Amer. Statist. Assoc. 88,1264-1272.

78. Kaplan E.L, Meier P. Nonparametric estimation from incomplete observations //J.Amer.Stat.Assoc. 1958, v.53, P.457-481.

79. M.Kearns, Mansour Y, Ng A.Y, Ron D, An Experimental and Theoretical Comparison of Models Selection Methods. Machine Learning, 27,7- 50.(1997)

80. L.I. Kuncheva Combining Pattern Classifiers. Methods and Algorithms. /Wiley Interscience, New Jersey, 2004

81. Kuznetsova A.V., Sen'ko O.V., MatchakG.N., Vakhotsky V.V., ZabotinaT.N., Korotkova O.V. The Prognosis of Survivance in Solid Tumor Patients Based on Optimal Partitions of Immunological Parameters Ranges //J. Theor. Med., 2000, Vol. 2, pp.317-327.

82. Lbov G.S., Starceva N.G. About statistical robustness of decision functions in pattern recognition problems. //Pattern Recognition and Image Analysis, 1994, Vol. 2, № 3, p.97 106.

83. Lbov G.S., Starceva N.G. LASTAN A system for Logical Analysis of Statistical Observation Functions in Pattern Recognition problems. //Pattern Recognition and Image Analysis, 1994, Vol. 2, № 1, p.57 61.

84. David J.C. MacKay. Information Theory, Inference and Learning Algorithms. Copyright Cambridge University Press 2003. http://www.cambridge.org/0521642981

85. Makeev, G.M., Kumskov, M.I., Svitanko, I.V., and Zyryanov, I.L., Recognition of Spatial Molecular Shapes of Biologically Active Substances for Classification of Their Properties. //Pattern Recognition and Image Anal., 1996, vol. 6, no. 4, pp. 795 808.

86. G.M.Makeev, O.V.Sen'ko, M.I.Kumskov. Evaluation of Models for the Prediction of Biological Properties of Flexible Molecules. //Pattern Recognition and Image Analysis, Vol. 9, No.l, 1999, pp.78-80.

87. C.E.McCulloch "An Introduction to Generalized Linear Mixed Models", Proceedings of the 14th IWSM, Graz, Austria, July, 1999, p.39=56.

88. Perrone M.P. Improving regression estimates: averaging methods for variance reduction with extension to general convex measure optimization. PhD thesis, Brown University, 1993.

89. Rissanen J.(1986) Stochastic complexity and modeling. Annals of Statistics, 14,1080-1100.

90. Rousseeuw,P.J., 1984. Least median of squares regression. J. Amer. Statist. Assoc. 79, 871-881

91. V.V.Ryazanov, Recognition Algorithms Based on Local Optimality Criteria , Pattern Recognition and Image Analysis. 1994. Vol.4, no.2. pp. 98-109.

92. Ryazanov V.V. About some approach for automatic knowledge extraction from precendent data // Proceedings of the 7th international conference "Pattern recognition and image processing", Minsk, May 21-23, 2003, vol. 2, pp. 35-40.

93. V.V.Ryazanov, O.V. Senko, and Yu. I. Zhuravlev. Methods of recognition and prediction based on voting procedures.// Pattern Recognition and Image Analysis, Vol. 9, No. 4,1999, p.713—718.

94. O.V. Sen'ko "A Prediction Algorithm Based on the Procedure of Weighted Voting Using a System of Hyperparallelepipeds in a Multidimensional Feature Space" I I Pattern Recognition and Image Analysis, 1993, vol.3, no. 3, pp.283-284.

95. O.V. Sen'ko. A Method for Estimating Adequacy of Approximation Models. Pattern Recognition and Image Analysis, Vol. 11, No. 1,2001, pp.85-86.

96. Sen'ko O.V. The Method of Dependencies Description with the Help of Optimal Multistage Partitioning. Proceedings of the Conference CSIT, Yerevan, Armenia, pp.167-169,2001

97. Senko Oleg V.The Use of Collective Method for Improvement of Regression Modeling Stability. InterStat. Statistics on the Internet (Интернет издание) http://statiournals.net/, June,2004.

98. Oleg V.Senko and Anna V. Kuznetsova The Optimal Valid Partitioning Procedures . Statistics on the Internet httyJ/statiournals. net/. April, 2006

99. Sen'ko O.V., Kuznetsova A.V. (1998). The use of partitions constructions for stochastic dependencies approximation. Proceedings of the International conference on systems and signals in intelligent technologies. Minsk (Belarus), pp. 291-297.

100. O.V. Senko, A.V. Kuznetsova. The Use of Partitioning for Analysis of Biomedical Data. Proceedings of 14th International Workshop on Statistical

101. Modelling, Graz, Austria, 1999, pp.656-659,

102. Sen'ko O.V., Kuznetsova A.V., Echin A. The method of data analysis based on partitioning. // Proc. in Comput. Statistics. Short Commun. and Posters. COMPSTAT, 2000, p.259-260.

103. Senko O.V Kuznetsova A.V. The use of partitioning for analysis of biomedical data. // 20th Annual Conference of the International Society for Clinical Biostatistics, Abstracts Volume , Heidelberg, Germany, 1999, p. 406.

104. Senko O.V., Kuznetsova A.V., Kropotov D.A. (2003). The Methods of Dependencies Description with the Help of Optimal Multistage Partitioning. Proceedings of the 18th International Workshop on Statistical Modelling, Leuven, Belgium, 2003, pp. 397-401.

105. O.V. Sen'ko, A.V. Kuznetsova. A Voting Based Method for Estimating Survival Curves. // Pattern Recognition and Image Analysis, Vol. 9, No. 2, 1999, pp.381-382.

106. Senko O.V., Kuznetsova A.V. The method of statistical validation of pattern recognition results based on random tables generation.//Pattern recognition and image analysis. Vol.8, N2,1998, pp.1-2.

107. O.V. Sen'ko, D.A.Kropotov, A.V. Kuznetsova, and G.N.Matchak. Application of the Optimal Partitioning Method to Higher Dimensional Problems of Survival Analysis. Pattern Recognition and Image Analysis, vl3, No. 2, 2003, pp. 343-344.

108. Sen'ko O.V., Kuznetsova A.V., Strelnikov A.N., Mamaev V.B. The Use of Pattern Recognition in Investigation of Electro Puncture Diagnostics for

109. Evaluating of Nervous and Psychic States. Proceedings of 7-th International Conference on Pattern Recognition and Image Analysis: New Information Technologies, 2004, St. Peterburg, v. Ill, pp.886-889.

110. Senko O.V.,Vetrov D.P. The Recognition Capability Improving Based On Outliers Identification. Proceedings of the conference PRIP '2003, Minsk, Belarus, 2003, pp. 31-34.

111. Swallow, W., Kianifard, F., 1996. Using robust scale estimates in detecting multiple outliers in linear regression. Biometrics 52, 545-556.

112. V. Tresp. Committee Machines, in: Handbook for Neural Network Signal Processing, Yu Hen Hu and Jeng-Neng Hwang (eds.), CRC Press, 2001.

113. J. W.Wisnowski, D. C. Montgomery, J. R. Simpson A Comparative Analysis of multiple outlier detection procedures in the linear regression model. // Computational Statistics & Data Analysis. Vol.36, pp.351-382

114. J.Uffink. Can the maximum entropy principle be explained as consistency requirements// in History and Philosophy of Modern Physics, 26B,(1995),223-261

115. Recognition and Image Understanding", Novosibirsk, p.255-258

116. Zhuravlev Yu, Ryazanov V, Senko 0, Biryukov A, Vetrov D, Dokukin A, Kropotov D. The Program System for Intellectual Data Analysis, Recognition and Forecasting. WSEAS Transactions on Information Science and Applications, 2(1), 2005. pp.55-59.