Принцип структурной минимизации в задачах восстановления зависимостей по эмпирическим данным тема диссертации и автореферата по ВАК РФ 05.13.01, доктор технических наук Вапник, Владимир Наумович

• Вапник, Владимир Наумович
• доктор технических наук
• 1984

Оглавление диссертации доктор технических наук Вапник, Владимир Наумович

Введение

§1. О проблеме выбора моделей в задачах восстановления зависимостей с

§2. Краткое содержание диссертации, №

§3. Общая характеристика диссертации,

Глава I. Задачи восстановления зависимостей

§1. Задача обучения распознаванию образов ^

§2. Задача восстановления регрессии ^^

§3. Задача интерпретации результатов косвенных экспериментов ^

§4. Некорректно поставленные задачи

§5. Задача минимизации среднего риска по эмпирическим данным ^

§6. О точности и надежности минимизации риска по эмпирическим данным

§7. О точности восстановления зависимости по эмпирическим данным ^

§8. Особенности задач восстановления зависимостей

Глава 2. Проблема минимизации среднего риска

§1. Проблема больших выбросов 45"

§2. Априорная информация в задачах восстановления зависимостей по эмпирическим данным

§3. Два механизма минимизации среднего риска

§4. Задача восстановления плотности распределения вероятности 5"£>

§5. Равномерная близость эмпирических средних к математическим ожиданиям - ^

§6, Замечания р двух механизмах минимизации среднего риска по эмпирическим данным

§

Глава 3. Метод минимизации эмпирического риска в задаче восстановления зависимости

§1. Метод минимизации эмпирического риска т

§2. Частный случай ^

§3. Ь -сеть множества ^

§4. Емкость множества функций

§5. Основные неравенства

§6. Замечания

Введение диссертации (часть автореферата) на тему «Принцип структурной минимизации в задачах восстановления зависимостей по эмпирическим данным»

§1. О проблеме выбора моделей в задаче восстановления зависимостей

Одной из центральных задач кибернетики была и, вероятно, еще долго будет задача восстановления зависимостей по эмпирическим данным. Впервые она возникла в 18 веке в связи с необходимостью оценить измерения, проводимые со случайной ошибкой. Затем в работах великих математиков Гаусса, Лапласа, Маркова была создана математическая модель, анализ которой стая связываться с изучением проблемы восстановления зависимостей. Существо этой модели состоит в следующем. Пусть задан параметрический класс функций , 9 которому принадлежит искомая функция ^о) . Требуется по результатам измерений значений функции в £ точках восстановить ^ С Сс, оС0) . При этом считается, что измерения функции ^ (2-) в точке ОС* проводятся с точностью до аддитивной помехи ^ , не зависящей от

В работах Гаусса и Лапласа была заложена программа исследования этой модели, которая реализуется и в настоящее время. Считается, что поиск требуемой функции должен определяться минимизацией функционала где ~ некоторая конкретная метрика, а задача анализа заключается в том, чтобы определить метрику У С) , которая наилучшим образом приспособлена для конкретного закона появления помехи ^ . В свое время Гаусс рассматривал нормальный закон, и для этого закона наилучшей оказалась метрика определившая метод наименьших квадратов. Лаплас же изучал другой закон (закон Лапласа) и предложил другую метрику определившую метод наименьших модулей.

Каждый из этих методов является наилучшим (в определенном смысле) для соответствующих условий. Дальнейшие исследования были направлены на то, чтобы научиться регулярным образом для всякого закона появления помехи ^ в модели (2) строить наилучшую метрику * этом ПУТИ в работах Фишера,

Пирсона, Крамера в первой трети нашего века были развиты современные методы статистики 73^ а затем в 50-х годах были найдены и различные оценки точности для развитых методов 7-?,

В 70-х годах это направление исследований получило новый стимул. В году П.Хубер научился выбирать наилучшую (в некотором смысле) метрику сразу для целого класса законов РС^) на помеху ^ (а не для фиксированного закона, как раньше) и тем самым определил устойчивые (робаст-ные) в заданном классе помех методы оценивания. Это немедленно повлекло за собой перестройку всех классических результатов восстановления зависимостей с целью получения соответствующих робастных методов . Процесс такой перестройки продолжается и сейчас £ 95\, Д,

Вместе с тем, начиная с 60-х годов с появлением возможности статистической обработки практического материала, содержащего большое количество факторов (большую размерность вектора ¿С ) стали проявляться недостатки классических методов восстановления зависимостей, которые повлекли за собой и критический анализ построенной теории.

Прежде всего оказалось, что наиболее интересная часть теории справедлива для выборок большого объема, • а надежды на то, что на практике реальный объем наблюдений можно считать большим, не оправдались. Это обстоятельство повлекло за собой огромное количество эвристических (или полуэвристических) методов восстановления зависимостей, направленных на модификацию принципа минимизации функционала

Однако все эти методы являлись по существу отдельными находками, приспособленными для повышения точности решения различных конкретных задач восстановления зависимостей, таких, например, как задачи распознавания образов £££:2Х>| или восстановления регрессии Ъб^кЦ*] . Поэтому к началу 70-х годов назрела необходимость проведения теоретического анализа альтернативных путей восстановления зависимостей, ориентированных на выборки ограниченного объема.

Настоящая диссертация посвящена исследованию одного такого пути. В ней мы с самого начала откажемся от модели измерения функции с аддитивной помехой (2). Мы будем полагать, что элементы последовательности пар (I) возникают случайно и независимо, согласно неизвестной нам плотности Р(=

Задача же восстановления зависимости состоит в том, чтобы в заданном параметрическом классе функций (эс,оО найти такую функцию, которая минимизирует функционал для заданной метрики в условиях, когда плотность неизвестна, но дана выборка (I), полученная согласно этой плотности.

Основная идея альтернативного пути состоит в том, чтобы на параметрическом классе функций задать структуру с. £

С 5) т.е. упорядоченную систему вложенных множеств, а при поиске искомой зависимости для каждого объема выборки определить номер подмножества , в котором отыскивается элемент, доставляющий минимум функционалу

Здесь метрика У С') считается известной. Она та же, что и в функционале (4) ).

Таким образом, исследуются методы восстановления зависимости, которые для заданного объема эмпирических данных определяют »модель подходящей сложности» (номер р(С) элемента $р (£) ) и в рамках этой модели отыскивают наилучшее приближение к эмпирическим данным. Теория, которая строится здесь, призвана для каждого объема выборки £ оценить точность минимизации риска (4) и тем самым указать наилучший способ выбора модели (элемента £>р ). Основное содержание диссертации и посвящено получению соответствующих результатов.

Исследование этой альтернативной схемы (в диссертации она названа методом структурной минимизации риска) для выборок ограниченного объема приводится впервые. Однако в классической ассимптотической теории сходная идея - задание структуры (5) на классе и получение с ростом объема £ последовательности решений, сходящейся к искомому в ситуации, когда непосредственная минимизация (6) не приводит к успеху, возникала, по крайней мере, дважды: при распространении метода максимума правдоподобия на достаточно широкий класс функций, и при решении некорректно поставленных задач математической физики.

В 50-х годах У.Гренандер предложил метод решета для распространения метода максимума правдоподобия на непараметрические классы плотностей £ 3 . Суть метода состоит в том, что задается структура, содержащая счетное число элементов (решёта в терминологии У.Гренандера), на каждом из которых существует решение метода максимума правдоподобия. У.Гренандер и его ученики показали Ц АЪХ, 3 , что имеется такой закон р(С) , при котором последовательность решений сходится по вероятности к искомому, если оно принадлежит замыканию О . Однако непосредственное применение метода максимума правдоподобия в классе невозможно.

В то же время В.К.Иванов предложил решать некорректно поставленные задачи математической физики методом квазирешений Он исходил из того, что если задать структуру (5) в виде счетного числа вложенных компактов, то на каждом элементе существует квазирешение 4* операторного уравнения найденное как минимум функционала

-лна ё^ .В случае, когда правая часть уравнения (7) задана с погрешностью ? , существует такой закон выбора элемента структуры рС^]; ( ¿Г^ ) , для которого найденная последовательность квазирешений

1 -• - > ^I , •• • стремится к искомому решению операторного уравнения, если последнее принадлежит замыканию ^

Вместе с тем непосредственный поиск минимума функционала (8) на множестве ^ к успеху не приводит [ЗЦ.-Цо] .

Таким образом, в предельных случаях возникали ситуации, где получить решения удавалось лишь тогда, когда выполнялось определенное соотношение между «сложностью структуры искомого решения» и особенностью имеющегося эмпирического материала. Как будет показано в работе, правильный выбор сложности модели решения в зависимости от объема эмпирического материала окажется одной из центральных проблем и при минимизации риска (4) по выборке (I) ограниченного объема.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Вапник, Владимир Наумович

Основные выводы

Основное ¿Содержали е> работы состоит в следующем:

1. Предложен общий принцип минимизации среднего риска по эмпирическим данным ограниченного объема - принцип структурной минимизации, согласно которому для всякого набора эмпирических данных существует структура решения «подходящей сложности" такая, что минимизация эмпирического риска на классе функций этой структуры обеспечивает отыскание решения, доставляющего гарантированный минимум среднему риску.

2. Создана теория структурной минимизации риска на выборках ограниченного объема, позволяющая строить решения, достигающие гарантированного минимума риска, и оценивать величину полученного риска.

3. Создана методика селекции выборки, позволяющая в задачах восстановления зависимостей по выборкам ограниченного объема добиваться снижения величины среднего риска.

4. Изучена новая постановка задач восстановления: восстановление значений функций в заданных точках. Показано, что в условиях ограниченного объема эмпирических данных прямой прогноз значений функции в нужных точках оказывается более точным, чем прогноз, найденный по предварительно восстановленной функции.

5. Принцип структурной минимизации риска, селекция выборки и новые постановки задачи восстановления применены для решения основных эадач восстановления зависимостей: распознавания образов, восстановления регрессии, интерпретации результатов косвенных экспериментов. Применение этого принципа позволяет получить более точные по сравнению с методом минимизации эмпирического риска результаты.

6. Создано математическое обеспечение для решения задач распознавания образов, восстановления регрессии, интерпретации результатов косвенных экспериментов, особенность которого состоит в том, что оно эффективно позволяет использовать три вскрытых резерва минимизации риска на выборках ограниченного объема: выбор структуры подходящей сложности, селекцию выборки, выбор адекватной постановки задачи.

7. Разработанная методика применена для решения важных народно-хозяйственных задач прогноза элементов погоды,

- выделения групп риска населения по поводу онкологических заболеваний,

1 - отбора клинически активных препаратов,

- выбора индивидуальных схем лечения детей, страдающих ревматическим вальвулитом, ^ - интерпретации геофизических наблюдений при поиске нефти ( и газа.

8. Результаты диссертационной работы нашли отражение в учебниках, учебных пособиях, лекционных курсах.

Список литературы диссертационного исследования доктор технических наук Вапник, Владимир Наумович, 1984 год

1. Айвазян С.А., БежаеваЗ.И., Староверов О.В. Классификация многомерных наблюдений. - М.: Статистика, 1974.

2. Айзерман М.А., Браверман Э.М., Розоноэр Л.И. Метод потенциальных функций в теории обучения машин. М.: Наука, 1970.

3. Алгоритмы обучения распознаванию образов. Сб. под ред. В.Н.Вапника. М.: Советское радио, 1973.

4. АльбергДж., Нильсон Э., Уолш Дж. Теория сплайнов и ее приложения. -М.: Мир, 1972.

5. Андерсон Т. Введение в многомерный статистический анализ. -М.: Физматгиз, 1963.

6. Вайнштейн Л.А. 0 численном решении интегральных уравнений первого рода с использованием априорных сведений о восстанавливаемой функции. -ДАН СССР, 1972, т.204, 6.

7. Вапник В.Н., Червоненкис А.Я. Теория распознавания образов.- М.: Наука, 1974, I-4I6 (переведена на немецкий язык: Wapnik W.N., Tcherwonenkis A.J. Teorie der Zeichenerkennung.- Berlin, Akademie-Verlag, 1979, 1-343).

8. Вапник B.H. Восстановление зависимостей по эмпирическим данным. М.: Наука, 1979, 1-448 (переведена на английскийязык: Vapnik V.N. Estimation of Dependences Based on Empirical Data.-N.Y., Springer-Verlag, 1982, 1-400).

9. Вапник B.H. Машины, обучающиеся распознаванию образов. В кн.: Алгоритмы обучения распознаванию образов. М.: Советское радио, 1973, 5-27.

10. Вапник В.Н., Червоненкис А.Я. О равномерной сходимости частот появлений событий к их вероятностям. Теория вероятностей и ее применения, 1971, 2, 264-279.

11. Вапник В.Н., Червоненкис А.Я. Теория равномерной сходимости1. A %ß —и задача поиска оптимальных решений по эмпирическим данным. Автоматика и телемеханика, 1971, 2, 42-54.

12. Вапник В.Н., Журавель A.A., Червоненкис £. Я. Алгоритмы обучения распознаванию образов ОП-I, ОН-2, ОП-3. В кн.: Алгоритмы и программы обучения распознаванию образов. М.: Советское радио, 1973, 89-110.

13. Вапник В.Н., Глазкова Т.Г. Алгоритмы обучения распознаванию образов 0П-4, ОП-5, 011-6, ОП-7. В кн.: Алгоритмы и программы обучения распознаванию образов. М.: Советское радио, 1973, 136-150.

14. Вапник В.Н., Червоненкис А.Я. 0 методе упорядоченной минимизации риска I. Автоматика и телемеханика, 1974, 8, 21-31.

15. Вапник В.Н., Червоненкис А.Я. 0 методе упорядоченной минимизации риска II. Автоматика и телемеханика, 1974, 9, 29-40.

16. Вапник В.Н., Глазкова Т.Г. 0 выборе оптимальной совокупности признаков в задаче обучения машин распознаванию образов. В кн.: Автоматизация анализа цитологических препаратов. Рига, Зинатне, 1975, 27-38.

17. Вапник В.Н., Михальский А.И. 0 поиске зависимостей методом упорядоченной минимизации риска. Автоматика и телемеханика, 1974, 10, 86-97.

18. Багров А.Н., Вапник В.Н., Снитковский А.И. К прогнозу опасных явлений погоды. Метеорология и гидрология, 1974, 3, 35-43.

19. Вапник В.Н., Червоненкис А.Я. Об ассимптотических свойствах упорядоченной минимизации риска. Автоматика и телемеханика, 1975, 12, 65-77.

20. Вапник В.Н., Стерин А.И. Об упорядоченной минимизации суммарного риска в задачах распознавания образов. йвтоматика и телемеханика, 1977, 10, 83-92.

21. Вапник В.Н. Метод упорядоченной минимизации риска в задаче восстановления зависимостей. В кн.: 1У Совещание по статистическим методам теории управления. Тезисы докладов. М.: Наука, 1978, 152-153.

22. Вапник В.Н. Проблема обучения распознаванию образов. В кн.:Теория и техника управления, М.: Институт проблем управления, 1978, 32-39.

23. Вапник В.Н., Стефанюк А.Р. Непараметрические методы восстановления плотности вероятностей. Автоматика и телемеханика, Х978, 8, 38-52.

24. Вапник В.Н., Романов J1.H. Восстановление зависимостей по данным метеорологических наблюдений. Известия АН СССР. Физика атмосферы и океана, 1978, т.ХХУ, 28-37.

25. Вапник В.Н., Сорина A.A. Методы решения некорректных задач измерения. Вопросы кибернетики. Адаптивные системы управления, М.: 1977, 90-95.

26. Вапник В.Н. Восстановление зависимостей по выборкам ограниченного объема. В кн.: Применение многомерного статистического анализа в экономике и оценке качества продукции. Тарту: 1980, 44-55.

27. Миллер И., Вапник В.Н., Глазкова Т.Г. Ранжирование препаратов для клинических испытаний. В кн.: Экспериментальная оценка противоопухолевых препаратов в СССР и США. М.: Медицина, 1980, 184-213.

28. Вапник В.Н. 0 выборе наиболее вероятного представителякласса. В кн.: I Всесоюзное совещание по статистическомуи дискретному анализу нечисловой информации. Тезисы докладов. Москва Алма-Ата: X98I, 152.

29. Вапник В.Н. 0 минимизации среднего риска на неограниченныхфункциях потерь. В кн.: Всесоюзная конференция " Теория адаптивных систем и ее применения». Тезисы докладов. Москва-Ленинград: 1983, 131-134.

30. Вапник В.Н. Оценка величины ожидаемого риска по выборкам ограниченного объема. В кн.: У Всесоюзное совещание по статистическим методам в процессах управления. Тезисы докладов. Москва, 1981, 176-177.

31. Вапник В.Н. О минимизации среднего риска по выборкам ограниченного объема. В кн.: IX Всесоюзное совещание по проблемам управления. Тезисы докладов. М.: 1983, 128-129.

32. Вапник В.Н. Основы теории восстановления зависимостей по выборкам ограниченного объема. В кн.: Алгоритмы и программы восстановления зависимостей. М.: Наука, 1984, 5-106.

33. Витушкин А.Г. Оценка сложности задачи табулирования. М.: Физматгиз, 1959.

34. Гнеденко Б.В. Курс теории вероятностей. М.: Физматгиз,1961.

35. Грабарь Л.П. Применение полиномов Чебышева, ортонормирован-ных на системе равноотстоящих точек для решения интегральных уравнений первого рода. ДАН СССР, 1967, т.172, 4.

36. Драйпер Д., Смит Г. Прикладной регрессионный анализ. М.: Статистика, 1973.

37. Журавлев Ю.И. Математические модели в задачах распознавания и классификации. М.: Наука, 1978.

38. Заторуйко Н.Г. Методы распознавания и их прй^нениа. М.: Советское радио, 1972.

39. Иванов В.К. О линейных некорректных задачах. ДАН СССР,1962, т.145, 2.

40. Иванов В.К. О некорректно поставленных задачах. Математический сборник, 1963, т.61, 2.

41. Ивахненко А.Г., Зайченко К).П., Дмитров В.Д. Принятие решений на основе самоорганизации. М.: Советское радио, 1976. '

42. Каган A.M., Шалаевский Û.B. Допустимость оценок наименьших квадратов исключительное свойство нормального закона. -Математические заметки, 1969, т.6, I.

43. Кашьяп Р.Л., Рао А.Р. Построение динамических стохастических моделей по экспериментальным данным. М.: Наука, 1983.

44. Кендалл М., Стьюарт А. Статистические выводы и связи. М.: Наука, 1973.•45. Ковалевский В.а. Методы оптимальных решений в распознавании изображений. М.: Наука, 1976.

45. Колмогоров А.Н. Несмещенные оценки. Изв. АН СССР, сер. математическая, 1950, 4.

46. Колмогоров А.Н., Тихомиров В.М. энтропия и -емкость в функциональных пространствах. Успехи математических наук, 1959, 2.

47. Колмогоров А.Н., Фомин C.B. Элементы теории функции и функционального анализа. -М.: Физматгиз, 1961.

48. Корбут A.A., Финкелыитейн Ю.Ю. Дискретное программирование. М.: Наука, 1969.

49. Коровкин II.П. Линейные операторы и теории приближений. -М.: Физматгиз, 1959.

50. Кощеев В.а. Метод учета априорной информации в линейном оценивании параметров. Статистические методы теории управления. М.: Наука, 1978.

51. Лаврентьев М.М. О некоторых некорректных задачах математической физики. Изд-во СО АН СССР, 1962.

52. Ле-Кам Л. О некоторых асимптотических свойствах оценок максимума правдоподобия. Математика, i960, I.

53. Линник Ю.В. Метод наименьших квадратов. М.: Физматгиз, 1962.

54. Линник Ю.В. Статистические задачи с мешающими параметрами. М.: Наука, 1966.

55. Лумельский II.Я., Сапожников П.Н. Несмещенные методы для плотностей распределений. Теория вероятностей и ее применения, 1969, 2.

56. Майданчик Б.И., Раев А.Г., Строгонов Ю.А. О восстановлении функций по ограниченной выборке. Заводская лаборатория, 1978, 5.

57. Михальский А.И. Метод осреднениях сплайнов в задаче приб-. лижения зависимостей по эмпирическим данных. Автоматика и телемеханика, 1974, 3.

58. Морозов В.А. О принципе невязки при решении несовместных уравнений методом регуляризации А.Н.Тихонова. Журн.выч. мат. и мат.физ., 1973, т.13, 5.

59. Морозов В.А. О вычислении нижних граней функционалов по приближенной информации. Журн.выч.мат. и мат.физ., 1973, 4.

60. Надарая Э.А. О непараметрических оценках плотности вероятностей и регрессии. Теория вероятностей и ее применения, 1965, I.

61. Невельсон М.Б., Хасьминский Р.З. Стохастическая аппроксимация и рекуррентное оценивание. М.: Наука, 1972.

62. Нильсон Н. Обучающиеся машины. М.: Мир, 1967.

63. Перельман И.И. Методы состоятельного оценивания параметров линейных динамических объектов и проблематичность их реализации на конечных выборках. Автоматика и телемеханика, 1981, 3.

64. Перельман И.И. Оперативная идентификация объектов управления. М.: Энергоиздат, 1982.

65. Пинскер И.Ш. Выбор структуры и вычисление параметров решающего правила при ограниченной выборке. сб.Моделирование и автоматический анализ электрокардиограмм, М.: Наука, 1973.

66. Пирс Д.А. Распределение автокорреляций остатков в регрессионной модели, ошибки которой описываются скользящим средним. -В кн.: Анализ авторегрессии. М.: Статистика, 1978.

67. Поляк Б.Т., Цыпкин Я.З. Псевдоградиентные алгоритмы адаптации и обучения. Автоматика и телемеханика, 1973, 3.

68. Поляк Б.Т., Цыпкин Я.З. Помехоустойчивая идентификация. -Труды 1У симпозиума ИФАК по идентификации, часть I. Тбилиси: Мецниереба, 1976.

69. Пугачев B.C. Статистическая теория обучающихся автоматических систем. Техническая кибернетика, 1967, 6.

70. Пугачев B.C. Статистические проблемы теории распознавания образов. Труды III Всесоюзного совещания по автоматическому управлению, М.: Наука, 1967.

71. Райбман Н.С., Чадеев В.М. Построение моделей процессов производства. М.: Энергия, 1975.

72. Рао С.Р. Линейные статистические методы и их применения. -М.: Наука, 1968.

73. Растригин J1.А., Эренштейн Р.Х. Принятие решений коллективом решающих правил в задачах распознавания образов. Автоматика и телемеханика, 1975, 9.

74. Раудис Ш.Ю. Ограниченность выбора в задачах классификации. Статистические проблемы управления, вып.18, Вильнюс: Институт физики и математики АН Лит.ССР, 1977.

75. Рыжик И.М., Градштейн И.С. Таблицы интегралов, сумм, рядов и произведений. -М.: Гостехиздат, 1956.

76. Себер Д. Линейный регрессионный анализ. М.: Мир, 1980.

77. Сейдж П.Э., МелсаД.Л. Идентификация систем управления. М.: Наука, 1974.

78. Смирнов H.B* Теория вероятностей и математическая статистика (Избранные труды). -М.: Наука, 1970.

79. Смоляк С.А., Титаренко Б.П. Устойчивые методы оценивания. М.: Статистика, 1980.

80. Тихонов А.Н. О решении некорректно поставленных задач. -ДАН СССР, 1963, т. 151, 3.

81. Тихонов А.Н. О регуляризации некорректно поставленных задач. ДАН СССР, 1963, т.153, I.

82. Тихонов А.Н., Арсенин В.Я. Методы решения некорректных задач. М.: Наука, 1974.

83. Турчин В.Ф., Козлов В.Н., Мадкевич М.С. Использование методов математической статистики для решения некорректных задач. Успехи физических наук, 1970, т.102, 3.

84. Уилкс С. Математическая статистика. М.: Наука, 1967.

85. Уилкинсон Дж. Алгебраическая проблема собственных значений. М.: Наука, 1970.

86. Урбах В.Ю. Дискриминантный анализ: основные идеи и приложения. сб. Статистические методы классификации, вып. I, Изд-во МГУ, 1969.

87. Феллер В. Введение в теорию вероятностей и ее приложения. М.: Мир, 1964.

88. Фишер Ф. Проблема идентш|икации в эконометрии. М.: Мир, 1964.

89. Фомин В.Н. Математическая теория обучаемых опознающих систем. Изд-во ЛГУ, 1976.

90. Форсайт Дж., Моллер К. Численное решение систем линейныхалгебраических уравнений. М.: Мир, 1968.

91. Фу К. Последовательные методы в распознавании образов и обучении машин. М.: Наука, 1971.

92. Хальт А. Математическая статистика с техническими приложениями. М.: Иностранная литература, 1956.

93. Хедли Дж. Нелинейное и динамическое программирование. -М.: Мир, 1967.

94. Хыобер П. Робастность в статистике. М.: Мир, 1984.

95. Цыпкин Я.З. Адаптация и обучение в автоматических системах.- М.: Наука, 1968.

96. Цыпкин Я.З. Основы теории обучающихся систем. М.: Наука, 1970.

97. Ченцов H.H. Оценка неизвестной плотности по наблюдениям.- ДАН СССР, 1962, т.147, I.

98. Численные методы математической статистики. Алгоритмы и программы. М.: Изд-во МГУ, Л976.

99. Шеффе Г. Дисперсионный анализ. М.: Физматгиз, 1963.

100. Шурыгин A.M. Устойчивые оценки параметров многомерного распределения. Б кн.: Применение многомерного статистического анализа в экономике и оценке качества продукции. - Тарту: 1981.

101. Эйкхофф II. Основы идентификации систем управления. М.: Мир, 1975.

102. Якубович В.А. Некоторые общие теоретические принципы построения обучаемых опознающих систем. сб.Вычислительная техника и вопросы программирования, Изд-во ЛГУ, 1965.

103. Якубович В.А. Рекуррентные конечно-сходящиеся алгоритмы решения системы неравенств. ДАН СССР, 1966, т.166,6.

104. X09. Bhansali R.J., Downham Tl.Y. Some properties of the order of an autogressive model selected by a generalization of Akaike's FPE criterion. Biometrica, 1977, v.64, N0.3.

105. Bhattacharya P.K. Estimating the mean of a multivariate normal population with general quadratic loss function. -The Annals of Mathematical Statistics, v.37, No.18, 1966.

106. Bohlin T. Maximum-power validation of models without higher-order fitting. Automatica, 1978, v.14.

107. Cacoullos T. Estimation of a multivariate density. Inst. Stat.Math. Tokyo, v.18, No.2,1966.

108. Chen C.H. Statistical pattern recognition. Hayden, N.Y., 1973.

109. Devroye L.P., Wagner T.J. A distribution-free performance bound in error estimation. IEEE Transaction on Information Theory, v.IT-22, No.5,1976.

110. Dvoretsky A. On stochastic approximation. Proceedings of the III Berkeley Symposium on Mathematical Statisticsand Probability, v.I, 1956.• > —

111. Dancel J.W. The conjugate gradient method for linear and nonlinear operator equation. SIAM Numbr.Anal, v.4,No.I, 1967.

112. Fix I.E., Hodges J.L. Discriminatory analysis; nonparamet-ric discrimination: consistensy properties. Report 4 of the USAF School of Aviation Medicine, Eaudolph Field, Texas, 1952.

113. Fisher R.A. Contributions to Mathematical Statistics. -N.Y., 1952.

114. Fraser D.A.S. Nonparametric Method in Statistics. Wiley,1. N.Y., 1957.

115. Fukunaga K. Introduction to statistical pattern recognition. Academic, N.Y., 1972.

116. Glivenko V.I. Sulla determinatione empirics di probabilits.-Giornale dell' Institute Italiano degli Attuari, 4, 1933»

117. Grinander U. Abstract inference. Wiley, N.Y., 1981.

118. Hannane E.J., Quinn B.G. The determination of the order of an autoreeression. J.Roy.Statist.Soc., ser.B, v.41, No.2, 1979.

119. Hoking E.E. The analysis and selection of variables in linear regression. Biometrics, v.32, 1976.

120. Hostenes M.E., Stiefel E. Method of conjugate gradient's for solving linear systems. J.Res.Mat.Bur.Standards, 49, No.6, 1952.

121. Huber P. The behaviour of maximum likelyhood estimates under nonstandard condition. Proc.Fifth Berkeley Symp. on Math.Statistics.Prob.,v.I, 1967.

122. Huber P. Eobust estimation of the location parameter. -The Annals of Mathematical Statistics, v.35,No.I, 1964.

123. Huber P. Eobust statistics; a review. The annals of

124. Mathematical Statistics, v.1972.

125. Huber P. Robust regression: asymptotics, co.iectures and Monte Carlo. The Annals Statistics, v.I, No.5» 1973»

126. James W., Stein C. Estimation with quadratic loss. Proc. Fourth Berkeley Symposium on Math.Statist.Prob., v.I, Univ. of California Press, 1961.

127. Kantelly P.P. Sulla determinatione empirica della leggi di probabilita. Giórnale dell1 Institute Italiano degli Attuari, 1933.

128. Keehn D.G. Note on learning for Gaussian properties. -IEEE. Transaction on Information Theory, v.IT-II, No.I,1965.

129. Kitaga.wa G. On the use of AIC for the determination of outliers. Technometries, v.21, No.2, 1979.

130. Kolmogoroff A.N. Sulla determinatione empirica di una legge di distributione. Giornale dell1 Institute Italiano degli Attuari, N.4-, 1933.

131. Kozin L., Naka.iima L. The order determination problem for linear Time-varying AR models. IEEE Trans.Automat.Control, v.AC-25, n.2, I98o.

132. Le Kam 1. On some asymptotic properties of maximum likelihood estimates and related Bayes' estimates. Calif.Public. Statist.,v.II, 1953.

133. Le Kam L. On asymptotic theory of estimation and testing hypotheses. Proc.Ill Berkeley Symposium on Math.Statist, and Probability, v.I, 1956.

134. Lawler E.L. ,Waod D.E. Branch-and-bound method. A survey. Oper.Res.,v.I4,No.4, 1966.

135. Mayne D.Q., Piroozan P. Linear identification of ARMA processes. Automatica, v.18, 1982.

136. McCarthy P.J. The use of balanced half-sample replication in cross-validation studies. J.Amer.Statist.Assoc.,v.71, 1976.

137. Meisel W.S. Computer-oriented approaches to pattern recognition. Academic, N.Y., 1972.

138. Ozaki T. On the order determination of ABIMA models. -Applied Statistics, v.26,Ho.3, 1977.

139. Parsen E. On the estimation of a probability function and mode. The Annals of Mathematical Statistics, v.33> No.5, 1962.

140. Reiss E.D. Consistensy of certain class of empirical density function. Metrica, v.22, No.4, 1975145. Rissaiien J. Modeling by shortest data description.

141. Automatica, v.14, N0.5, 1978.146.- Saks «T., Ylvisaker D. A note on Hubers Robust estimation ofa location parameter. The Annals of Mathematical Statistics, v.43, No.4, 1972.

142. Schwarz G. Estimating the demension of a model. Ann. Statist., 1978, v. 6.

143. Sclove S.L. Improved estimators for coefficient in Linear Regression. Journal of the American Statistical Association, v.63, No.322, June, 1968.

144. Shibata R. Selection of the order of an autoregressive model by Akaike's information criterion. Biometrica, v.63, No.1,1976.

145. Snee R.D. Validation of regression models: methods and examples. Teghnometrics, v.19, No.4,1977*

146. Stein S. Inadmissibility of usual estimator for mean ofa multivariate normal distribution . Proc.Third Berkeley Symp.Math.Stat.Prob., v.I, Univ.California Press, 1956.

147. Stoica P., Soderstrom T. Uniqueness of the maximum likelihood estimates of ARMA model parameters an elementary-proof. - IEEE Trans. Automat. Control, v.AC-27, 1982.

148. Stone M. Cross-validating and assessment of statistical predictions (with discussion). J.Roy.Statist.Soc.,ser.B, v.36, 1974.

149. Stone M. Comments on model selection criteria of Akaike and Schwarz. J.Roy.Statist.Soc.,ser.B, v.41, No.2, 1979.

150. Wald A. Note on consistency of the most likelihood estimate. The Annals of Mathematical Statistics, No.20, 1949.

151. Weisberg S. A statistic for allocating Cp to individual cases. Technometries, v.23, 1981.

152. Wellstead P. E., Roñas R.A. Instrumental product moment model order testing: extension and application. Int.J. Control, 1982, v.35.

153. Wertz V., Gevers M., Hannan E.J. The determination of optimum structurs for the state space representation of multivariate stochastic processes. IEEE Trans. Automat.Control. , v.AC-27, 1982.

154. Uttley A.M. A theory of the mechanism of learning on the computation of conditional probabilities. Proc.Ist. Congress Int.Cybernrtics, Namur, 1956.

155. Young P., Jakeman A., McMartrie R. An instrumental variable method for model order identification. Automatica, v.I6, 1980.1. УТВЕВДАЮдиректора-Гидрометцентра СССР Сл^.с^ А.А. Васильевапреля 1983 г.1. АКТ

156. О внедрении результатов завершенных научных исследований1. В.Н.Вапника

157. В настоящее время успешно проходят годовые оперативные испытания модели прогноза минимальной и максимальной температуры воздуха на 24 и 36 ч для Москвы.

158. Метод структурной минимизации риска широко известен в гидрометеорологии. Так, созданная на его основе модель прогноза шквалов юшла в учебник для вузов по синоптической метеорологии А.С.Зверева, изданный в 1978 г.

159. Заведующий отделом гидрометинформации-руководящих органов, ^ "географ, наук ---в и в Снитков скийг/^Ку'^ ' '\с 7s°- " \\

160. Зав.лабора^оодей испытания Ь^методов.прогнозов погоды, Сканд. географ, наук б^с^^^-Ь. О.Н.Белинский

161. У ТВЕРЖДАЮ/ .'' Директор ЗацСибШр^" РУ" О^Ш 1983г.

162. Справка об использовании результатов НИР

163. НАУЧНЫЙ СОВЕТ ПО КОМПЛЕКСНОЙ ПРОБЛЕМЕ «ЗЛОКАЧЕСТВЕННЫЕ НОВООБРАЗОВАНИЯ» ПРИ ПРЕЗИДИУМЕ АМН СССР1. ПРОБЛЕМНАЯ КОМИССИЯ

164. ЭПИДЕМИОЛОГИЯ ЗЛОКАЧЕСТВЕННЫХ ОПУХОЛЕЙ"15478, Москвааишрскос шоссе. 6 тел- И 1-82-01

165. Экологический научный центр АМН СССР , 111-82-69123.250 1. СПРАВКАо внедрении результатов, полученных в диссертационной работе к.т.н. В.Н.Вапника

166. В последние годы одной из главных задач онкоэпидемиологии стала дача эффективного формирования среди населения групп риска заболевания ком. Успешное решение этой задачи в онкологии связано с использовали-многооЬакторных методов оценки факторов риска.

167. Председатель проблемной комиссии ло эпидемиологии злокачественных опухолей рд.м.н., профессор ^Ч&А^лауреат Государственной премии СССР ^ ' А.В.ЧАЮ1ИН

168. Секретарь проблемной комиссии по эпидемиологии злокачественных /Г-опухолей /1/Тк.м.н. 4. М.А.БУЛЬВУЛЯН1. V -с?;■ .V '.

169. Подписи А.З.Чаклина и М.А.Н^лЩулян заверяю Ученый секретарь Института:- ка#де£$генезадпш дмн пппг> о и , к

170. Список многофакторных моделей для выделения групп повышенного риска 12 локализаций рака, построенных методом структурной минимизации риска1. Локализа- Год ция рака1. Территория

171. Кол. наблюдений Досто верн. %837 87500 78800 87777 86600 87600 76510 85300 82656 80986 801 рак желуд- 19702 ка 1972 § 19724 19735 19736 19737 19758 197о9 197Э Ю- 198116г .Москва1. Ставропольский край1. БССР1. МССР

172. В настоящее время методика, разработанная В.Н.Вапником, принята о Всесоюзном онкологическом центре для прогноза активности создаваемых ротивоопухолевых препаратов.

173. Зав. лабораторией экспериментальнойхимиотерапии д.б.н.

174. И.о. рук. лаборатории медицинскойкибернетики, с'.н.с.к.ф.-м.н.1. З.П.Софьина1. Т.Г.Глазкова

175. Ст. научн. сотр. лаборатории экспериментальной химиотерапии к.м.н.1. Н.П.Яворская

176. РИЛОЖЕШЕ 4 л к л Д В М И 'Л М Н Д И Ц II II С К II X II л У к

177. Научно-исследовательский институт ревматизмаа, ГСП-3, Петропка, 25 291-03-50; 221-31-84; 295-05-31••УТВЙРЛЩАЮ»

178. Директор Института ревматологии МН СССР 'хшен^корреспондент Кт ьССР1. А .НАСОНОВАа * ( р1. АКТвнедрения в практику здравоохранения'материалов з ав ершенной научно-исследов ат ель ской-раб о ты к.т.н. В.Н.Вапшка

179. Разработанная методика выбора адекватной схемы лечения ревмс тического вальвулита передана для использования в другие специализированные медицинские учреждения (г.Омск, г.Горький).

180. Рук.детского отделения Института ревматологии1. Д.М.Н. и-кг*^/^чч Н.Н.КУЗЬМИНА

181. Ученый секретарь Института ревматологии К.М.Н. I С \ /71. Д Л-1 .ОРЛОВА- ь ^

182. Согласовано 7 л. экономисту, Глад^^Щ^еологии1. Ц- А.Л.Генюш1 4 " л ^ 1964 г.

183. Л-:Утверждаю ^//^¿геолор^-Главтюманьгеологии МКп^ША.Г.Юдин$ К 84г.1. АКТ "внедрения комплекса алгоритмов и программ восстановления зависимостей по эмпирическим данным в практику геологоразведочных работ

184. Начальник отдела промысловой геофизики Главтюменьгеологии

185. Главный геошизик Тюменской тематической экспедиции Главтюменьгеологии1. В.И.Такканд1. В.Х.Ахияров1. СЛОЖЕНИЕ 6а4

186. МИНИСТЕРСТВО ВЫСШЕГО И СРЕДНЕГО СПЕЦИАЛЬНОГО ОБРАЗОВАНИЯ СССР

187. МОСКОВСКИЙ ОРДЕНА ЛЕНИНА АВИАЦИОННЫЙ ИНСТИТУТ имени СЕРГО ОРДЖОНИКИДЗЕ1. ДЕКАНАТ ФАКУЛЬТЕТА

188. СЯг-С^-^ Веретенников В.Г.

189. Заведующий кафедрой "Вычислительная1. Н Vматематика и программирование профессор доктор технических наук1. Пирумов У.Г.1. РЕЛСХКЕНКЕ бб1. СССР

190. МОСКОВСКИЙ ОРДЕНА ОКТЯБРЬСКОЙ РЕВОЛЮЦИИ И ОРДЕНА ТРУДОВОГО КРАСНОГО ЗНАМЕНИ ИНСТИТУТ НЕФТЕХИМИЧЕСКОЙ И ГАЗОВОЙ ПРОМЫШЛЕННОСТИимени И. М. ГУБКИНА

191. Моск.а, В-296, Ленинский проспект, 65, Телефоны: 137-В0-43, 137-59-23.X—»■ I ■ ■ 1.1 ■■198«3г.1. N2 .Г:

192. В специализированный Ученый Совет при Институте Проблем Управления

193. МИНИСТЕРСТВО ВЫСШЕГО И СРЕДНЕГО СПЕЦИАЛЬНОГО ОБРАЗОВАНИЯ

194. ЛЕНИНГРАДСКИЙ ОРДЕНА ЛЕНИНА И ОРДЕНА ТРУДОВОГО КРАСНОГО ЗНАЛ1ЕНИ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ имени А. А. ЖДАНОВА

195. ТЕМАТИКО-МЕХАНИЧЕСКИЙ ФАКУЛЬТЕТ

196. Р ^ 10 711ПТТП, ^/р-^*- Телефон Г31Р .А.исх1. ЛЬ ¿л'г/