Модели и алгоритмы обработки информации в системах экспресс-анализа и классификации неоднородного потока объектов с использованием спектральных измерений тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Донских Артём Олегович

• Донских Артём Олегович
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Донских Артём Олегович

Введение

1 Анализ существующих методов и алгоритмов обработки информации при проведении спектральных измерений объектов

1.1 Алгоритмы классификации объектов по спектральным измерениям

1.2 Методы извлечения признаков для классификации и глубокие нейронные сети

1.3 Подходы к решению проблемы ограниченного объема обучающих данных

1.3.1 Методы построения ансамблей независимых классификаторов. Бэггинг

1.3.2 Методы построения ансамблей зависимых классификаторов. Бустинг

1.3.3 Методы искусственного размножения данных

1.4 Задача выделения спектральных измерений в системах диагностики и экспресс-анализа неоднородного потока объектов

1.5 Анализ решаемой задачи и общая схема проведения исследований в интересах построения алгоритмов обработки спектральных измерений

объектов

Выводы по главе

2 Математическое обеспечение средств экспресс-анализа неоднородного потока зерновых смесей

2.1 Общая схема обработки информации в системах экспресс-анализа и классификации неоднородного потока объектов

2.2 Алгоритмы выделения и предварительной обработки данных спектральных измерений при анализе неоднородного потока элементов зерновых смесей в режиме реального времени и результаты их экспериментальных исследований

2.3 Алгоритмы классификации спектральных измерений при анализе неоднородного потока элементов зерновых смесей и результаты их экспериментальных исследований

2.3.1 Алгоритмы классификации с использованием многослойных нейронных сетей прямого распространения

2.3.2 Алгоритмы классификации с использованием глубоких нейронных сетей

Выводы по главе

3 Методы повышения точности алгоритмов классификации в условиях ограниченного объема обучающей выборки с использованием непараметрических ядерных оценок плотности распределения вероятностей

3.1 Метод генерации данных на основе непараметрических ядерных оценок плотности распределения

3.2 Исследование возможностей использования смешанных ядерных оценок для повышения эффективности алгоритмов классификации элементов зерновых смесей

3.2.1 Теоретические основы смешанных ядерных оценок на основе аддитивной модели и их экспериментальные исследования

3.2.2 Теоретические основы смешанных ядерных оценок на основе мультипликативной модели и их экспериментальные исследования

3.3 Сравнение эффективности методов искусственного размножения данных в задачах классификации смесей случайных величин

3.3.1 Результаты исследований для случая воздействия аддитивных помеховых искажений

3.3.2 Результаты исследований для случая воздействия мультипликативных помеховых искажений

3.4 Исследование эффективности применения методов искусственного размножения данных в задаче классификации движущихся элементов зерновых

смесей

Выводы по главе

4 Разработка автоматизированной информационной системы для обработки

спектральных измерений в интересах диагностики и экспресс-анализа неоднородного потока объектов

4.1 Общее описание разработанной информационной системы

4.2 Архитектура информационной системы

4.3 Реализация режима предварительной обработки данных

4.4 Реализация режима обучения и тестирования классификатора

4.5 Реализация режима классификации ЭЗС в реальном времени

4.6 Результаты внедрения и практическое применение

Выводы по главе

Заключение

Список использованных источников

Приложение А. Лицензионный договор о предоставлении права использования результата интеллектуальной деятельности

Приложение В. Свидетельство о государственной регистрации программы для ЭВМ

Введение диссертации (часть автореферата) на тему «Модели и алгоритмы обработки информации в системах экспресс-анализа и классификации неоднородного потока объектов с использованием спектральных измерений»

Введение

Актуальность темы. Качество управления современными техническими системами в значительной степени обусловлено скоростью и достоверностью анализа потока данных, поступающих от средств измерения внешних и внутренних параметров объектов управления. В связи с этим, создание и развитие технических систем во многом опирается на внедрение новых, более совершенных алгоритмов обработки измерительной информации, основанных на методах машинного обучения. Одним из перспективных направлений применения подобных алгоритмов является обработка спектральных измерений в системах анализа состояний объектов в режиме реального времени. Благодаря объединению методов спектрального анализа и современных алгоритмов обработки информации на основе методов машинного обучения стало возможным создание высокопроизводительных экспресс-анализаторов различного рода объектов и, прежде всего, объектов и пищевых продуктов растительного происхождения (зерновые и масличные культуры, орехи и т.п.), получивших широкое распространение в сельском хозяйстве и пищевой промышленности [1-18]. В большинстве существующих экспресс-анализаторов и сепараторов поточного типа на аппаратном и алгоритмическом уровне реализован только один метод анализа, например, спектроскопия отражения, люминесценции или поглощения. При этом перспективным направлением дальнейшего развития экспресс-анализаторов является применение мультиспектральной обработки, т.е. одновременная обработка данных, получаемых с помощью двух и более методов спектрального анализа. Кроме того, в существующих анализаторах обычно проводится групповой спектральный анализ излучения, полученного сразу от множества объектов. Это не всегда приемлемо, например, в области семеноводства, где возникает необходимость контроля каждого объекта в отдельности в общем потоке.

Таким образом, представляется актуальной задача разработки поточных аппаратных средств технической диагностики и соответствующих им алгоритмов обработки информации (прежде всего, алгоритмов классификации),

обеспечивающих мультиспектральный анализ отдельных объектов и, в частности, элементов зерновых смесей (ЭЗС) в режиме реального времени. Подобные алгоритмы могут затем адаптироваться для решения широкого класса задач, связанных с обработкой спектральных измерений объектов различного рода, в том числе, и не растительного происхождения.

Специфика решения подобных задач также состоит в необходимости обучения алгоритмов обработки информации в условиях малого объема выборки, так как во многих случаях сбор и обработка дополнительных обучающих данных существенно затруднены, либо невозможны.

В связи с этим, возникает актуальная задача разработки и исследования новых алгоритмов и методов для повышения качества обучения при фиксированном объеме исходных обучающих данных [19-29], и, в частности, разработки универсальных методов искусственного размножения данных, применимых к числовым данным различной природы.

Степень разработанности темы диссертации. Задача классификации объектов и пищевых продуктов растительного происхождения по спектральным измерениям с помощью различных алгоритмов машинного обучения рассматривалась в работах X.E. Pantazi, D. Moshou, C. Bravo, F.E. Dowell, D. Wang, L. Esteve Agelet, J. Lim, S. Mahesh, W. Kong, X. Yang, Э.К. Алгазинова, М.А. Дрюченко, А.А. Сироты и др. [1-18]. Тем не менее, в литературе не рассмотрены в полной мере особенности обработки информации при реализации потоковых поэлементных средств анализа таких объектов. Кроме того, в большинстве работ задача решается с помощью отобранных вручную спектральных измерений неподвижных объектов, причем используется только один метод спектрального анализа. Таким образом, задача разработки алгоритмов обработки информации при использовании комбинированных (мультиспектральных) методов анализа объектов в интересах их поэлементной классификации в режиме реального времени остается нерешенной.

Отдельно стоит отметить алгоритмы обработки данных, основанные на обучении глубоких сверточных сетей, описанные в работах Y. Lecun, Y. Bengio, G.

Hinton и др. [30-34]. Способность сверточных сетей в автоматическом режиме выделять обобщенные и репрезентативные признаки из данных большой размерности, а также их универсальность отмечены в работах A. Krizhevsky, C. Farabet, J. Tompson, С. Szegedy, T. Mikolov, G. Hinton, T.N. Sainath, M.K.K. Leung, T. Ciodaro и др. [35-43]. В работах K. Itakura, L. Liu, M. Chatzidakis и др. [44-46] демонстрируется, что алгоритмы на основе глубокого обучения могут эффективно использоваться для обработки спектральных измерений. Таким образом, представляется целесообразным исследование возможности применения алгоритмов на основе глубоких нейронных сетей для обработки спектральных измерений в системах экспресс-анализа объектов различного рода.

В работах А.Е. Жуковского, С.В. Качалина, Б.С. Ахметова, А.В. Акимова, А.А. Сироты, L.S. Yaeger, D.C. Cire§an, P.Y. Simard, H. Guo, N. V. Chawla и др. рассматриваются различные подходы к решению задачи аугментации, или искусственного размножения данных в обучающей выборке. Большинство известных алгоритмов искусственного размножения данных применимы исключительно к изображениям [20-25], однако представляется возможным создание более универсальных методов, применимых к числовым данным произвольного вида [26-29], в том числе и к спектральным данным. Основой для построения таких методов может служить анализ статистических свойств используемых данных по исходной обучающей выборке ограниченного объема, в том числе независимая оценка свойств информативной и помеховой составляющих спектра, т.е. использование так называемых смешанных моделей.

Таким образом, тема диссертационной работы, посвященная обоснованию и исследованию моделей и алгоритмов обработки мультиспектральной информации в поточных системах экспресс-анализа объектов, а также разработке новых методов искусственного размножения данных для обучения таких алгоритмов, является актуальной. Тема работы связана с научными направлениями ФГБОУ ВО «ВГУ».

Цель и задачи исследования. Целью работы является разработка алгоритмов обработки информации в системах анализа неоднородного потока

объектов растительного происхождения на основе классификации по мультиспектральным измерениям и использования адекватных моделей и методов обучения в условиях ограниченного объема данных.

В соответствии с поставленной целью рассматриваются и решаются следующие задачи:

1. Анализ существующих подходов к обработке и аугментации спектральных измерений объектов для решения задач классификации в технических диагностических системах.

2. Обоснование и исследование моделей и алгоритмов обработки информации в системах экспресс-анализа и классификации объектов применительно к задаче анализа неоднородного потока элементов зерновых смесей.

3. Обоснование и исследование методов повышения эффективности алгоритмов классификации в условиях ограниченного объема обучающей выборки с использованием непараметрических ядерных оценок плотности распределения вероятностей.

4. Разработка автоматизированной информационной системы для обработки спектральных измерений в интересах диагностики и экспресс-анализа неоднородного потока объектов и пищевых продуктов растительного происхождения, реализующей предложенные и обоснованные алгоритмы обработки информации.

Объект исследования. Технические системы экспресс-анализа и классификации объектов с использованием средств мультиспектрального анализа и реализуемые в них процессы обработки информации.

Предмет исследования. Алгоритмы обработки информации и методы аугментации данных в системах анализа неоднородного потока объектов с использованием мультиспектральных измерений.

Методы исследования. При проведении диссертационного исследования применялись методы теории вероятностей и математической статистики, теории случайных процессов, математического анализа, линейной алгебры, статистического моделирования и машинного обучения.

Научная новизна. В работе получены следующие результаты, отличающиеся научной новизной.

1. Предложены модели и алгоритмы предварительной обработки информации в поточных системах экспресс-анализа и классификации неоднородного потока элементов зерновых смесей, отличающиеся использованием модифицированной процедуры кластерного анализа для выделения неаномальных спектральных измерений таких объектов в режиме реального времени.

2. Разработаны алгоритмы обработки информации и проведена оценка их эффективности при классификации элементов зерновых смесей по мультиспектральным измерениям с использованием нейронных сетей прямого распространения и глубоких сверточных сетей на основе предложенной схемы переноса обучения.

3. Проведен анализ свойств смешанных ядерных оценок плотности распределения для случая воздействия аддитивных и мультипликативных искажений полезных наблюдений. Теоретически обоснована возможность использования смешанных ядерных оценок с аддитивной и мультипликативной моделями стохастической составляющей для искусственного размножения элементов обучающих выборок ограниченного объема.

4. Предложен метод генерации и искусственного размножения данных, отличающийся использованием стандартных непараметрических ядерных оценок плотности распределения вероятностей и границ локализации используемой оценки плотности. Предложены модели и алгоритмы искусственного размножения данных мультиспектральных измерений на основе смешанных непараметрических оценок плотности распределения, основанные на доказанных утверждениях относительно свойств указанных оценок.

5. Разработано специальное математическое и программное обеспечение информационной системы для обработки спектральных измерений в интересах диагностики неоднородного потока объектов и пищевых продуктов растительного происхождения в экспресс-анализаторах различных типов.

Тематика работы соответствует следующим пунктам паспорта специальности 05.13.01:

п. 4 «Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации»;

п. 5 «Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации»;

п. 12 «Визуализация, трансформация и анализ информации на основе компьютерных методов обработки информации».

Теоретическая и практическая значимость. Предложенные и обоснованные алгоритмы обработки информации могут использоваться при построении нового типа поточных экспресс-анализаторов объектов, осуществляющих одновременную регистрацию спектральных данных в различных диапазонах спектра электромагнитных волн. Проведенные исследования позволили установить реальные возможности применения средств мультиспектрального анализа в плане уменьшения вероятности ошибочной классификации.

Предложенные и исследованные методы искусственного размножения данных с использованием стандартных и смешанных непараметрических оценок плотности распределения могут использоваться для построения алгоритмов машинного обучения в условиях малых и средних по объему обучающих данных, когда их получение ограничено или сопряжено со значительными трудозатратами. Предложенные методы универсальны и могут применяться к числовым данным различного происхождения, не ограниченного задачей анализа спектральных измерений биологических объектов.

Разработанная на основе предложенных алгоритмов информационная система для обработки спектральных измерений в интересах диагностики и экспресс-анализа объектов позволяет проводить настройку, обучение и тестирование алгоритмов классификации на предварительно обработанных данных, а также осуществлять классификацию объектов в режиме реального времени.

Имеются перспективы для адаптации системы к работе с различными типами спектроанализаторов и обработке спектральных измерений в иных отраслях.

Положения, выносимые на защиту:

1. Алгоритмы предварительной обработки информации для выделения неаномальных спектральных измерений при анализе неоднородного потока элементов зерновых смесей в режиме реального времени.

2. Алгоритмы классификации объектов по мультиспектральным измерениями на основе нейронных сетей прямого распространения и глубоких сверточных сетей и результаты их сравнительных исследований.

3. Доказательство состоятельности и несмещенности непараметрических смешанных ядерных оценок плотности распределения для случая мультипликативных искажений. Результаты исследования сходимости смешанных ядерных оценок для случаев воздействия аддитивного и мультипликативного шума.

4. Доказательства утверждений о возможности использования смешанных ядерных оценок с аддитивной и мультипликативной моделями шумовой составляющей для искусственного размножения данных. Методы искусственного размножения данных с использованием стандартных и смешанных непараметрических оценок плотности распределения и результаты их сравнительных исследований.

5. Структура и алгоритм функционирования информационной системы для обработки спектральных измерений в интересах диагностики и экспресс-анализа объектов и пищевых продуктов растительного происхождения.

Реализация и внедрение результатов работы. Разработанные алгоритмы обработки спектральных измерений и искусственного размножения данных реализованы при выполнении проекта в рамках государственного задания Минобрнауки РФ № 8.3844.2017/4.6 «Разработка средств экспресс-анализа и классификации элементов неоднородного потока зерновых смесей с патологиями на основе интеграции методов спектрального анализа и машинного обучения» (2017-2019 гг.). Созданное на основе предложенных и обоснованных алгоритмов

программное обеспечение внедрено на предприятии-индустриальном партнере ООО «Смарт Грэйд».

Степень достоверности результатов работы. Достоверность результатов подтверждается проведенными теоретическими и экспериментальными (обработка реальных спектров элементов зерновых смесей, имитационное моделирование) исследованиями, совпадением результатов экспериментов с теоретическими оценками.

Апробация работы. Теоретические и практические результаты работы докладывались и обсуждались на XVI и XVII Международных конференциях «Информатика: проблемы, методология, технологии» (Воронеж, 2016 и 2017); на I Международной научно-практической конференции «Цифровизация агропромышленного комплекса» (Тамбов, 2018), на I Международной научной конференции «Математическое моделирование и информационные технологии в инженерных и бизнес-приложениях» (Воронеж, 2018); на VII Международной научно-технической конференции «Информационные технологии в науке, образовании и производстве» (Белгород, 2018); на научных семинарах факультета компьютерных наук ВГУ.

Публикации. Основные результаты диссертации опубликованы в 14 [47-60] работах, из них 7 - в журналах, рекомендованных ВАК, в том числе 4 - в изданиях, индексируемых Web of Science и Scopus, получено свидетельство о государственной регистрации программы для ЭВМ.

В работах, опубликованных в соавторстве с научным руководителем, соискателем выполнены анализ задач и подходов к их решению, разработка и теоретическое обоснование используемых моделей и алгоритмов, организация, проведение и интерпретация результатов экспериментов, а также разработка программного обеспечения для обработки спектральных данных. В работах [47-50, 52, 53, 55, 56, 58] Донских А.О. выполнены разработка, программная реализация и исследование алгоритмов обработки мультиспектральной информации. В работах [54, 57, 59] соискателю принадлежит доказательство утверждения об эквивалентности применения смешанных ядерных оценок и процедуры

искусственного размножения данных, а также результаты экспериментальных исследований свойств смешанных оценок. В работе [59] соискателю также принадлежат результаты реализации и исследования методов искусственного размножения данных с использованием смешанных ядерных оценок.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы из 88 наименований, двух приложений. Работа изложена на 145 страницах, включает 33 рисунка и 7 таблиц.

В первой главе диссертации производится анализ известных методов и алгоритмов обработки информации, используемых при проведении спектральных измерений объектов: алгоритмов классификации, извлечения признаков и выделения образцов, подходов к решению проблемы обучения алгоритмов с использованием обучающих выборок ограниченного объема. Отмечается, что вопросы применения мультиспектральной обработки и методов искусственного размножения данных с целью повышения эффективности алгоритмов обработки информации в системах экспресс-анализа неоднородного потока объектов в известных источниках не рассматривались. Автором предлагается схема проведения исследований в интересах построения алгоритмов обработки информации в системах экспресс-анализа и классификации неоднородного потока объектов с использованием спектральных измерений.

Во второй главе предлагается и реализуется общая схема обработки информации в системах экспресс-анализа элементов зерновых смесей. Описываются и исследуются алгоритмы предварительной обработки данных и алгоритмы классификации на основе нейронных сетей прямого распространения и глубоких сверточных сетей для решения задачи классификации объектов по мультиспектральным измерениям.

В третьей главе диссертации описываются и исследуются методы генерации и искусственного размножения данных на основе стандартных и смешанных непараметрических оценок плотности распределения. Вводится математическая модель смешанных ядерных оценок в условиях мультипликативных искажений, приводится доказательство состоятельности и несмещенности оценок такого вида.

Приводятся результаты экспериментальной проверки свойств смешанных ядерных оценок для случаев аддитивных и мультипликативных искажений, а также доказательства эквивалентности применения подобных оценок процедуре искусственного размножения данных.

В четвертой главе описывается информационная система для классификации объектов и пищевых продуктов растительного происхождения по данным, получаемых от поточного экспресс-анализатора, разработанная на основе предложенных в предыдущих главах методов и алгоритмов. Дается описание реализованных функций, приводятся диаграммы классов, демонстрируются скриншоты пользовательского интерфейса.

Автор выражает глубокую признательность научному руководителю проф. А.А. Сироте за постоянное внимание и руководство, а также коллективам кафедры информационных систем и кафедры технологий обработки и защиты информации Воронежского государственного университета за оказанную поддержку.

1 Анализ существующих методов и алгоритмов обработки информации при проведении спектральных измерений объектов

Под обработкой информации при проведении спектральных измерений объектов растительного происхождения в общем случае будем подразумевать комплексный процесс, включающий решение различных по своей природе задач, возникающих после регистрации спектральной характеристики или группы характеристик объектов конкретным датчиком (спектрометром). Конечной целью такой обработки является получение некоторого понятного человеку и практически значимого для решаемой задачи результата на основе массивов исходных данных, поступающих от спектрометра. Примером такого результата может быть определение принадлежности анализируемого объекта к тому или иному классу, в частности, выявление наличия определенных свойств (обнаружение патологий, заболеваний и повреждений [1-10]), определение сортовой принадлежности элемента зерновой смеси (ЭЗС) [11-18] и т.д. Стоит отметить, что данная работа не рассматривает исследования в области построения технических средств регистрации, преобразования и передачи данных с датчиков на компьютер или микропроцессор, используемых для обработки информации, так как решение этой задачи зависит от используемого оборудования и протоколов, и, как правило, выполняется с помощью программных средств, предоставляемых производителем оборудования.

В связи с этим будем считать, что исходные спектральные данные для обработки получаются в системе обработки информации в машиночитаемом массиве данных следующего вида:

5

V .

', 1

"4,1 1,2 1,Ь

V V V

2,1 2,2 2,1

V V V

\ N,1 N,2 N,Ь у

, I = 1, N, 1 = 1, Ь,

где 5 - матрица регистрируемых спектральных измерений; N - количество регистрируемых измерительной установкой спектральных компонентов,

характеризующих амплитуды составляющих спектра; L - количество проведенных измерений.

1.1 Алгоритмы классификации объектов по спектральным измерениям

В настоящее время широкий круг задач по оценке качества сельскохозяйственного сырья и сельскохозяйственных продуктов и, прежде всего, элементов зерновых смесей, может быть решен путем объединения алгоритмов машинного обучения и методов спектрального анализа. Так, в работах [1-6] демонстрируется возможность выявления зерен пшеницы, пораженных грибковым заболеванием и страдающих дефицитом азота, с точностью более 97% при помощи алгоритмов обработки спектральных данных на основе искусственных нейронных сетей [1-5] (в частности, многослойного персептрона (MLP) и самоорганизующихся карт Кохонена) и метода опорных векторов (SVM) [6]. В работе [7] для обнаружения грибковых заболеваний семян пшеницы и ячменя по спектрам отражения в ближнем ИК диапазоне применяется метод частичных наименьших квадратов (PLS), также демонстрирующий высокую точность (свыше 98%). В работах [11, 12] снова применяются искусственные нейронные сети, которые используются для выявления сорняков на основании спектральных данных, регистрируемых движущейся платформой. В работе [13] нейронные сети предложено применить в составе аппаратно-программного комплекса фотосепарации потока ЭЗС в реальном времени. В задаче определения сорта семян пшеницы для нейронных сетей также были получены весьма положительные результаты [16].

Отдельного внимания заслуживают исследования, в которых проводится прямое сравнение эффективности различных алгоритмов обработки. В частности, в [11] отмечается, что нейросетевые алгоритмы обработки демонстрируют лучшие результаты по сравнению с алгоритмами SVM и автокодировщиком. В работах [14, 15] сравниваются SVM и искусственная нейронная сеть класса MLP с одним

скрытым и одним выходным слоем в задаче разделения движущихся ЭЗС в потоке. В [14] рассматривались задачи классификации зерен пшеницы, ячменя и двух типов овса по спектрам люминесценции. Относительная частота ошибок классификации для алгоритмов на основе искусственных нейронных сетей при этом составила менее 0.5%, кроме того, данные алгоритмы оказались вполне устойчивыми к искусственно вносимым искажениям входных данных. При использовании метода опорных векторов и малом числе признаков относительная частота ошибок классификации оказалась сопоставимой с результатом, полученным при использовании нейронных сетей. В [15] эти же алгоритмы используются для решения аналогичных задач по спектрам диффузного отражения в ближнем и ИК диапазоне, что позволило в несколько раз повысить точность классификации по сравнению со спектрами люминесценции. Однако в обеих работах отмечается, что увеличение количества признаков для классификации приводит к росту частоты ошибок, и метод опорных векторов начинает работать хуже нейронных сетей. Также авторы отмечают, что метод опорных векторов оказался менее устойчив к искажениям входных данных.

В работе [8] для определения типа насекомых, которыми поражены ЭЗС, применяются метод наименьших квадратов и нейронная сеть класса MLP с одним скрытым слоем в сочетании со спектроскопией в ближнем ИК диапазоне. При разделении насекомых на группы опасных и безопасных для ЭЗС нейросетевой алгоритм продемонстрировал точность 99.1%, что несколько лучше результата, полученного при использовании метода наименьших квадратов (96.4%). При разделении между конкретными видами нейронная сеть продемонстрировала результаты, сопоставимые с методом наименьших квадратов (точность от 55% до 100%). Кроме того, с помощью нейронной сети оказалось возможным не только попарное разделение видов, но и одновременное разделение между всеми 11 классами. В этом случае точность определения видов составила от 30% до 100%.

В работе [9] приводится сравнение эффективности алгоритмов SVM, PLS, метода k-ближайших соседей (KNN) и метода мягкого независимого моделирования классовых аналогий (SIMCA) при решении задачи обнаружения

поврежденных семян кукурузы и сои на основе измерений спектров в ближнем ИК диапазоне. Для семян, поврежденных высокими температурами, с использованием РЬБ удалось достигнуть процента ошибок менее 2%, что значительно превосходит результаты для других методов (процент ошибок от 4.9% до 17.5%). Самый высокий процент ошибок при этом наблюдается для метода КМЫ". Для семян кукурузы и сои, поврежденных холодом, а также при разделении семян на жизнеспособные и нежизнеспособные все алгоритмы классификации показали неудовлетворительные результаты (процент ошибок составил от 32% до 63.4%). Тем не менее, авторы отмечают, что задача классификации семян сои, поврежденных холодом, успешно решалась в [10], где простейшая нейронная сеть без скрытого слоя обеспечила достоверность классификации 100% для неповрежденных семян, 98% для поврежденных погодными условиями семян, 97% для поврежденных холодом семян, 64% для пророщенных семян, 97% для поврежденных высокими температурами семян и 83% для поврежденных плесенью семян, что значительно превосходит результат, полученный при обработке тех же спектральных данных с помощью других методов.

Список литературы диссертационного исследования кандидат наук Донских Артём Олегович, 2021 год

и - и

V у

= к~пр

и - и

(*)

к

- функция ядра (оконной функции); к -

параметр ядра (ширина оконной функции).

На втором этапе выполняется свертка оценки ПРВ ри{и / со) (3.10) и ПРВ аддитивного шума с учетом и = X - V:

рх{х / со) = \ри(х - V / со)ру(у)с]у:

1 N

мп

Цр

*=1

(х - у) - и

(*) Л

к

Pv(уУу

1 N

Цр

(*) Л

г - и V к у

1 Л

ру (х - г= — I Зы (х - и(*)),

г N 1 4 7

(3.11)

^ (х - и(*) ) = { <р

гх - у - и(*Л

к

Pv(у)йУ = ¡У (х - и(*) - ур(уУу>

Таким образом, результирующая оценка ПРВ смеси определяется конечной суммой, элементы которой являются свертками ядерных функций и плотности рг(у) , центрированных относительно точек совокупности и1 = {и(1),...,и(Ю} .

Например, когда используются ядра в виде гауссианы

к пр((и - и(*))/ к) = N(u,и(х),к2Е) и присутствует аддитивный шум, имеющий

центрированное гауссовское распределение с матрицей ковариации Cv Ру (v) = N(v,0, C ), после свертки получается оценка в виде

1 N

рх(х/а) = -УЩхУ°\И2 Е + С). (3.12)

N к=1

Полученные таким образом оценки будем назвать смешанными ядерными оценками (СЯО) [54, 59], акцентируя внимание на том, что одна из составляющих смеси получена на основе непараметрической оценки, а другая определена изначально (задана в аналитическом виде).

Известно, что при выполнении ряда условий ядерные оценки по Парзену вида (3.10) обладают свойствами несмещенности и состоятельности [82, 83]. В работах [54, 59] было доказано, что если оценка ри (и / со) является несмещенной и состоятельной при N ^да h(N) ^ 0 , то СЯО вида (3.11) также являются несмещенными и состоятельными.

3.2.1.2 Моделирование и анализ свойств смешанных оценок на основе аддитивной модели

В ходе экспериментальных исследований выполнялась проверка сходимости СЯО р(х / со) вида (3.12) с использованием искусственно генерируемых данных. Было рассмотрено несколько случаев (таблица 3.1), соответствующих различным видам плотностей распределения вероятностей рц (и / со) и pv (v) (гауссовские, равномерные, экспоненциальное и треугольное) при различных соотношениях значений их дисперсии (р = D[u] / D[v]: р > 1, р = 1, р< 1).

и их параметры

Функции ПРВ Ри (и / со), ру (V) Параметры ^ Параметры рк Р

С 1 л 1 ( (и )2 ^ Ри (и / с) = I /^еХР О 2 , 2 (Т.у/ 2л ^ 2< J (Л 1 Г( V-^)21 Ру(V) = ПГ- еХР 0 2 < 2л ^ 2< ^ ¡=-2, <1 = 1, ¡2 = ^ <2 = 2 ¡и = 0, < = 1 4

¡=-2, < = 1, ¡2 = ^ <2 = 2 и = 0, < = 2 1

д =-2, < = 0.5, ¡2 = ^ <2 =1 и = 0, < = 2 0.25

Ри (и / с) = Ру (v) = < —1—, и е [ а , Ь 1 а = 0, Ь = 4 и 5 и а =-1, Ь = 1 V 5 V 4

\Ь - а и и 1 0, и £ [а , Ь 1 5 1. и? и J —1—, V е [ а , Ь 1 7 ' 1. V V J Ь - а V V 0, V £[ ау, Ьу ] а = 0, Ь = 4 и 5 и а =-2, Ь = 2 V 5 V 1

а = 0, Ь = 2 и 5 и а =-2, Ь = 2 V 5 V 0.25

Ри (и / с Ру (V) = < ГЛехр(-Ли), и > 0 = | 0, и < 0, 0, V < а - а) (и V V Vе[ас) (Ь - а)(с - а) 2 -, V = с Ь - а 2 (Ь - V) V £ (сЬ 1 (Ь - а)(Ь - с), V £(СЬ1 0, V > Ь л= * л/2 а = -л/3, Ь = 0, с = л/3 4

л= * л/2 а = -2л/3, Ь = 0, с = 2л/3 1

л = л/2 а = -2%/3, Ь = 0, с = 2>/3 0.25

Для двумерного случая: и - смесь из двух гауссовских распределений с М[щ ] = (-1,-1) М[и2 ] = (1,2) и матрицами ковариации С , С , V - гауссовское

распределение с М[у] = (0,0) и матрицей ковариации С,, при этом С > С , С принимают следующие значения:

р = 4: С =

' и

( 2 01 Г1 01 Г1 01

, с = , с =

, 0 2, u2 , 0 1, ' v , 0 1 ,

р = 1: C =

' u1

1

2 0" 0 2

C =

10 01

C =

20 v0 2У

(1 01 , с = Г 0.5 01 , с = Г 2 01

, 0 1, U2 , 0 0.5, ' v , 0 2,

р = -: C

4 Ul

В ходе исследования проверялось, что при N ^ да смешанная оценка р(х/со) , вычисляемая по восстановленной плотности prj(u / со) и известной плотности pF(v) , сходится к p(х / со) . Также выполнялось сравнительное исследование качества восстановлении плотности при использовании смешанной ядерной оценки р{х / со) и стандартной непараметрической оценки Парзена р{х I со).

В ходе каждого эксперимента осуществлялась генерация N реализаций случайной величины U, образующих исходную выборку, по которой затем выполнялось восстановление ПРВ ри(и/ со), используемой для построения СЯО р(х/ со). Значения U из исходной выборки также использовались для генерации

N реализаций случайной величины X = U + V. Полученные реализации X выступали в качестве исходной выборки при построении стандартной оценки Парзена рх{х! со).

Для адекватной оценки точности восстановления плотностей распределения в каждом из экспериментов было предложено по аналогии с близкими по теме работами [84-86] использовать интегральную квадратическую ошибку (integral square error, или ISE):

ISE p = {( p (х) - p( х) )2dx.

На величину интегральной квадратической ошибки практически не оказывают влияния незначительные отклонения оценки плотности распределения

вероятностей от истинной плотности, однако сильные и продолжительные отклонения приводят к значительному росту ошибки. Стоит отметить, что при малой размерности данных для вычисления интегральной квадратической ошибки для пары плотностей распределения вероятностей р(х) и p(х) произвольного

вида могут быть использованы численные методы.

Экспериментальные исследования выполнялись при различных объемах исходных данных (N = 50,...,5000). Были получены зависимости ISE р и ISE р от N, представленные на рисунке 3.2 (опубликованы в [59]).

0,006 0,005 0,004 0,003 0,002 0,001 0

ISE

■о ■ ■ ■ Обычная, р = 4 -в— Смешанная, р = 4 —»■ ■ ■ Обычная, р = 1

— Смешанная, р- 1 ■ ■□■■■ Обычная, р = 0,25

— Смешанная, р = 0,25

50 100 200

500 1000 2000 N

0,014 0,012 0,01 0,008 0,006 0,004 0,002 0

а)

ISE

■ - ■ о ■ ■ ■ Обычная, р = 4 —0— Смешанная, р = 4 —х ■ ■ ■ Обычная, р = 1 —*— Смешанная, р = 1 —□... Обычная, р - 0,25

Смешанная, р = 0,25

50 100 200

0,012 0,01 0,008 0,006 0,004 0,002 0

ISE

.а

...<}... Обычная, р = 4 —0— Смешанная, р = 4 —х ■ ■ ■ Обычная, р = 1

Смешанная, р- 1

-------------, г

■ Обычная, р = 0,25 - Смешанная, р = 0,25

5000

50 100 200

500 1000 2000 N

5000

б)

0,0025 0,002 0,0015 0,001

ISE

ь.

■о - ■ ■ Обычная, р = 4 -0— Смешанная, р = 4 ■X ■ ■ ■ Обычная, р = 1

— Смешанная, р = 1 ■и ■ ■ ■ Обычная, р- 0,25

— Смешанная, р = 0,25

500 1000 2000 5000

50 100 250 500 1000 2500 5000 N

N

в) г)

Рисунок 3.2 - Зависимости интегральной квадратической ошибки оценок ПРВ

р(х / со) и р(х / со) от объема исходных данных для одномерных

мультигауссовского (а), равномерного (б), экспоненциального и треугольного (в) распределений и двумерного мультигауссовского распределения (г)

С целью повышения достоверности результатов, при каждом значении N проводилось по 100 экспериментов. Полученные на каждом этапе значения интегральной среднеквадратической ошибки для восстановленных ПРВ р(х / со) и

р(х / со) усреднялись по всем экспериментам.

Видно, что ISE р и ISE р монотонно убывают при увеличении N независимо от формы используемых распределений. Точность восстановления плотности при использовании СЯО р(х / со) при любых объемах исходных данных оказывается значительно выше, чем при использовании стандартной оценки Парзена. Это согласуется и с результатами визуальной оценки формы восстановленных плотностей распределения вероятностей (рисунок 3.3).

X

Рисунок 3.3 - Форма восстановленных ПРВ одномерного мультигауссовского

распределения (N = 300, р = 4)

Видно также, что для смешанных ядерных ошибок при высоких значениях дисперсии величины и (при р = 4) интегральная среднеквадратическая ошибка для распределений всех типов оказывается значительно выше, чем при р = 1 и р = 0.25 (рисунок 3.2). Для оценок Парзена данная закономерность менее выражена и проявляется только для экспоненциального и, в меньшей степени, двумерного мультигауссовского распределений, в остальных случаях /Ж р слабо

зависит от соотношения дисперсий случайных величин и и V . Вероятно, подобная особенность смешанных оценок связана с тем, что при равных объемах исходных данных для распределений с большей дисперсией точность оценки ПРВ ри(и / со) оказывается ниже, что оказывает сильное влияние и на точность всей

смешанной оценки р(х / со). Также стоит отметить, что величина ошибки для обеих оценок в случае равномерного распределения значительно превышает величину ошибки в случае гауссовских распределений, что, вероятно, обусловлено тем, что при восстановлении плотности использовались гауссовские ядра, сильно отличающиеся по форме от равномерного распределения.

3.2.1.3 Использование аддитивной модели смешанных ядерных оценок для искусственного размножения данных

В [54, 59] автором было сформулировано и доказано следующее утверждение:

Утверждение 3.4. Пусть задана исходная выборка и1 = {и(1),..., и ^-1}, где и(*} - реализации случайного вектора и. Для каждого и(*} е и^ проводится искусственное размножение данных с использованием известной ПРВ ру (V), М[V] = 0 путем формирования подвыборок по Р образов с ПРВ

рж (w / и(*)), где w = и(*) + V + g , g - случайная величина с ПРВ, определяемой

видом ядерной функции, которая используется при построении СЯО: Рс(g) = "ф(g / И') = ^(g), М[g] = 0. Здесь к' = И(^ - параметр, значение

которого подбирается в зависимости от объема выборки N.

Тогда реализация описанной процедуры ИРД при Р ^да позволяет восстановить ПРВ рх(х / со) аддитивной смешанной оценки, что дает возможность говорить об эквивалентности применения рассматриваемой процедуры ИРД и СЯО для генерации данных при обучении алгоритмов классификации.

Для генерации данных на основе ПРВ известной рг (у), М [V] = 0 может быть использован любой известный метод моделирования случайных векторов, например метод исключений. Отметим, также, что плотность распределения рж ^ / и(*)) w = и(*) + q для любой q , если известна ре(д) , определяется

выражением рж (w / и(*)) = ре(w _ и(*)).

Для доказательства рассмотрим выборку данных следующего вида

иУ? = )},иц) = {w( * ,»,..., w( )}, w( ) = и(*) + ) + g(), к = 1Р,

т.е. выборку данных, полученных при генерации реализаций вектора аддитивного шума д = V + g на основе ПРВ р(у), М[у] = 0 , р0(g), М[g] = 0 , добавляемых к

точкам и(*) и сгруппированных в соответствующие подвыборки.

Рассмотрим теперь ядерную оценку ПРВ рш(м?! со) для величины

w = и + V + g = и + д по выборке и¥(кЫ) , в которой параметр к(РЫ) = к(Ышт) выбирается в соответствии с исходными свойствами при N ^да, к(N ) ^ 0 и

Г ^ Г *ит 5 V *ит /

Ыштк"(Ыии!) ^ да. Очевидно, что в случае, если Р^да, то ^да и к(РЫ) ^0, ЫРкп (ЫР) ^ да. Тогда

р„(м>/ со) =

1 N Р

РЫкп к=1

w _ (и<.)+„< -)+g(-)) >,= , ^ (^^

к

где каждая вложенная сумма (w) является ядерной оценкой и имеет при

условии и = и(*) следующий вид:

/ ч 1 р

К (w) = ——Y.ф

РУ ' Ркп к=1

)+g(*,к ))Л

к

= /(w / и = и(*) ) =

1 Р

Ркп к

V + g _ *,к) + g(*,кV к

При Р ^ да выполняется следующее предельное соотношение:

/р ( w / и = и(^) ^ рш (w / и(*)) = р ^ _ и(*)) = { ра (^ _ и(*)) _ V)рг =

V ' Р^да ■* ^

г 1

[—ф к 'п

<2

(w _ и(*)) _ V Л к'

ру№ = ^ _ и(*)).

У

Таким образом, полученная сумма рш{м?/ со) совпадает по форме с СЯО рх{х! со) плотности рх{х/ со), а, значит, сгенерированные на ее основе данные могут быть использованы для обучения так же, как и данные, сгенерированные на основе рх(х/ со) в соответствии с методом, описанном в п.п.3.1.

Очевидным следствием доказанного утверждения является то, что при достаточно больших N ^ да искусственное размножение данных может осуществляться как ",к) = и(4) + у(4,к), к = 1, Р , так как И = И(Щ) при этом стремится к нулю, а \ (g) стремится к дельта-функции.

Для смешанных оценок вида (3.11),(3.12) необходимо рассмотреть правила

выбора оптимальных значений И = к(и^) на основе анализа свойств обучающих

выборок по каждому из классов. Известная методика [77] определения

оптимального значения к = И(и%) для обычной (не смешанной) оценки основана

на нахождении максимума логарифма отношения правдоподобия при кросс-валидации обучающей выборки. Рассмотрим сначала обычную оценку (3.10)

~ / / \ 1 £ 1 - (

И

Задача максимизации логарифма отношения правдоподобия при кросс-валидации для нее формулируется следующим образом:

и(4) - и(

N N

ДЛ) = 1пП Ри (м(х)/Й;) = 11П

^ Ы 1 Л,( 4)_-,,(Р

'и,

5=1

И JJ

^ тах. (3.13)

И

где ри (и^ / со) - ядерная оценка ПРВ, полученная по всем элементам обучающей

выборки, за исключением и(4). В [77] также показано, что при использовании ядра с диагональной матрицей 5 = / область расположения максимума функции Ь(И)

для поиска оптимального значения путем перебора находится в определенных границах.

Сформулируем критерий нахождения оптимального к = к(и%) для смешанной ядерной оценки. Сложность здесь состоит в том, что нужно провести

кросс-валидацию, основываясь только на наблюдениях и^ = {и(1),...,и{ы-1} при

отсутствии изначально наблюдений Х^ = {х(1),...,х^}} величины, для которой

строится плотность распределения. Введем случайные векторы

X(*} = и(*} + V(*^ = 1, N, т.е. векторы, получаемые при независимом добавлении к

каждому значению и(*} случайных векторов, имеющих известное распределение Ру (у) . Предлагается использовать следующий критерий для выбора параметра

н = н(и?)

Ь(к) = 1пП (" + V / со)

«=1

N

=1 1П

^=1

-1— х £ Г Я ( и(*) + у(*) - и(Р)) Рк (У(*))йу

(N -1) р£ П '

Я (х - и(') ) = { ^ р

Р ф *

г

^ тах,

к

(3.14)

х - V - и

( р ) Л

V

к

Pv= (х - и(р) - V)р V(у)йУ.

Данный критерий определяет в качестве оптимального значения к = к(171е)

такое значение, которое максимизирует математическое ожидание логарифма отношения правдоподобия, полученное при усреднении по всем возможным

значениям случайных векторов X(*) = и(*) + V(*), * = 1, N . Учитывая избранный нами способ получения смешанной оценки, выражение (3.14) можно переписать в виде

~ N ~

Цк) = 1пЩ РХз(и{5) + 1 =

5=1

N

= £ 1П

*=1

1 N

(N -1) р=1,

^ 1 Л,(*) , •.,(*)_-.,(р)_-,,(РЛ

р ф *

—р

кп , Vк V

и ' + V - V"" - и

к

х Ру (у( р)) ру (V(*))

йу(р )йу (*)

^ тах.

к

(3.15)

Очевидно, что для любой пары независимых значений V(*), V(р) случайных величин V(*), V(р) максимум интеграла в (3.15) относительно к достигается для максимума подынтегрального выражения.

N ~

Использование (3.15) с многомерным интегралом для нахождения оптимального значения ¡г = путем перебора в заданном диапазоне значений,

за исключением случая гауссовской ПРВ рг (у), затруднено. Поэтому, опираясь на

(3.15), можно рассмотреть следующий способ определения И = И(и%) с использованием СЯО, а именно: осуществлять максимизацию выборочного математического ожидания Ь(И), построенного путем генерации для каждой точки

и(4), 4 = 1, N подвыборки У^ = {у( жД),..., у( 4 ,е )| позволяющей сформировать

значения ",г) = и(4) + у(4,г), г = 1,Q для подстановки в (3.15). Тогда, заменяя интеграл суммой, величину, максимизируемую при кросс-валидации, можно приближенно представить следующим образом:

Применение соотношения (3.16) в приведенном виде связано со значительными вычислительными затратами. На практике целесообразнее реализовывать пошаговую процедуру увеличения объема подвыборок У к ={у( д),.., у( 4 }, на каждом шаге Q = 1,2,... которой осуществляется контроль

изменений к = и ведется учет промежуточных результатов.

3.2.2 Теоретические основы смешанных ядерных оценок на основе мультипликативной модели и их экспериментальные исследования

3.2.2.1 Смешанные ядерные оценки на основе мультипликативной модели и их свойства

с

\

— тах.

и(4) + у(4,г) - и(Р)

И

J

(3.16)

Теперь рассмотрим мультипликативную модель данных. В этом случае

X = Н (и ,У) = и (1 + У) = и + иу, (3.17)

где произведение векторов и и У определяется как поэлементное произведение, т.е. значение случайного вектора Ж = иУ для любых значений и = (и,...,ип)т, у = (у,..., уп )т имеет вид

™ = (W1,..., К )Т = (U1У1,..., ипуп )Т .

Запишем общие преобразования для нахождения плотности распределения X. В соответствии с общими правилами нахождения функций случайных величин и случайных векторов для суммы зависимых случайных величин X = и + Ж необходимо воспользоваться совместной плотностью ^ш(и,w/ с). Далее для

упрощения выкладок зависимость от с на время опустим. Тогда при фиксированном и = и имеем w = х - и и, соответственно

Ри , Ж (U, ^ = Ри , Ж (u, х - и ) . Далее для нахождения плотности X может быть использована следующая формула

Рх (х) = 1 Риж (u, Х - и)Ри (иУи = (3.18)

= \Рж/и (х - и / и)Ри (и)^и = ¡Ри/ (и / х - и)Рж (х - иУи .

Рассмотрим условное распределение рж/и (х - и / и). Пусть У центрированная

случайная величина, т.е. М[У] = 0. Также, для определенности, предположим, что

дисперсия У достаточно мала (а] «1) так, что воздействие мультипликативного

искажения не может изменить знак исходного значения и .

Тогда при фиксированном и = и для каждой компоненты Ж = иУ влияние

и может рассматриваться как пропорциональное изменение дисперсии У .

Рассматривая в соответствии с правилами получения плотности распределения

функций случайных величин [87] систему функций Ж = Ф (У) = иУ, г = 1,п , а

также систему функций для обратного преобразования У = ^ (Ж) = Ж/и, г = 1,п, распределение рж//и) может определено на основе следующих соотношений:

Рш И 1 И ) = Ру ( U1,•••, ™п!ип )

д¥п

п

(3.19)

дм>, дм>

1 п

где второй сомножитель является определителем якобиана. В итоге получим

дщ

дц/х дц/х 1 •• 0

п их

0 . 1

п и п

1

1

№

2=1

п ?

пК1

I=1

Рш и (™ 1 и ) = ^Т— Ру ( ^ / и1, ™«1и« )

пК1

1=1

(3.20)

Отсюда искомая результирующая плотность распределения формируется как

Рх (Х) = 1"^ Ру ( (Х1 - UlV М1,-,( Хп - Ип V И ) Ри (U1,•••, Ип =

пи

1 Г х - иЛ

Р.

и

Ри (И У" ,

(3.21)

V и у

где в конечном выражении введено сокращенное условное обозначение для интеграла, в котором все операции сложения, умножения и деления для векторов имеют смысл поэлементных операций, а модуль |и| имеет смысл модуля якобиана в (3.20).

Плотность распределения, рассчитываемая по формуле (3.21), если она существует, в частности, отражает тот факт, что при фиксированном значении и = и для каждой компоненты Ш = влияние и может рассматриваться как

пропорциональное изменение дисперсии у .

Следует отметить, что получить выражение для плотности распределения в явном виде на основе интегралов в (3.21) в многомерном случае автору не удалось. Даже для одномерного случая можно получить выражения для такой плотности в

п

аналитическом виде весьма затруднительно. Тем не менее, выражения для искомой плотности распределения можно получить на основе численного интегрирования.

Кроме того, возможно использовать определенные оценки плотности распределения рх (х) . Предположим, что эта плотность, рассматриваемая как

математическое ожидание плотности рж/и(м / и) = |и| 1 ру ((х - и)/и) относительно и, существует. Тогда для ее оценки по выборке иЦ = {и(1),..., и)} из генеральной совокупности распределения ри (и) можно использовать выражение

1 N 1

р-(х) = N р

гх - и('^

и

и

(*)

Рх (х) ■

(3.22)

которое в соответствии с усиленным законом больших чисел в форме Колмогорова стремится к своему математическому ожиданию при увеличении объема выборочных данных.

Полученные соотношения позволяют определить правила, по которым может проводиться искусственное размножение данных в условиях дополнительных мультипликативных искажений. Пусть плотность р (и ,... , и ) задана в виде

непараметрической оценки по совокупности и1 = {и(1),..., и{ы)}

1 N

и - и

(*) Л

=1 : (и - и(*)),

N *=1

(3.23)

где \уы(и - и(*)) - функции ядра одного из возможных видов. На ее основе может быть получена смешанная ядерная оценка в виде

Рх(х) = \^г—>Ру((х1-и1)1и1>-Хх„ -ип)1ип)ри{и1,...,ипу1и1,..Лип= (3.24)

пК|

г=1

1: Ру ((х1- ими1,...,( х„- ип Уип м (и1- и1( * о/к..,(ип - ип о/ ^ Уи1,...^п=

т- *==(' ГТ|и

г=(

=N (х,и (*)) ■

где

(х, и(') ) = { 1 Р] \и\

г х - и ^ 1

и

к'

Ф

'и - и('л

к

du

(3.25)

сокращенное условное обозначение для интеграла в (3.24). Отметим, что при N ^ да

Ум ( и - и (*) ) = Ф

ги - и('Л

к

¿(и - и('}), (х,и(')

и

Ру

гх - и('Л

и

(*)

т.е. каждое слагаемое стремится к плотности распределения, вид которой определяется распределением Ж = и(* )У с подстановкой, впоследствии, в качестве аргумента (х - и(*-1)/и(*). Т.е. в данном случае мы получим результат, аналогичный (3.22).

По аналогии с аддитивной моделью в данном случае можно также рассмотреть вопросы асимптотической несмещенности и сходимости подобной оценки.

Пусть при задании параметра ядра как функции наблюдений к = к(N) и у/ы(и) = кг"(И)ср(и! к(И)) для каждой точки непрерывности плотности ри{и! со) выполняется [82]

1. у(и - У)Ри(у¥У ^ Ри(и) >

N ^да

2. Бир-1 Ум (и) ^ 0 .

N N ^да

Тогда оценка (3.23) является асимптотически несмещенной и состоятельной. Отметим, что первое из этих условий означает, что последовательность функций {у (и - у)} при N ^да сходится к дельта-функции с центром в точке у . Для

широкого класса функций, которые могут быть использованы в качестве ядра и обладают указанными выше свойствами такая сходимость имеет место, если, соответственно, при N ^ да к(N) ^ 0 . Второе свойство (состоятельности) при

использовании таких функций выполняется, если при N ^ да Nкn (N) ^ да.

Утверждение 3.5. Если плотность распределения ри{и) при ТУ—»да

к(N) ^ 0 является асимптотически несмещенной оценкой плотности р^ (и) для

всех и , то смешанная оценка рх(х / си) является асимптотически несмещенной оценкой рх (х / си).

Для доказательства запишем выражения для смешанной оценки, используя ранее приведенные соотношения (3.24, 3.25)

М

РЛх) 1 = (дг,^)] = м[3ы С/)] = \&ы{х,и)Ри{и)с1и = (3.26)

I

л '

!м ру и

х - г V 2 У

Л 1 Г2-иЛ

-ф

к"

к

dz

Ри (и ) ^ 1ы Р N и

1 Г х - иЛ

Ри (и = РХ (х) .

V и У

Здесь внутренний интеграл в квадратных скобках имеет предельное значение в соответствии со свойством предела для функции ядра при N ^ ш, при этом для внешнего интеграла выполняется предельное соотношение в соответствии с известными теоремами о пределах под знаком несобственного интеграла.

Утверждение 3.6. Если плотность распределения ри (и / со) при N —» да к(N) ^ 0 сходится в среднеквадратичном к плотности р(и / со) для всех и , то смешанная оценка р(х / со) аналогичным образом сходится к р(х / со).