Интеллектуальная поддержка принятия решений для предупреждения поллинозов на основе автоматического распознавания изображений пыльцы

Ханжина Наталья Евгеньевна

Интеллектуальная поддержка принятия решений для предупреждения поллинозов на основе автоматического распознавания изображений пыльцы тема диссертации и автореферата по ВАК РФ 05.13.10, кандидат наук Ханжина Наталья Евгеньевна

Ханжина Наталья Евгеньевна
кандидат наук
2021

Специальность ВАК РФ05.13.10

Количество страниц 264

Ханжина Наталья Евгеньевна. Интеллектуальная поддержка принятия решений для предупреждения поллинозов на основе автоматического распознавания изображений пыльцы: дис. кандидат наук: 05.13.10 - Управление в социальных и экономических системах. ФГАОУ ВО «Национальный исследовательский университет ИТМО». 2021. 264 с.

Оглавление диссертации кандидат наук Ханжина Наталья Евгеньевна

Реферат

Заключение

Synopsis

Введение

Глава 1. Обзор предметной области

1.1 Введение в палинологию

1.1.1 Пыльца. Характеристики пыльцевых зерен

1.1.2 Пыльцевой анализ

1.2 Мотивация исследования

1.2.1 Дополнительные области применения

1.3 Обзор существующих исследований

1.4 Набор данных

1.5 Требования к системе автоматического пыльцевого анализа

1.6 Обзор методов глубокого обучения

1.6.1 Нейронные сети

1.6.2 Сверточная нейросеть

1.6.3 Метод обратного распространения ошибки

1.6.4 Функции активации

1.6.5 Функции потерь

1.6.6 Механизмы регуляризации

1.7 Перенос знаний

1.7.1 Виды переноса знаний

1.7.2 Типы переноса знаний

1.8 Детекция изображений

1.8.1 Задача нахождения объектов на изображении

1.8.2 Общий вид архитектуры нейросетевого детектора

1.8.3 Двухэтапные и одноэтапные детекторы

1.8.4 Архитектуры для совместной классификации и локализации

1.9 Байесовское глубокое обучение

1.9.1 Байесовская нейронная сеть

1.9.2 Оценка апостериорного максимума

1.9.3 Вариационный вывод

1.9.4 Виды неопределенностей и их источники

1.10 Генеративные состязательные сети

1.10.1 Условные генеративные состязательные сети

1.10.2 Wasserstein GAN

1.11 Постановка цели и задач ВКР

Выводы по главе

Глава 2. Алгоритмы классификации изображений пыльцевых зерен

2.1 Базовый метод классификации

2.2 Few-shot learning

2.3 Сиамская нейронная сеть

2.4 Алгоритмы состязательного обучения для искусственного увеличения выборки изображений пыльцы

2.4.1 Self-attention GAN

2.4.2 StyleGAN

2.5 Эксперименты

2.6 Результаты предобучения классификаторов на искусственных изображениях

2.6.1 Количественные результаты

2.6.2 Качественные результаты

2.6.3 Анализ результатов

Выводы по главе

Глава 3. Метод отключения путей с расписанием на основе сем-

плирования Монте-Карло и непрерывной релаксации

3.1 Эпистемическая неопределенность

3.2 Метод отключения нейронов на основе семплирования Монте-Карло

3.3 Методы отключения сверточных фильтров и путей на основе семплирования Монте-Карло

3.4 Техника отключения путей с расписанием

3.5 Техника отключения нейронов на основе распределения Concrete

3.6 Метод отключения путей с расписанием на основе семплирования Монте-Карло и непрерывной релаксации

3.7 Эксперименты

3.7.1 Предобучение на искусственном наборе данных

3.7.2 Постановка экспериментов

3.8 Результаты

3.8.1 Результаты визуализации работы метода

Выводы по главе

Глава 4. Метод интерпретируемой детекции пыльцевых зерен на

изображениях

4.1 Алеаторная неопределенность для детекции изображений

4.2 Обзор архитектуры RetinaNet для детекции изображений

4.2.1 Feature Pyramid Network

4.2.2 Фокусная функция потерь

4.2.3 Сглаженная L1 функция потерь

4.2.4 Общая функция потерь

4.3 Вывод гомоскедастичной алеаторной неопределенности в байесовских глубоких нейронных сетях

4.3.1 Вывод алеаторной неопределенности для перекрестной энтропии

4.3.2 Вывод алеаторной неопределенности для функции потерь L2

4.4 Байесовская фокусная функция потерь

4.5 Байесовская сглаженная L1 функция потерь

4.6 Байесовская RetinaNet

4.7 Эксперименты

4.8 Результаты применения предложенных функций для детекции пыльцы на изображениях

Выводы по главе

Глава 5. Веб-сервис для предупреждения поллинозов на основе

автоматического распознавания изображений пыльцы

5.1 Реализация программного комплекса

5.2 Back-end-компонента веб-сервиса Pollen Analyst

5.3 Frant-end-компонента веб-сервиса Pollen Analyst

5.4 Интерфейс frant-end-компоненты

5.5 Интеграция веб-сервиса с информационной системой для аллергиков

5.6 Сравнение информационных сервисов аэропалинологического мониторинга

5.7 Сравнение систем автоматического пыльцевого анализа

5.8 Эффект от веб-сервиса Pollen Analyst

Выводы по главе

Заключение

Список литературы

Список иллюстраций

Список таблиц

Приложение А. Акты об использовании и внедрении результатов

диссертационного исследования

Приложение Б. Фрагменты исходного кода предложенных методов

Публикации

Реферат

Введение диссертации (часть автореферата) на тему «Интеллектуальная поддержка принятия решений для предупреждения поллинозов на основе автоматического распознавания изображений пыльцы»

Общая характеристика работы

Актуальность темы. Аллергия на пыльцу, или поллиноз, является глобальной проблемой для здоровья. Более 20% населения Европы имеет пыльцевую аллергию на различные виды растений1. Их число возросло на 35% за последние 11 лет2. В связи с высокой распространенностью респираторной аллергии данные о содержании в воздухе пыльцы аллергенных растений имеют важное медицинское и социально-экономическое значение3.

Пациентам нужна информация о ежегодном начале и продолжительности сезона выделения пыльцы, чтобы определить время начала лечения для контроля симптомов. При путешествии за пределы обычного места проживания пациент должен иметь информацию о риске потенциальных симптомов пыльцевой аллергии4. Существенные региональные различия содержания пыльцы требуют интеграции локальных данных и глобальной оценки проблемы5.

Вышеперечисленные проблемы обосновывают необходимость создания единой системы предупреждения поллинозов. Сейчас оценка концентрации пыльцы растений-аллергенов в воздухе осуществляется палинологами вручную на станциях аэропалинологического мониторинга. Мониторинг такого рода осуществляется с помощью микроскопа и сводится к кропотливой и долгой работе по определению родов и видов растений, которым принадлежат пыльцевые зерна, для определения концентрации аллергенов в воздухе6. Этот процесс выполняется вручную и занимает не менее половины времени мониторинга. В

1 Geographical variation in the prevalence of positive skin tests to environmental aeroallergens in the European Community Respiratory Health Survey I / P.-J. Bousquet [h gp.] // Allergy. 2007. T. 62, № 3. C. 301-309.

2Novoselova, L. V., Minaeva, N. Pollen monitoring in Perm Krai (Russia)-experience of 6 years // Acta Agrobotanica. 2015. T. 68, № 4.

3 Allergenic pollen and pollen allergy in Europe / G. D'Amato [h gp.] // Allergy. 2007. T. 62, № 9. C. 976-990; EFA. European federation of asthma report. 2016. URL: http : / /www . efanet . org/ air-quality/pollen.

4EFA. International ragweed day press release. 2015. URL: http : / /www. pollens.fr/docs/ CP-IRD-2015 . pdf; MACVIA-ARIA Sentinel NetworK for allergic rhinitis (MASK-rhinitis): the new generation guideline implementation / J. Bousquet [h gp.] // Allergy. 2015. T. 70, № 11. C. 1372-1392.

5Novoselova, L. V., Minaeva, N. Pollen monitoring in Perm Krai (Russia)-experience of 6 years // Acta Agrobotanica. 2015. T. 68, № 4; EFA. International ragweed day press release. 2015. URL: http : / / www.pollens.fr/docs/CP-IRD-2 015.pdf; Spatial and temporal variations in airborne Ambrosia pollen in Europe / B. Sikoparija [h ap.] // Aerobiologia. 2017. T. 33, № 2. C. 181-189.

6Novoselova, L. V., Minaeva, N. Pollen monitoring in Perm Krai (Russia)-experience of 6 years // Acta Agrobotanica. 2015. T. 68, № 4.

зависимости от региона, больные получают информацию с семи-десяти дневной задержкой. Кроме того, длительная работа палинологов с микроскопом вредит здоровью исследователей. Для ускорения процесса, повышения его безопасности и с целью предоставления актуальной информации аллергикам требуется разработка инструментов для автоматизации этапа идентификации пыльцы. Автоматизация может быть достигнута на основе распознавания изображений пыльцы с микроскопа, то есть определения вида растения по фотоснимку его пыльцевого зерна.

Результат автоматизации может быть использован в системе поддержки принятия решений, а именно веб-сервисе, куда палинологи, аллергологи и другие специалисты смогут загружать изображения пыльцы. Требования к работе системы - это точность распознавания и скорость обработки изображений. Входными данными для веб-сервиса будут изображения пыльцевых зерен, полученные с помощью микроскопа, а результатом — отчет о пыльцевом спектре (составе воздуха в процентном соотношении). Данный отчет будет использован для поддержки принятия специалистами решения о текущей аэропалинологической обстановке и можеть быть использован для дальнейшего информирования больных.

Степень разработанности темы. Задача автоматизации распрознавания пыльцы была впервые поставлена в 1968 г.7. С тех пор исследователи по всему миру предпринимали попытки ее решить. Большинство ученых выделяли узконаправленные признаки пыльцевых зерен, направленные на их природу, такие как форма, яркость, площадь, периметр, текстурные признаки, апертуры8. Некоторые из них использовали изображения со сканирующего электронного мик-роскопа9, некоторые использовали последовательности изображений в качестве разновидности 3D10, но большинство использовали стандартные методы машинного обучения: метод опорных векторов, линейный дискриминантный анализ,

1Flenley, J. The problem of pollen recognition // Problems in Picture Interpretation. 1968. С. 141-145.

8Chica, M. Authentication of bee pollen grains in bright-field microscopy by combining one-class

classification techniques and image processing // Microscopy research and technique. 2012. Т. 75, №№11.

С. 1475-1485; Development of a semi-automatic system for pollen recognition / A. Boucher [и др.] //

Aerobiologia. 2002. Т. 18, № 3/4. С. 195-201; Development of an automatic pollen classification system

using shape, texture and aperture features / C. Chudyk [и др.] // LWA 2015 Workshops: KDML, FGWM, IR,

and FGDB. 2015; Feasibility study on automated recognition of allergenic pollen: grass, birch and mugwort /

C. Chen [и др.] // Aerobiologia. 2006. Т. 22, № 4. С. 275-284.

9Allen, G. An automated pollen recognition system: a thesis submitted to Massey University, Turitea, Palmerston North, New Zealand in fulfilment of the requirements for the degree of Master of Engineering. 2008; Ronneberger, O., Burkhardt, H., Schultz, E. General-purpose object recognition in 3D volume data sets using gray-scale invariants-classification of airborne pollen-grains recorded with a confocal laser scanning microscope // Pattern Recognition, 2002. Proceedings. 16th International Conference on. Т. 2. IEEE. 2002. С. 290-295; Feasibility study on automated recognition of allergenic pollen: grass, birch and mugwort / C. Chen [и др.] // Aerobiologia. 2006. Т. 22, № 4. С. 275-284.

10Ronneberger, O., Burkhardt, H., Schultz, E. General-purpose object recognition in 3D volume data sets using gray-scale invariants-classification of airborne pollen-grains recorded with a confocal laser scanning microscope // Pattern Recognition, 2002. Proceedings. 16th International Conference on. Т. 2. IEEE. 2002. С. 290-295; Development of a semi-automatic system for pollen recognition / A. Boucher [и др.] // Aerobiologia. 2002. Т. 18, № 3/4. С. 195-201; Progress towards establishing collection standards for semi-

случайный лес, нейросети, k ближайших соседей и др. Автор данной работы также прибегал к стандартным методам машинного обучения для решения задачи распознавания пыльцы [4]. Несмотря на популярность и эффективность методов глубокого обучения, их применимость для решения задачи распознавания пыльцы впервые была исследована автором диссертации в рамках работ, выполненных на этапе бакалаврской ВКР [4]. Последующие опубликованные результаты других исследований по этой теме также лежат в области глубокого обуче-ния11. Однако существующие работы обладают значительными недостатками. Так, лишь некоторые исследования включают этапы детекции или сегментации пыльцевых зерен для их подсчета, хотя они также важны для автоматизации, так как ручное кадрирование занимает долгое время, а подсчет пыльцевых зерен является главной целью автоматизации во многих случаях. Также среди методов распознавания пыльцевых зерен особый интерес представляют собой методы масштабирования нейросетей на редкие классы растений, в том числе - из-за отсутствия больших открытых наборов данных, размеченных для задач детекции и классификации. Для борьбы с этими проблемами в данном диссертационном исследовании предлагается использовать глубокое обучение, в том числе перенос знаний, генерацию изображений на основе состязательного обучения, а также методы байесовского вывода для оценки неопределенности моделей и данных и повышения интерпретируемости результатов для поддержки принятия решений специалистами.

Целью работы является улучшение качества и повышение безопасности аэропалинологического мониторинга на основе уменьшения ошибок и сокращения времени распознавания изображений пыльцы с оптического микроскопа с помощью автоматизации для целей здравоохранения.

Для достижения указанной цели определены следующие задачи исследования:

a) Разработать методы классификации пыльцевых зерен на изображениях на основе сверточных нейронных сетей с использованием перено-

automated pollen classification in forensic geo-historical location applications / K. C. Riley [и др.] // Review of Palaeobotany and Palynology. 2015. Т. 221. С. 117-127.

11Daood, A., Ribeiro, E., Bush, M. Classifying pollen using robust sequence alignment of sparse Z-stack volumes // International Symposium on Visual Computing. Springer. 2016. С. 331-340; Menad, H., Ben-Naoum, F., Amine, A. Deep Convolutional Neural Network for Pollen Grains Classification. // JERI. 2019; Sevillano, V., Aznarte, J. L. Improving classification of pollen grain images of the POLEN23E dataset through three different applications of deep learning convolutional neural networks // PloS one. 2018. Т. 13, № 9. e0201807; Sevillano, V., Holt, K., Aznarte, J. L. Precise automatic classification of 46 different pollen types with convolutional neural networks // Plos one. 2020. Т. 15, № 6. e0229751; Automated classification of airborne pollen using neural networks / J. Schiele [и др.] // 2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). IEEE. 2019. С. 4474-4478; Large-scale Pollen Recognition with Deep Learning / A. R. de Geus [и др.] // 2019 27th European Signal Processing Conference (EUSIPCO). IEEE. 2019. С. 1-5; Precise pollen grain detection in bright field microscopy using deep learning techniques / R. Gallardo-Caballero [и др.] // Sensors. 2019. Т. 19, № 16. С. 3583; The use of convolutional neural network LeNet for pollen grains classification / A. Korobeynikov [и др.] // Приборостроение, электроника и телекоммуникации-2018: Сборник статей IV Междунар. форума «IEET-2018». Ижевск. 2018. С. 38-44.

са знаний и состязательного обучения для искусственного увеличения выборки с целью обеспечения поддержки принятия решений.

б) Разработать методы оценки эпистемической неопределенности моделей классификации пыльцевых зерен на изображениях на основе байесовского глубокого обучения для повышения интерпретируемости результатов методов при принятии решений и адаптации решений на новые данные.

в) Разработать методы детекции пыльцевых зерен на изображениях для их подсчета на основе глубокого обучения, а также методы оценки але-аторной неопределенности на основе байесовского глубокого обучения для повышения точности результатов методов.

г) Экспериментально проверить разработанные методы распознавания пыльцы на изображениях, оценки эпистемической и алеаторной неопределенностей, а также методы состязательного обучения для искусственного увеличения выборки.

д) Разработать программный комплекс и веб-сервис по автоматизации распознавания изображений пыльцевых зерен для поддержки принятия решений в процессе аэропалинологического мониторинга воздуха с целью предупреждения поллинозов и экспериментально оценить его влияние на эффективность работы аэропалинологических станций.

Объект исследования — процесс аэропалинологического мониторинга воздуха для предупреждения поллинозов.

Предмет исследования — методы автоматической обработки изображений пыльцы.

Основные положения, выносимые на защиту:

1. Алгоритм контрастного обучения сиамской нейронной сети для повышения точности распознавания изображений пыльцевых зерен.

2. Алгоритм классификации изображений пыльцы на основе предобуче-ния сверточной нейронной сети на искусственных изображениях пыльцевых зерен, полученных с помощью генеративной состотязательной нейронной сети с целью повышения точности решений, предоставляемых аллергологам.

3. Метод отключения путей по расписанию на основе семплирова-ния Монте-Карло и непрерывной релаксации (Monte Carlo Concrete DropPath, MC Concrete DropPath) для оценки эпистемической неопределенности предсказания нейронной сети на основе вариационного байесовского вывода для повышения интерпретируемости решений с целью предупреждения поллинозов и адаптации решений к новым данным.

4. Байесовская фокусная функция потерь (Bayesian Focal Loss) для оценки алеаторной неопределенности предсказания нейронной сети в задаче классификации для повышения интерпретируемости при принятии врачами решений по предупреждению поллиноза.

5. Байесовская сглаженная функция потерь L 1 (Bayesian Smooth L1 Loss) для оценки алеаторной неопределенности предсказания нейронной сети в задаче детекции для повышения интерпретируемости принятия врачами решений по предупреждению поллиноза.

Научная новизна. В работе получены следующие новые научные результаты:

а) Впервые предложен метод отключения путей по расписанию на основе семплирования Монте-Карло и непрерывной релаксации (MC Concrete DropPath) для оценки эпистемической неопределенности предсказания нейронной сети на основе вариационного вывода. Новизна состоит в оценке эпистемической неопределенности с помощью модификации метода отключения нейронов на основе семплирования Монте-Карло (Monte Carlo Dropout, MC Dropout) путем отключения не отдельных нейронов нейросети, но целых путей в сверточных блоках. Параметр вероятности отключения оптимизируется на основе замены распределения Бернулли на непрерывное распределение Concrete. Метод применяется на этапе предсказания, позволяя делать его более точно.

б) Впервые предложена байесовская фокусная функция потерь (Bayesian Focal Loss) для оценки гомоскедастичной алеаторной неопределенности предсказания нейронной сети на основе байесовского моделирования для задачи классификации. Новизна состоит в разработке новой функции потерь с обучаемой компонентой алеаторной неопределенности, основанной на фокусной функции потерь (Focal Loss), эффективной для задач с высоким дисбалансом классов.

в) Впервые предложена байесовская сглаженная функция потерь Li (Bayesian Smooth Li Loss) для оценки гомоскедастичной алеаторной неопределенности предсказания нейронной сети на основе байесовского моделирования для задачи детекции. Новизна состоит в разработке новой функции потерь с обучаемой компонентой алеаторной неопределенности, основанной на сглаженной функции потерь (Smooth Li Loss), эффективной для задачи детекции.

Методология и методы исследований. Работа выполнена в методологии машинного обучения. В работе используются методы машинного обучения и компьютерного зрения, в частности, обучение с учителем, глубокое обучение, генеративное состязательное обучение, байесовский вывод, методы дискретной математики, методы теории вероятности и математической статистики, принципы объектно-ориентированного программирования, а также методология проведения вычислительных экспериментов для оценки работы алгоритмов.

Достоверность научных положений, выводов и практических рекомендаций, полученных в диссертации, обеспечивется корректным обоснованием постановок задач, точной формулировкой критериев, а также результатами экспериментов по использованию предложенных в диссертации методов и их анализом.

Соответствие паспорту специальности. В соответствии с паспортом специальности 05.13.10 - «Управление в социальных и экономических системах» диссертация относится к области исследований «10. Разработка методов и алгоритмов интеллектуальной поддержки принятия управленческих решений в экономических и социальных системах».

Теоретическое значение работы состоит в том, что разработанные методы и алгоритмы позволяют автоматически распознавать пыльцу на изображениях с микроскопа на основе глубокого обучения, генеративного состязательного обучения и байесовского вывода. Кроме того, разработанные методы оценки неопределенности позволяют повысить интерпретируемость моделей глубокого обучения. Разработанные методы и функции развивают область оценки неопределенности на основе глубокого байесовского обучения и масштабируемы на другие модели глубокого обучения, а именно показана обобщаемость метода отключения путей по расписанию на основе семплирования Монте-Карло и непрерывной релаксации (MC Concrete DropPath) для оценки эпистемической неопределенности предсказания нейронной сети к многопутевым архитектурам глубоких нейросетей в задачах классификации объектов на изображениях. Оценка алеаторной неопределенности на основе предложенной байесовской фокусной функции потерь (Bayesian Focal Loss) применима ко всем архитектурам глубоких нейросетей для классификации объектов на изображениях, обучаемых с фокусной функцией потерь (Focal Loss), популярной для задач с сильным дисбалансом классов, таких как детекция объектов. Оценка алеаторной неопределенности на основе предложенной байесовской сглаженной функции потерь Li (Bayesian Smooth L1 Loss) применима ко всем архитектурам глубоких нейросе-тей для детекции объектов на изображениях, обучаемых со сглаженной функцией потерь Li (Smooth Li Loss), популярной для задач детекции объектов.

Практическое значение работы состоит в решении задачи автоматизации распознавания пыльцы на изображениях с микроскопа для поддержки принятия специалистами решений в рамках аэропалинологического мониторинга с целью предупреждения поллинозов. Экспериментально показано, что применение предложенных методов глубокого обучения, оценки неопределенности и генерации изображений пыльцы снизило ошибку классификации и детекции, повышая качество аэропалинологического мониторинга. К тому же методы оценки неопределенности позволяют получать вероятностную интерпретацию полученных предсказаний. Разработанные методы легли в основу веб-сервиса для поддержки принятия решений на основе автоматизации распознавания видов растений по фотоснимкам их пыльцевых зерен с оптического микросопа. Автоматизация позволяет повысить безопасность мониторинга и сократить усилия палинологов, чтобы обеспечить пациентов с поллинозом актуальной информацией о качестве воздуха с целью предупреждения симптомов болезни. Результаты диссертационного исследования были внедрены в работу станции аэропалинологического мониторинга, занимающейся контролем концентрации пыльцевых зерен растений-аллергенов в воздухе, и в информационный сервис для аллер-

гиков на базе ФГАОУ ВО «Пермский государственный национальный исследовательский университет». Внедрение алгоритмов и методов, разработанных в рамках диссертации, позволяет ускорить процесс пыльцевого анализа в два-три раза, сократив время анализа пробы с пыльцеуловителя с нескольких часов до менее минуты, путем автоматизации распознавания пыльцевых зерен для выявления аллергенов. Это позволяет своевременно предоставить информацию больным. Внедрение результатов диссертационного исследования имеет существенный социальный эффект, который подтвержден актами о внедрении.

Внедрение результатов работы. Система поддержки принятия решений в виде веб-сервиса, реализующего методы обучения нейросети сети на искусственных изображениях, полученных генеративными состязательными сетями, отключения путей по расписанию на основе семплирования Монте-Карло и непрерывной релаксации (MC Concrete DropPath), байесовской фокусной функции потерь (Bayesian Focal Loss) и байесовской сглаженной функции потерь Li (Bayesian Smooth L\ Loss) внедрена в рабочие процессы станций аэропалинологического мониторинга и в информационный сервис для аллергиков в г. Пермь, что подтверждается актами о внедрении. Веб-сервис решает задачи распознавания пыльцевых зерен на фотографиях с оптического микроскопа, а именно их детекции и классификации по видам растений, их подсчета и составления палинологического отчета с дальнейшей загрузкой результатов в информационный сервис для аллергиков. Интерфейс веб-сервиса позволяет палинологам загружать фотографии в систему, отправлять их для распознавания, выгружать сформированный палинологический отчет. Отчет содержит в себе фотографии с найденными и отмеченными на них пыльцевыми зернами, уверенностью нейро-сети в распознанном виде растений. Веб-сервис использован для автоматизации работы палинологов и интегрирован с сервисом для информирования больных поллинозом о необходимости начала лечения. Также он может использоваться врачами-аллергологами для назначения лечения путем сопоставления симптомов больных с наличием и концентрацией пыльцы конкретных видов растений-аллергенов в воздухе.

Апробация результатов работы. Основные результаты докладывались на следующих конференциях:

а) Всероссийская научная школа-семинар «Методы компьютерной диагностики в биологии и медицине» 2015 г., Саратов.

б) Высокопроизводительные вычисления на графических процессорах, 2016 г., ПГНИУ, Пермь.

в) Всероссийский конгресс молодых ученых Университета ИТМО,

2016 г., Университет ИТМО, Санкт-Петербург.

г) Всероссийский конгресс молодых ученых Университета ИТМО,

2017 г., Университет ИТМО, Санкт-Петербург.

д) XLVI Научная и учебно-методическая конференция Университета ИТ-МО, 2018 г., Университет ИТМО, Санкт-Петербург.

е) XLVII Научная и учебно-методическая конференция Университета ИТМО, 2019 г., Университет ИТМО, Санкт-Петербург.

ж) Digital Transformation & Global Society: DTGS, 2016 г., Университет ИТМО, Санкт-Петербург.

и) XXVI European Symposium on Artificial Neural Networks, Computational Intelligence and Machine Learning: ESANN, 2018 г., Брюгге, Бельгия.

к) XXIV International Conference on Medical Image Computing and Computer Assisted Intervention: MICCAI, 2021 г., онлайн.

л) XXXV Conference on Neural Information Processing Systems: NeurIPS, 2021 г., онлайн.

Личный вклад автора.

Идея метода оценки алеаторной неопределенности с помощью нейронной сети на основе байесовского моделирования для задачи классификации - байесовская фокусная функция потерь (Bayesian Focal Loss) - принадлежит лично автору диссертации. Реализация алгоритмов на базе предложенного метода и проведение вычислительных экспериментов принадлежит совместно автору диссертации и А.С. Лапенку. Идея метода оценки алеаторной неопределенности с помощью нейронной сети на основе байесовского моделирования для задачи детекции - байесовская сглаженная функция потерь L1 (Bayesian Smooth L1 Loss) - принадлежит лично автору диссертации. Реализация алгоритмов на базе предложенного метода и проведение вычислительных экспериментов принадлежит совместно автору диссертации и А.С. Лапенку. В публикации [1] идея применения разработанных функций потерь к задаче детекции пыльцы принадлежит лично автору, проведение экспериментов осуществлялось лично автором.

В публикации [2] идея метода отключения путей по расписанию на основе семплирования Монте-Карло и непрерывной релаксации (MC Concrete DropPath) для оценки эпистемической неопределенности предсказания нейронной сети на основе вариационного байесовского вывода принадлежит лично автору диссертации, реализация алгоритмов на базе предложенного метода и проведение вычислительных экспериментов принадлежит совместно автору диссертации и М.Ю. Каширину, А.А. Фильченков выступал научным консультантом.

В публикации [3] идея применения методов машинного обучения принадлежит совместно автору диссертации и Е.О. Путину. Реализация алгоритмов и проведение вычислительных экспериментов принадлежит лично автору диссертации. Е.О. Путин осуществлял научное консультирование.

В публикации [4] идея применения сверточных нейронных сетей принадлежит совместно автору диссертации, Е.Б. Замятиной, Е.О. Путину и А.А. Филь-ченкову. Реализация алгоритмов и проведение вычислительных экспериментов принадлежит лично автору диссертации. Е.Б. Замятина, Е.О. Путин и А.А. Филь-ченков осуществляли научное консультирование.

Публикации. Основные результаты по теме диссертации изложены в девяти публикациях, в том числе четырех, входящих в базы Scopus и Web of Science,

и трех, которые приравниваются к рецензируемым научным изданиям из списка рекомендованных ВАК.

Объем и структура работы. Диссертация состоит из введения, пяти глав, заключения и двух приложений. Объем диссертации - 122 страницы с 45 рисунками и 13 таблицами. Список литературы содержит 168 наименований.

Содержание работы

Во введении обосновывается актуальность исследований, проводимых в рамках данной диссертационной работы, приводится краткий обзор научной литературы по изучаемой проблеме, формулируется цель исследования, ставятся задачи работы, излагается научная новизна, теоретическая и практическая значимость представляемой работы, описывается апробация и внедрение полученных результатов.

В первой главе приводится обзор предметной области, описывается методология исследования.

В разделе 1.1 приводится медицинская основа исследования - поллиноз, ее причина - пыльца, место автоматизации в аэропалинологическом мониторинге. Рассматриваются этапы анализа пыльцы с фокусом на аэропалинологию.

Первый этап - это сбор пыльцы. Для целей аэропалинологического мониторинга сначала из воздуха пыльцу улавливают с помощью пыльцеуловителя. Текущий стандартный инструмент определения пыльцы в воздухе во всех европейских пыльцевых сетях - это объемная пыльцевая ловушка Херста12. При этом, основанные на ней ловушки Ланзони и Буркарда наиболее распространены на аэропалинологических станциях13. Подобно пылесосу, они втягивают воздух

14

вместе с пыльцевыми зернами, которые осаждаются на липкую ленту14.

Второй после сбора этап палинологического анализа заключается в химической обработке образцов пыльцы в лаборатории. Для приготовления микропрепаратов пыльцевых зерен наиболее часто используют метод Вудхауза, кото-

12Hirst, J. An automatic volumetric spore trap // Annals of applied Biology. 1952. Т. 39, № 2. С. 257-265.

13Chikhladze, M., Khachapuridze, D., Sepiashvili, R. The use of the Burkhard Pollen Trap to study the aeroecological profile in Georgia // International Journal on Immunorehabilitation. 2009. Т. 11, № 2. 200b-200b; Airborne pollen in Padua (NE-Italy): A comparison between two pollen samplers / M. Giorato [и др.] // Aerobiologia. 2003. Т. 19, № 2. С. 129-131; Birch pollen grains without cytoplasmic content in the air of Szczecin and Bialystok/ M. Puc [и др.] // Alergoprofil. 2016. Т. 12, № 2. С. 101-105; Japanese cedar airborne pollen monitoring by Durham's and burkard samplers in Japan-estimation of the usefulness of Durham's sampler on Japanese cedar pollinosis / R. Kishikawa [и др.] // Global Environ Res. 2009. Т. 13. С. 55-62; Mugwort pollen season in southern Poland and Lviv (Ukraine) in 2015 / K. Piotrowska-Weryszko [и др.] // Alergoprofil. 2016. Т. 12, № 1.

14Faegri, K., Iversen, J. Textbook of pollen analysis (4th edn by Faegri, K., Kaland, PE & Krzywinski, K.) 1989.

рый заключается в окрашивании пыльцевых зерен слабым спиртовым раствором фуксина и последующем заключении их в глицерин-желатиновую среду. В случае с пыльцеуловителем микропрепараты подготавливаются путем снятия пробы с липкой ленты, которая является составной частью пыльцевой ловушки. Этот этап схематично изображен на рис. Р.1.

Рисунок Р.1 - Обработка пыльцы из пыльцеуловителя

Следующий этап обработки пыльцевых данных - микроскопирование и подсчет пыльцевых зерен в каждом образце. Для микроскопирования в рамках диссертации используется световой микроскоп проходящего света с увеличением в 400-1000 раз. При подсчете пыльцы и спор для анализа необходимо насчитывать статистически значимое количество зерен. В задачах аэропалинологии и врачебной палинологии специалисты насчитывают 500 пыльцевых зерен15.

Список литературы диссертационного исследования кандидат наук Ханжина Наталья Евгеньевна, 2021 год

Литература

1. Canonica G. W. et al. WAO White Book on Allergy //USA: World Allergy Organization. -2013.

2. Bousquet P. J. et al. Geographical variation in the prevalence of positive skin tests to environmental aeroallergens in the European Community Respiratory Health Survey I //Allergy. - 2007. - Т. 62. - №. 3. - С. 301-309.

3. D'Amato G., Cecchi L., Liccardi G. Thunderstorm-related asthma: not only grass pollen and spores //Journal of Allergy and Clinical Immunology. - 2008. - Т. 121. - №. 2. - С. 537.

4. De Weger L. A. et al. Allergenic pollen: a review of the production, release, distribution and health impacts. - 2013.

5. Jaeger S. The trouble with threshold values for allergy forecasts //AEROBIOLOGICAL MONOGRAPHS. Towards a comprehensive vision, edited by: Clot, B., Comtois, P., and Escamilla-Garcia, B. - 2006. - С. 233-245.

6. Caillaud D. M. et al. Nonlinear short-term effects of airborne Poaceae levels on hay fever symptoms //Journal of allergy and clinical immunology. - 2012. - Т. 130. - №. 3. - С. 812.

7. Committee for Medicinal Products for Human Use et al. European Medicines Agency Committee for Medicinal Products for Human Use (CHMP) guideline on the evaluation of anticancer medicinal products in man //London, UK: European Medicines Agency. - 2006.

8. Sikoparija B. et al. Spatial and temporal variations in airborne Ambrosia pollen in Europe //Aerobiologia. - 2017. - T. 33. - №. 2. - C. 181-189.

9. Novoselova L. V., Minaeva N. Pollen monitoring in Perm Krai (Russia)-experience of 6 years //Acta Agrobotanica. - 2015. - T. 68. - №. 4.

10. Pfaar O. et al. Definition von Pollenexpositionszeiten für klinische Studien zur Allergen-Immuntherapie bei polleninduzierter Rhinokonjunktivitis-ein EAACI-Positionspapier //Allergologie. - 2018. - T. 41. - №. 9. - C. 386.

11. Pfaar O. et al. Definition von Pollenexpositionszeiten für klinische Studien zur Allergen-Immuntherapie bei polleninduzierter Rhinokonjunktivitis-ein EAACI-Positionspapier //Allergologie. - 2018. - T. 41. - №. 9. - C. 386.

12. Flenley J. R. The problem of pollen recognition //Problems in Picture Interpretation, Clowes MB, Penny JP (eds). CSIRO: Canberra. - 1968. - C. 141-145.

13. Boucher A. et al. Development of a semi-automatic system for pollen recognition //Aerobiologia. - 2002. - T. 18. - №. 3. - C. 195-201.

14. Chen C. et al. Feasibility study on automated recognition of allergenic pollen: grass, birch and mugwort //Aerobiologia. - 2006. - T. 22. - №. 4. - C. 275-284.

15. Ronneberger O., Schultz E., Burkhardt H. Automated pollen recognition using 3D volume images from fluorescence microscopy //Aerobiologia. - 2002. - T. 18. - №. 2. - C. 107-115.

16. Chica M. Authentication of bee pollen grains in bright-field microscopy by combining one-class classification techniques and image processing //Microscopy research and technique. -2012. - T. 75. - №. 11. - C. 1475-1485.

17. Chudyk C. et al. Development of an automatic pollen classification system using shape, texture and aperture features //LWA 2015 Workshops: KDML, FGWM, IR, and FGDB. - 2015.

18. Khanzhina N., Putin E. Pollen recognition for allergy and asthma management using gist features //International Conference on Digital Transformation and Global Society. - Springer, Cham, 2016. - C. 515-525.

19. Khanzhina N. et al. Pollen grain recognition using convolutional neural network //ESANN. - 2018.

20. Daood A., Ribeiro E., Bush M. Sequential recognition of pollen grain Z-stacks by combining CNN and RNN //The Thirty-First International Flairs Conference. - 2018.

21. Sevillano V., Holt K., Aznarte J. L. Precise automatic classification of 46 different pollen types with convolutional neural networks //Plos one. - 2020. - T. 15. - №. 6. - C. e0229751.

22. Schiele J. et al. Automated classification of airborne pollen using neural networks //2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). - IEEE, 2019. - C. 4474-4478.

23. Northcutt C. G., Athalye A., Mueller J. Pervasive label errors in test sets destabilize machine learning benchmarks //arXiv preprint arXiv:2103.14749. - 2021.

24. Kendall A., Gal Y. What uncertainties do we need in bayesian deep learning for computer vision? //arXiv preprint arXiv:1703.04977. - 2017.

25. Kendall A., Gal Y., Cipolla R. Multi-task learning using uncertainty to weigh losses for scene geometry and semantics //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2018. - C. 7482-7491.

26. Bendale A., Boult T. E. Towards open set deep networks //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2016. - C. 1563-1572.

27. Harakeh A., Smart M., Waslander S. L. Bayesod: A bayesian approach for uncertainty estimation in deep object detectors //2020 IEEE International Conference on Robotics and Automation (ICRA). - IEEE, 2020. - C. 87-93.

28. Kraus F., Dietmayer K. Uncertainty estimation in one-stage object detection //2019 IEEE Intelligent Transportation Systems Conference (ITSC). - IEEE, 2019. - С. 53-60.

29. Miller D. et al. Dropout sampling for robust object detection in open-set conditions //2018 IEEE International Conference on Robotics and Automation (ICRA). - IEEE, 2018. - С. 32433249.

30. Miller D. et al. Evaluating merging strategies for sampling-based uncertainty techniques in object detection //2019 International Conference on Robotics and Automation (ICRA). - IEEE, 2019. - С. 2348-2354

31. Miller D. et al. Uncertainty for Identifying Open-Set Errors in Visual Object Detection //arXiv preprint arXiv:2104.01328. - 2021.

32. Postels J. et al. Sampling-free epistemic uncertainty estimation using approximated variance propagation //Proceedings of the IEEE/CVF International Conference on Computer Vision. -2019. - С. 2931-2940.

33. Kraus F., Dietmayer K. Uncertainty estimation in one-stage object detection //2019 IEEE Intelligent Transportation Systems Conference (ITSC). - IEEE, 2019. - С. 53-60.

34. Le M. T. et al. Uncertainty estimation for deep neural object detectors in safety-critical applications //2018 21st International Conference on Intelligent Transportation Systems (ITSC). - IEEE, 2018. - С. 3873-3878.

35. Lin T. Y. et al. Focal loss for dense object detection //Proceedings of the IEEE international conference on computer vision. - 2017. - С. 2980-2988.

36. Huber P. J. Robust estimation of a location parameter //Breakthroughs in statistics. -Springer, New York, NY, 1992. - С. 492-518.

37. Abramowitz M., Stegun I. A., Romer R. H. Handbook of mathematical functions with formulas, graphs, and mathematical tables. - 1988.

38. Khanzhina N., Lapenok L., Filchenkov A. Towards Robust Object Detection: Bayesian RetinaNet for Homoscedastic Aleatoric Uncertainty Modeling. Submitted to BMAW, UAIA preprint: http://genome.ifmo.ru/files/papers_files/UAI.

39. Набор данных пыльцы с оптического микросопа. URL: http://genome.ifmo.ru/files/papers_files/Allergy2018/.

40. He K. et al. Deep residual learning for image recognition //Proceedings of the IEEE conference on computer vision and pattern recognition. - 2016. - С. 770-778.

41. Keras-RetineNet. https://github.com/fizyr/keras-retinanet, дата обращения 11.06.2021.

42. Chollet F. et al. Keras: The python deep learning library //Astrophysics Source Code Library. - 2018. - С. ascl: 1806.022.

43. Kingma D. P., Ba J. Adam: A method for stochastic optimization //arXiv preprint arXiv:1412.6980. - 2014.

44. Xianzhi Du, Tsung-Yi Lin, Pengchong Jin, Golnaz Ghiasi, Mingxing Tan, Yin Cui, Quoc V. Le, and Xiaodan Song. Spinenet: Learning scale-permuted backbone for recognition and localization. In2020 IEEE/CVF Conference on Computer Visionand Pattern Recognition, CVPR 2020, Seattle, WA, USA, June 13-19, 2020, pages 11589-11598. IEEE, 2020.

45. Shifeng Zhang, Cheng Chi, Yongqiang Yao, Zhen Lei, and Stan Z. Li. Bridging the gap between anchor-based andanchor-free detection via adaptive training sample selection. In2020 IEEE/CVF Conference on Computer Vision andPattern Recognition, CVPR 2020, Seattle, WA, USA, June 13-19, 2020, pages 9756-9765. IEEE, 2020.

References

1. Canonica, G. W., Holgate, S. T., Lockey, R. F., Blaiss, M. S., & Pawankar, R. (2013). WAO White Book on Allergy. USA: World Allergy Organization.

2. Bousquet, P. J., Chinn, S., Janson, C., Kogevinas, M., Burney, P., & Jarvis, D. (2007). Geographical variation in the prevalence of positive skin tests to environmental aeroallergens in the European Community Respiratory Health Survey I. Allergy, 62(3), 301-309.

3. D'Amato, G., Cecchi, L., & Liccardi, G. (2008). Thunderstorm-related asthma: not only grass pollen and spores. Journal of Allergy and Clinical Immunology, 121(2), 537.

4. De Weger, L. A., Bergmann, K. C., Rantio-Lehtimäki, A., Dahl, A., Buters, J., Déchamp, C., ... & Waisel, Y. (2013). Allergenic pollen: a review of the production, release, distribution and health impacts.

5. Jaeger, S. (2006). The trouble with threshold values for allergy forecasts. AEROBIOLOGICAL MONOGRAPHS. Towards a comprehensive vision, edited by: Clot, B., Comtois, P., and Escamilla-Garcia, B, 233-245.

6. Caillaud, D. M., Martin, S., Segala, C., Besancenot, J. P., Clot, B., & Thibaudon, M. (2012). Nonlinear short-term effects of airborne Poaceae levels on hay fever symptoms. Journal of allergy and clinical immunology, 130(3), 812.

7. Committee for Medicinal Products for Human Use. (2006). European Medicines Agency Committee for Medicinal Products for Human Use (CHMP) guideline on the evaluation of anticancer medicinal products in man. London, UK: European Medicines Agency.

8. Sikoparija, B., Skj0th, C. A., Celenk, S. E. V. C. A. N., Testoni, C., Abramidze, T., Kübler, K. A., ... & Smith, M. (2017). Spatial and temporal variations in airborne Ambrosia pollen in Europe. Aerobiologia, 33(2), 181-189.

9. Novoselova, L. V., & Minaeva, N. (2015). Pollen monitoring in Perm Krai (Russia)-experience of 6 years. Acta Agrobotanica, 68(4).

10. Pfaar, O., Bastl, K., Berger, U., Buters, J., Calderon, M. A., Clot, B., ... & Bergmann, K. C. (2018). Definition von Pollenexpositionszeiten für klinische Studien zur Allergen-Immuntherapie bei polleninduzierter Rhinokonjunktivitis-ein EAACI-Positionspapier. Allergologie, 41(9), 386.

11. Pfaar, O., Bastl, K., Berger, U., Buters, J., Calderon, M. A., Clot, B., ... & Bergmann, K. C. (2018). Definition von Pollenexpositionszeiten für klinische Studien zur Allergen-Immuntherapie bei polleninduzierter Rhinokonjunktivitis-ein EAACI-Positionspapier. Allergologie, 41(9), 386.

12. Flenley, J. R. (1968). The problem of pollen recognition. Problems in Picture Interpretation, Clowes MB, Penny JP (eds). CSIRO: Canberra, 141-145.

13. Boucher, A., Hidalgo, P. J., Thonnat, M., Belmonte, J., Galan, C., Bonton, P., & Tomczak, R. (2002). Development of a semi-automatic system for pollen recognition. Aerobiologia, 18(3), 195-201.

14. Chen, C., Hendriks, E. A., Duin, R. P., Reiber, J. H., Hiemstra, P. S., de Weger, L. A., & Stoel, B. C. (2006). Feasibility study on automated recognition of allergenic pollen: grass, birch and mugwort. Aerobiologia, 22(4), 275-284.

15. Ronneberger, O., Schultz, E., & Burkhardt, H. (2002). Automated pollen recognition using 3D volume images from fluorescence microscopy. Aerobiologia, 18(2), 107115.

16. Chica, M. (2012). Authentication of bee pollen grains in bright-field microscopy by combining one-class classification techniques and image processing. Microscopy research and technique, 75(11), 1475-1485.

17.Chudyk, C., Castaneda, H., Leger, R., Yahiaoui, I., & Boochs, F. (2015, October). Development of an automatic pollen classification system using shape, texture and aperture features. In LWA 2015 Workshops: KDML, FGWM, IR, and FGDB.

18. Khanzhina, N., & Putin, E. (2016, June). Pollen recognition for allergy and asthma management using gist features. In International Conference on Digital Transformation and Global Society (pp. 515-525). Springer, Cham.

19. Khanzhina, N., Putin, E., Filchenkov, A., & Zamyatina, E. (2018, April). Pollen grain recognition using convolutional neural network. In ESANN.

20. Daood, A., Ribeiro, E., & Bush, M. (2018, May). Sequential recognition of pollen grain Z-stacks by combining CNN and RNN. In The Thirty-First International Flairs Conference.

21. Sevillano, V., Holt, K., & Aznarte, J. L. (2020). Precise automatic classification of 46 different pollen types with convolutional neural networks. Plos one, 15(6), e0229751.

22.Schiele, J., Rabe, F., Schmitt, M., Glaser, M., Haring, F., Brunner, J. O., ... & Damialis, A. (2019, July). Automated classification of airborne pollen using neural networks. In 2019 41st Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC) (pp. 4474-4478). IEEE.

23. Northcutt, C. G., Athalye, A., & Mueller, J. (2021). Pervasive label errors in test sets destabilize machine learning benchmarks. arXiv preprint arXiv:2103.14749.

24. Kendall, A., & Gal, Y. (2017). What uncertainties do we need in bayesian deep learning for computer vision?. arXiv preprint arXiv: 1703.04977.

25. Kendall, A., Gal, Y., & Cipolla, R. (2018). Multi-task learning using uncertainty to weigh losses for scene geometry and semantics. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 7482-7491).

26. Bendale, A., & Boult, T. E. (2016). Towards open set deep networks. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 15631572).

27. Harakeh, A., Smart, M., & Waslander, S. L. (2020, May). Bayesod: A bayesian approach for uncertainty estimation in deep object detectors. In 2020 IEEE International Conference on Robotics and Automation (ICRA) (pp. 87-93). IEEE.

28. Kraus, F., & Dietmayer, K. (2019, October). Uncertainty estimation in one-stage object detection. In 2019 IEEE Intelligent Transportation Systems Conference (ITSC) (pp. 5360). IEEE.

29. Miller, D., Nicholson, L., Dayoub, F., & Sünderhauf, N. (2018, May). Dropout sampling for robust object detection in open-set conditions. In 2018 IEEE International Conference on Robotics and Automation (ICRA) (pp. 3243-3249). IEEE.

30. Miller, D., Dayoub, F., Milford, M., & Sünderhauf, N. (2019, May). Evaluating merging strategies for sampling-based uncertainty techniques in object detection. In 2019 International Conference on Robotics and Automation (ICRA) (pp. 2348-2354). IEEE.

31. Miller, D., Sünderhauf, N., Milford, M., & Dayoub, F. (2021). Uncertainty for Identifying Open-Set Errors in Visual Object Detection. arXiv preprint arXiv:2104.01328.

32. Postels, J., Ferroni, F., Coskun, H., Navab, N., & Tombari, F. (2019). Samplingfree epistemic uncertainty estimation using approximated variance propagation. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 2931-2940).

33. Kraus, F., & Dietmayer, K. (2019, October). Uncertainty estimation in one-stage object detection. In 2019 IEEE Intelligent Transportation Systems Conference (ITSC) (pp. 5360). IEEE.

34. Le, M. T., Diehl, F., Brunner, T., & Knol, A. (2018, November). Uncertainty estimation for deep neural object detectors in safety-critical applications. In 2018 21st International Conference on Intelligent Transportation Systems (ITSC) (pp. 3873-3878). IEEE.

35. Lin, T. Y., Goyal, P., Girshick, R., He, K., & Dollár, P. (2017). Focal loss for dense object detection. In Proceedings of the IEEE international conference on computer vision (pp. 2980-2988).

36. Huber, P. J. (1992). Robust estimation of a location parameter. In Breakthroughs in statistics (pp. 492-518). Springer, New York, NY.

37. Abramowitz, M., Stegun, I. A., & Romer, R. H. (1988). Handbook of mathematical functions with formulas, graphs, and mathematical tables.

38. Khanzhina, N., Lapenok, L., Filchenkov, A. Towards Robust Object Detection: Bayesian RetinaNet for Homoscedastic Aleatoric Uncertainty Modeling. Submitted to BMAW, UAI, preprint: http://genome.ifmo.ru/files/papers_files/UAI

39. Набор данных пыльцы с оптического микросопа. URL: http://genome.ifmo.ru/files/papers_files/Allergy2018/.

40. He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 770-778).

41. Keras-RetineNet. https://github.com/fizyr/keras-retinanet.

42. Chollet, F. (2018). Keras: The python deep learning library. Astrophysics Source Code Library, ascl-1806.

43. Kingma, D. P., & Ba, J. (2014). Adam: A method for stochastic optimization. arXiv preprint arXiv:1412.6980.

44. Xianzhi Du, Tsung-Yi Lin, Pengchong Jin, Golnaz Ghiasi, Mingxing Tan, Yin Cui, Quoc V. Le, and Xiaodan Song. Spinenet: Learning scale-permuted backbone for recognition and localization. In2020 IEEE/CVF Conference on Computer Visionand Pattern Recognition, CVPR 2020, Seattle, WA, USA, June 13-19, 2020, pages 11589-11598. IEEE, 2020.

45. Shifeng Zhang, Cheng Chi, Yongqiang Yao, Zhen Lei, and Stan Z. Li. Bridging the gap between anchor-based andanchor-free detection via adaptive training sample selection. In2020 IEEE/CVF Conference on Computer Vision andPattern Recognition, CVPR 2020, Seattle, WA, USA, June 13-19, 2020, pages 9756-9765. IEEE, 2020.

Pollen Grain Recognition Using Convolutional Neural Network

Natalia Khanzhina1, Evgeny Putin1, Andrey Filchenkov1 and Elena Zamyatina2'3

1- ITMO University - Computer Technology Lab 49 Kronverksky Pr., 197101 St. Petersburg - Russia 2- National Research University "Higher School of Economics" Faculty of Economics, Management, and Business Informatics 38 Studencheskaya st., 614070 Perm - Russia 3- Perm State National Research University Department of Mechanics and Mathematics 15 Bukireva st., 614990 Perm - Russia

Abstract. This paper addresses two problems: the automated pollen species recognition and counting them on an image obtained with a lighting microscope. Automation of pollen recognition is required in several domains, including allergy and asthma prevention in medicine and honey quality control in the nutrition industry. We propose a deep learning solution based on a convolutional neural network for classification, feature extraction and image segmentation. Our approach achieves state-of-the-art results in terms of accuracy. For 5 species, the approach provides 99.8% of accuracy, for 11 species — 95.9%.

1 Introduction

The task of pollen recognition, that is to recognize plant species by its pollen, has roots in the field of palynology. Pollen analysis is applied for different purposes: honey quality control (identification of honey type and origin [1]), foren-sics tasks [2], etc. An important purpose comes from the medical domain, namely preventing allergy and asthma caused by pollens. Pollen has a huge impact on human health because it triggers off 90% of rhinitis that can turn into asthma without a treatment [3].

The harmful impact of hay fever can be reduced by designing an online system for notification about the start of the allergenic pollen dispersion. The existing approach for providing such information is based on the work of counting stations (about 600 stations in Europe), where palynologists manually recognize plant species by pollen grains catched from air in order to find allergenic ones. However, such manual analysis is too slow to provide relevant information for online systems and for patients. While the work on counting stations is almost pro-bono and imposes specific-purpose knowledge of biology, pollen recognition automation can dramatically reduce the required qualification level of operators as well as speed up the whole process. Using a visualization system, palynologists can easily take a screenshot of an image seen in the microscope, thus reducing

+ This work was financially supported by the Government of Russian Federation, Grant 074-U01.

the problem of automation to the automated pollen image recognition problem, which can be viewed as a machine learning task.

The goal of this paper is to suggest an approach for automated pollen detection, counting and recognition given digital images produced by microscopes. We propose to use a convolution neural network for classification and preprocessing of pollen species since this model has shown promising results in image processing and recognition [4].

The rest of the paper is organized as follows. The related works are overviewed in Section 2. Image preprocessing steps and deep learning model are described in Section 3. Dataset details are given in Section 4. The experiments are described and their results are presented and discussed in Section 5. Section 6 concludes the paper.

2 Related Work

The problem of automated pollen recognition was first stated almost 50 years ago [5]. Due to the recent success of machine learning algorithms in image processing and recognition, the problem is close to be resolved, but it is still interesting to researchers.

The first step in terms of machine learning is feature extraction. Most of the researchers who tried to resolve the problem used specific pollen features such as shape, size, brightness, texture features, aperture [6, 7, 8]. These features have clear semantics, but they are not universal.

After the features are extracted, classification methods are applied to them. Many researchers used standard machine learning classification methods. The results vary between 77% and 99% of accuracy [9, 10, 11, 6, 12, 13]. Many authors used images from a scanning electron microscope (SEM), which produces high quality images. It allowed to extract much more features and facilitates the classification task [6, 12]. But the SEM is at least 15 times more expensive than the lighting microscope. As the consequence, it is not widely used by counting stations. Some authors used z-stacks of multifocal images of one pollen grain as object for classification [6, 12, 13]. Despite this approach is effective and leads to high accuracy of recognition, it requires a large amount of pollen images. However, it is tedious for palynologist to make many images for each pollen grain in a real world application unless it is not automated. Thus, this automated recognition increases demand in manual pollen processing with microscopes.

Finally, an image may contain several pollen grains, which should be counted and segmented before the classification algorithms application stage. We call this process pollen extraction. However, this important step is ignored by many researchers.

In our previous research [14] we attempted to use GIST descriptors as image features instead of highly abstract features. GIST descriptors were chosen in order to provide independence from scaling and rotation. For the generated descriptors, we applied the a number of classification techniques to the different feature sets provided by dimension reduction methods. The best result was

provided by SVM with a polynomial kernel applied to the features with the highest Mutual Information, the accuracy of which was 98.3%. The result was achieved on the preprocessed dataset.

According to the review of pollen recognition automation [15], some simple and common challenges related to pollen recognition already be addressed due to current technology stack, but many other problems are still unresolved such as recognition of broken, dried, deformed, clumped pollen.

3 Proposed Approach

3.1 Image preprocessing

To achieve the goal of pollen spectrum counting images should be preprocessed. This means the extraction of separate pollen grains, for which segmentation is required. Segmentation is usually applied to binarized images, i.e. black and white images. At the previous stage of the research [14] we used simple threshold binarization applied to hue and saturation channels. The result was satisfying, but the changes in microscope settings caused exposure changes, so that simple binarization cannot process image well enough. Therefore, we applied hypercol-umn technique for binarization [16]. Hypercolumn is the vector of corresponding activations of one pixel of the initial image across all internal feature maps of CNN. Such approach is much more effective and provides better results than the standard computer vision techniques like threshold binarization and adaptive binarization.

The next step after binarization is segmentation. Initial images may contain multiple pollen grains, which can be clumped1 making it hard task for image preprocessing.

There are two main kinds of segmentation: edge based and region based. In our previous work, we used only edge based technique - the Canny detector. The results were not good enough for the cases of clumped objects, extraction true positive rate was 73%. In this work we used region-based techniques and the mixed approach. The best result was provided by a marker-based watershed algorithm [17], which is a region growing technique. The example of the whole pollen extraction pipeline is shown in attachment2.

3.2 Convolutional Neural Network Configuration

We performed grid search with the following search space: optimizer: Adam, Adadelta, Adagrad; kernel sizes: 5, 7, 9; dropout rates: 0.3, 0.5, 0.7; number of filters: 6, 10, 16, 20, 32; number of convolution layers: 3, 4, 5, 6; number of dense layers: 2, 3, 4; number of hidden units: 25, 50, 70, 100. After a series of experiments, we came to the following best network configuration and its hyperparameters (Figure 1), the kernel sizes were 7 x 7, 5 x 5 and 5 x 5, the activation function was ReLU. The optimizer we used was Adadelta.

1http://genome.ifmo.ru/files/papers_files/ESANN2018/clumped_example.eps

2http://genome.ifmo.ru/files/papers_files/ESANN2018/segmentation.eps

Fig. 1: Convolutional neural network configuration

4 Dataset

The dataset contains images obtained from a lighting microscope. It consists of 11 plant species pollen, 1774 images in total. The dataset is made using optical microscope Olympus BX51 with Olympus DP71 image viewing system.

Some examples of each pollen species are presented in attachment3. The table shows that pollen grain appearance within a taxon varies depending on its view (equatorial, polar), observed layer (exine, intine), focal and angle of rotation. Nevertheless, pollen of different taxa look similar due to the round shape. This is a challenge to the recognition method. Some taxa are not allergenic, but rather originate from honey plants. But the approach can be easily generalized to be applied to any plants dataset.

5 Experiments and Results

5.1 Experiment Design

We performed experiments on three datasets containing five (with most representative shape), nine and 11 number of classes to estimate the impact classes. We augmented poorly presented classes up to 200 images per class by shifting, rotation, flipping. We chose our previous work [14] and work [9] as a baseline since its authors use lighting microscope image dataset with comparable number of classes. For evaluating results, we use accuracy score and cross entropy. We use 5-fold cross-validation. The experiments were conducted on a computer with a Tesla K80 GPU with 128 GB of RAM.

5.2 Prediction Results

We found that on the 5-classes dataset the CNN demonstrates the state-of-the-art results, 99.8% of accuracy, cross entropy is 0.013 (Table 1). As one can see, the accuracy has fallen on the full dataset significantly (95.9% of accuracy, cross entropy 0.17) because the last plant species is very similar to another one, both species belong to one plant genus. In comparison with the baseline ([14, 9]) and in comparison with most of research results in this field related to lighting

3http://genome.ifmo.ru/files/papers_files/ESANN2018/Preprocessed_image_ examples.eps

WttUVtfïlK

Fig. 2: Weights visualization: last layer kernels

microscope, our approach achieved almost the highest result. The preprocessing true positive rate is 92%.

Table 1: Results comparison

# classes Baseline [14] Baseline [9] Proposed approach

5 98.3% 87% 99.8%

9 95.2% - 97.5%

11 - - 95.9%

5.3 Deep Feature Visualization

Convolutional neural network extracts features by setting the weights used for convolution. We visualized the weights of the last convolutional layer. The set is 16 x 32 weights with size of 5 x 5 (most represented weights are in Figure 2). Kernels look like parts of pollen grains: edges, spots or apertures on the surface of pollen grains.

6 Conclusion

In this work, we address the problem of automated pollen grains recognition. The problem is not novel and has a strong research background. The field of current research is hay fever and asthma preventing through detecting allergenic pollens in the air on images from microscope.

In this paper, we suggested to apply a deep convolutional network that allows to completely avoid both manual feature extraction and the preprocessing step. We built our own configuration that showed state-of-the-art results: 99.8% of accuracy on 5 classes and 95.9% of accuracy on 11 classes pollen images.

We proposed the new approach for preprocessing (pollen extraction) provided by CNN layer outputs, or hypercolumns, with following binarization by clustering and watershed segmentation. This approach shows a true positive rate is of 92%.

These results confirmed the effectiveness of applying CNNs to such specific task as pollen grain image recognition and inspired us to improve it staying under deep learning approach. We plan to apply one-shot learning [18], a transfer learning method that would improve scalability of pollen classes recognition

unlike CNN without seeing many their examples. Also, in the future we plan to

use only deep learning for image segmentation.

References

[1] J Louveaux, Anna Maurizio, and G Vorwohl. Methods of melissopalynology. Bee world 59(4):139-157, 1978.

[2] CA Hopping. Palynology and the oil industry. Review of Palaeobotany and Palynology, 2(1-4):23-48, 1967.

[3] Lecture "is pollen a pollutant?".

[4] M. I. Razzak, S. Naz, and A. Zaib. Deep learning for medical image processing: Overview, challenges and the future. In Classification in BioApps, pages 323-350. Springer, 2018.

[5] JR Flenley. The problem of pollen recognition. Problems in Picture Interpretation, Clowes MB, Penny JP (eds). CSIRO: Canberra, pages 141-145, 1968.

[6] Alain Boucher, Pablo J Hidalgo, Monique Thonnat, Jordina Belmonte, Carmen Galan, Pierre Bonton, and Régis Tomczak. Development of a semi-automatic system for pollen recognition. Aerobiologia, 18(3-4):195-201, 2002.

[7] Chun Chen, Emile A Hendriks, Robert PW Duin, Johan HC Reiber, Pieter S Hiemstra, Letty A de Weger, and Berend C Stoel. Feasibility study on automated recognition of allergenic pollen: grass, birch and mugwort. Aerobiologia, 22(4):275-284, 2006.

[8] Manuel Chica. Authentication of bee pollen grains in bright-field microscopy by combining one-class classification techniques and image processing. Microscopy research and technique, 75(11):1475-1485, 2012.

[9] Celeste Chudyk, Hugo Castaneda, Romain Leger, Islem Yahiaoui, and Frank Boochs. Development of an automatic pollen classification system using shape, texture and aperture features. In LWA, pages 65-74, 2015.

[10] Marcos del Pozo-Baños, Jaime R Ticay-Rivas, Jesés B Alonso, and Carlos M Travieso. Features extraction techniques for pollen grain classification. Neurocomputing, 150:377391, 2015.

[11] J Victor Marcos, Rodrigo Nava, Gabriel Cristéobal, Rafael Redondo, Boris Escalante-Ramirez, Gloria Bueno, Oé scar Déeniz, Amelia Gonzaélez-Porto, Cristina Pardo, Francois Chung, et al. Automated pollen identification using microscopic imaging and texture analysis. Micron, 68:36-46, 2015.

[12] Olaf Ronneberger, Hans Burkhardt, and Eckart Schultz. General-purpose object recognition in 3d volume data sets using gray-scale invariants-classification of airborne pollengrains recorded with a confocal laser scanning microscope. In Pattern Recognition, 2002. Proceedings. 16th International Conference on, volume 2, pages 290-295. IEEE, 2002.

[13] Amar Daood, Eraldo Ribeiro, and Mark Bush. Classifying pollen using robust sequence alignment of sparse z-stack volumes. In International Symposium on Visual Computing, pages 331-340. Springer, 2016.

[14] N. Khanzhina and E. Putin. Pollen recognition for allergy and asthma management using gist features. In Communications in Computer and Information Science, volume 674, pages 515-525. Springer, 2016.

[15] Katherine A Holt and KD Bennett. Principles and methods for automated palynology. New Phytologist, 203(3):735-742, 2014.

[16] B. Hariharan, P. Arbeléaez, R Girshick, and J Malik. Hypercolumns for object segmentation and fine-grained localization. In Proceeding of CVPR, pages 447-456, 2015.

[17] Serge Beucher and Christian Lantuejoul. Use of watersheds in contour detection, 1979.

[18] Oriol Vinyals, Charles Blundell, Tim Lillicrap, Daan Wierstra, et al. Matching networks for one shot learning. In Advances in Neural Information Processing Systems, pages 3630-3638, 2016.

Pollen Recognition for Allergy and Asthma Management Using GIST Features

Natalia Khanzhina(B) and Evgeny Putin

Computer Technologies Lab, ITMO University, 49 Kronverksky Pr, 197101 St. Petersburg, Russia nehanzhina@gmail.com, putin.evgeny@gmail.com

Abstract. In this paper we propose a way of managing allergy and asthma based on pollen recognition using images from an optical microscope. GIST descriptors are extracted as features. Our research can help to automate a time-consuming process of pollen grains classification, which is usually performed by highly qualified palynologists, and to create a real-time system of immediate notification about high atmospheric allergenic pollen concentration. Standard machine learning methods are applied and results are compared on different pollen datasets. The best model is support vector machine with 95.2% of accuracy on 9 pollen species and 98.3% on 5 pollen species.

Keywords: Allergy management • Asthma management • Image recognition • GIST • Machine learning • Dimension reduction • Pollen grains • Image preprocessing

1 Introduction

Today almost 30% of people have allergies, 8% have asthma. The most frequent origin of allergies and one of the causes of asthma is pollen. The number of people suffering of pollinosis varies between 10-15% among different countries, this number increased by 34% over last ten years because of urbanization, environmental effects of human, and also because pollen can cover long distances by air [24].

In order to manage allergies and asthma symptoms it is necessary to determine the start of the pollen dispersion. Accurate knowledge of prevalent aeroal-lergens can improve the diagnosis and treatment of patients. Pollen information is the key as it enables a timely start of the preventive and symptomatic treatment of seasonal allergy problems. Thus, a great need exists to catch airborne pollen and to determine immediately whether it is an allergy-causing plant species pollen or not. For these goals there exist more than 600 pollen counting stations all over Europe and only about 20 stations in Russia, where palynologists and volunteers spend much time for manual pollen operation using microscopes [24]. However, manual operation cannot provide information relevant enough for patients. For instance, 24% of adults and 40% of children in Europe cannot

A.V. Chugunov et al. (Eds.): DTGS 2016, CCIS 674, pp. 515-525, 2016. DOI: 10.1007/978-3-319-49700-6-51

travel freely due to the lack of information on atmospheric pollen concentrations in different regions in Europe [11,19].

Thus, a near real-time system, which can automate the recognition of pollen species, is required. Development of such a system can be achieved on the basis of the usage of digital images from a microscope. Recently machine learning and, particularly, deep learning have proven their effectiveness in a variety of applications such as image classification [21,32], natural language processing [7,33], speech recognition [10,16].

The need to automate pollen recognition was mentioned by Flenley for the first time in 1968 [12]. Since that time many attempts of such system development have been made, however, the problem is not completely solved yet. Proper classification of pollen grains allows to draw the appropriate conclusions and to solve problems faced by experts in other areas, not only aeropalynology [6,29,31].

Image recognition-based solution for this task consists of the following steps: pollen extraction, counting, and classification. Initially the image can include from 1 to about 50 pollen grains depending on their size and shape. Pollen extraction is the search of areas on image containing only one pollen grain per area and following pollen grain contouring. It can be obtained after preprocessing steps, described in Sect. 3.2. Counting is the quantitation of such extracted pollen grains. And classification is the determination of each pollen grain species. The final result can be presented as the percent composition of pollen species.

All researchers in this area extracted specific pollen features such as shape, brightness, texture features, and aperture [3-5,27]. Some used a scanning electron microscope (their results vary between 77% and 97% of accuracy) [1,3,31], other used stacks of images of one pollen, a kind of three dimensional representation (resulting accuracy is between 93.8% and 97.5%) [3,30,31]. Most researchers used standard machine learning methods: support vector machine, linear discriminant analysis, random forest, artificial neural networks, k-nearest neighbors and others. Many authors are members of currently existing or past global research projects, aimed to develop an automated pollen recognition tool. For instance, the European project ASTHMA specifically dealt with allergic pollen [28].

Review of pollen recognition techniques [17] revealed, that some simple and local issues within pollen recognition might be carried out, but there were still many tasks related to deformed, clumped pollen, which were not resolved. The interest to the problem is still high. Recently published papers declared results obtained with an optical microscope to be between 87% and 99% of accuracy [6, 9,23,27,29,30]. However, only few works considered the steps of extraction and pollen counting, although they are very important parts of the problem, because manual image cropping could be tedious and automatic counting is the main goal of recognition in some cases. Our research bypasses these disadvantages. Also we use images from an optical microscope, which is much cheaper than scanning electron microscope and is widely used.

Extracted features are described in Sect. 2.1. Applied dimension reduction techniques are described in Sect. 2.2. To achieve the goals of extraction and

counting we use a preprocessing algorithm, which is described in Sect. 3.2. Applied classifiers are described in Sect. 3.3. The experiments are described in Sect. 3.4. Results are discussed in Sect. 4.

2 Proposed Approach 2.1 GIST Features

We choose GIST descriptors [8,26] as image features, which allows to avoid specific-purpose feature extraction. GIST is a low-dimensional scene representation. In other words, it is a kind of edges distribution histogram. An image is divided into equal parts using a grid (4 x 4 in our case). Edge distributions are computed on 3 scales of the image separately for every part. Edge distribution corresponds to the response of the part to every edge orientation (which has 8 or 4 values). We use color images, so this is applied to every color channel. As a result of GIST extraction, 960 descriptors were obtained. In general, the number of GIST features can be arbitrary.

2.2 Dimension Reduction

Due to the high number of GIST descriptors, dimension reduction (DR) is required. The following methods were used.

ReliefF. ReliefF is a member of the Relief algorithm family, which is a filtering feature selection technique, extended on M-classes classification. Relief is based on near-hit and near-miss measures, values of which form the weight for each feature. If the value of the weight is smaller than some threshold, this feature is rejected [34]. Weights vector is computed according the following formula:

p / 2 2 \ wi = y ^ (sf^x) ,nearjrniss (x)— S (x), near-hit (x))^ j (1) k=l ^ '

where i = 1. ..n; n is the number of features; p is the number of objects; and S(a,b) is the Kronecker delta.

The number of features selected by applying ReliefF is 300.

Mutual Information. Mutual information (MI) implies feature relative importance. It relies on entropy of a feature and its conditional entropy related to every class of objects [20]:

I (x,y)= H (x) - H (x\y) (2)

where I is the relative importance; H(x) is the entropy of a feature; H(x\y) is the conditional entropy.

The number of features selected by applying MI is 300.

Principal Component Analysis. Principal Component Analysis (PCA) is a feature extraction method. It finds a projection to a linear manifold minimizing distance of the points to the manifold [22]. 95% of origin variance of the data were used.

3 Experiments 3.1 Materials

Current research is carried out not only on allergenic plant, but also on honey plant pollen. The approach can be easily generalized to be applied to any plants dataset. The dataset includes 9 species, almost 1800 images in total. The dataset is original, never used before, made using optical microscope Olympus BX51 with Olympus DP71 image viewing system. All the pollen types were collected mostly from Russia, Perm Krai. In the Perm region, the aeropalynological profile is typical for central Russia. On average, the concentration of allergenic pollen grains in the air of Perm is lower than in other European geographical regions. Since 2010, the aeropalynological data of the Perm region have been included in the Russian pollen monitoring program. Pollen traps are located in the city center [24].

An example of an image from the dataset is presented in Fig. 1. The example shows that an image can contain stains, or debris, which are cause of wrong segmentation.

Some examples of each pollen species are presented in Table 1. We used two versions of the dataset: full, which contains similar shape species, and partial, which contains mostly different shape species (top 5 rows of the table).

Fig. 1. Input image example

Pollen Recognition for Allergy and Asthma Management 519 Table 1. Preprocessed images examples

Species

Images

Total

Trifolium hybridum Archangelica officinalis Dianthus deltoides Fagopyrum esculentum Chamerion angustifolium Dianthus deltoides Bunias orientalis Salix alba Tilia cordata

200 200

199

200 198 110

198

199 60

All images were normalized by RGB-values, according to the following formula:

N new Max — newMin In = (I -Min) Max - Min +newMm (3)

where I stands for old pixel color value and IN is a new value.

Cross-validation was used to evaluate the results. Its idea is to divide the dataset into disjoint training and validation subsets K different ways, the accuracy is evaluated as the mean accuracy.

We used 10-fold cross-validation and the experiments were conducted on a computer with an Intel Core i7-3770 CPU with 16 GB of RAM.

3.2 Preprocessing

We performed three preprocessing steps:

1. The first step of preprocessing is noise reduction, including Gaussian blur, dilation and erosion functions.

2. The next step is image double- and low-thresholding applied to hue and saturation channels. Such combination shows high result on images with color gradient or hotspots.

3. The last step is the segmentation and localization provided by Canny edge detector and Hu-moments [18].

The resulting sequence of preprocessing steps is presented in Fig. 2. The extraction (segmentation) accuracy is 73%. The result is not great, the main cause of that is clumped pollen grains (Fig. 3). This is a separate complicated issue and an object of further research.

Fig. 2. Image modifications during preprocessing

Fig. 3. Clumped pollen example

From here we will call the dataset which passed the preprocessing steps as

the preprocessed dataset.

3.3 Models

The following 6 machine learning techniques were used in the research for classification [2,13-15,25].

1. Logistic regression (LR). A simple machine learning technique of linear classification.

2. K-nearest neighbors (kNN). This is a metric classification technique, which defines object class by its k nearest neighbors.

3. Support vector machine (SVM). It solves the problem of nonlinearly separable input vectors by projection of the low-dimensional training data into a higher dimensional feature space where they can be easily separated. The projection is achieved using kernel functions.

4. Decision trees (DT). The main idea is to recursively set up a tree over the feature space. The feature space is split with a feature value and then both subsets are split the same way recursively until the tree leaf has the minimum number of class targets for making a decision.

5. Random forest (RF). A classifier ensemble method based on bagging. Several independent models make decisions, then the common decision is determined by voting in case of classification problem and by averaging in case of regression problem.

Table 2. The results on partial dataset

Model Origin features PCA ReliefF MI

LR 75.2 ± 4.7% 52.6 ± 4.8% 63.2 ± 2.9% 69.5 ± 4.6%

kNN 82.6 ± 3.4% 80.6 ± 3.3% 81.5 ± 3.6% 82.1 ± 2.5%

SVM 73.3 ± 4.7% 78.1 ± 3.8% 69.4 ± 3.5% 73.1 ± 4.9%

DT 79.5 ± 3.0% 73.7 ± 3.0% 79.1 ± 3.0% 78.4 ± 2.2%

RF 84.7 ± 3.8% 77.9 ± 3.1% 85.6 ± 3.5% 83.9 ± 3.0%

GB 83.1 ± 3.2% 76.2 ± 2.9% 84.3 ± 3.7% 82.4 ± 3.1%

6. Gradient boosting (GB). This is a modern machine learning technique of classifiers ensemble. It minimizes the training error of classifiers linear composition by gradient descent.

3.4 Results for Different Feature Sets and Different Machine Learning Models

Each table shows combinations of dimension reduction and classification methods. Each cell in the resulting tables contains the mean accuracy of 10-fold cross-validation and its standard deviation, which follows after the plus/minus sign. The each DR method best accuracy is highlighted in bold.

Table 2 shows results comparison on the partial dataset. The best accuracy is provided by the RF model with ReliefF DR method, it is 85.6 ± 3.5%.

Table 3 shows results comparison on the partial preprocessed dataset. The best accuracy is provided by the SVM model with MI DR method, the accuracy is 98.3 ± 2.1%.

Table4 shows results comparison on the full dataset. The best result is provided by the RF model with no DR, the accuracy is 78.5 ± 3.8%.

Table 5 shows results comparison on the full preprocessed dataset. The best accuracy is provided by the SVM model with PCA DR method, the accuracy is 95.2 ± 1.7%.

Table 3. The results on partial preprocessed dataset

Model Origin features PCA ReliefF MI

LR 94.8 ± 2.2% 91.7 ± 2.0% 93.0 ± 3.2% 93.8 ± 2.9%

kNN 92.8 ± 2.2% 93.2 ± 2.7% 94.5 ± 2.9% 95.1 ± 3.1%

SVM 95.3 ± 1.9% 97.0 ± 1.2% 97.7 ± 2.0% 98.3 ± 2.1%

DT 79.4 ± 3.5% 81.9 ± 3.6% 84.2 ± 4.3% 84.9 ± 3.8%

RF 91.6 ± 3.2% 93.4 ± 3.0% 95.7 ± 3.4% 96.2 ± 3.6%

GB 92.7 ± 4.0% 94.6 ± 3.9% 97.1 ± 4.8% 97.9 ± 4.2%

Table 4. The results on full dataset

Model Origin features PCA ReliefF MI

LR 67.1 ± 3.2% 44.9 ± 3.2% 60.5 ± 2.9% 61.2 ± 3.0%

kNN 73.6 ± 3.5% 69.1 ± 3.0% 74.6 ± 3.3% 74.3 ± 2.8%

SVM 69.9 ± 3.4% 68.8 ± 3.0% 61.8 ± 2.5% 64.4 ± 2.4%

DT 67.7 ± 5.4% 64.8 ± 2.7% 67.6 ± 3.3% 67.3 ± 3.0%

RF 78.5 ± 3.8% 72.4 ± 2.6% 76.7 ± 3.5% 76.6 ± 2.7%

GB 78.0 ± 2.1% 71.8 ± 1.9% 76.6 ± 2.8% 77.1 ± 3.6%

Table 5. The results on full preprocessed dataset

Model Origin features PCA ReliefF MI

LR 93.4 ± 2.1% 89.6 ± 2.2% 89.8 ± 2.0% 91.5 ± 1.5%

kNN 92.6 ± 2.0% 91.8 ± 1.5% 92.8 ± 1.8% 88.2 ± 2.5%

SVM 93.9 ± 2.6% 95.2 ± 1.7% 91.2 ± 1.4% 91.7 ± 2.4%

DT 71.9 ± 2.7% 77.5 ± 3.1% 72.6 ± 4.1% 64.8 ± 4.1%

RF 91.9 ± 1.8% 87.9 ± 2.6% 91.5 ± 2.0% 86.2 ± 2.7%

GB 93.3 ± 2.2% 90.2 ± 2.3% 92.9 ± 1.8% 89.7 ± 2.4%

One can see from the tables that models trained on the partial 5-classes dataset achieve much better accuracies than on the full dataset. Models trained on preprocessed datasets are significantly better than models trained on non-preprocessed datasets in terms of accuracy. Thus, preprocessing is one of the most important steps of the approach.

4 Discussion and Conclusion

In this paper we made an attempt to use machine learning to solve the problem of automated pollen grains images recognition. This is a very important problem due to the allergy and asthma management, the key cause of these diseases is pollen. To prevent allergy and asthma symptoms it is necessary to know the concentration of allergenic plants pollen in the air in real time. Existing pollen counting stations cannot provide rapid enough information because of manual processing. To automatize the recognition of pollen species we processed its images from optical microscope. We used GIST descriptors as the feature vector and applied several dimension reduction methods (PCA, MI, ReliefF). This approach gave 98.3% of maximum accuracy on the partial preprocessed dataset, which contains only 5 pollen species. The best classification model is SVM with a polynomial kernel.

That is a new approach relating to this problem, because other authors mostly used specific-purpose features focused on pollen grains nature. Usage

of GIST allows to generalize our solution minimizing the accuracy loss. GIST descriptors are a kind of universal features.

We studied four versions of the dataset to see if pollen grains shape strictly assigns GIST values and to compare preprocessed and initial dataset GIST results.

We found out that the GIST-based approach works much better with the preprocessed dataset, which contains only one pollen grain per image.

We used three dimension reduction techniques and compared their results pairwise with machine learning models.

In future research we will make an attempt to use a convolutional neural network, which is a very promising technique [21], never used by other researchers within this problem. Also we plan to improve pollen the extraction stage, especially in order to resolve the issue of clumped pollen.

The final goal of this research is to develop a program for pollen recognition and bring it to the state of a real-time system, which will cut the cost on pollen operations in half.

Acknowledgments. Authors thank Andrey Filchenkov and Daniil Chivilikhin for suggestions and useful comments. This work was financially supported by the Government of Russian Federation, Grant 074-U01.

References

1. Allen, G.: An automated pollen recognition system. Masters thesis, Institute of information Sciences and Technology, Massey University (2006)

2. Bishop, C.M.: Pattern Recognition and Machine Learning, 1st edn. Springer, New York (2006)

3. Boucher, A., Hidalgo, P.J., Thonnat, M., Belmonte, J., Galan, C., Bonton, P., Tomczak, R.: Development of a semi-automatic system for pollen recognition. Aer-obiologia 18(3-4), 195-201 (2002). http://dx.doi.org/10.1023/A:1021322813565

4. Chen, C., Hendriks, E.A., Duin, R.P., Reiber, J.H.C., Hiemstra, P.S., Deweger, L.A., Stoel, B.C.: Feasibility study on automated recognition of aller-genic pollen: grass, birch and mugwort. Aerobiologia 22(4), 275-284 (2006). http://dx.doi.org/10.1007/s10453-006-9040-0

5. Chica, M.: Authentication of bee pollen grains in bright-field microscopy by combining one-class classification techniques and image processing. Microsc. Res. Tech. 75, 1475-1485 (2012). http://dx.doi.org/10.1016/j.jfoodeng.2012.03.028

6. Chudyk, C., Castaneda, H., Leger, R., Yahiaoui, I., Boochs, F.: Development of an automatic pollen classification system using shape, texture and aperture features. In: Proceedings of the LWA 2015 Workshops: KDML, FGWM, IR, and FGDB, pp. 65-74 (2015)

7. Collobert, R., Weston, J., Bottou, L., Karlen, M., Kavukcuoglu, K., Kuksa, P.: Natural language processing (almost) from scratch. J. Mach. Learn. Res. 12, 24932537 (2011)

8. Computer graphics laboratory courses. https://courses.graphics.cs.msu.ru/ pluginfile.php/81/mod_resource/content/1/cv2013_09_cbir.pdf

9. del Pozo-Banos, M., Ticay-Rivas, J.R., Alonso, J.B., Travieso, C.M.: Features extraction techniques for pollen grain classification. Neurocomputing 150, 377391 (2015). http://dx.doi.org/10.1016/j.neucom.2014.05.085

10. Deng, L., Li, X.: Machine learning paradigms for speech recognition: an overview. IEEE Trans. Audio Speech Lang. Process. 21(5), 1060-1089 (2013). http://dx.doi.org/10.1109/TASL.2013.2244083

11. European federation of asthma report. http://www.efanet.org/air-quality/pollen

12. Flenley, J.R.: The problem of pollen recognition, problems of picture Interpretation. In: CSIRO Workshop, pp. 141-145 (1968)

13. Friedman, H.J. Greedy Function Approximation: A Gradient Boosting Machine. IMS Reitz Lecture (1999)

14. Guggenberger, A.: Another Introduction to Support Vector Machines (2008). https://scribd.com/document/153294663/Another-Introduction-Svm

15. Hastie, T., Tibshirani, R., Friedman, J.: The Elements of Statistical Learning, 2nd edn. Springer, New York (2009). 533 pages

16. Hinton, G., Yu, D., Dahl, G.E., Mohamed, A.R., Jaitly, N., Senior, A., Vanhoucke, V., Nguyen, P., Sainath, T.N., Kingsbury, B.: Deep neural networks for acoustic modeling in speech recognition: the shared views of four research groups. IEEE Sig. Process. Mag. 29(6), 82-97 (2012). http://dx.doi.org/10.1109/MSP.2012.2205597

17. Holt, K.A., Bennett, K.D.: Principles and methods for automated palynology. New Phytol. 203(3), 735-742 (2014). http://dx.doi.org/10.1111/nph.12848

18. Hu, M.K.: Visual pattern recognition by moment invariants. IRE Trans. Inf. Theor. 8(2), 179-187 (1962). http://dx.doi.org/10.1109/TIT.1962.1057692

19. International ragweed day press release. http://www.pollens.fr/docs/ CP-IRD-2015.pdf

20. Kira, K., Rendell, L.: A practical approach to feature selection. In: Proceedings of the 9th International Conference on Machine Learning, pp. 249-256 (1992)

21. Krizhevsky, A., Sutskever, I., Hinton, G.E.: Imagenet classification with deep con-volutional neural networks. In: Advances in Neural Information Processing Systems, vol. 25, pp. 1097-1105 (2012)

22. Manning, C., Raghavan, P., Schütze, H.: Introduction to Information Retrieval. Cambridge University Press, Cambridge (2008)

23. Marcos, J.V., Nava, R., Cristobal, G., Redondo, R., Escalante-Ramrez, B., Bueno, G., Deniz, O., Gonzalez-Porto, A., Pardo, C., Chung, F., Rodriguez, T.: Automated pollen identification using microscopic imaging and texture analysis. Micron 68, 36-46 (2015). http://dx.doi.org/10.1016/j.micron.2014.09.002

24. Minayeva, N.V., Novoselova, L.V.: Pollen monitoring in Perm Krai (Russia) experience of 6 years. Acta Agrobotanica 68(4), 343-348 (2015). http://dx.doi.org/10.5586/aa.2015.042

25. Mitchell, T.M.: Machine Learning. McGraw-Hill Science/Engineering/Math, Boston (1997)

26. Oliva, A., Torralba, A.: Modeling the shape of the scene: a holistic representation of the spatial envelope. Int. J. Comput. Vis. 42(3), 145-175 (2001). http://dx.doi.org/10.1023/A:1011139631724

27. Oteros, J., Pusch, G., Weichenmeier, I., Heimann, U., Müller, R., Roseler, S., Traidl-Hoffmann, C., Schmidt-Weber, C., Buters, J.T.M.: Automatic and online pollen monitoring. Int. Arch. Allergy Immunol. 167, 158-166 (2015). http://dx.doi.org/10.1159/000436968

28. Projects home page. http://www-sop.inria.fr/orion/ASTHMA/asthma/asthma. html

29. Redondo, R., Bueno, G., Chung, F., Nava, R., Marcos, J.V., Cristóbal, G., Rodriguez, T., Gonzalez-Porto, A., Pardo, C., Deniz, O., Escalante-Ramírez, B.: Pollen segmentation and feature evaluation for automatic classification in bright-field microscopy. Comput. Electron. Agric. 110, 56-69 (2015). http://dx.doi.org/10.1016/j.compag.2014.09.020

30. Riley, K.C., Woodarda, J.P., Hwanga, G.M., Punyasenac, S.W.: Progress towards establishing collection standards for semi-automated pollen classification in forensic geohistorical location applications. Rev. Palaeobot. Palynol. 221, 117-127 (2015). http://dx.doi.org/10.1016/j.revpalbo.2015.06.005

31. Ronneberger, O., Burkhardt, H., Schultz, E.: General-purpose object recognition in 3D volume data sets using gray-scale invariants - classification of airborne pollen-grains recorded with a confocal laser scanning microscope. In: Proceedings of the International Conference on Pattern Recognition, vol. 2, pp. 290-295 (2002). http://dx.doi.org/10.1109/ICPR.2002.1048297

32. Rosten, E., Drummond, T.: Machine learning for high-speed corner detection. In: Leonardis, A., Bischof, H., Pinz, A. (eds.) ECCV 2006. LNCS, vol. 3951, pp. 430443. Springer, Heidelberg (2006). doi:10.1007/11744023_34

33. Sidorov, G., Velasquez, F., Stamatatos, E., Gelbukh, A., Chanona-Herníandez, L.: Syntactic n-grams as machine learning features for natural language processing. Expert Syst. Appl. 41(3), 853-860 (2014). http://dx.doi.org/10.1016/j.eswa.2013.08.015

34. Yang, Y., Pedersen, J.O.: A comparative study on dimension reduction in text categorization. In: Proceedings of the 14th International Conference on Machine Learning, pp. 412-420 (1997)

Обратите внимание, представленные выше научные тексты размещены для ознакомления и получены посредством распознавания оригинальных текстов диссертаций (OCR). В связи с чем, в них могут содержаться ошибки, связанные с несовершенством алгоритмов распознавания. В PDF файлах диссертаций и авторефератов, которые мы доставляем, подобных ошибок нет.

Оглавление диссертации кандидат наук Ханжина Наталья Евгеньевна

Рекомендованный список диссертаций по специальности «Управление в социальных и экономических системах», 05.13.10 шифр ВАК

Байесовский выбор субоптимальной структуры модели глубокого обучения2020 год, кандидат наук Бахтеев Олег Юрьевич

Алгоритмическое обеспечение нейро-нечеткой системы классификации состояний объектов сложной структуры2022 год, кандидат наук Чернобаев Игорь Дмитриевич

Похожие диссертационные работы по специальности «Управление в социальных и экономических системах», 05.13.10 шифр ВАК

Список литературы диссертационного исследования кандидат наук Ханжина Наталья Евгеньевна, 2021 год