Модели и алгоритмы эмоциональной целевой маршрутизации в системах обслуживания населения тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Сома Гедеш Мануэл

• Сома Гедеш Мануэл
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Сома Гедеш Мануэл

Оглавление

Реферат

Synopsis

Введение

Глава 1 . Проблемно-классификационный анализ задачи распределения клиентов по маршрутам к операторам в системе обслуживания населения (СОН)

1.1 Анализ предметной области и её особенности

1.2 Анализ условий функционирования СОН

1.2.1 Оценка качества СОН

1.3 Анализ условий к распределению клиентов по операторам на основе их эмоционального состояния и возраста

1.4 Анализ ряда факторов, влияющих на эмоциональное состояние клиента

1.5 Анализ существующих работ в исследуемой области

1.5.1 Вывод по анализу существующих работ в исследуемой области

1.6 Постановка цели и задач исследования

Выводы по главе

Глава 2 . Методы и модели, применяемые при распознавании эмоционального состояния и возраста клиента

2.1 Методы, основанные на геометрических характеристиках лица

2.2 Методы анализа выражения лиц на основе эмоционального состояния человека

2.2.1 Традиционные методы

2.2.2 Искусственные нейронные сети

2.3 Модель искусственного нейрона

2.3.1 Классификация нейронных сетей

2.3.1.1 Характер обучения

2.3.2 Многослойные нейронные сети

Выводы по главе

Глава 3 . Математическая модель. Система эмоциональной целевой маршрутизации (TERS). Аппарат обработки основных видеоданных

3.1 Основные понятия системы эмоциональной целевой маршрутизация (TERS)

3.2 Аппарат обработки основных видео данных

3.3 Алгоритм эмоциональной целевой маршрутизации системы TERS

3.3.1 Принцип работы алгоритма эмоциональной целевой маршрутизации

3.4 Математическая модель на основе метода аналитического процесса иерархии (AHP)

3.4.1 Определение весовых коэффициентов эмоций клиентов для направления к психологу-оператору

3.4.2 Определение весовых коэффициентов эмоций клиентов для направления к старшему оператору

3.4.3 Определение весовых коэффициентов эмоций клиентов для направления к обычному оператору

3.4.4 Определение весовых коэффициентов возраста клиентов для направления к оператору-психологу

3.4.5 Определение весовых коэффициентов возраста клиентов для направления к старшему-оператору

3.4.6 Определение весовых коэффициентов возраста клиентов для направления к обычному-оператору

Выводы по главе

Глава 4 . Система управления эмоциональным состоянием клиента в системах обслуживания населения

4.1 Разработка модель глубокой сверточной нейронной сети для распознавания эмоций и возраста клиента

4.1.1 Принцип работы предлагаемой DCNN

4.1.2 Сравнение полученных результатов модели распознавания эмоций и возраста с известными научными работами

4.2 Информационный процесс обучения модели распознавания эмоций и возраста

4.3 Модель управления эмоциональным состоянием клиента

4.4 Структурная схема бизнес-процесса с применением Target Emotional Routing System (TERS) в СОН

4.5 Опросы и интервью

4.6 Экспериментальная проверка разработанной TERS

4.6.1 Определение статистической значимости и оценка эффективности процесса обслуживания без TERS и с использованием TERS

4.7 Место проведения эксперимента

Выводы по главе

Заключение

Список сокращений и условных обозначений

Список литературы

Приложение А. Результаты экспериментов без применения разработанной TERS

Приложение Б. Результаты экспериментов с применением разработанной TERS

Приложение В. Награды автора, полученные во время работы над диссертацией

Приложение Г. Акты об использовании и внедрении результатов диссертационного исследования

Приложение Д. Тексты публикаций

275

Введение диссертации (часть автореферата) на тему «Модели и алгоритмы эмоциональной целевой маршрутизации в системах обслуживания населения»

Реферат

Общая характеристика диссертации Актуальность темы. Эволюция информационных технологий во всех сферах человеческой деятельности является глобальной тенденцией современного мирового развития. Использование информационных технологий имеет решающее значение для повышения уровня жизни граждан, а также для улучшения качества работы в предприятиях, например, в системах обслуживания населения (СОН), таких как банки, МВД, системы контроля доступа в аэропортах, МФЦ, колл-центры, метро а также в местах массового скопления людей. В последние годы наблюдается активное применение алгоритмов, способных распознавать эмоции и возраст человека по выражению лица [1], благодаря развитию графических процессоров. В связи с этим стало возможным обучать даже самые сложные по своей архитектуре нейронные сети и открылся целый горизонт ранее неразрешимых задач [1,2]. В настоящее время интеллектуальные системы не только сосредоточены на распознавании изображений, но и учатся извлекать метаданные, такие как эмоции, настроение, пол или возраст человека, из уже распознанных объектов [3,4,5]. Эмоции играют важную роль в жизни человека и межличностном общении [6] и представляют собой психологическое состояние человеческого разума. Исследования в различных областях имеют разные мнения о процессе развития эмоций [7]. Некоторые философы считают, что эмоции являются результатом изменений (положительных или отрицательных) в личных ситуациях или окружающей среде [3,8]. Однако некоторые биологи считают, что нервная и гормональная системы несут основную ответственность за развитие эмоций [7,9]. Хотя нет единого мнения о том, что вызывает эмоции, факт, что их возбуждение обычно сопровождается внешними признаками, такими как изменения в выражении лица, голосе, жестах, позе и других физиологических состояниях, не вызывает сомнений. При этом именно выражение лица наиболее точно и четко отражает эмоции и возраст человека. Выражение лица предоставляет информацию об эмоциональном состоянии человека и играет ключевую роль в

человеческом взаимодействии как форма невербальной коммуникации, может дополнять вербальную коммуникацию или даже передавать полное сообщение самостоятельно [10]. По данным исследований, вербальная часть или произнесенные слова сообщения вносят лишь 7% в эффект сообщения в целом, вокальная часть (интонация) - 38%, а выражение лица говорящего - 55% [11]. Выражение лица состоит из одного или нескольких движений или положений мышц на лице, связанных с определенными эмоциями. В данной работе метод компьютерного зрения и машинного обучения используется для анализа выражения лица, распознавания и классификации эмоций и возраста человека. Процесс принятия решений в системах управления очередью играет важную роль в улучшении качества обслуживания клиентов в СОН, и эффективное управление очередью возможно при анализе эмоционального состояния и возраста клиентов. Управление очередью включает в себя анализ эмоционального состояния и возраста клиентов, а также распределение клиентов по маршрутам к разным типам сотрудников для минимизации времени ожидания клиентов и предотвращения конфликтов в СОН, что напрямую влияет на удовлетворенность клиентов. Эффективное управление и принятие решений в данных системах требуют разработки математических моделей и алгоритмов, которые могут учитывать эмоциональное состояние и возраст клиентов. Согласно исследованию [12, 20] отмечается, что на увеличение уровня конфликтов в общественных местах, таких как банки, МВД и МФЦ, оказывают влияние следующие факторы:

1. Длительное ожидание в очереди.

2. Низкое качество обслуживания клиентов.

3. Недовольство клиентов после обслуживания.

4. Внешние факторы (погода: очень низкая температура, очень высокая температура, дождь).

5. Отсутствие информации о состоянии клиента в очереди.

6. Недостаточное количество операторов, что может приводить к увеличению уровня конфликтов.

Исходя из вышеперечисленных факторов, наблюдается недостаточность систем управления эмоциями клиентов, в целях оценки их удовлетворенности, и разрешения конфликтов в СОН. Решение данной проблемы видится в следующих гипотезах:

1. Распознавание эмоционального состояния клиента по выражению его лица позволит повысить качество принимаемых управленческих решений за счёт увеличения количества и информативности признаков.

2. Разработка математической модели эмоциональной целевой маршрутизации с помощью метода аналитического процесса иерархии (АНР) позволит найти кратчайший маршрут конфликтного клиента к старшему сотруднику или психологу для предотвращения возможных потенциальных конфликтов в сфере обслуживания.

3. Разработка модели распознавания эмоций и возраста клиента с помощью метода компьютерного зрения позволит отслеживать эмоциональное состояние клиента до и после его обслуживания, что способствует улучшению управленческих процессов и повышению качества обслуживания.

4. Разработка алгоритма эмоциональной целевой маршрутизации для распределения клиентов в зависимости от их эмоционального состояния и возраста разным типам сотрудников позволит оптимизировать процесс управления очередью и повысить эффективность обслуживания клиентов.

Объект исследования: процессы управления электронной очередью в системах обслуживания населения (СОН).

Предмет исследования: модели и алгоритмы управления электронной очередью на основе распознавания эмоций и возраста клиентов в системах обслуживания населения.

Цель диссертационной работы: повышение эффективности процессов управления электронными очередями в системах обслуживания населения за счет внедрения моделей и алгоритмов поддержки принятия решений на основе распознавания эмоций и возраста.

Для достижения этой цели поставлены и решены следующие задачи:

1. Провести анализ предметной области в СОН, включая оценку текущих процессов и методов обслуживания населения с акцентом на исследование возможностей для оптимизации маршрутизации очередей на основе эмоционального состояния и возраста клиентов.

2. Разработать модель на основе комбинации методов Local Binary Patterns (LBP) и Squeeze-and-Excitation Block (SEBlock) для распознавания эмоционального состояния и возраста клиентов по выражению лица, что способствует улучшению управленческих процессов и повышению качества обслуживания.

3. Разработать математическую модель с помощью метода аналитического процесса иерархии (AHP) для оптимизации маршрутизации очередей в СОН.

4. Разработать алгоритм эмоциональной целевой маршрутизации для распределения клиентов в зависимости от их эмоционального состояния и возраста разным типам сотрудников, позволит оптимизировать процесс управления очередью и повысить эффективность обслуживания клиентов.

5. Разработать систему эмоциональной целевой маршрутизации (TERS) для внедрения в СОН, таких как банки, МВД и МФЦ.

6. Провести экспериментальную проверку разработанной TERS.

Методы и средства исследования. При решении задач исследования были

применены глубокая сверточная нейронная сеть, методы машинного обучения и компьютерного зрения, математическая модель на основе метода аналитического процесса иерархий (AHP), алгоритмы, наблюдения и эксперименты.

Научная новизна работы. В ходе проведенного исследования были получены следующие новые научные результаты:

1. Новая модель распознавания эмоционального состояния и возраста клиентов по выражению лица на основе комбинации методов Local Binary Patterns (LBP) и Squeeze-and-Excitation (SE Block), которая, в отличие от известных, повышает точность и скорость решения задач.

2. Математическая модель на основе метода аналитического процесса иерархии (AHP), которая позволяет управлять очередностью обслуживания клиентов из очереди с использованием данных об эмоциях и возрасте, тогда как классические модели маршрутизации в теории массового обслуживания обладают сложностью выбора оптимального алгоритма маршрутизации в зависимости от конкретных условий и не учитывают требований о состоянии клиента.

3. Алгоритм эмоциональной целевой маршрутизации, который позволяет повысить удовлетворенность клиентов из электронной очереди при обслуживании в организационной системе обслуживания населения. Этот алгоритм отличается от традиционного метода, когда клиенты обслуживаются только в порядке очереди, без учета характеристик или приоритетов: модель First-Come, First-Served (FCFS).

Теоретическая значимость результатов диссертационной работы состоит в развитии теории систем массового обслуживания за счёт новой постановки задачи, моделей и алгоритмов, использующих новый подход на основе определения эмоций и возраста.

Практическая значимость работы заключается в разработке и внедрении TERS (Target Emotional Routing System) для определения конфликтных и пожилых клиентов в очереди и распределения их по маршрутам к определенному сотруднику в СОН. Система реализована с использованием языка программирования Python и включает модели для распознавания эмоций и возраста клиентов, оптимизации управления очередью и алгоритм эмоциональной целевой маршрутизации. Была проведена реализация TERS в Banco Sol и в службе гражданской защиты и пожарной службы (SPCB) в Луанде, Анголе, где она продемонстрировала значительное улучшение качества обслуживания, сокращение времени ожидания клиентов с высоким уровнем негативных эмоций, повышение их удовлетворенности, и создание более благоприятной среды для обслуживания. Экспериментальные данные подтвердили достижение поставленной цели: уровень удовлетворенности клиентов увеличился с 57,5% до 72,5%, а среднее время ожидания для клиентов с высоким уровнем негативных эмоций сократилось с 2738,8 до 973,9 секунды в Banco Sol. В

SPCB уровень удовлетворенности клиентов увеличился с 62,5% до 77,5%, а среднее время ожидания сократилось с 2050,3 до 1167 секунд.

Основные положения, выносимые на защиту:

1. Модель для повышения точности и эффективности в задачах распознавания эмоционального состояния и возраста клиентов по выражению лица на основе комбинации методов Local Binary Patterns (LBP) и Squeeze-and-Excitation (SE Block), направленная на повышение эффективности управленческих решений и оптимизацию процесса принятия решений в социально-экономических системах обслуживания населения. Данная модель, отличаясь от известных подходов, позволяет улучшить производительность архитектуры нейронной сети и повысить точность и скорость распознавания эмоций и возраста.

2. Математическая модель для оптимизации процесса принятия решений при управлении очередью в социально-экономических системах обслуживания населения на основе метода аналитического процесса иерархии (AHP), позволяющая устанавливать весовые коэффициенты перед выходными векторами нейронной сети (эмоций и возраста). Это нововведение позволяет оптимизировать процесс управления очередью, повысить уровень обслуживания, предотвратить конфликты и создать благоприятную среду для клиентов, тогда как классические модели маршрутизации в теории массового обслуживания обладают сложностью выбора оптимального алгоритма.

3. Алгоритм эмоциональной целевой маршрутизации для решения задачи эффективного управления распределением конфликтных и пожилых клиентов к определенному оператору в рамках процесса управления очередью. Алгоритм основан на квалификационных профилях операторов и учитывает эмоциональное состояние и возраст клиентов, что отличает его от известного традиционного метода, когда клиенты обслуживаются только в порядке очереди, без учета характеристик или приоритетов: модель «первым пришел - первым обслужен» (First-Come, First-Served, FCFS).

Положения диссертации соответствуют паспорту специальности 2.3.4:

- Положение 1, выносимое на защиту, - пункту 5 «Разработка методов получения данных и идентификации моделей, прогнозирования и управления организационными системами на основе ретроспективной, текущей и экспертной информации»;

- Положение 2, выносимое на защиту, - пункту 5 «Разработка методов получения данных и идентификации моделей, прогнозирования и управления организационными системами на основе ретроспективной, текущей и экспертной информации»;

- Положение 3, выносимое на защиту, - пункту 9 «Разработка методов и алгоритмов интеллектуальной поддержки принятия управленческих решений в организационных системах».

Внедрение результатов работы:

1. Результаты использованы при выполнении НИР-ФУНД: Российский научный фонд. «Разработка средств оценивания уровня удовлетворенности студентов процессом дистанционного обучения посредством видеоконференцсвязи», номер темы № 620186 от 01/09/2020.

2. Результаты использованы при участии в конкурсе ИТМО.Со11аЬ в качестве руководителя проекта на тему «Система управления эмоциональным состоянием клиентов в системах обслуживания населения».

3. Получены два акта о внедрении результатов работы в Banco Sol -крупного банка в Анголе. Он предоставляет различные банковские услуги населению Анголы, включая кредитование, депозиты, обмен валюты, электронные платежи и другие финансовые услуги.

4. Получен акт о внедрении результатов работы в службе гражданской защиты и пожарной службы (SPCB) - института безопасности Анголы, который играет ключевую роль в поддержании общественного порядка и безопасности в стране, работая в различных областях, включая городскую безопасность, уголовное расследование, пожарную службу, дорожное движение и гражданскую защиту.

Достоверность результатов

Достоверность полученных результатов работы обеспечивается использованием современных и взаимодополняющих научно обоснованных методов исследования. Экспериментальные результаты диссертации получены с использованием математической модели на основе метода AHP и метода машинного обучения (ML). Результаты распознавания эмоций и возраста получены с помощью модели, обученной на открытой платформе kaggle и Colab. Было использовано несколько известных библиотек, основные из которых: TensorFlow, Keras, Opencv, Face-recognition, MediaPipe, Matplotlib и Numpy. Статьи, опубликованные в рецензируемых журналах, а также доклады, представленные на профильных научных конференциях.

Апробация результатов работы:

Результаты работы были опубликованы в журналах Scopus, ВАК и РИНЦ. Основные результаты работы докладывались и обсуждались на:

1. Научной и учебно-методической конференции Университета ИТМО 2021. Место проведения: Санкт-Петербург, ИТМО. Дата: 02/02/2021.

2. X КМУ ИТМО. Место проведения: Санкт-Петербург, ИТМО. Дата: 14/04/2021 - 17/04/2021.

3. 7th National Conference on Science and Technology. Date: 29/11/2021 -30/11/2021. Location: Angola-Luanda.

4. Научной и учебно-методической конференции Университета ИТМО. Место проведения: Санкт-Петербург, ИТМО. Дата: 02/02/2022 - 05/02/2022.

5. XI КМУ ИТМО. Место проведения: Санкт-Петербург, ИТМО. Дата: 04

- 08 апреля 2022 года.

6. XI КМУ ИТМО. Место проведения: Санкт-Петербург, ИТМО. Дата: 04

- 08 апреля 2022 года.

7. Конференции «Молодые профессионалы» 25-27 Октября 2022 года.

8. Пятьдесят второй (LII) научной и учебно-методической конференции университета ИТМО. Дата: 31 января - 03 февраля 2023.

9. XII Конгрессе Молодых Ученых (Онлайн Формат) (03.04.2023 -06.04.2023).

10. V International Scientific Forum On Computer And Energy Sciences (Wfces 2023) (18.05.2023 - 19.05.2023).

11. II Всероссийской Конференции «Молодые профессионалы» (Онлайн формат) (10-12 октября 2023 года).

12. VI International Scientific Forum On Computer And Energy Sciences (Wfces II 2023) (16.11.2023 - 17.11.2023).

13. Пятьдесят третьей (LIII) научной и учебно-методической конференции университета ИТМО. Дата: 29 января - 02 февраля 2024г.

14. XIII Конгрессе Молодых Ученых (Онлайн Формат) (08 - 11 апреля 2024

года).

Публикации

Основное содержание данной научно-исследовательской работы опубликовано в пяти научных статьях в рецензируемых журналах WoS/Scopus, одной в ВАК и трех РИНЦ.

Публикации в научных изданиях, входящих в перечень WoS/Scopus:

1. Сома Г.М., Каднова А.М. Распознавание эмоционального состояния человека на основе сверточной нейронной сети // Научно-технический вестник информационных технологий, механики и оптики. - 2022. - Т. 22, № 1. - С. 120126.

2. Guedes Soma. Models and algorithms for managing the emotional state of customers in commercial banks using deep convolutional neural networks//V International Scientific Forum on Computer and Energy Sciences (WFCES 2023). -2023. - T. 419, № 02008. - С. 7.

3. Soma G.M., Kopanitsa G.D. System for customers' routing based on their emotional state and age in public services systems // Scientific and Technical Journal of Information Technologies, Mechanics and Optics. - 2023. - Т. 23, №2 5. - С. 1009 - 1020.

4. Guedes Soma* and Georgy Kopanitsa. Development of models for managing the population mass service system in a bank // X International Annual

Conference Industrial Technologies and Engineering (ICITE 2023). - 2024. - Т. 474, № 02006. - С.8.

5. Guedes Soma and Georgy Kopanitsa. Development of an emotion and age recognition model based on the combination of local binary patterns and squeeze-and-excitation block method // Proc. SPIE, Third International Conference on Digital Technologies, Optics, and Materials Science (DTIEE 2024). - 2024. Т. 13217, 132170I. - С. 6.

Публикации в РИНЦ:

1. Sorokina S.A., Soma G. Intelligent assistance in online interviewing. Emotional routing method//Научный результат. Информационные технологии. -2020. - Т. 5, № 4. - С. 37-43.

2. Сома Г. Анализ существующих средств бимодального определения эмоций в ходе занятий в дистанционном формате // Альманах научных работ молодых ученых Университета ИТМО. - 2021. - Т. 3. - С. 192-197.

3. Сома Г.М. Модель управления эмоциональным состоянием человека // Альманах научных работ молодых ученых Университета ИТМО. - 2023. - Т. 1. -С. 334-337.

Другие публикации:

1. Сома Г., Кондрашова Н.В. Система распознавания эмоций по выражению лица с локализацией на португальском, английском, русском языках и языке умбунду // Мир науки, культуры, образования. - 2023. - Т. 2, № 99. - С. 368372.

Личный вклад автора. Автором лично проведен анализ существующих подходов к автоматической модели и алгоритмам анализа эмоционального состояния и возраста клиента в СОН [1,2,3,4,5,98]; проанализированы ряд факторов, влияющих на эмоциональное состояние клиента [26]. На основе проведенного анализа разработан метод эмоциональной маршрутизации для интеллектуальной помощи в онлайн-интервьюировании [99]. Для управления эмоциональным состоянием клиента предложена новая модель, основанная на выражениях лица с применением сверточных нейронных сетей (CNN),

разработаны модели и алгоритмы управления эмоциональным состоянием клиентов в коммерческих банках с помощью глубоких сверточных нейронных сетей [83]. Подготовка публикаций проводилась с соавторами, при этом вклад автора был основным в публикациях с первым авторством. Соавтор публикации [99] Сорокина С.А. проанализировала и изучала методы помощи интервьюеру в проведении онлайн-интервью и предложила принципиально новый метод - метод эмоциональной маршрутизации. Данный метод включает анализ аудиопотока речи (интонации и семантики), видеоканала (выражение лица, взгляд, поза, жесты), а также анализ контекста изменения эмоций с течением времени. Соавтор публикации [100] Кондрашова Н.В. выполнила аналитический обзор в разработке системы распознавания эмоций по выражению лица с локализацией на португальском, английском, русском языках и языке умбунду - национальном языке Анголы. Соавтор публикации [41] Каднова А.М провела исследование о методах распознавания эмоциональных состояний человека на основе сверточной нейронной сети. Соавтор публикации [74] Копаница Г.Д. провел исследование о разработке системы маршрутизации клиентов на основе их эмоционального состояния и возраста в системах обслуживания населения. Соавтор публикации [119] Копаница Г.Д. провел исследование о разработке модели распознавания эмоций и возраста на основе комбинации метода ЬБР и 8Е-Б1оек. Копаница Г.Д. также является соавтором [101] в разработке моделей управления системой массового обслуживания населения в банке и выступил в роли консультанта диссертационной работы в качестве научного руководителя.

Структура и объем диссертации

Диссертация содержит введение, четыре главы, заключение, и список литературы. Материал диссертации представлен на 272 страницах и включает 39 рисунков, 20 таблиц, а также список литературы из 119 наименований.

Заключение диссертации по теме «Другие cпециальности», Сома Гедеш Мануэл

Заключение

На основе анализа существующих методов распознавания эмоций по лицу разработана модель классификации соответствующих состояний человека с

помощью сверточной нейронной сети. Сравнение результатов работы разработанного классификатора с моделями Ке8№г50 и МоЫ1е№1 выявило, что предложенная модель имеет наилучший результат по точности валидации (60,13 %) и размеру (15,49 МБ), при этом функция потерь составляет 0,079 для точности и 2,80 —

для валидации.

Список литературы диссертационного исследования кандидат наук Сома Гедеш Мануэл, 2024 год

Литература

1. Yarma S., Shinde М, Chavan S.S. Analysis of PCA and LDA features for facial expression recognition using SYM and HMM classifiers // Techno-Societal 2018: Proc. of the 2nd International Conference on Advanced Technologies for Societal Applications. V. 1. 2020. P. 109119. https://d01.0rg/l 0.1007/978-3-030-16848-3_11

2. Рюмина E.B., Карпов A.A. Аналитический обзор методов распознавания эмоций по выражениям лица человека // Научно-технический вестник информационных технологий, механики и оптики 2020. Т. 20. №2. С. 163-176. https://dai.flfg/10.17586/2226-1494-2020-20-2-163-176

3. Ахметшин Р.И., Кирпичников А.П., Шлеймович М П. Распознавание эмоций человека на изображениях 7 Вестник технологического университета. 2015. Т. 18. № 11. С. 160-163.

4. Эрман Е. А, Мамдух Мохаммед Гомаа Мохаммед. Метод обнаружения лиц на изображении с использованием комбинации метода Виолы-Джонса и алгоритмов определения цвета кожи 7 Вестник Астраханского государственного технического университета. Серия: Управление, вычислительная техника и информатика. 2015. № 1. С. 49-55.

5. Мухамадиева К Б. Сравнительный анализ алгоритмов распознавания лиц // Современные материалы, техника и технологии. 2017. №7(15). С. 58-62.

6 Амелькин С.А., Захаров А.В., Хачумов В.М Обобщенное расстояние Евклида Махаланобиса и его свойства // Информационные технологии и вычислительные системы. 2006. №4. С. 40-44.

7. Karamizadeh S., Abdullah S.M., Manaf АА., Zamani М., Hooman А. An overview of principal component analysis // Journal of Signal and Information Processing. 2013. V. 4. P. 173-175. https://doi org/10.423 6/jsip.2013.43B0 31

8. Dino H.I., Abdulrazzaq M B. Facial expression classification based on SVM, KNN and MLP classifiers // Proc. of the International Conference on Advanced Science and Engineering (ICOASE 2019). 2019. P 70-75. ht^)s:/7doi.org/10.1109.1COASE.2019.8723728

9. Greche L.. Es-Sbai N., Lavendelis E. Histogram of oriented gradient and mult layer feed forward neural network for facial expression identification // Proc. of the International Conference on Control, Automation and Diagnosis (ICCAD 2017). 2017. P. 333-337. https:// doi.org/10.1109 CADIAG.2017.8075680

10. Greche L., Akil M, Kachoun R, Es-Sbai N. A new pipeline for the recognition of universal egressions of multiple faces in a video sequence // Journal of Real-Time Image Processing. 2020. V. 17. N 5. P. 1389-1402. https://doi.org/10.1007/sll554-019-00896-5

11. Kulke L., Briimmer L , Pooresmaeili A., Scliacht A. Overt and covert attention shifts to emotional faces: Combining EEG, eye tracking, and a go/no-go paradigm // Psychophysiology. 2021. V. 58. N8. P el 383S^ https://doi.org/10.llll/psyp. 1383s'

12. Aleksic PS., Katsaggelos A.K. Automatic facial expression recognition using facial animation parameters and multistream HMMs // IEEE Transactions on Information Forensics and Security. 2006. V. 1.N1.P. 3-11. https://doi.org/10.1109/TIFS.2005.863510

13. Gardner M.W., Dorhng S.R Artificial neural networks (the multilayer perception) — a review of applications in the atmospheric sciences //Atmospheric Environment. 1998. V. 32. N 14-15. P. 2627-2636 https:// doi .org/ 10.1016/S1352-2310(97)00447-0

14. Cao H., Cooper D.G., Keutmann M.K, Gur R.C., Nenkova A., Veima R CREMA-D: Crowd-sourced emotional multimodal actors dataset // IEEE Transactions on Affective Computing. 2014. Y. 5. N 4. P. 377-390 https://doi.Org/10.l 109/TAFFC.2014.2336244

15. Challenges 111 Representation Learning Facial Expression Recognition Challenge [Электронный ресурс]. URL: https://www.kaggle.c0m/c/ challenges-in-iepiesentation-leaming-facial-expiession-iecogniti 011-challenge (дата обращения: 13.11.2021).

References

1 Yanna S., Slnnde M., Chavan S.S. Analysis of PCA and LDA features for facial expression recognition using S\"M and HMM classifiers. Techno-Societal 2018. Proc. of the 2nd International Conference on Advanced Technologies for Societal Applications. Vol. 1, 2020, pp. 109-119 https://doi.oig/10.1007/978-3-030-16848-3 11

2. Ryumina E. Y Karpov A.A Analytical review of methods for emotion recognition by human face expressions. Scientific and Technical Journal of Information Technologies, Mechanics and Optics, 2020, vol. 20, no. 2, pp. 163-176. (in Russian). https://doi. oig/10.175 86/2226-1494-2020-20-2-163 -176

3. Akhmetshin RI., Kirpichmkov A.P, Shleimovich M P Human emotion recognition m images. Vestnik Technologicheskogo Universiteta, 2015, vol. 18, no. 11, pp. 160-163. (in Russian)

4. Ennan E.A., Mamdouh Mokhammed Gomaa Mokhammed. Face detection 111 image by using a combination ofYiola — Jones method and skin detection algorithms. Vestnik of Astrakhan State Technical University. Seiies: Management, Computer Sciences and Informatics, 2015, no. 1, pp. 49-55. (111 Russian)

5. Mukliamadieva K B Comparative analysis of facial recognition algorithms. Modem Materials, Equipment, and Technology, 2017, no. 7(15), pp. 58-62. (in Russian)

6. Arnelkin S. A., Zakharov A.V., Khachumov Y.M. Generalized Mahalanobis Euclidean distance and its properties. Information Technologies and Computer Systems, 2006, no. 4, pp. 40—44. (in Russian)

7. Karamizadeh S, Abdullah S.M., Manaf AA., Zamani M, Hooman A. An overview of principal component analysis. Journal of Signal and Information Processing, 2013, vol. 4, pp. 173-175. https://doi org/10.4236/j sip.2013.43B0 31

8 Dino H.I , Abdulrazzaq M B Facial expression classification based on SVM, KNN and MLP classifiers. Proc. of the International Conference on Advanced Science and Engineering (ICOASE 2019), 2019, pp. 70-75. https://doi.org/10.110MCOASE.2019.8723728

9. Greche L., Es-Sbai N., Lavendelis E. Histogram of oriented gradient and multi layer feed forward neural network for facial expression identification. Proc. of the International Conference on Control, Automation and Diagnosis (ICCAD 2077^,2017, pp. 333-337. https:// doi. org/10.1109/CADIAG.2017.8075680

10. Greche L., Akil M, Kachoun R, Es-Sbai N. A new pipeline for the recogmtion of universal expressions of multiple faces in a video sequence. Journal of Real-Time Image Processing, 2020, voL 17, no. 5, pp. 1389-1402. https://doi.oig/10.1007/sll554-019-00896-5

11. Kulke L., Briimmer L., Pooresmaeili A., Scliacht A. Overt and covert attention shifts to emotional faces: Combining EEG, eye tracking, and a go/no-go paradigm. Psychophysiology, 2021, vol. 58, no. 8, pp. e 13838. https://d0i.0rg/l0.1111/psyp. 13838

12. Aleksic P.S., Katsaggelos A.K. Automatic facial expression recognition using facial animation parameters and multistream HMMs. IEEE Transactions on Information Forensics and Security, 2006, vol. 1, no. 1, pp. 3-11 https://doi.org/10.1109/ TIFS.2005.863510

13. Gardner M.W, Dor ling S.R Artificial neural networks (the multilayer percepti on) — a review of applications in the atmospheric sciences. Atmospheric Em'ironment, 1998, vol. 32, no. 14-15, pp 2627-2636. https ://doi.org/10.1016/S13 52-2310(97)00447-0

14. Cao H., Cooper D.G., Keutmann M.K, Gur R.C., Nenkova A., Yerma R CREMA-D: Crowd-sourced emotional multimodal actors dataset. IEEE Transactions on Affecth'e Computing, 2014, vol. 5, no. 4, pp. 377-390. https://doi.org/10.1109/TAFFC.2014.2336244

15. Challenges in Representation Learning Facial Expression Recognition Challenge. Available at: https://www.kaggle.c0m/c/ challenges-m-representation-leammg-facial-expression-recognition-challenge (accessed: 13.11.2021).