Распознавание психофизиологического состояния субъектов-операторов на основе анализа термографических изображений лица с применением сверточных нейронных сетей тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Жумажанова Самал Сагидулловна

• Жумажанова Самал Сагидулловна
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Жумажанова Самал Сагидулловна

ПРИНЯТЫЕ СОКРАЩЕНИЯ

ВВЕДЕНИЕ

ГЛАВА 1. ПРОБЛЕМА ПОСТРОЕНИЯ СИСТЕМ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ ПО УПРАВЛЕНИЮ ДЕЯТЕЛЬНОСТЬЮ ОПЕРАТОРОВ СЛОЖНЫХ ОБЪЕКТОВ

1.1 Влияние человеческого фактора на деятельность субъекта-оператора

1.2 СППР по управлению деятельностью операторов и предприятий

1.3 Ключевые факторы риска при изменении состояния субъекта-оператора

1.4 Методы автоматического распознавания состояний человека-оператора в СППР

1.5 Влияние психофизиологического фактора на температуру тела

1.6. Анализ достигнутых результатов по автоматическому распознаванию состояния оператора на основе термографии

Выводы. Постановка задач исследования

ГЛАВА 2. АРХИТЕКТУРА СИСТЕМЫ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ ПО УПРАВЛЕНИЮ ДЕЯТЕЛЬНОСТЬЮ СУБЪЕКТОВ-ОПЕРАТОРОВ С УЧЕТОМ ЧЕЛОВЕЧЕСКОГО ФАКТОРА НА ОСНОВЕ НЕЙРОСЕТЕВЫХ АЛГОРИТМОВ РАСПОЗНАВАНИЯ ОБРАЗОВ

2.1 Этапы принятия решений и классификация СППР

2.2 Архитектура системы поддержки принятия решений при управлении операторами в эргатических системах с учетом человеческого фактора

2.3 Сценарии работы субъектов-операторов при внедрении системы идентификации ПФС

2.4 Аппарат сверточных нейронных сетей и его применение для анализа образов

Выводы

ГЛАВА 3. РАСПОЗНАВАНИЕ ГРАФИЧЕСКИХ ОБРАЗОВ НА ЦИФРОВЫХ ИЗОБРАЖЕНИЯХ В УСЛОВИЯХ ШУМОВ НА ОСНОВЕ НЕЙРОБАЙЕСОВСКОГО ПОДХОДА

3.1 Об обнаружении осесимметричных дефектов на фоне помех

3.2 Экспериментальные исследования по обнаружению осесимметричных дефектов на фоне помех зрительной системой человека и системой компьютерного зрения

3.3 Исследование и разработка архитектур сверточных нейронных сетей для обнаружения осесимметричных дефектов на фоне помех

3.4 Повышение эффективности принятия решений путем коллективного выбора из множества альтернатив

Выводы

ГЛАВА 4. ПОДСИСТЕМА ИДЕНТИФИКАЦИИ СОСТОЯНИЯ ОПЕРАТОРА ПО ТЕРМОГРАММАМ ЛИЦА ДЛЯ СППР

4.1 Программа и методика проведения эксперимента

4.2 Методы обработки и анализа термографических изображений

4.3 Распределение сосудов на лице и их выделение на ИК изображении

4.4 Изменение параметров тепловизионных изображений субъекта в различных психофизиологических состояниях

4.5 Идентификация психофизиологического состояния на основе комитета сверточных нейронных сетей и классификатора Байеса

4.6 Программный комплекс и методика идентификации ПФС оператора в реальном

времени по термограммам лица

Выводы

Заключение

Список литературы

Приложение А

Приложение Б

Приложение В

Приложение Г

Приложение Д

ПРИНЯТЫЕ СОКРАЩЕНИЯ

В настоящей работе приняты следующие сокращения:

BAC - blood alcohol concentration, концентрация алкоголя в крови

АСУ ТП - автоматизированная система управления технологическим

процессом

ИК - инфракрасный

ИНС - искусственные нейронные сети

ЛПР - лицо, принимающее решение

ОСД - осесимметричный дефект

ОСП - отношение сигнал/шум

ППФБ - последовательное применение формулы гипотез Байеса

ПУ - пункт управления

ПФС - психофизиологическое состояние

СЗР - субъект-зависимое распознавание

СНЗР - субъект-независимое распознавание

СНС - сверточные нейронные сети

СППР - система поддержки принятия решений

ВВЕДЕНИЕ

Введение диссертации (часть автореферата) на тему «Распознавание психофизиологического состояния субъектов-операторов на основе анализа термографических изображений лица с применением сверточных нейронных сетей»

Актуальность работы

При переходе на автоматизированные системы контроля процессов и объектов, а также стремлении повысить выявляемость незначительных отклонений их параметров от нормативно установленных потребовалось решить ряд новых задач. Одной из них является проблема обработки и распознавания объектов на цифровых изображениях в условиях шумов и помех. Знание этой информации -необходимое условие создания более совершенных технологий контроля и диагностики.

Потенциальным способом повышения эффективности распознавания объектов на цифровых изображениях является описание временных характеристик предъявляемых образов с использованием корреляционных функций и спектральных характеристик совместно с нейросетевыми методами принятия решений. Сверточные нейронные сети надежно зарекомендовали себя в вопросах анализа данных различного типа, в том числе изображений, так как могут учитывать корреляционные связи между идентификационными признаками. Использование таких методов и алгоритмов позволит предоставлять информацию за приемлемый (максимально короткий) период времени, обеспечит инвариантность к смене условий сбора данных и внешней среды и максимально возможную точность идентификации объектов/образов.

С учетом того, что человек все еще занимает центральное место в процессе контроля и управления технологическими объектами и процессами, в проектировании пунктов управления (ПУ) используется подход «оператор вперед». Однако человек может являться первопричиной инцидентов. По результатам исследований Всемирной организации здравоохранения человеческий фактор является наиболее распространённым условием возникновения более 90 % случаев дорожно-транспортных происшествий, более 50 % инцидентов в

информационных системах, более 65 % происшествий на морских судах и 85 % несчастных случаев на производстве. Подобного рода аварии возникают вследствие пребывания субъекта в состоянии(ях) усталости, сонливости, алкогольного опьянения, стресса. Таким образом, субъект-оператор сам является объектом контроля, и важно своевременно идентифицировать его психофизиологическое состояние (ПФС). Оценить ПФС субъекта-оператора возможно с помощью анализа физиологических показателей.

Практический потенциал физиологических показателей в прикладных условиях оценивают по степени их связи с конкретным состоянием, надежности, чувствительности, инвазивности и др. С этой точки зрения наиболее перспективной технологией является тепловидение. В связи с распространением коронавирусной инфекции СОУГО-19 тепловизионные системы стали массово внедряться на предприятиях различного профиля.

Комплексная система, являющаяся гибридом описанных методов и алгоритмов, работающих в режиме реального времени, может эффективно внедряться в состав систем интеллектуальной поддержки принятия решений (СППР) по управлению деятельностью субъектов-операторов. Цель СППР -снабжать системы более высокого уровня дополнительной информацией для принятия ими решений о допуске субъекта-оператора к выполнению своих профессиональных обязанностей в виде возможных альтернатив дальнейших действий субъекта-оператора.

Подобная иерархия в принятии решений позволит снизить количество аварий, таким образом сократив число жертв, сумму ущерба и прочие издержки организации или государства в целом. Такие подсистемы находят свое применение для оценки ПФС субъектов-операторов, управляющих энергетическими установками, АСУ ТП, транспортными средствами и иными сложными объектами, для которых необходимы специфические методы получения информации об их состоянии. Таким образом, задача мониторинга и идентификации текущего ПФС субъекта в СППР является актуальной.

Степень разработанности темы. В ряде российских и зарубежных работ дается широкое представление о СППР по управлению деятельностью субъектов-операторов в сложных системах. Большой вклад внесли такие ученые, как Петухов И. В., Волков С. С., Стоянова О. В., Ахметова В. Н., Лавров Е. А., Садыкова Н. А., George Rigas, David Cole, Julia Christine Arlinghaus и др.

Большинство СППР по управлению деятельностью субъектов-операторов опирается на оценку когнитивного, психического и психофизиологического состояния субъекта-оператора путем анализа динамики таких показателей, как ЭЭГ, ERP, оптическая нейровизуализация, ЧСС, ВСР, артериальное давление, проводимость кожи, электромиография, тепловизионное изображение, пупиллометрия. Исследования в данной области посвящены способам применения методов и алгоритмов обработки полученных физиологических образов и интерпретации их изменчивости для установления связи с текущим состоянием субъекта-оператора и степенью влияния на выполнение текущих профессиональных задач.

В определении практического потенциала физиологических показателей в процессе поддержки принятия решений по управлению деятельностью субъектов-операторов играют следующие факторы: степень связи между показателем и изменениями состояний, временное разрешение, психометрическая надежность, простота сбора данных (например, время настройки), чувствительность к артефактам, степень инвазивности. С этой точки зрения тепловидение является наиболее перспективной технологией. Среди алгоритмов поиска и оценки информативных признаков физиологических образов набирают популярность интеллектуальные алгоритмы на базе сверточных нейронных сетей.

Однако многие вопросы в рассматриваемых областях, связанные с разработкой методов обработки цифровых изображений и их применения в задачах распознавания ПФС субъекта-оператора, не решены окончательно. Данные методы и алгоритмы имеют место в интеллектуальной СППР по управлению

деятельностью субъектов-операторов сложных объектов и систем, описанной в настоящей работе.

Объект исследования - системы мониторинга и контроля психофизиологического состояния субъектов-операторов.

Предметом исследования являются нейросетевые и ансамблевые методы и алгоритмы идентификации психофизиологического состояния человека в системах поддержки принятия решений по управлению деятельностью субъектов-операторов.

Цель диссертационной работы - повысить эффективность принятия решений по управлению деятельностью субъектов-операторов в эргатических системах на основе дистанционного мониторинга их состояния.

Задачи диссертационной работы:

1. Разработать архитектуру системы распознавания психофизиологического состояния субъекта-оператора с использованием методов и алгоритмов интеллектуального анализа данных.

2. Разработать метод распознавания объектов на цифровых изображениях в условиях шумов и помех.

3. Разработать алгоритм идентификации психофизиологического состояния субъектов-операторов на основе нейробайесовского подхода к распознаванию образов.

4. Разработать программно-аппаратный комплекс и методику идентификации психофизиологического состояния субъекта-оператора по данным термограмм лица.

Научная новизна результатов:

1. Разработана архитектура системы распознавания психофизиологического состояния субъектов-операторов, отличающаяся тем, что в ней присутствуют новые структурные блоки и связи между блоками, повышающие оптимальность работы системы поддержки принятия решений, выраженную в точности

(вероятности) распознавания психофизиологического состояния субъекта-оператора (п.1 паспорта специальности 05.13.01).

2. Впервые предложен метод распознавания психофизиологического состояния субъектов-операторов, основанный на формировании комитета предварительно обученных сверточных нейронных сетей, имеющих как различные, так и идентичные архитектуры (сети-дублеры), что позволило значительно повысить точность распознавания каждого состояния субъекта-оператора по отдельности в подсистеме мониторинга и контроля психофизиологического состояния (п.2, 3 паспорта специальности 05.13.01).

3. Впервые предложен нейробайесовский алгоритм идентификации психофизиологического состояния субъекта-оператора для поддержки принятия решений, основанный на ансамбле предварительно обученных сверточных нейронных сетей, отличающийся тем, что усредненные решения по каждому классу на выходах комитетов сетей объединяются с помощью Байесовского классификатора, в результате чего делается вывод о принадлежности образа классу (состоянию). Предложенный алгоритм позволяет сократить временные затраты на обучение интеллектуальной системы поддержки принятия решений и снизить объем обучающей выборки в разы, так как вместо глубокой нейронной сети с обратными связями независимо обучается множество относительно малых сетей, при этом обратная связь реализуется с помощью формулы Байеса (п.3, 4 паспорта специальности 05.13.01).

4. Предложена методика распознавания психофизиологического состояния субъекта-оператора, основанная на анализе идентификационных признаков термографических изображений лица, извлеченных вручную и автоматически, а также их частотно-временных характеристик, в реальном времени для принятия решений о его текущем состоянии на базе нейробайесовского алгоритма (п.5 паспорта специальности 05.13.01).

Теоретическая значимость результатов исследования заключается в развитии комплекса методов и алгоритмов для решения целого класса задач

обработки и анализа изображений, а также распознавания образов для систем интеллектуальной поддержки принятия решений о психофизиологическом состоянии субъекта-оператора.

Практическую значимость результатов исследования представляют предлагаемые методы и алгоритмы идентификации психофизиологического состояния, обеспечивающие высокий показатель эффективности решений работы системы поддержки принятия решений за счет повышения точности (97 %) и снижения времени идентификации психофизиологического состояния (до 10 секунд), а также комплекс программ, реализующих подсистему системы поддержки принятия решений по управлению деятельностью субъектов-операторов сложных объектов и систем.

Результаты работы внедрены в учебный процесс Омского государственного технического университета на кафедре комплексной защиты информации в рамках таких дисциплин, как «Базы данных», «Распознавание образов», а также использовались в проектно-конструкторской деятельности ООО «Институт территориального планирования «Град» при управлении деятельностью субъектов-операторов (Приложения А, Б), что позволило сократить транзакционные издержки предприятия.

При проведении исследования использовались методы поддержки принятия решений, математического моделирования, математической статистики и теории вероятности, ассемблирования моделей, объектно-ориентированное программирование для проведения вычислительных экспериментов, методы и алгоритмы интерпретации натурного эксперимента на основе его математической модели, аппарат искусственных нейронных сетей, методы машинного обучения.

Положения, выносимые на защиту:

1. Архитектура системы идентификации психофизиологического состояния субъектов-операторов.

2. Метод оценки психофизиологического состояния на базе комитетов сверточных нейронных сетей.

3. Нейробайесовский алгоритм классификации психофизиологического состояния в режиме реального времени.

4. Методика и программный комплекс для дистанционной идентификации функционального состояния субъекта-оператора на основе анализа термограмм лица в реальном времени.

Достоверность научных результатов обусловлена корректным использованием общепризнанных методик статистического анализа данных, а также корректного математического аппарата; вводимые допущения мотивировались фактами, известными из практики. Достоверность и обоснованность научных положений подтверждена также соответствием результатов теоретических и практических исследований.

Степень достоверности и апробация результатов исследования.

Основные результаты диссертационной работы были представлены и обсуждены: на Международной научно-практической конференции «Новая наука: опыт, традиции, инновации» (Агентство международных исследований, г. Стерлитамак); X Международной научно-технической конференции «Динамика систем, механизмов и машин» («Динамика-2016», ОмГТУ, г. Омск); XVII Международной конференции молодых специалистов по микро/нанотехнологиям и электронным устройствам («EDM-2016», НГТУ, Эрлагол); «Динамика-2017» (2017, ОмГТУ, г. Омск); Международной научно-практической конференции «Инфографика и информационный дизайн: визуализация данных в науке» (2017 г., ОмГТУ, г. Омск); «Динамика-2018» (2018, ОмГТУ, г. Омск); XIV научно-технической конференции «Актуальные проблемы электронного приборостроения, АПЭП-2018» (2018 г., НГТУ, г. Новосибирск); III Всероссийской научно-технической конференции с международным участием «Приборы и методы измерений, контроля качества и диагностики в промышленности и на транспорте» (2018 г., ОмГУПС, г. Омск); <^М-2018» (2018 г., НГТУ, Эрлагол); EDM-2019 (2019 г., НГТУ, Эрлагол); II Национальной научно-практической конференции «Образование. Транспорт. Инновации. Строительство» (2019 г., СибАДИ, г. Омск);

II Межвузовской научно-практической конференции «Информационная безопасность: современная теория и практика» (2019 г., СибАДИ, г. Омск); XIX ШАС конференции по технологиям, культуре и международной стабильности, ТЕСК 2019 (2019, Софийский технический университет, г. Созополь); III Международной научно-технической конференции «Проблемы машиноведения» (2019 г., ОмГТУ, г. Омск); XVIII Всероссийской научно-практической конференции студентов, аспирантов и молодых ученых «Безопасность информационного пространства» (2019, МГТУ им. Г. И. Носова, г. Магнитогорск).

Связь темы исследования с научными программами. Работа была поддержана грантом РФФИ в рамках проекта №18-37-00154 мол_а «Исследование и разработка методов дистанционного определения психофизиологического состояния субъекта по термографическим изображениям лица и шеи», который выполнялся в период с 2018 по 2020 годы под руководством Жумажановой С. С., которая также стала победителем конкурса 2021-2023 года на право получения стипендии Президента РФ молодым ученым и аспирантам с темой «Методы биометрической аутентификации субъектов и распознавания психофизиологического состояния субъектов по термограммам лица и шеи с использованием аппарата искусственных нейронных сетей». Работа частично реализована в проектах, поддержанных грантами РФФИ № 15-48-04172 р_сибирь_а, «Модель формирования тепловых изображений подстилающей поверхности охранных зон магистральных продуктопроводов», № 16-07-01204 А, «Технология защиты гибридного документооборота на основе внедрения в документы аутентификаторов, формируемых из биометрических образов субъектов», № 18-41-550002 р_а, «Методы биометрической аутентификации и формирования электронной подписи на основе параметров электроэнцефалограмм». Зарегистрирована одна программа для ЭВМ (регистрационный № 2021614970 от 01.04.2021).

Тематика исследований соответствует паспорту специальности 05.13.01 -«Системный анализ, управление и обработка информации (информационные и технические системы)» по следующим пунктам:

п.1 Теоретические основы и методы системного анализа, оптимизации, управления, принятия решений и обработки информации.

п.2 Формализация и постановка задач системного анализа, оптимизации, управления, принятия решений и обработки информации.

п.3 Разработка критериев и моделей описания и оценки эффективности решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации.

п.4 Разработка методов и алгоритмов решения задач системного анализа, оптимизации, управления, принятия решений и обработки информации.

п.5 Разработка специального математического и алгоритмического обеспечения систем анализа, оптимизации, управления, принятия решений и обработки информации.

Личный вклад автора. Личный вклад автора состоит в постановке, обсуждении и обосновании решаемых задач, а также в разработке, тестировании и реализации предложенных методов, алгоритмов и компьютерных программ, анализе и интерпретации полученных данных, подготовке публикаций в виде научных статей и докладов. Представленные в диссертации результаты исследований получены лично автором под руководством научного руководителя.

Публикации. По теме диссертации опубликованы 30 научных работ, в том числе 7 статей в журналах и изданиях, определенных ВАК, 6 статей в журналах и изданиях, определенных Scopus/Web of Science, 1 монография.

Объем и структура работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы, приложений. Объем диссертационной работы составляет 158 страниц, содержащих 44 рисунка, 18 таблиц, 5 приложений.

ГЛАВА 1. ПРОБЛЕМА ПОСТРОЕНИЯ СИСТЕМ ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ ПО УПРАВЛЕНИЮ ДЕЯТЕЛЬНОСТЬЮ ОПЕРАТОРОВ СЛОЖНЫХ ОБЪЕКТОВ

1.1 Влияние человеческого фактора на деятельность субъекта-оператора

Необходимость учета человеческого (субъективного) фактора в процессе управления техническими/технологическими объектами подтверждается данными статистики. По данным Организации здравоохранения, ежегодно в мире только 1,2 миллиона человек умирают в результате дорожно-транспортных происшествий. На рисунке 1.1 приведены данные Института машиностроения им. А. А. Благонравова РАН по показателям значимости человеческого фактора при крупных авариях на технических объектах в различных областях.

Военная авиация Автомобильный Гражданское и транспорт промышленное

строительство

Гражданская Ядерная энергетика Технологическое Военная и Трубопроводный

авиация оборудование космическая техника транспорт

Рисунок 1.1- Количество аварий в различных отраслях в результате действия человеческого фактора Приведенные показатели подтверждают, что человек занимает центральное место в управлении техническими/технологическими объектами и процессами. В настоящее время этот факт учитывается при разработке международных и государственных стандартов в сфере оптимизации производственных систем. Международные организации по стандартизации, руководствуясь ISO 6385 [1],

используют термин «производственная система» (work system) для обозначения совокупности рабочих сред, интерфейсов и инструментов, поддерживающих работу какого-либо объекта для реализации технологического/технического процесса [1].

Подход «оператор вперед» к проектированию пунктов управления (ПУ) различными технологическими/техническими объектами был использован в литературе по человеческому фактору и эргономике, а также в ряде промышленных стандартов (ISO 11064, EEMUA 201 и т. д.), в которых дизайн архитектуры ПУ разворачивается изнутри, и именно субъект-оператор является отправным (основным) элементом [2].

В ходе одного из исследований в рамках изучения схемы «пункт управления-когнитивная модель» были опрошены сотрудники и субъект-операторы диспетчерских пунктов АЭС [3], и выделены аспекты, способствующие безопасной эксплуатации АЭС, которые были разделены на пять общих элементов - ситуации, функции, задачи, характеристики и структурные элементы. Взаимосвязи между этими элементами описываются циклической моделью Холлнагеля и Вуда, показанной на рисунке 1.2.

Неисправности создаются в виде ситуаций или событий, возникающих в результате функционирования управляемой системы. Способность субъектов-операторов реагировать на эти возмущения определяет управляющие действия, которые необходимо предпринять. ISO 11064 (ГОСТ Р ИСО 11064) [4] - это международный стандарт, состоящий из семи частей и содержащий общие требования и рекомендации для проектирования центров/пунктов управления, а также более подробные требования, связанные с конкретными элементами ПУ. На рисунке 1.3 показан обзор эргономического подхода к процессу проектирования системы в соответствии с ISO 11064.

Нарушения

Ситуация

События/ обратная связь

Процесс/ Приложение/ контролируемая система

Структурные элементы с характеристиками

Функции

Рисунок 1.2 - Когнитивная модель, Рисунок 1.3 - Эргономический подход к объединяющая элементы, определенные проектированию систем [4]

для безопасной эксплуатации ПУ АЭС

[3]

Субъект-ориентированный подход к проектированию ПУ требует учета человеческого фактора при разработке систем. Преимущества человека в том, что он способен смягчать текущую ситуацию или управлять ею. Однако человек может являться и первопричиной инцидентов. Поэтому учет субъективного фактора способен минимизировать риск возникновения критических отказов, появления угроз безопасности или нарушения безопасности.

Серии стандартов, учитывающие человеческий фактор, приведены в таблице 1.1. В ряде последних стандартов [5] отмечено, что «инженерия человеческих факторов» в действующих стандартах практически не рассмотрена.

Таблица 1.1- Серии стандартов, учитывающих человеческий фактор

Номер ГОСТа Наименование

Р 50.1.088-2013 Менеджмент риска. Руководство по оценке риска для опасностей со стороны человеческого фактора

ГОСТ Р МЭК 62508-2014 Менеджмент риска. Анализ влияния на надежность человеческого фактора

ГОСТ Р ИСО 6385-2016 Эргономика. Применение эргономических принципов при проектировании производственных систем

ГОСТ 12.0.230.5-2018 Система стандартов безопасности труда (ССБТ). Системы управления охраной труда. Методы оценки риска для обеспечения безопасности выполнения работ

ГОСТ Р МЭК 626462019 Атомные станции. Пункты управления. Компьютерно-ориентированные процедуры

ГОСТ Р МЭК 609652020 Резервный пункт управления атомной станции, используемый при отказе блочного пункта управления

В ГОСТ Р МЭК 62508-2014 [6] говорится о том, что необходимо учитывать психологические ограничения при разработке систем «человек-машина», например, состояния стресса и усталости. В ГОСТ 12.0.230.5-2018 предложен метод «Оценка влияния человеческого фактора», который имеет как преимущества, так и ряд недостатков:

а) сложность и разнообразие психических, физиологических и компетентностных характеристик, поведенческих особенностей человеческого организма и личности работающего, которые затрудняют определение простых типов опасностей и рисков;

б) многие виды трудовой деятельности персонала не имеют четкого набора строго правильных/неправильных действий, что обуславливает затруднения в оценке риска.

Доктором Скоттом Шаппеллом (Dr. Scott Shappell) и доктором Дугом Вигманном (Dr. Doug Wiegmann) была разработана Система анализа и классификации человеческого фактора и человеческих ошибок [7], которая первоначально использовалась ВВС США (рисунок 1.4).

Наиболее важные факторы, оказывающие влияние на работоспособность или когнитивное состояние субъекта это:

1) Физические факторы - физические возможности человека (сила, рост, зрение, слух и т.д.).

2) Физиологические факторы - общее состояние здоровья, недомогания, употребление табака, наркотиков или алкоголя, стресс, усталость, беременность.

3) Психологические факторы -подготовка, знания и опыт, рабочая нагрузка.

4) Психосоциальные факторы - факторы социальной системы индивидуума, которые вызывают дополнительную нагрузку, например конфликты, семейные обстоятельства и т.д.

Организационные воздействия

Управление ресурсами

Климат организации

Организационный процесс

Небезопасный контроль

Недостаточный контроль

Запланированные несоответствующие операции

Неспособность устранения проблемы

Нарушения контроля

Предпосылки для опасных действий

Факторы окружающей среды

Состояние операторов

Кадровые факторы

Физическая среда

Технологическая среда

Неблагоприятное Неблагоприятное психическое физиологическое состояние состояние

Физиологические/ психологические ограничения

Управление ресурсами коллектива

Опасные действия

Нарушения

Личностная готовность

Ошибки

принятия

решений

Ошибки, связанные с навыками

Ошибки восприятия

Оямдаемые Исключительные

Рисунок 1.4 - Структура HFACS

Вероятность совершения ошибки субъектом-оператором вследствие возникновения одного из обозначенных факторов возможно оценить с помощью субъективных, поведенческих и физиологических показателей [8]. Было обнаружено, что точность определения ПФС субъекта-оператора значительно возрастает при использовании физиологических данных [9]: в отличие от поведенческих, многие физиологические показатели не находятся под намеренным контролем человека.

Таким образом, возникает необходимость пересмотра существующего подхода к оценке влияния человеческого фактора на работу субъекта-оператора. Она состоит в создании правильной иерархии принятия решений при управлении деятельностью субъектов-операторов, включении главного и вспомогательного звена. Вспомогательное звено, в качестве которой может выступать интеллектуальная система, предоставляет необходимую информацию о ПФС

субъекта-оператора; главное звено на основании этой информации принимает решение о дальнейших действиях субъекта-оператора либо о прекращении любых действий.

1.2 СППР по управлению деятельностью операторов и предприятий

Системы интеллектуальной поддержки принятия решений все активнее используются во многих сферах человеческой деятельности: медицина и здравоохранение, образование, бизнес, экономика, производство и др.

Список литературы диссертационного исследования кандидат наук Жумажанова Самал Сагидулловна, 2021 год

Юу -

Рх Интервалы корреляции по -

РУ осям х, у -

Ра Условный радиус -

Т(У) Гамма функция -

Щ-) Вырожденная Выражается через интеграл вероятностей

гипергеометрическая функция Куммера ееГ (г у) = 1 - Р (г у) ехр(-2 2), F(zf) = 0,348(1 + 0,477г/)'1 - 0,09588(1 + 0,47г/)-2 + 0,74785(1 + 47гг)'ъ (3.8)

Дисперсия корреляционных функций ¥ = (2р)—2 ЛGa(фх,Фу)dфxdфy —¥

Производные корреляционных функций ¥ \ехр(-Ск • )• 4~\1 + <кк = Г(у)• V(у,Мк + У +1,) 0 (3.7)

ди Амплитуда выброса

Рс Радиус ОСД -

К'лв Плотность потока ложных решений Л^ Рсв к;в = Клв I |Р(ли,рсули■ йрс (3.10) лин Рсн

и Среднее значение случайного поля -

Рпо = Рт • Рм = [1 -ехр(сбК2Г3и03/(2Ь)2] • Рм

Р(ди, Рс) Совместная плотность распределения ди и Рс -

к Контраст сигнала на фоне К=ди/и -и

г Время поиска -

2в Угловой размер поля наблюдения -

Колебания интенсивности случайного поля -

1(ху) Значение интенсивности поля в точке (х;у) после преобразования апертурой

Р[1(х,у)]. Функция плотности распределения вероятностей амплитуд преобразованного поля, фиксируемых на выходе корреляционного обнаружителя

_2 &ш Дисперсия шумов -

видеоаппаратуры

Nk Количество кадров -

fk Nk~ 0,2fk Кадровая частота -

Sc Площадь объекта -

Sk Площадь корреляции помех на экране дисплея -

Для изотропного фона при px =py = pk операция преобразований (3.3), (3.4) апертурным фильтром с распределением прозрачности в виде гауссоиды и pa . Тогда:

GoiWx,Wy) = elxpl[1 + 0,5р2 ■ (W + w})-3/2 exp(-p2(w2 + w2)], (3.5) G02(wx,wy) = ^ярЦ ■ exp[-(0,25pj2 + p2)■ + (3.6)

Для вычисления производных R(x,y) в (3.2) и о# используем формулу [94]:

¥

jexp(-C, • z, ). zvk-1 (1 + z, dzk = T(y) ■ W(y, + y +1, z, ), (3.7) 0

°"21 = [! -pap\ • F (V2 • Га Га-1 )] ,

1 pa

hi = T72—

0,5л/рЛ2 • p,Га"1 • F(У2) • pap- _ 1 1 _-pPaP~_ ■ F{42paP~_ )

(3.9)

С учетом (3.7), (З.8): s2a2 = s2pk /(рк + 4Ра), ^ = P(pk + 4р2а)]~1.

Тогда искомая оценка K лв = f (ОСП,—,Unp).

Pa

Если зафиксировать Клв равное 25 м-2 (одно решение на 0,2х0,2м2), а pa=0,1 мм, то обнаружение ОСД возможно при ОСП >4 и pa/pk=25 на любом из рассматриваемых фонов. При pa/pk=100 обнаружение ОСД возможно при ОСП > 3. Это означает, что потребуется дополнительная информация о дефекте.

Как правило, решение о наличии ОСД на изображении принимается, когда AUeAUn; AUb, Рс& Рсн; Рсв.

Плотности распределения амплитуды выброса за уровень Unp и площади его сечения на том же уровне имеют вид [95]:

Р(Ди) =

лин - и

о

• ехр

ли(Дин - и)

о

=

&

ехр

&

Если Аии рс независимы и Р(рс) = 2рр ■ Ррр2), то

Р(Аи,Рс) = 2р 4" • (Аин - и)3х

(3.11)

х ехр

(Аи - и)2

Г

2 Аи тес +■

Аин - и

Тогда Кш = Клв[ехр(-Д1рс2н)-ехр(-аг2В)]•{!-ехр[-а2(А^в-А^н)]} (3.12)

Для случайных полей (3.3), (3.4) при Д^ = да уравнение (3.12) позволяет получить оценки Клв при различных диапазонах рс е рсн; рсв.

При рсв/рсн =2 КЛв=25 м-2 обеспечивается при ОСП=2 и (рь/рО) е 200; 400. Эффективность размерной селекции выбросов оказывается достаточно высокой.

Форму выбросов за уровень ипр следует также считать информативным признаком [96]. Этот и упомянутые выше признаки учитываются при оценке надежности систем автоматического обнаружения ОСД.

Возможности зрительной системы человека по обнаружению простых объектов на простом фоне - это вероятность Рпо [97], на которую влияют колебания фона [98].

Известно, что при наложении гауссова шума на изображение, зрительная система реализует алгоритм работы корреляционного обнаружителя. Тогда Клв выражения (3.10) для нахождения плотности ложных выбросов, обеспечиваемого системой «дисплей-оператор» при заданной вероятности Рт и замене ОСП на визуально воспринимаемое отношение сигнал/помеха (ОСПв):

2 ли N S осп2 =-кг-2--с.

В + Ще2 ^

С учетом межкадровой корреляции шумов, характеризующейся экспоненциальным законом R(v) = ехр (-0,083V), V = 1,2, ... - номер последующего кадра, несложно получить общее соотношение

ОСП2 _ ^2 ' ^_ 3,

ОСПв ^ '

+ 2 I-п)ехр(-0,083п) к

П=1

которое при Ош < о, R(v) ~ 1, Рт = 1, можно представить в виде:

ОСПв » ОСП-р2с/р1. (3.14)

Для подтверждения того, что и корреляционный обнаружитель и зрительная система человека имеют одинаковый подход в принятии решений был проведен цикл экспериментальных исследований по обнаружению ОСД на фоне помех.

3.2 Экспериментальные исследования по обнаружению осесимметричных дефектов на фоне помех зрительной системой человека и системой

компьютерного зрения

В экспериментах по обнаружению ОСД зрительной системой человека 10 испытуемых просматривали десятисекундное видео с изображением сгенерированных случайных полей [97] для поиска и обнаружения ОСД типа пора. В эксперименте использовались поля, описываемые функцией R(x, у), на которые аддитивно накладывалось изображение ОСД вида ЛЦ (х,у) = ЛUо•Sk (х,у). Амплитуда ЛЦо изменялась в пределах от о до 5 о.

Функция формы обнаруживаемого сигнала Sl(x,y) - цилиндр радиусом

рс=15 рх. Функции S2(x,y) и Sз(x,y) получены перемножением Sl(x,y) с гауссоидальным импульсом и представлены на рисунке 3.1, а. Энергии всех функций S2(х, y)dxdy отличались не более чем на 4 %.

■ ■ | ♦ ♦ . к = 1

□

ч \

\\ к = 2

□

X

\

О 5 10 15 20 25

у/х2 + у2, рх

а)

б) в) г)

Рисунок 3.1 - Изображения используемых функций формы Sь (х,у) и их сечений а) - примеры тестовых изображений при р / рь) = 1, б) - Ди1(х,у), в) -

ДЩху),

г) - Диз(х,у). Местоположения сигналов выделены рамкой с указанием

отношения сигнал/помеха

Примеры тестовых изображений ОСД изображены на рис. 1, б)-г). Наиболее успешно обнаруживаются человеком дефекты цилиндрической формы.

Для оценки возможностей зрительных систем в задачах распознавания объектов были сформированы изображения ОСД (поры) на фоне помех (шума). Далее на базе сгенерированного изображения формировался видеопоток: с помощью различных параметров генерации фона имитировались помехи и

перемещения объекта (дефект «перемещался» или «изменял» размер). Таким образом, формировалось множество производных изображений, представляющих собой кадры видеопотока. Количество участников, принявших участие по обнаружению «дефектов» - 10. Для исключения влияния сопутствующих факторов на получаемые результаты: освещенность, угловые размеры поля зрения и обнаруживаемого сигнала и др. использовалась технология проведения экспериментов, описанная в [97]. Результаты эксперимента отражены на рисунке 3.2.

а)

б)

в) г)

Рисунок 3.2 - Графики вероятностей Рпо а)-в) и Рлт г) для трех форм дефектов: а) - ДЦ^ху), б) - ДЩху), в) - ДЦз(х,у) Характер кривых Рпо, изображенных на рисунках, соответствует установленной закономерности обнаружения человеком небольших объектов. Однако кривая на рисунке 2а характеризует ситуацию наилучшей маскировки объекта и располагается выше кривой на рисунке 2 б. Это можно объяснить особенностями рассматриваемых сигналов и спектром флуктуаций фона.

Было проведено сопоставление возможностей зрительной системы человека и компьютерного зрения при обнаружении дефектов разных форм (рисунок 3.4), придерживаясь следующей методики (рисунок 3.3).

1(ху), отн. ед.

Рисунок 3.3 - Процесс выбора ипр: а) -поле до преобразования, б) - поле после апертурного преобразования, совпадающего с Ди1(х,у), в) - график плотности распределения преобразованного поля; пунктирной линией отмечен уровень сигнала, обеспечивающий

заданную Рлт.

На конкретном экспериментальном материале оцениваются вероятности Рпо и Рлт для всех 10 испытуемых, полученные результаты усредняются. На тех же изображениях

проводилась оценка Рпо и Рлт, полученные в результате работы системы компьютерного зрения, который в данном случае реализовал алгоритм корреляционного обнаружителя и стратегию принятия решений Неймана-Пирсона.

На случайное поле накладывался дефект разных форм с различными отношениями рс/рк, которое преобразуется апертурой, и таким образом формируется итоговое изображение с интенсивностью 1(х, у). На выходе корреляционного обнаружителя формируется функция плотности распределения вероятностей амплитуд преобразованного поля, фиксируемых Р[1(х,у)].

Знание этой функции и вероятности ложной тревоги Рлт, характеризующей ошибочные решения зрительной системы, позволяет вычислить значение Цр, обеспечивающий ранее найденную вероятность Рлт по всем испытуемым.

Результаты экспериментов представлены на рисунке 3.4-3.6.

Рисунок 3.4 - Графики Рш1(ху) при обнаружении сигнала вида Ди1(ху), (серый цвет характеризует систему компьютерного зрения, черный - зрительную

систему человека)

0,8

^0,6 я"

о

сС 0,2 0

0,8 ^0,6 2 0,4

о

^ 0,2

(Рс/Рк )=0,5

50

1(ху), отн. ед.

ы э*)=2

50

100 150 200 250

1(ху), отн. ед.

0,8

^ 0,6 У,

Й 0,4

О

^ 0,2

0

100 150 200 250

0,8

н

0? 0,2

уЛ0 сЫ = 1

50 100 150 200 250

КХ,У)- отн. ед.

и>л

(

А

> Л

50 100 150 200 250

АХу), отн. ед.

Рисунок 3.5 - Графики Рпо1(х,у) при обнаружении сигнала вида Ли2(х,у} системой компьютерного зрения (серый) и компьютерного зрения, зрительной

системой человека (черный)

,0,8 '0,6 ¡0,4 0,2

(Рс/Рк )=0,5

, 0,8 ' 0,6 | 0,4 0,2

50

100 150 200 250

/(х^у), отн. ед.

(Рс/> ок)=2

50

100 150 200 250

/(х,3>), отн. ед.

, 0,8 ' 0,6 | 0,4 0,2

(РсЬ

/ Г

/

0,8 0,6 0,4 0,2

50

100 150 200 250

/(х.у), отн. ед.

(РсЫ = 4

50

100 150 200 250

/(х^), отн. ед.

Рисунок 3.6 - Графики Рпо1(х,у) при обнаружении сигнала вида Аиз(х,у) системой компьютерного зрения (серый) и компьютерного зрения, зрительной

системой человека (черный)

Если форма дефекта на изображении представлена в виде цилиндра то вероятность распознавания зрительной системой человека (при сохранении вероятности ложной тревоги) значительно падает с уменьшением радиуса корреляции флуктуаций яркости фона. На вероятность обнаружения также влияет наличие мелких структур фона, которые размывают границы дефекта; гладкие формы дефекта обнаруживаются значительно лучше.

При ОСП< зрительная система человека справляется с задачей обнаружения ОСД лучше, чем система компьютерного зрения. С ростом ОСП наблюдается обратная ситуация, и в случае, когда ОСП>3 возможности систем сравниваются.

При рс /р=1 системы искусственного интеллекта более успешно решает задачу обнаружения дефекта, в отличие от человека.

3.3 Исследование и разработка архитектур сверточных нейронных сетей для обнаружения осесимметричных дефектов на фоне помех

Была исследована применимость СНС в задачах обнаружения ОСД на фоне помех. Для построения архитектуры СНС использовался специализированный программный модуль для проектирования, обучения и тестирования ИНС (рисунок 3.7).

Рисунок 3.7 - Окна программы для проектирования, обучения и

тестирования ИНС

Данный модуль имеет возможность графического представления функций (признаков) образов, спектров Фурье, а также проектируемых архитектур.

Для каждого класса было спроектировано и протестировано 6 базовых архитектур (рисунок 3.8), обозначения к которым представлены в таблице 3.2. Ряд архитектур рассматривались ранее исследователями с целью обнаружения объектов (образований) на медицинских изображениях [99] [100] [101] [102].

Input

I

Conv2D 1-1

Conv2D 1-2

Batch Norm

Conv2D 2-1

Conv2D 2-2

BatchNorm

Conv2D 3-1

Conv2D 3-2

BatchNorm

Flatten

FullCon

Input

I

Conv2D 1-1

Conv2D 1-2

BatchNorm

Conv2D 2-1

Conv2D 2-2

BatchNorm

Conv2D 3-1

Conv2D 3-2

BatchNorm

Conv2D 4-1

Conv2D 4-2

BatchNorm

Conv2D 5-1

Conv2D 5-2

MaxPooling2D

Flatten

FullCon

Input

I

MaxPooling2D

Conv2D 1-1

Conv2D 1-2

MaxPooling2D

Conv2D 2-1

Conv2D 2-2

MaxPooling2D

Flatten

FullCon

FullCon

Input

I

Сопу20 1-1

BatchNorm

Conv2D 2-1

BatchNorm

MaxPooling2D

Conv2D 3-1

BatchNorm

Conv2D 4-1

BatchNorm

MaxPooling2D

Flatten

FullCon

Input

Conv2D 1-1 Conv2D 1-2 MaxPooling

BatchNorm

DropOut

Conv2D 2-1 Conv2D 2-2 MaxPooling

Flatten

FullCon

Input

Conv2D 1-1

Conv2D 1-2

BatchNorm

DropOut

Conv2D 2-1

Conv2D 2-2

BatchNorm

DropOut

Conv2D 3-1

Conv2D 3-2

Maxpooling

Flatten

FullCon

Рисунок 3.8 - Внешний вид архитектур используемых СНС

Таблица 3.2 - Обозначения структурных блоков СНС

Обозначение Название Параметры

Input Входной слой Размерность входных данных

Conv2D Сверточный слой Кол-во фильтров, размерность страйда, функция активации, метод инициализации весов

MaxPooling2D Пулинговый слой по максимуму Размер пула, размерность страйда

Flatten Слой выравнивания (выпрямления)

FullCon Полносвязный слой Units (кол-во нейронов), activation (функция активации), метод инициализации весов

BatchNorm Слой нормализации по мини-батчам

DropOut Слой субдискретизации

Перед обучением СНС необходимо задать размер мини-батчей - небольших случайных подмножеств тренировочного набора. Во-первых, это позволяет достичь более точное приближение градиента по всему тренировочному набору, но в отличие от варианта, где используется весь набор данных, позволяет сократить объем вычислительных ресурсов. Во-вторых, это позволяет распараллелить действия с каждым примером, которых в глубоких нейронных сетях большое количество [103]. В текущем исследовании размер мини-батча составил 64.

Для обучения СНС база изображений, извлеченных из видеопотока, была разделена на два класса (есть объект/нет объекта). В каждом классе содержалось по 2500 изображений. Для каждого изображения вычислялся вектор признаков, в качестве которых рассматривались локальные признаки изображения, извлеченные с помощью алгоритма масштабно-инвариантной трансформации признаков (SIFT). Для обучения СНС использовались 2010 экземпляров, 68 для валидации и 420 для тестирования. В качестве оптимизационного алгоритма использовался оптимизатор Adam и Softmax - в качестве функции активации.

Скорость обучения и надежность распознавания с помощью СНС представленных архитектур при подаче на вход СНС изображений размерностью (1,240,320) не удовлетворяли нашим требованиям.

Для входных данных в виде спектрограмм обучались не все возможные комбинации архитектур СНС, а часть - сначала устанавливались тип и размер (начиная с 16) окна, изменялся шаг (начиная с 10). Процесс останавливался при отсутствии существенного роста точности решений на валидационной выборке. Из всего количества созданных комбинаций архитектур было выделено и протестировано 30. Как видно из таблицы 3.3, полученные результаты не отвечают требованиям, предъявляемым к системам распознавания.

Таблица 3.3 - Результаты по идентификации

Класс Средняя точность распознавания Максимальное значение точности распознавания Минимальное значение распознавания

«Есть дефект 0,63 0,69 0,56

«Нет дефекта» 0,65 0,71 0,54

3.4 Повышение эффективности принятия решений путем коллективного

выбора из множества альтернатив

Для решения задач распределенного управления и принятия решений в технических, экономических, информационных и социальных системах существует потребность в коллективном выборе решений, удовлетворяющих одному из условий многокритериальной оптимальности, таких как Нэш, Парето и др. [104]. Хорошо известно, что объединение множества различных классификаторов в комитеты может повысить точность классификации. Среднее (коллективное) значение решений комитета дает лучшие предсказания, чем каждый эксперт этого же комитета, причем снижение ошибки может быть довольно заметным [105]. Проблему коллективного решения рассматривали французские академики Ж.А. Кондорсе и Ж.Ш. де Борда, а также американский профессор К.Д. Эрроу. Впервые в 1784 году Кондорсе вводит процедуру голосования, основанную на попарных сравнениях: для заданной таблицы голосов

(предпочтений) победителем называется кандидат, который побеждает любого другого кандидата при парном сравнении по набранным голосам. Если попарные сравнения не приводят к конечному результату, т.е. наблюдается цикличность (нет победителя), имеет место парадокс Кондорсе [106]. Наблюдаемая вероятность идентификации отдельной СНС более 50% дает возможность использовать методы коллективного принятия решений.

Было предложено множество методов для создания комитетов (ансамблей) классификаторов [107].

Ключевой вопрос заключается не в том, превосходит ли алгоритм классификации, в частности, основанный на комитетах классификаторов и их обучении, другие алгоритмы, а в том, при каких условиях конкретный метод может значительно превзойти другие в решении данной проблемы и области его применения. Мета-обучение движется в этом направлении, пытаясь найти функции, которые сопоставляют наборы данных с производительностью алгоритмов. Теорема об отсутствии бесплатных завтраков (no free lunch theorem, NFL) утверждает, что не существует одного алгоритма, который победил бы во всех реальных решаемых задачах. Часто помогает специализация алгоритма в конкретной области для существующих в ней проблем, так как «использование универсального алгоритма поиска по «черному ящику» ресурсозатратно» [108]. Если речь идет о нейронных сетях, то данную теорему можно перефразировать так: никакая архитектура не будет универсальной для множества всех возможных задач. Это не означает, что для некоторых конкретных задач нельзя разработать алгоритм, работающий лучше, чем его конкуренты.

При использовании ансамблевых методов и сетей оптимальной архитектуры требуются ресурсы для выполнения вычислений и память для хранения обученных комитетов сетей, однако, это значительно компенсируется тем, что обучение сетей проводится на сравнительно малых выборках, что в свою очередь увеличивает скорость обучения и требует меньше ресурсов для обучения и хранения.

Было предложено множество схем для объединения нескольких классификаторов. Наиболее часто используемые подходы включают методы большинства голосов, усреднение, взвешенное усреднение, байесовский подход, нечеткий интеграл, теорию Демпстера-Шафера [109]. Эти условия так или иначе определяют степень выгоды и справедливости коллективно принятого решения. Часто исследователи сосредотачиваются на сложных методах объединения решений и забывают, что работа комитета во многом зависит от используемых членов и степени коррелированности их решений. Члены комитета должны быть аккуратными и разнообразными. В теории голосования нейронные сети и комитетные конструкции сильно связаны.

Идея объединения СНС в комитет, основанная на теореме Кондорсе, выглядит следующим образом: чем выше вероятность верного решения для каждой СНС в отдельности, тем выше вероятность верного решения комитета (при условии, что каждая сеть дает точность более 50%). Из 30 конфигураций для каждого класса были выбраны 5 наиболее эффективных СНС в плане точности распознавания, которые были объединены в комитеты.

Важным также является степень коррелированности решений сетей, чем она ниже, тем более выражен синергетический эффект от их объединения. Причем каждая архитектура в сочетании с определенным типом окон может входить в комитет неоднократно, так как при повторном обучении «с нуля» одной и той же архитектуры на тех же данных возникают две различные обученные сети (с разными весовыми коэффициентами). Решения этих сетей будут не полностью коррелированы. Назовем такие сети дублерами.

Рассчитана точность распознавания каждого класса в отдельности в зависимости от того, сколько дублеров каждой сети вошло в комитет. Объединение решений достигалось путем усреднения выходов сети, ассоциированных с уровнем схожести образа с определенным классом. Результаты показывают, что предложенный способ усреднения результатов решений дает более высокую

точность распознавания, однако при достижении определенного количества дублеров дальнейшее увеличение их числа не имеет смысла (рисунок 3.9).

1

0,9 0,8 0,7 0,6 0,5 0,4

-------а-а-»

\--------------

1/ У

/

/

•

6 8 10 Количество дублеров

12

14

16

Нет дефекта

■Есть дефект

Рисунок 3.9 - Результаты идентификации осесимметричных объектов при

объединении СНС в комитеты

В работе [110] предложена модифицированная формула гипотез Байеса, которая существенно снижает количество ошибок при идентификации образов в пространстве малоинформативных признаков. Алгоритм последовательного применения формулы гипотез Байеса (3.15) заключается в вычислении интегральных апостериорных вероятностей гипотез за некоторое число шагов равное количеству признаков. Каждая гипотеза подразумевает, что предъявляемые данные принадлежат определенному классу. На каждом шаге за априорную вероятность принимается апостериорная вероятность, вычисленная на предыдущем шаге. Данный алгоритм целесообразно применить в настоящем исследовании.

Р(н,К) = Р(»М + (Д^^о-^'М ■ ^ (ЗЛ5)

где Р^^Нц'А) - апостериорная вероятность /-й гипотезы, вычисленная на /- / шаге, Р(А]\Ш) - условная вероятность /-й гипотезы, равная плотности вероятности /-го признака для /-го эталона, IV/ - вес /-го признака, принимающий значения в интервале [0;1], может присваиваться шагам, исходя из информативности или

коррелированности соответствующих признаков либо иным способом. На первом шаге все гипотезы (классы) считаются равновероятными, т.е. Ро(Н/А)=1/п, где п -количество идентифицируемых классов. Условные вероятности вычисляются исходя из их гистограммы относительных частот. Чтобы отличить известный класс от неизвестного системе, устанавливается пороговое значение апостериорных вероятностей гипотез. При преодолении данного значения определенной гипотезой, образ, ассоциируемый с данной гипотезой, считается идентифицированным. В противном случае работающий в системе образ воспринимается как неизвестный (чужой).

Вес помогает балансировать пороговое значение апостериорных вероятностей и защищает процесс принятия решений от так называемых сбоев, происходящих при Р(А^Ш)=0, что возникает, когда значение ]'-го признака попадет в интервал гистограммы г-й гипотезы (эталона), соответствующий относительной частоте (нулевой плотности). Тогда апостериорная вероятность г-й гипотезы на следующих шагах уже не поднимется выше нуля. При Ж/=1 имеем классическую формулу Байеса - «наивный» классификатор Байеса, т. к. предполагается, что признаки статистически независимы.

Для повышения точности распознавания был предложен алгоритм (рисунок 3.10) идентификации ОСД на фоне помех на основе комитета обученных многослойных сверточных нейронных сетей и последовательного применения формулы гипотез Байеса (3.15).

Рисунок 3.10 - Схема алгоритма идентификации графических образов в условиях шумов на основе комитета обученных многослойных СНС и классификатора

Байеса

На первом этапе алгоритма происходит предобработка полученных (сгенерированных) изображений ОСД на фоне помех; данный этап подразумевает устранение шумов, сегментацию, нормализацию изображения.

На втором этапе происходит извлечение признаков из обработанных образов и построение временного ряда.

На третьем этапе полученные временные ряды преобразуются в спектрограммы с различными размерами окна и шагов отчетов.

На четвертом этапе алгоритма спектрограммы подаются на вход комитета обученных СНС, которые на этапе тестирования имели на выходе вероятность идентификации дефектов более 50% каждая.

На пятом этапе усредненные решения (вероятности), принятые комитетами СНС подаются на вход алгоритма, реализующего последовательное применение формулы гипотез Байеса (ППФБ) в качестве условных вероятностей (3.15).

На шестом этапе процедура идентификации продолжается до тех пор, пока не получены приемлемые результаты, т.е. выше, чем при использовании только комитетов СНС (95% и выше) за оптимальный промежуток времени (в зависимости от цели распознавания объекта, в настоящем исследовании - 20 секунд и меньше).

Выводы

- Форма ОСП существенно влияет на его обнаружение на фоне помех разной структуры. Особенно это влияние заметно проявляется при ОСП менее трех. Чем меньше интенсивность составляющих пространственного спектра искомого объекта в области высоких частот, тем хуже его выявляемость.

- При ОСП<1 зрительная система более эффективна для решения обозначенных задач, при 1<ОСП<3 предпочтительнее использование компьютерного зрения, при ОСП > 3 возможности систем одинаковы. Данное обстоятельство следует учитывать при разработке автоматизированных систем, когда система компьютерного зрения выступает в качестве советника, окончательное решение принимается человеком.

- Разработан метод распознавания объектов на фоне шумов и помех, основанный на объединении СНС с различными архитектурами в комитеты, при этом каждая архитектура входила в комитет (дублировалась) неоднократно. Метод основан на объединении решений сетей путем их усреднения. Вычислительный

эксперимент показал, что данный метод позволяет достичь более высокие результаты распознавания при наличии нескольких дублеров. Дальнейшее увеличение числа дублеров не дало значительного повышения результатов.

- Для значительного сокращения временных затрат на обучение системы распознавания образов, а также снижения объема обучающей выборки в разы, так как вместо глубокой нейронной сети с обратными связями нужно независимо обучать множество более мелких сетей, в качестве элемента обратной связи рассмотрен Байесовский классификатор. Разработка нейробайесовского алгоритма позволила повысить точность распознавания объектов.

ГЛАВА 4. ПОДСИСТЕМА ИДЕНТИФИКАЦИИ СОСТОЯНИЯ

ОПЕРАТОРА ПО ТЕРМОГРАММАМ ЛИЦА ДЛЯ СППР

4.1 Программа и методика проведения эксперимента

Для оценки эффективности тепловых признаков лица и шеи была составлена программа и методика проведения экспериментов.

К участникам эксперимента были предъявлены следующие требования, а именно отсутствие [111]:

- заболеваний полости рта;

- хирургических операций на лице;

- острого воспаления верхних дыхательных путей;

- лечения зубов последние 4 недели;

- лечения вазоактивными веществами или гормонального лечения;

- бороды;

- косметики на лице;

- употребление алкоголя в день эксперимента;

- приема пищи за 4 часа до эксперимента;

- физических упражнений за 2 часа до эксперимента.

Помимо этого для экспериментов были отобраны лица, не страдающие тахикардией и брадикардией (не наблюдавшиеся у врача и не имеющие заболеваний сердечно-сосудистой системы).

В проводимых экспериментах использовалась ИК камера FLIR E60 производства FLIR Systems (США) с разрешением 320*240 пикселей, режим

съемки - одновременная съемка в ИК и видимом диапазонах, тепловой чувствительностью 50 мК и диапазоном спектра от 7,5 до 13,5 мкм.

Натурные эксперименты проходили в лаборатории. Условия сбора данных в лаборатории соответствовали Санитарно-эпидемиологическим требованиям к физическим факторам на рабочих местах (САНПИН 2.2.4.3359-16) [112] (таблица 4.1). Температура помещения, в котором проводились эксперименты, была в диапазоне 20-24 °С.

Таблица 4.1 - Оптимальные величины параметров микроклимата на рабочих

местах производственных помещений

Период года Категория Температура Температура Относительная Скорость

работ по воздуха, °С поверхностей, влажность движения

уровням °С воздуха, % воздуха, м/с,

энерготрат, не более

Вт

Холодный ¡а (до 139) 22-24 21-25 60-40 0,1

Й(140-174) 21-23 20-24 60-40 0,1

11а (175-232) 19-21 18-22 60-40 0,2

Пб (233-290) 17-19 16-20 60-40 0,2

III (более 16-18 15-19 60-40 0,3

290)

Теплый 1а (до 139) 23-25 22-26 60-40 0,1

1б (140-174) 22-24 21-25 60-40 0,1

11а (175-232) 20-22 19-23 60-40 0,2

Пб (233-290) 19-21 18-22 60-40 0,2

III (более 18-20 17-21 60-40 0,3

290)

Параметры освещения соответствовали требованиям к освещению рабочих мест в помещениях общественных зданий, а также сопутствующих им производственных помещениях и промышленных предприятиях, изложенных в САНПИН 2.2.4.3359-16.