Симуляционные системы для неинвазивной кардиодиагностики и обучения тема диссертации и автореферата по ВАК РФ 05.11.17, доктор наук Кузьмин Андрей Викторович

• Кузьмин Андрей Викторович
• доктор наук
• 2019

Оглавление диссертации доктор наук Кузьмин Андрей Викторович

Введение

Глава 1. СОСТОЯНИЕ ВОПРОСА И ПОСТАНОВКА ЗАДАЧ ИССЛЕДОВАНИЯ

1.1. Значение и место диагностики состояния сердца

1.2. Системы неинвазивной диагностики

1.3. Системы симуляционного обучения

Выводы по главе

Глава 2. СПОСОБ ДИАГНОСТИКИ СОСТОЯНИЯ СЕРДЦА

НА ОСНОВЕ ДИНАМИЧЕСКОГО МОДЕЛИРОВАНИЯ

2.1. Обоснование симуляционного подхода

2.2. Многодипольная модель эквивалентного электрического генератора с динамической модификацией геометрических параметров трехмерной модели сердца

2.2.1. Теоретическая основа

2.2.2. Возможность динамической модификации геометрических параметров модели

2.3. Разработка и анализ способа диагностики состояния сердца

Выводы по главе

Глава 3. РАЗРАБОТКА СПЕЦИАЛЬНЫХ МЕТОДОВ ГЕОМЕТРИЧЕСКОГО МОДЕЛИРОВАНИЯ

И ВИЗУАЛИЗАЦИЯ МОДЕЛИ СЕРДЦА

3.1. Выбор методов описания геометрической модели сердца

3.2. Поверхностная полигональная трехмерная модель сердца

3.3. Получение объемного представления трехмерной модели сердца

3.3.1. Воксельные и древовидные структуры для представления трехмерных объектов

3.3.2. Алгоритм получения объемного представления сердца

3.3.3. Исследование объемного представления 3Э объектов

3.4. Сечение трехмерной геометрической модели

3.4.1. Особенности сечения поверхностных моделей объектов

3.4.2. Алгоритм разреза трехмерных объектов

3.4.3. Исследование алгоритма сечения объекта

3.5. Запросы видимости при визуализации трехмерных сцен

3.5.1. Особенности применения запросов видимости

3.5.2. Алгоритмы определения видимости объектов

Выводы по главе

Глава 4. ОПРЕДЕЛЕНИЕ ГЕОМЕТРИЧЕСКИХ ПАРАМЕТРОВ ТРЕХМЕРНОЙ МОДЕЛИ СЕРДЦА

4.1. Выделение области сердца на флюорографическом изображении

4.2. Определение геометрических параметров сердца и торса пациента

по флюорографическим данным

Выводы по главе

Глава 5. МОДЕЛИРОВАНИЕ ЭЛЕКТРИЧЕСКОЙ АКТИВНОСТИ СЕРДЦА С ДИНАМИЧЕСКОЙ МОДИФИКАЦИЕЙ

ГЕОМЕТРИЧЕСКИХ ПАРАМЕТРОВ МОДЕЛИ СЕРДЦА

5.1. Исследование влияния геометрических параметров модели

на результаты моделирования

5.2. Исследование влияния геометрических параметров модели

на ошибку определения параметров электрической активности сердца

5.3. Алгоритм моделирования электрической активности сердца

с динамической модификации геометрических параметров

5.3.1. Описание алгоритма

5.3.2. Получение дипольных моментов

5.3.3. Расчет модификации геометрических параметров

при моделировании электрической активности сердца

Выводы по главе

Глава 6. РЕАЛИЗАЦИЯ МЕТОДОВ ДИНАМИЧЕСКОГО 3Б

МОДЕЛИРОВАНИЯ В СИСТЕМАХ СИМУЛЯЦИОННОГО ОБУЧЕНИЯ.... 159 6.1. Аппаратно-программный комплекс обучения хирургии

6.1.1. Аппаратное и программное обеспечение комплекса

6.1.2. Эндоскопическая хирургия

6.1.3. Открытая хирургия

6.1.4. Эндоваскулярная хирургия

6.2 Средства разработки программного обеспечения симуляционных технологий

6.2.1. Функции средства разработки программного обеспечения симуляционных технологий

6.2.2. Аппаратные и программные средства разработки программного обеспечения симуляционных технологий

6.2.3. Принципы создания средства разработки программного

обеспечения симуляционных технологий

6.2.3.1. Общие принципы

6.2.3.2. Принципы реализации и контроля симуляции

6.2.3.3. Игровой принцип симуляционного обучения

6.2.3.4. Интероперабельность

6.2.3.5. Построение базы знаний

6.3. Методические подходы

6.4. Функциональные требования

6.4.1 Общие функциональные требования

6.4.2. Требования к эндоваскулярному тренажеру

6.4.3. Требования к эндоскопическому тренажеру

6.5. Разработка и описание архитектуры системы

6.5.1. Общей архитектуры системы

6.5.2. Программные компоненты

6.5.3. Входные и выходные данные

6.5.4. Интерфейс системы

Выводы по главе

Глава 7. РАЗРАБОТКА КОМПЬЮТЕРНОЙ СИСТЕМЫ НЕИНВАЗИВНОЙ КАРДИОДИАГНОСТКИИ

7.1. Структура распределенной системы сбора

кардиографических данных

7.2. Особенности длительного мониторинга ЭКС

7.3. Мобильная система мониторинга ЭКС

7.3.1. Технические средства мониторинга ЭКС

7.3.2. Портативное устройство регистрации ЭКС

7.3.3. Программное обеспечение мобильной системы

мониторинга ЭКС

7.4. Программное обеспечение системы неинвазивной диагностики

Выводы по главе

Основные результаты

Список сокращений и условных обозначений

Список литературы

Приложение. Документы о внедрении

Введение диссертации (часть автореферата) на тему «Симуляционные системы для неинвазивной кардиодиагностики и обучения»

Введение

Актуальность исследования. Актуальность этой темы обусловлена двумя основными факторами. Первый из них - это чрезвычайная важность проблемы сердечно-сосудистых заболеваний. По статистике они уверенно держат первое место среди причин смерти и потери трудоспособности населения. Диагностика сердечно - сосудистых заболеваний является важнейшей не только медицинской, но и социальной проблемой. Второй фактор - это повсеместное внедрение информационных технологий, включая современные методы математического моделирования, визуализации и обработки информации. Естественно, такая глобальная тенденция не могла не затронуть область медицинской техники и диагностических систем. Компьютеризированная диагностика организма, моделирование и анализ работы отдельных его систем на сегодняшний день становятся актуальными. При этом на первый план выходит вопрос представления информации в пригодном и удобном для восприятия и обработки виде. Визуализация информации и использование трехмерных моделей становится не только инструментом анализа решения, но также необходимым звеном и этапом решения.

Задачи визуального представления сердца и моделирования его работы возникают при построении компьютерных систем симуляционного обучения, разработка и внедрение которых являются основной тенденцией в системе профессиональной подготовки студентов-медиков, системе переподготовки и повышения квалификации врачей. Часть систем симуляционного обучения требуют в качестве объекта используют сердце - это, в первую очередь, хирургические тренажеры, диагностические симуляторы и т.д. Развитие данного направления требует разработки не только математических моделей, описывающих работу сердца, но и применимых на практике конкретных, методик обработки кардиографической информации, моделирования и визуализации, а также алгоритмических и программных решений.

Степень разработанности темы исследования. Разработка методов и средств визуализации состояния сердца для компьютерных систем неинвазивной диагностики и симуляционного обучения является актуальной научной задачей, решение которой позволит повысить эффективность как диагностики состояния сердца так и обучения будущих специалистов-медиков.

Значительный вклад в развитие данной научной области, связанной с исследованием и моделированием работы сердца внесли отечественный ученые Р.М. Баевский, О.В. Баум, О.Н. Бодин, А.Н. Волобуев, М.Н. Крамм, В.С. Мархасин, А.Ш. Ревишвили, М.П. Рощевский, Л.И. Титомир. Среди зарубежных ученых необходимо отметить H. Delingette (Франция), P. Kohl, D. Noble (Великобритания), A. van Oosterom и T. Oostendorp (Нидерланды), Y. Rudy (США), N. Wessel (Германия).

Сейчас разработаны ряд моделей и программных средств моделирования и визуализации работы сердца, позволяющие изучать электрическую активность сердца человека, моделировать изменение электрических параметров миокарда с использованием трехмерных моделей, которые отличаются или запредельной сложностью и вычислительными затратами или рассмотрением ограниченного числа аспектов активности сердца и значительными упрощениями. Таким образом, особенности реализации имеющихся систем накладывают серьезные ограничения на их практическую применимость.

Целью исследования является разработка симуляционных систем, позволяющих расширить функциональные возможности неинвазивной кардиодиагностики и обучения за счет применения методов моделирования и визуализации кардиографической информации на основе неинвазивно полученных данных о геометрических параметрах сердца и его электрической активности.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Анализ современного состояния проблемы неинвазивной диагностики и симуляционного обучения с использованием компьютерных систем моделирования и визуализации сердца для совершенствования методов и средств построения симуляционных компьютерных систем для неинвазивной кардиодиагностики и обучения.

2. Совершенствование способа диагностики состояния сердца путем применения методов моделирования и визуализации кардиографической информации на основе неинвазивно полученных данных о геометрических параметрах сердца и его электрической активности.

3. Развитие многодипольной модели эквивалентного электрического генератора сердца за счет использования динамической модификации геометрических параметров модели сердца.

4. Разработка способа получения геометрических параметров трехмерной модели сердца на основе неинвазивно полученных данных флюорографического обследования.

5. Разработка способа получения объемного представления трехмерной модели сердца и алгоритма его реализующего.

6. Создание специальных методов работы с трехмерной моделью сердца для использования в компьютерных системах симуляционного обучения, алгоритмов и программных средств.

7. Синтез структуры компьютерной системы симуляционного обучения, включающей возможности динамического моделирования и визуализации сердца и реализация соответствующего программного обеспечения.

8. Создание структуры компьютерной системы неинвазивного мониторинга электрической активности сердца и реализация ее компонентов.

Объектом исследования системы неинвазивной диагностики и симуляционного обучения на основе моделирования электрических и геометрических параметров сердца.

Предметом исследования являются компьютерные методы и средства анализа, моделирования и визуализации электрической активности сердца и его геометрических параметров.

Методы исследования. Для решения поставленных задач использовались теория систем, математическое моделирование, биомеханика, аналитическая геометрия, геометрическое моделирование, фрактальная геометрию, объемное моделирование, теория обработки сигналов и изображений, а также математический аппарат компьютерной графики.

Научная новизна исследования состоит в следующем:

1. Предложена концепция построения симуляционных компьютерных систем для неинвазивной кардиодиагностики и обучения, включающая динамическую геометрическую модель сердца и позволяющая расширить функциональные возможности способа диагностики состояния сердца на основе неинвазивно получаемых данных об электрической активности сердца и геометрических параметрах сердца и торса человека.

2. Развита предложенная Л.И. Титомиром многодипольная модель эквивалентного электрического генератора сердца за счет динамической модификации геометрических параметров трехмерной модели сердца.

3. Разработан новый автоматизированный способ получения геометрических параметров модели сердца пациента по данным флюорографического обследования, отличающийся применением алгоритма подстройки модели по критерию минимального несовпадения площадей проекций.

4. Предложен способ получения объемного представления трехмерной модели сердца, отличающийся применением гибридного алгоритма рекурсивного разделения пространства и фрактального заполнения замкнутого объема.

5. Создан алгоритм построения сечения трехмерного объекта, отличающийся использованием фрактального разделения пространственных элементов, позволяющий производить сечение объектов сложной формы.

6. Разработана структура системы симуляционного обучения, включающая подсистему визуализации объектов операционного поля с учетом пространственной и временной адекватности моделирования и отличающаяся реализацией возможности визуализации динамической геометрической модели сердца.

7. Разработаны и программно реализованы алгоритмы моделирования и визуализации сердца с учетом динамической модификации геометрических параметров модели для использования в симуляционных компьютерных системах неинвазивной кардиодиагностики и обучения.

Практическая значимость исследования:

1. Концепция построения симуляционных компьютерных систем, позволяющая усовершенствовать способ диагностики состояния сердца, включающий анализ неинвазивно полученной электрокардиографической и геометрической информации, моделирование электрической активности сердца с учетом геометрических параметров модели сердца и визуализацию результатов моделирования, может служить методологической основой построения симуляционных компьютерных систем неинвазивной функциональной диагностики и обучения нового поколения, имеющих более широкие функциональные возможности и относящихся к персонализированной медицине.

2. Предложенные методологические основы моделирования электрической активности сердца с учетом изменения геометрических параметров трехмерной модели сердца развивают предложенную Л.И. Титомиром теорию многодипольного эквивалентного электрического генератора сердца и могут служить основой дальнейших прикладных научных исследованиях и опытно-конструкторских работ, связанных с тематикой моделирования электрической активности сердца.

3. Созданный и программно реализованный алгоритм получения объемного представления трехмерного объекта и его визуализации средствами компьютерной графики, может применяться при разработке графических систем, использующих методы объемной графики, виртуальной и дополненной реальности, как медицинского, так и общего назначения в рамках решения научно-исследовательских, учебных и прикладных задач.

4. Созданный и программно реализованный алгоритм сечения трехмерных моделей, основанный на рекурсивном разделения элементов модели, может применяться при разработке графических систем, требующих интерактивной работы с трехмерными моделями, как медицинского, так и общего назначения в рамках решения научно-исследовательских и прикладных задач.

5. Разработанный на базе Самарского государственного медицинского университета аппаратно-программный комплекс «Виртуальный хирург» предназначен для симуляционного обучения врача хирурга базовым навыкам эндоваскулярной, эндоскопической и открытой хирургии на этапах додипломного и последипломного образования.

6. Разработанный на базе Самарского государственного медицинского университета экспериментальный образец средств разработки программного обеспечения предназначен для самостоятельного формирования медицинским сообществом решений в среде симуляционных технологий в медицине с возможностью их распространения и обмена в системе здравоохранения и медицинского образования.

7. Созданный тестовый образец мобильной системы мониторинга электрической активности сердца «EasyECG» предназначен для регистрации, предварительной обработки, анализа, визуализации, хранения и передачи электракардиосигналов в амбулаторных условиях.

8. Разработанные программные средства моделирования электрической активности сердца с учетом геометрических параметров трехмерной модели сердца рекомендуется использовать в качестве основы для создания компьютерных симуляционных обучающих комплексов для обучения студентов медико-технических и медицинских специальностей.

На защиту выносятся:

1. Усовершенствованный способ диагностики состояния сердца на основе компьютерной симуляции электрической активности сердца с учетом динамических геометрических параметров сердца и торса человека.

2. Дополненная модель электрической активности сердца Л.И. Титомира, включающая многодипольную модель эквивалентного электрического генератора сердца с динамической модификацией геометрических параметров трехмерной модели сердца.

3. Автоматизированный способ получения геометрических параметров модели сердца пациента по данным флюорографического обследования с применением алгоритма подстройки модели по критерию минимального несовпадения площадей проекций.

4. Способ получения объемного представления трехмерной модели с применением гибридного алгоритма рекурсивного разделения пространства и фрактального заполнения замкнутого объема.

5. Алгоритм сечения трехмерного объекта, представленного полигональной геометрической моделью, на основе фрактального разделения пространственных элементов.

6. Система симуляционного обучения, включающая реализацию подсистемы моделирования и визуализации сердца на основе представления сердца как сложной системы с использованием математической трехмерной модели с динамически изменяющимся геометрическими параметрами.

7. Система неинвазивной кардиодиагностики, включающая подсистему моделирования и визуализации сердца на основе представления сердца как сложной системы с использованием математической трехмерной модели с динамически изменяющимся геометрическими параметрами.

Реализация и внедрение результатов исследования. Основные результаты диссертационной работы получены и реализованы при выполнении НИР.

Предложенные методы исследования электрической активности сердца с использованием геометрических моделей, динамического расчета геометрических параметров модели сердца реализованы при выполнении НИР «Моделирование электрической активности сердца» (№ госрегистрации 01201255881, 2012-2014 гг., и 114110640068, 2014-2016 гг.), реализованных под руководством А.В. Кузьмина в ФГБОУ ВО «Пензенский государственный университет» в рамках государственного задания Минобрнауки.

Предложенные автором методики представления медико-биологических параметров с использованием иерархической организации данных многопараметрических объектов реализованы при выполнении НИР «Разработка теоретических и алгоритмических основ позиционирования, мониторинга и визуализации состояния мобильных объектов в информационном пространстве на основе самоорганизующихся беспроводных сетей» в рамках федеральной целевой программы «Научные и научно-педагогические кадры инновационной России» на 2009-2013 годы; Рег. № 01201057543, реализованной в ФГБОУ ВО «Пензенский государственный университет».

Разработанные методы обработки, взаимодействия, физического и графического представления и визуализации поверхностных и объемных объектов операционного поля реализованы при выполнении НИР «Разработка аппаратно-программного комплекса «Виртуальный хирург» для 3D моделирования операционного процесса и учебно-методических модулей для системного обучения врача-хирурга методикам открытой хирургии с небольшим размером операционного поля, методикам эндоваскулярной хирургии и эндоскопической хирургии на этапах додипломного и последипломного образования» в рамках ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2013 годы», 2011-2013 гг. шифр 2011-2.7-527-062, реализованной Самарским государственным медицинским университетом.

Предложенная архитектура организации программной части хирургических тренажеров в части компонентов физических взаимодействий

объектов и визуализации трехмерных моделей, моделирования и визуализации кардиографической информации реализованы при выполнении прикладных научных исследований «Создание средств разработки программного обеспечения для самостоятельного формирования медицинским сообществом решений в среде симуляционных технологий в медицине с возможностью их распространения и обмена в системе здравоохранения и медицинского образования» (заказчик - Министерство образования и науки РФ), 2014-2015 гг., шифр работы 2014-14-579-0003, реализованной Самарским государственным медицинским университетом.

Основные результаты диссертационной работы внедрены в профильных организациях и на предприятиях.

Предложенные средства обработки и представления трехмерных моделей анатомических объектов, методы моделирования и визуализации динамической трехмерной модели сердца, алгоритмы и программные средства внедрены ООО «Вебзавод» (г. Самара) при создании средств разработки программного обеспечения для реализации симуляционных технологий в медицине.

Предложенные методы моделирования и отображения данных сердечной активности, алгоритмы и программные средства внедрены ООО «Открытый код» (г. Самара) при создании средств разработки программного обеспечения для медицинских информационных систем, симуляционных систем и систем поддержки принятия решений.

Предложенная система моделирования и визуализации состояния сердца внедрены ГБУЗ «Клиническая больница №6» им. Г.А. Захарьина и ГБУЗ «Клиническая больница №5» г. Пензы. И используются в действующем макете портативной системы диагностики состояния сердца в тестовом режиме.

Предложенная система неинвазиного мониторинга и моделирования электрической активности сердца, архитектура комплекса интерактивного обучения, методы и алгоритмы получения и визуализации объемных представлений трехмерных объектов использованы АО «Радиозавод» (г. Пенза) при подготовке проектов освоения производства инновационной продукции.

Разработанные алгоритмы и программное обеспечение для обработки кардиографической информации используются в учебном процессе Политехнического и Медицинского институтов ФГБОУ ВО «Пензенский государственный университет».

Документы о внедрении приведены в приложении.

Апробация результатов исследования. Основные результаты работы прошли апробацию на 47 научных конференциях, среди которых: МНТК «Проблемы автоматизации и управления в технических системах» (Пенза, 2004, 2015); IV МНТК «Информационно-вычислительные технологии и их приложения» (Пенза, 2006); конференция «Технологии Microsoft в теории и практике программирования» (Нижний Новгород, 2007); II Всероссийская НТК «Информационные и управленческие технологии в медицине» (Пенза, 2008); III МНТК «Информационные, измерительные и управляющие системы (ИИУС-2012)» (Самара, 2012); IV Межрегиональная научная конференция «Актуальные проблемы медицинской науки и образования» (Пенза, 2013); МНТК «Перспективные информационные технологии» (ПИТ) (Самара, 20122018), 15th International conference on intelligent games and simulation.GAME-0N'2014 (Lincoln UK, 2014); 16 Конгресс Российского общества холтеровского мониторирования и неинвазивной электрофизиологии (РОХМиНЭ) (Казань, 2015); 6th International Conference Cloud System and Big Data Engineering (Confluence-2016) (Noida, India, 2016), European Simulation and Modeling Conference (ESM) (Leicester 2015, Las Palmas 2016), XVIII, XIX, XXI, XXII, XXIV Conference of Association of Open Innovations FRUCT» (Санкт-Петербург 2016, Yuvaskula 2016, Helsinki, 2017, Yuvaskula 2018, Москва, 2019), XII Международный конгресс «Кардиостим» (Санкт-Петербург, 2016), ХХ Международная конференция по мягким вычислениям и измерениям (SCM-2017) (Санкт-Петербург, 2017), VI, VII Международный конгресс «Flesburg-Pensa» (Flensburg, 2018, Пенза, 2019).

Публикации. Основные положения работы представлены в 96 публикациях, среди которых 21 статья в изданиях, рекомендованных ВАК РФ, 2 монографии, 13 статей в изданиях, индексируемых в базах SCOPUS и Web Of Science, 7 патентах РФ, 16 зарегистрированных программах для ЭВМ, 37 статьях в прочих изданиях и сборниках тезисов конференций.

Личный вклад. Теоретические и практические результаты, относящиеся к способу неинвазивной диагностики состояния сердца, основанному на моделировании электрической активности сердца с использованием динамической модификации геометрических параметров трехмерной модели сердца, к методам и средствам моделирования и визуализации трехмерных объектов в компьютерных системах неинвазивной диагностики и симуляционного обучения, получены непосредственно автором, под его руководством или при его решающем участии. В работах, написанных совместно, автору принадлежат способы и программные средства: моделирования и визуализации электрической активности сердца с динамическим изменением геометрических параметров модели сердца; определения геометрических параметров трехмерной модели сердца по данным флюорографического исследования; получения объемного представления трехмерного объекта и его визуализации; построения сечения трехмерной модели объекта; обработки и визуализации кардиографической информации в составе компьютерной системы неинвазивной диагностики; моделирования и динамической визуализации сердца и других трехмерных объектов в составе системы симуляционного обучения, а также архитектуры: подсистемы визуализации компьютерной системы неинвазивной диагностики состояния сердца; подсистемы визуализации системы симуляционного обучения; мобильной системы мониторинга электрической активности сердца. Единолично опубликовано 5 статей в изданиях, рекомендованных ВАК РФ и 15 в других изданиях, зарегистрирована одна программа для ЭВМ. Автор обладает опытом руководства 2 НИР по тематике диссертации в рамках

государственного задания Минобрнауки РФ в 2012-2016 гг. За разработку системы неинвазивной диагностики автор был удостоен золотой медали ВВЦ (Москва, 2005), проект был удостоен золотой и серебряной медалей Московского международного салона инвестиций и инноваций (Москва, 2005, 2010). Разработанная автором программа построения сечений трехмерных моделей стала дипломантом международной выставки интеллектуальной собственности Exporiority'2013 Всероссийского общества изобретателей и рационализаторов (Москва, 2013). За высокий уровень научно-технических и инженерных решений, применяемых в программных разработках в рамках диссертации, соискатель удостоен звания лауреата регионального конкурса «Инженер года» в номинации «Инженер - программист» (Пенза, 2016). О высокой квалификации соискателя свидетельствует то, что он является рецензентом профильных международных журналов "Biomedical signal processing and control" и "Measurement" (журнал IMEKO), издательство Elsevier.

Автор выражает благодарность ректору Самарского Государственного Медицинского Университета д.м.н., профессору РАН А.В. Колсанову за поддержку и рекомендации по внедрению результатов работы.

Проблемы и задачи, решенные в диссертации, соответствуют паспорту специальности 05.11.17 «Приборы, системы и изделия медицинского назначения»: пункт 1 - предложен способ диагностики состояния сердца на основе моделирования электрической активности сердца с учетом электрических и геометрических параметров модели; предложено развитие математической модели многодипольного эквивалентного электрического генератора сердца в части динамической модификации геометрических параметров трехмерной модели сердца; пункт 2 - создано программное обеспечение медицинских кардиологических систем неинвазивной диагностики и симуляционного обучения; разработаны методы, алгоритмические и программные средства отображения медико-биологической информации о состоянии сердца с использованием компьютерной графики.

Структура работы. Работа состоит из введения, семи глав, заключения, списка литературы (258 наименований) и приложения. Общий объем составляет 314 страниц основного текста. Работа содержит 92 рисунка, 9 таблиц.

Глава 1. СОСТОЯНИЕ ВОПРОСА И ПОСТАНОВКА ЗАДАЧ ИССЛЕДОВАНИЯ

1.1. Значение и место диагностики состояния сердца

Данная работа посвящена одной из наиболее актуальных задач -неинвазивной диагностике состояния сердца. Известно, что сердечнососудистые заболевания представляют собой важную медицинскую и социальную проблему, занимая одно из лидирующих мест в мире среди причин потери нетрудоспособности населения. Это говорит о том, что эффективная и своевременная диагностика сердечно-сосудистых заболеваний остается не решенной до конце проблемой.

Связано это не только со сложностью самого функционирования сердца, но также с тем, что способы диагностики, применяемые при массовом обследовании, не позволяют выявить заболевание на ранней стадии, а также невыраженные патологические области. Классические способы регистрации и анализа электрокардиосигналов (ЭКС) во многом исчерпали свои ресурсы. По мнению автора, одним из важнейших путей повышения качества диагностики сердца является компьютеризация и внедрение современных методов моделирования, обработки и отображения информации .

При этом, как отмечает академик М.П. Рощевский, потенциал самого метода электрокардиографии как основного метода диагностики до сих пор не исчерпан [106]. В этом смысле электрокардиография не теряет своей актуальности как источник первичной диагностической информации, т.к. это наиболее распространенный метод неинвазивный оценки работы сердца. На данном этапе развития информационно-измерительной техники задачи диагностики не сводятся к применению какого-либо метода анализа электрокардиосигнала (ЭКС), например, амплитудно-временного или нейросетевого.

В основе данной работы лежит современное видение процесса диагностики, где важное место, в отличие от диагностики в классическом понимании, занимает этап моделирования обнаруженных особенностей функционирования диагностируемого объекта для проверки адекватности продиагностированных характеристик [63]. Однако, если в некоторых областях техники такой этап моделирования может быть легко осуществлен или даже избыточен, то в области биологических объектов на данном этапе развития моделирования и понимания процессов, происходящих в них, представляет собой нетривиальную и сложную задачу. Тем не менее, такой подход оправдан с точки зрения принципиальной возможности повышения уровня достоверности полученных результатов диагностики. Так, например, академик М.П. Рощевский убежден, что «диагностика сердечно-сосудистой системы будущего будет основываться на моделировании электрических процессов в сердце по электрокардиографическим данным, полученным на поверхности тела» [34].

Список литературы диссертационного исследования доктор наук Кузьмин Андрей Викторович, 2019 год

- источники света.

- специализированные служебные типы объектов (например, невидимые пользователю объекты, используемые для реализации запросов видимости)

В целом, для реализации блока отображения трехмерных моделей разработаны функции визуализации, позволяющие работать практически с любыми объектами, доступными на данный момент для использования с использованием общедоступных видеосистем персонального компьютера. При этом для работы с каждым типов объектов выбраны и протестированы соответствующие настройки, позволяющие отображать объекты максимально реалистично и в то же время не превышать уровень затрат вычислительных ресурсов, чтобы не страдала скорость и стабильность работы приложений.

Одним из универсальных механизмов, реализованных в блоке отображения трехмерных моделей, являются запросы видимости. Данный механизм используется в различных приложениях компьютерной графики и предназначен для определения того виден ли определенный объект пользователю в данный момент времени или нет (он может быть закрыт другими объектами сцены или вообще не попасть в зону видимости камеры). В силу специфики процесса визуализации с использованием технологий компьютерной графики решение задачи определения видимости объекта часто является нетривиальной. Тем не менее, использование запросов видимости необходимо в каждом из разработанных блоков (эндоскопической хирургии, эндоваскулярной хирургии и трехмерного атласа).

В эндоскопической хирургии. Основным и единственным источником визуальной информации об операционном поле является эндоскопическая

камера. Таким образом, качество проведения операции во многом зависит именно от правильной работы камеры, точнее, от правильной работы оператора видеокамеры - эндоскопа. Среди прочих можно выделить следующие критерии правильной работы камеры:

- камера крупно показывает зону проведения операции (чем крупнее изображение, на мониторе, тем более точные и верные действия делает хирург),

- камера не выпускает из своего поля зрения инструменты (естественно, что любое неконтролируемое движение инструментом может привести к повреждениям внутренних органов и тканей).

Каждый из указанных выше критериев предполагает контроль видимости. В первом случае - это объект, с которым производятся действия с помощью эндоскопических инструментов. Во втором случает - это сами эндоскопические инструменты, рабочие части которых постоянно должны быть видны хирургу.

В эндосковаскулярной хирургии. Основным и единственным источником визуальной информации об операционном поле является экран виртуального рентгенографического аппарата. Таким образом, качество проведения операции во многом зависит именно от правильного позиционирования и ориентации аппарата, чтобы на экране формировалось требуемое изображение. Главный критерий правильной работы рентгенографического аппарата следующий: на экране аппарата постоянно присутствует введенный в кровеносный сосуд наконечник эндоваскулярного инструмента, так чтобы хирург постоянно контролировал его движения.

В атласе анатомии человека. В отличие от хирургических модулей пользователь практически не ограничен в отображении 3D моделей возможностями каких-либо реальных медицинских устройств и имеет полную свободу изменения ракурсов, приближении и удалении камеры и др. Что, с одной стороны, предоставляет максимальные возможности для изучения 3D моделей, но, с другой стороны, пользователь, особенно неподготовленный, может незаметно для себя перейти от просмотра модели одной анатомической части к другой и вывести ее из зоны видимости. Главный критерий

правильности отображения объектов атласа следующий: на экране монитора 3D визуализации постоянно присутствует выбранный анатомический объект, а в случае выхода этого объект или его части за пределы видимости пользователь информируется.

Самым подходящим для решения для указанных выше задач определения видимости инструментов, органов и объектов, с которыми необходимо работать, является механизм запросов видимости. Для реализации механизма запросов видимости разработан специальный алгоритм, включающий два этапа:

- первый этап включает алгоритм предварительной обработки до начала визуализации сцены, выполняемый не в реальном масштабе времени.

- второй этап включает алгоритм определению видимости в процессе визуализации, выполняется в реальном масштабе времени.

В результате разработанный универсальный алгоритм используется в уже разработанных модулях операций и анатомического атласа, а также, благодаря универсальному API, может служить основой для решения широкого круга задач определения видимости в разработанных в будущем с помощью SDK модулях.

Элементы процесса визуализации представлены поддерживают специализированные эффекты (имитация изображения с рентгеновского аппарата, эндоскопической камеры, анимация органов, визуализация кровотока).

Модуль расчета физических моделей. Обеспечивает расчет в реальном времени физической модели операции, включающей в себя заданный набор органов и хирургических инструментов, на основе данных о воздействиях на эти инструменты. Обеспечивает взаимодействие с модулем 3D визуализации для модификации трехмерной сцены (модели пациента) в ходе операции.

Интерпретатор сценариев операций. Производит управление ходом операции, обеспечивает взаимодействие между всеми модулями посредством выполнения скриптов (сценариев операции), задаваемых на языке программирования LUA.

Загрузчик моделей и сценариев. Позволяет загружать модели и сценарии из облачного хранилища в локальный кэш.

Модуль ЭКГ. Позволяет воспроизводить в виде анимированных графиков оцифрованные данные ЭКГ. Позволяет динамически менять параметры этих графиков, а также комбинировать участки ЭКГ из разных файлов, для имитации разных типов сердцебиения пациента в ходе операции. Поддерживает механизм для синхронизации внешних действий (например, анимации сердцебиения) с QRS-интервалами ЭКГ. Поддерживает отображение графика насыщенности крови кислородом, синхронизируемого с графиком ЭКГ.

Модуль «Медикаменты». Позволяет хирургу в ходе операции посредством специального UI выбирать различные медикаменты из списка и параметры их ввода пациенту. Позволяет передавать эти данные в скрипты операции для обработки их влияния на модель пациента и ход операции. Также включают библиотеку функций, реализующих набор типовых реакций на ввод медикаментов, для использования в скриптах.

Модуль «Команды пациенту». Позволяет хирургу в ходе операции посредством специального UI выбирать различные устные команды пациенту из списка. Позволяет передавать эти данные в скрипты операции для обработки их влияния на модель пациента и ход операции.

Модуль работы с физическими манипуляторами позволяет реализовать взаимодействие между программной и аппаратной частью.

6.5.3. Входные и выходные данные

Все данные обрабатывается в режиме реального времени (если не указано иное), для обеспечения необходимой частоты кадров и скорости реакции на действия оператора. Список входных и выходных различен для каждого из программных модулей SDK.

Модуль 3D визуализации. Входными данными модуля являются 3D модели в формате библиотеки OGRE, параметры сцены, данные о привязке

графической 3D модели к физической, результаты расчета параметров физической модели. Выходными данными являются изображения экране монитора, которые так же могут сохраняться в виде отдельных кадров либо в виде видеофайлов. Расчет изображения производится в реальном времени. Поддерживается эмуляция изображений различных медицинских устройств (таких как рентгеновский аппарат, эндоскопическая камера).

Модуль расчета физических моделей. Входными данными являются физические модели органов пациента, хирургических инструментов, их параметры, данные от модулей, взаимодействующих с оператором (обучаемым хирургом). Выходными данными являются параметры модифицируемой в результате воздействий модели, которые передаются в модуль 3D визуализации.

Интерпретаторов сценариев и событий. Входными данными являются сценарии операции, события от модулей, взаимодействующих с оператором, выбранные параметры и события от модуля расчета физических моделей. Выходными данными являются параметры воздействия на сцену операции, параметры оценки действий пользователя, статистическая и иная информация о ходе выполнения операции.

Загрузчик моделей и сценариев. Загружает входные данные из общего хранилища по сети Интернет, сохраняет их в локальный кэш для использования другими модулями. Преобразование формата данных при этом не производится.

Для модуля ЭКГ входными данными модуля являются файлы оцифрованных данных ЭКГ пациентов, параметры изменения частоты пульса, параметры изменения типа ЭКГ (например, возникновение аритмии, тахикардии, фибрилляции). Выходными данными является график ЭКГ с возможностью его анимации в режиме реального времени, график насыщенности крови кислородом, синхронизируемый с графиком ЭКГ, генерируемые события для других модулей в моменты начала очередного QRS цикла ЭКГ.

Модуль «Медикаменты». Входными данными является справочник лекарственных средств, использование которых возможно в ходе операции, данные о выбранном лекарственном средстве, его количестве и способе введения, полученные через пользовательский интерфейс, а также технические параметры, позволяющие задать вид и степень влияния ввода определенных лекарственных средств на физическую модель пациента в ходе операции. Выходными данными являются параметры и события для интерпретатора сценариев и модуля расчет физических моделей.

Модуль «Команды пациенту». Входными данными являются команды, выбираемые оператором через пользовательский интерфейс. Выходными данными являются параметры и события для интерпретатора сценариев и модуля расчет физических моделей.

Программно-аппаратные модули. Входными данными являются физические параметры, получаемые от аппаратных устройств по протоколу USB, либо по беспроводному соединению. Выходными данными являются обработанные (нормализованные) параметры, передаваемые в модули 3D визуализации, расчета физических моделей и в интерпретатор сценариев и событий.

6.5.4. Интерфейс системы

Пользовательский интерфейс представляет собой набор программных модулей, обеспечивающих взаимодействие с пользователем на уровне представления ему визуальной информации и регистрации пользовательских команд. В зависимости от типа решаемых задач разработан ряд специализированных интерфейсов пользователя:

- общий пользовательский интерфейс;

- интерфейс эндоваскулярного симулятора;

- интерфейс эндоскопического симулятора;

- интерфейс анатомического атласа;

- интерфейс администрирования;

- интерфейс разработчика.

Пользовательские интерфейсы разрабатываются применительно к реализации конкретных бизнес-процессов в СРПО. Основой для разработки интерфейсов являются схемы реализации бизнес-процессов и схемы организации базы данных.

- Совокупность пользовательских интерфейсов во всех структурных компонентах программного продукта должна отвечать требованиям CUA (Common User Access) по физической, синтаксической и семантической согласованности.

- Физическая согласованность относится к использованию аппаратных средств (манипаляторов) и подразумевает использование одинаковых последовательностей действий при выполнении одинаковых операций.

- Синтаксическая согласованность относится к порядку появления элементов интерфейса на экране и к терминам, применяемым для обозначения команд и функций.

- Семантическая согласованность относится к значениям элементов интерфейса.

- Достижение согласованности в перечисленных аспектах обеспечивается соблюдением единых требований по оформлению и использованию элементов интерфейса; использованием единого словаря терминов и сокращений в наименованиях пунктов меню, полей, заголовках окон, текстах сообщений, подсказок; использованием одинаковых элементов интерфейса и их комбинаций при реализации однотипных функций в разных структурных компонентах программного продукта.

- Вся текстовая информация на экране должна полностью соответствовать смыслу и назначению поясняемых элементов интерфейса, однозначно интерпретироваться и не содержать грамматических, синтаксических и стилистических ошибок.

Общий пользовательский интерфейс включает некоторую вводную часть и не зависит от типа предполагаемых действий, будь то администрирование или выполнение виртуальной операции. Он производит самотестирование системы после включения, определение доступных компонентов, предоставляет пользователю информацию о запуске системы, приветствие, и формы для выбора языка и авторизации с требованием ввести свои регистрационные данные в соответствующие формы, определяет группу, к которой принадлежит пользователь, и, в соответствие с правами данной группы и локальной конфигурацией системы предоставляет выбор дальнейших действий. Надо понимать, что набор допустимых действий определяется локальной конфигурацией системы, например, если в составе системы физически есть эндоваскулярный манипулятор и соответствующее программное обеспечение, в окне выбора допустимых действий должен присутствовать вариант «Эндоваскулярный тренажер». После того, как дальнейшее действие выбрано, задействуется специальный интерфейс и управление переходит к нему, также при работе со специальным интерфейсом сохраняется информация о пользователе и его группе.

Интерфейс эндоваскулярного симулятора - это набор программных модулей, реализующих визуализацию информации и ввод пользовательских команд при работе с эндоваскулярным тренажером. При начале работы с этим интерфейсом пользователь выбирает тип эндоваскулярной операции, которую предполагает проводить, кейс из набора готовых кейсов для данного типа операции, а также некоторые дополнительные опции, определяющие особенности предстоящей операции, например, уровень сложности.

После начала операции в распоряжении пользователя есть два монитора, один из которых отображает виртуальное операционное поле таким, каким его видит хирург при проведении реальной операции, а другой отображает информацию о ходе операции и информацию о состоянии виртуального пациента. Второй монитор также обладает сенсорным экраном и позволяет пользователю вводить команды, связанные с выполнением операции. После

окончания операции пользователь получает информацию о ключевых параметрах проведенной операции и итоговую оценку.

Интерфейс эндоскопического симулятора - это набор программных модулей, реализующих визуализацию информации и ввод пользовательских команд при работе с тренажером эндоскопии. При начале работы с этим интерфейсом пользователь выбирает тип эндоскопической операции, которую предполагает проводить, кейс из набора готовых кейсов для данного типа операции, а также некоторые дополнительные опции, определяющие особенности предстоящей операции, например, уровень сложности. Для данного типа операции также есть возможность выполнять не только операции, но и обучаться базовым навыкам лапароскопии с помощью специально подготовленных обучающих кейсов.

После начала операции в распоряжении пользователя так же есть два монитора, один из которых отображает виртуальное операционное поле таким, каким его видит хирург с помощью эндоскопической камеры при проведении реальной операции, а другой отображает информацию о ходе операции и информацию о состоянии виртуального пациента. Второй монитор также обладает сенсорным экраном и позволяет пользователю вводить команды, связанные с выполнением операции, такое как выбор инструмента, выбор типа оптики эндоскопической камеры и т.д. После окончания операции пользователь получает информацию о ключевых параметрах проведенной операции и итоговую оценку.

Интерфейс анатомического атласа - это набор программных модулей, реализующих визуализацию информации и ввод пользовательских команд при работе с трехмерным атласом анатомии человека. При работе с этим интерфейсом пользователь выбирает тип изучаемой системы (кости, мышцы, кровеносная система, органы и др.), получает визуальную информацию об изучаемых объектах в виде трехмерных изображений и справочной информации. Работа с трехмерным изображением происходит в интерактивном

режиме, пользователь имеет при этом возможность менять угол обзор, приближать и удалять модель, рассматривать объект отдельно от соседних объектов или вмести с ними. Режим тестирования и выполнения заданий (кейсов) для этого интерфейса пока не предусмотрено. Ввод соответствующих команд осуществляется с использованием сенсорного экрана или клавиатуры.

Интерфейс администрирования - это набор программных модулей, реализующих возможность добавления, изменения, просмотра и редактирования учетных данных пользователей, определение групп пользователей. Первоначально для работы с интерфейсом редактирования необходимо использовать предварительно установленную производителем учетную запись администратора. Ввод соответствующих команд осуществляется с использованием сенсорного экрана или клавиатуры.

Интерфейс разработчика - это набор программных модулей, реализующих возможность редактирования существующих и создания новых сцен, моделей, кейсов, сценариев. В состав интерфейса разработчика входят следующие средства:

- редактор моделей;

- конструктор сцен;

- редактор кейсов.

Редактор моделей - это набор программных модулей, реализующих возможность редактирования существующих и создания новых моделей объектов, выступающих в качестве элементов в виртуальных операциях. Непосредственная работа по созданию трехмерной геометрической модели осуществляется в любом редакторе трехмерных моделей за пределами системы, затем она загружается в определенном формате в редактор моделей, где с ней ассоциируются необходимые атрибуты, составляющие описание модели (метаданные), которое необходимы для ее дальнейшего использования в системе.

Редактор сценариев - это набор программных модулей, реализующих возможность редактирования существующих и создания новых сценариев

проведения виртуальных операций. Создание сценария включает определение типа операции, целей и параметров операции, а также ключевых показателей эффективности, т.е. системы оценок. Кроме того, сценарии включают такой важный элемент как реакции на действия пользователя, реакции на события операции и т.п.

Конструктор сцен - это набор программных модулей, реализующих возможность редактирования существующих и создания новых сцен для использования в виртуальных операциях. Создание сцены включает определение следующих параметров:

- набор трехмерных геометрических моделей, которые пользователь будет видеть в операционном поле во время проведения виртуальной операции, и с которыми будет работать;

- свойства геометрических моделей (таких как масштаб);

- расположения моделей в операционном поле (координаты центра, повороты вокруг осей);

- физические параметры моделей (такие как масса, коэффициент трения поверхности);

- глобальные физические параметры, действующие на всей сцене (таких как сила тяжести);

- параметры оценки;

- системы адаптивных реакций на действия пользователя;

- сценарии.

Общий пользовательский интерфейс реализован на основе визуальных форм с использованием технологий двухмерной графики, включает элементы меню, кнопки и поля ввода для пользовательских данных и команд. Текстовое наполнение конкретных пользовательских форм содержится в дисковых файлах, имеющих специальную структуру. При формировании соответствующей формы в соответствие с установками языка текстовое наполнение форм на выбранном языке извлекается из соответствующих файлов. Также формирование пользовательских форм зависит от локальной

конфигурации оборудования и группы, к которой принадлежит авторизовавшийся пользователь.

Интерфейс эндоваскулярного симулятора состоит из двух основных частей, каждая из которых выводится на отдельный монитор:

- информационный блок;

- часть трехмерной визуализации.

Информационный блок устроен так же использует технологии двухмерной графики и в целом устроена аналогично общему пользовательскому интерфейсу (см. выше).

Часть трехмерной визуализации использует технологии трехмерной графики и представляет пользователю изображение операционного поля таким, каким его видит хирург при выполнении реальной операции.

Интерфейс эндоскопического симулятора аналогично интерфейсу эндоваскулярного симулятора состоит из двух основных частей, каждая из которых выводится на отдельный монитор:

- информационный блок;

- часть трехмерной визуализации.

Информационный блок устроен так же использует технологии двухмерной графики и в целом устроена аналогично общему пользовательскому интерфейсу (см. выше).

Часть трехмерной визуализации использует технологии трехмерной графики и представляет пользователю изображение операционного поля таким, каким его видит хирург с помощью эндоваскулярной камеры при выполнении реальной операции.

Интерфейс анатомического атласа аналогично интерфейсу эндоваскулярного симулятора состоит из двух основных частей, которые выводятся совместно на один монитор:

- информационный блок;

- часть трехмерной визуализации

Информационный блок устроен так же использует технологии двухмерной графики и в целом устроена аналогично общему пользовательскому интерфейсу (см. выше).

Часть трехмерной визуализации использует технологии трехмерной графики и представляет пользователю изображения выбранных анатомически отделов (костей, мышц, кровеносных сосудов, органов).

Интерфейс администрирования аналогично общему пользовательскому интерфейсу реализован на основе визуальных форм с использованием технологий двухмерной графики, включает элементы меню, кнопки и поля ввода для пользовательских данных и команд. Текстовое наполнение конкретных пользовательских форм содержится в дисковых файлах, имеющих специальную структуру. При формировании соответствующей формы в соответствие с установками языка текстовое наполнение форм на выбранном языке извлекается из соответствующих файлов.

Интерфейс разработчика в части реализации разделяется на отдельные элементы:

- редактор сценариев;

- конструктор сцен;

- редактор кейсов.

Редактор моделей аналогично интерфейсу эндоваскулярного симулятора состоит из двух основных частей, которые выводятся совместно на один монитор:

- информационный блок;

- часть трехмерной визуализации.

Информационный блок устроен так же использует технологии двухмерной графики и в целом устроена аналогично общему пользовательскому интерфейсу (см. выше). Часть трехмерной визуализации использует технологии трехмерной графики и представляет пользователю изображения трехмерных моделей.

Редактор сценариев аналогично общему пользовательскому интерфейсу реализован на основе визуальных форм с использованием технологий двухмерной графики, предоставляет пользователю возможность редактировать как исходные файлы, формирующие сценарий операции, так и пользоваться формами для определения параметров и формирования файлов сценария, то есть реализация некоторой среды визуального программирования с выпадающими списками, полями выбора, кнопками, проверкой правильности ввода параметров и непротиворечивости полученного сценария и сохранения его в файлы.

Конструктор сцен аналогично интерфейсу эндоваскулярного симулятора состоит из двух основных частей, которые выводятся совместно на один монитор:

- информационный блок;

- часть трехмерной визуализации.

Информационная часть устроена так же использует технологии двухмерной графики и в целом устроена аналогично общему пользовательскому интерфейсу (см. выше). В этой части реализована работа со списками моделей, сценариев, параметров и т.д. Предоставляет пользователю возможность редактировать как исходные файлы сцен, так и пользоваться формами для определения параметров и формирования файла сцены, то есть реализация некоторой среды визуального программирования с выпадающими списками, полями выбора, кнопками, проверкой правильности ввода параметров сцены и непротиворечивости полученного сценария и сохранения его в файл.

Часть трехмерной визуализации использует технологии трехмерной графики и представляет пользователю изображение редактируемой сцены, динамически при изменении параметров сцены изменяется изображение редактировании сцены.

Перейдем к описанию баз данных объектов и их свойств, необходимых для формирования библиотек, входящих в СРПО.

Для организации данных необходимых для поддержания работоспособности систем, построенных на базе предлагаемого СРПО, предлагается использование базы данных двух логических уровней.

- БД сервера локальной сети предназначена для хранения локальных пользователей (обучаемых на тренажерах) с разбиением на группы, факультеты, курсы (для студентов), на учреждения и тренинги (для врачей, проходящих курсы повышения квалификации). Также в БД сохраняются результаты выполнения ими операций, параметры сессий авторизации пользователей, список проводимых экзаменов и кейсов для каждого экзамена.

- В БД облачного сервиса сохраняется информация о заказчиках тренажера и приобретенных ими лицензиях, единая информационная база для СРПО (3D модели, сценарии операций, сцены, критерии оценки), результаты операций, отправляемые желающими участвовать в общем глобальной рейтинге, темы и сообщения форума пользователей СРПО.

Создание и первичное заполнение данными учетной записи администратора БД сервера локальной сети производится поставщиком сервера. Последующее введение данных в БД производится администратором сервера после авторизации, посредством программного обеспечения СРПО.

Создание, первичное заполнение данными, и поддержка работоспособности БД облачного хранилища обеспечивается разработчиком СРПО и администраторами сервиса. Последующее наполнение данными таблиц БД, связанных с операцией (данных сценариев, сцен, 3D моделей, критериев оценки) осуществляется как разработчиком СРПО, так и пользователями СРПО.

В целях безопасности, при установке или смене паролей пользователей, в базу вносится криптографический хэш пароля, вычисляемый по алгоритму М05. Сам пароль в базе не сохраняется.

Разработка перечней трехмерных компьютерных моделей объектов, входящих в состав библиотек баз данных

Перечень моделей органов был выбран, исходя из требований:

- Полноценной реализации всех поддерживаемых тренажерами ЭВ и ЭС видов операций.

- Унификации моделей между тренажерами хирургических операций (ЭВ, ЭС) и анатомическим атласом (проект «3D Атлас»).

При этом учитывались коммерческие пожелания потенциальных заказчиков хирургических тренажеров по требуемому набору органов, модели которых необходимы для обеспечения реалистичности симулятора.

Для большинства органов используется более чем одна модель, реализованы модели здоровых органов и органов с патологиями. Данные модели могут комбинироваться различными способами в единую сцену операции. Это позволяет при проведении операции симулировать пациентов разного возраста, пола, с разным набором патологий.

При разработке моделей основное внимание уделено внутренним органам, тканям и жидкостям. Поскольку при реальных операциях внешние параметры человека (например, кожа, волосы) существенной роли не играют, они детально не прорабатывались. Для всех органов, которые могут быть затронуты в ходе поддерживаемых программным комплексом операций, реализована их физическая модель.

Перечень моделей инструментов разрабатывался, исходя из перечня инструментов, используемых хирургами при соответствующих типах операций. Для каждого вида операций (ЭВ, ЭС) реализован свой набор инструментов, позволяющий выполнять весь необходимый хирургу набор действий в процессе таких операций.

Программные средства, реализующие предложенный экспериментальный образец СРПО, зарегистрированы в государственном реестре программ для ЭВМ [111, 114, 122, 123, 113, 121].

234

Выводы по главе 6

Разработаны программные средства, реализующие предложенные методы трехмерной визуализации и контроля визуализации в процессе отработки базовых навыков хирургии и симуляции отдельных видов операций, для комплекса симуляционного обучения хирургии в составе тренажеров эндоскопической, эндоваскулярной и открытой хирургии, включающая возможности интерактивной динамической симуляции трехмерных объектов операционного поля, моделирования и динамического отображения активности сердца и кардиографической информации в процессе проведения виртуальных операций. Программные средства разработаны в рамках проекта создания аппаратно-программного комплекса «Виртуальный хирург», предназначенного для симуляционного обучения врача хирурга базовым навыкам эндоваскулярной, эндоскопической и открытой хирургии на этапах додипломного и последипломного образования, реализованном на базе Самарского государственного медицинского университета

Предложена, обоснована и проанализирована структура средств разработки программного обеспечения экспериментальном образце средств разработки программного обеспечения, предназначенном для самостоятельного формирования медицинским сообществом решений в среде симуляционных технологий в медицине с возможностью их распространения и обмена в системе здравоохранения и медицинского образования. Предложенная структура реализована в разработанном на базе Самарского государственного медицинского университета.

Глава 7. РАЗРАБОТКА КОМПЬЮТЕРНОЙ СИСТЕМЫ НЕИНВАЗИВНОЙ КАРДИОДИАГНОСТКИИ

7.1. Структура распределенной системы сбора

кардиографических данных

Одним из возможных средств снижения последствий заболеваний сердца является использование портативных приборов мониторинга сердечной активности. Такие устройства позволяют производить анализ ЭКС на протяжении продолжительного времени и обнаруживать признаки опасных состояний сердца до того, как пациенту нанесен серьезный вред.

Обзор современного состояния вопроса позволяет заключить, что выявление признаков опасных отклонений в работе сердца имеет особое значение в условиях повседневной жизни человека, что предполагает использование в условиях свободного движения, тогда, когда пользователь может не ощущать каких-либо симптомов заболеваний и сохранять обычную или высокую физическую активность. Рассмотренные известные технические решения для мобильного мониторинга ЭКС в условиях свободного движения не обладают возможностью автономного выявления признаков опасных отклонений в регистрируемых ЭКС.

Рисунок 78 приведена общая структура мобильной системы мониторинга ЭКС [25], которая включает устройство регистрации ЭКС, мобильное вычислительное устройство и удаленный сервер медицинского учреждения.

Каждое портативное устройство регистрации ЭКС осуществляет регистрацию, предварительную обработку, хранение и передачу ЭКС для последующего анализа.

Смартфон используется в качестве мобильной вычислительной платформы для анализа ЭКС. Специальное программное приложение осуществляет запись сигналов в базу данных, анализ и визуализацию сигналов, передачу результатов анализа на удалённый сервер или другое мобильное

устройство. Анализ осуществляется для выявления отклонений сердечной деятельности человека и прогнозирования возникновения угрожающих жизни состояний.

Рисунок 78 - Структура системы мониторинга

Для реализации взаимодействия каждого отдельного портативного устройства регистрации ЭКС и распределенного сервера могут использоваться защищенные соединения по протоколу SOAP. При обнаружении в ЭКС признаков опасных состояний сердца, например, признаков аритмии, требуется дополнительный анализ данного участка ЭКС профильным медицинским специалистом (врачом-кардиологом). Реализация данной функции требует

передачи данного ЭКС с обнаруженными отклонениями на удаленный сервер медицинского учреждения, откуда выполняется передача информации на стационарный терминал, представляющий собой рабочее место кардиолога или другого лечащего врача.

Среди общих требований к таким системам [199, 202, 200], наиболее актуальными являются:

- автоматизированное обнаружение признаков опасных состояний сердца в режиме офф-лайн (без подключения к удаленному серверу),

- удобство для конечных пользователей (минимальные требования к квалификации пользователей в области медицинских знаний и специальных навыков)

- создание общего информационного пространства, обеспечивающего централизованное хранение информации, управление и доступ к ней.

Современные системы мобильного мониторинга рассчитываются на условия свободного движения пользователя, порождающей ряд специфических особенностей и ограничений, которые следует принимать во внимание в процессе разработки новых систем и устройств подобного назначения.

Анализ ЭКС, регистрируемых в процессе длительного непрерывного мониторинга имеет ряд особенностей по сравнению с лабораторной регистрацией. Эти особенности связаны в основном с процессом их получения. Среди этих особенностей [202] необходимо выделить:

- сокращенное число отведений ЭКС;

- высокий уровень помех и артефактов;

- ограниченное время автономной работы устройства.

7.2. Особенности длительного мониторинга ЭКС

Длительный мониторинг в процессе повседневной жизнедеятельности человека, включает эпизоды физической активности различной интенсивности, которая может приводить к изменению параметров контакта отведения с

поверхностью тела вплоть до полного его прерывания. Такие участки сигнала могут оказывать существенное влияние на результаты последующего анализа, например на оценку вариабельности сердечного ритма. Поэтому такие особенности сигнала должны быть исключены из анализа.

Рисунок 79 представляет пример прерывания ЭКС сигнала в увеличенном масштабе.

Рисунок 79 - Пример прерывания ЭКС

Для экспериментальных исследований использовалась база записей сигналов ЭКС длительного мониторинга с сайта physionet.org [221, 175]. Она предназначена для разработки и оценки эффективности алгоритмов определения и прогнозирования приступов пароксизмальной мерцательной аритмии.

Другая проблема во время мониторинга ЭКС возникает, когда человек контактирует с электро- и радиооборудованием. Некоторое оборудование

способно генерировать элетромагнитные помехи, влияющие на регистрируемый ЭКС. Такие помехи могут быть постоянно действующими, либо появляться эпизодически.

Для фильтрации помех в стационарном регистрирующем оборудовании используются фильтры, которые направлены в основном на устранение дрейфа изолинии (низкочастотные фильтры 0,5... 1 Гц), фильтрацию сетевой помехи (режекторный фильтр 50...60 Гц) и артефактов мышечного тремора (антитреморный фильтр частоты 35 Гц), но они не способны подавлять помехи других видов, возникающих при мобильном мониторинге. В системе мобильного мониторинга необходимо осуществлять фильтрацию для устранения влияния помех различных, заранее неизвестных источников.

Схема обработки сигнала мобильного кардиомонитора [200] должна включать этапы регистрации ЭКС, предварительной обработки и непосредственно анализа сигнала (см. Рисунок 80).

На этапе регистрации ЭКС, электрические потенциалы в точках отведений на поверхности тела человека регистрируются с необходимой частотой (для систем суточного мониторинга достаточной частотой является 500 Гц), усиливаются и преобразуются в цифровой вид.

Этап предварительной обработки заключается в выделении участков сигнала с аномальными значениями для исключения их из последующего анализа и в фильтрации помех в сигнале.

Для выделения аномальных значений электрокардиосигнала могут использоваться специальные индикаторы и/или статистические параметрические и непараметрические тесты [150, 192].

Для фильтрации сигналов целесообразно применять мощные методы, основанные на анализе самого сигнала, которые позволяют выделять особенности ЭКС конкретного человека и использовать их при фильтрации помех. К классу таких методов относятся: сингулярный спектральный анализ, методы локальной аппроксимации, анализ эмпирических мод и др.

Заключение Прогноз

Рисунок 80 - Схема обработки ЭКС

В настоящее время значительное внимание уделяется разработке новых алгоритмов подавления помех, присутствующих в ЭКС, в том числе на основе аппарата декомпозиции сигнала на эмпирические моды (ЭМ) и спектра

Гильберта [137]. Наиболее простым вариантом является удаление одной или двух ЭМ самой низкой частоты и последующем восстановлении исходного сигнала для фильтрации НЧ помех. В случае разложения пяти кардиоциклов ЭКС с частотой дискретизации 500 Гц в частотный диапазон НЧ помехи попадают две НЧ ЭМ сигнала.

Для подавления ВЧ помех на ЭКС также может использоваться декомпозиция сигнала на ЭМ. Для этого могут использоваться алгоритмы, использующие анализ поверхности энергетической плотности (ПЭП) [137].

Рисунок 81 представляет пример использования указанных методов фильтрации ВЧ и НЧ помех ЭКС.

Рисунок 81 - Пример фильтрации НЧ и ВЧ помех: а - ЭКС с НЧ помехой; б - ЭКС с НЧ помехой; в - ЭКС после фильтрации НЧ помехи; г - ЭКС после фильтрации ВЧ помехи

На этапе анализа в ЭКС выделяются информативные параметры [162]. Для анализа параметров ЭКС и прогнозирования угрожающих состояний применяются интеллектуальные алгоритмы, разработанные в рамках теории распознавания образов [74].

Одной из базовых задач анализа ЭКС является выделение QRS комплекса [301]. При этом автоматизированное выделение признаков, реализуемых специальной нейросетью [302], выглядит наиболее перспективным направлением исследований в этой области. ЭКС относится к потоковым данным, поэтому для обучения нейронной сети и последующего функционирования используется обработка ЭКС с помощью скользящего окна. Хранящиеся в буфере отсчеты подаются на нейронную сеть, на выходе которой формируется решение о наличии или отсутствии QRS комплекса в обрабатываемом окне сигнала [300].

7.3. Мобильная система мониторинга ЭКС

7.3.1. Технические средства мониторинга ЭКС

Необходимыми системы мониторинга ЭКС являются: портативное устройство, регистрирующие ЭКС и мобильная вычислительная платформа (часто в эту роль играет планшет или смартфон), отвечающий за управление, первичный анализ данных, визуализацию информации, передачу зарегистрированных данных на сервер медицинского учреждения и взаимодействие с пользователем [156, 178, 198].

В электрокардиографии и электроэнцефалографии используются многоканальные системы, осуществляющие измерение потенциалов с поверхности тела человека. Электрокардиографические сигналы (ЭКС) имеют диапазон изменения напряжения от 0,5 до 5 мВ и постоянную составляющую величины до ±300мВ [44], обусловленную контактом электрода с поверхностью тела, кроме того, имеется синфазная составляющая амплитудой до 1,5 В между

контактами отведений и общим проводником. Основной частотный спектр находится в полосе от 0,05 до 100 Гц [166].

Для реализации таких устройств существуют законченные аналоговые интерфейсы - analog front-end interfaces(AFE). Такие решения начали появляться на рынке в 2012 году, одной из первых компаний, представивших целую линейку подобных микросхем, была Texas Instruments. Наибольший интерес представляет наиболее функциональная микросхема в линейке AFE для ЭКГ - ADS1298 [208]. Данная микросхема реализует специализированные функции, необходимые для измерения и обработки биологических сигналов, а именно, ЭКС и электроэнцефалографических сигналов (ЭЭС). Данная микросхема включает набор аналоговых компонентов (инструментальный усилитель, аналоговый фильтр), необходимых для разработки медицинских приборов, и 24-разрядный АЦП. Схема ADS1298 обрабатывать одновременно до восьми каналов на входе и предоставлять на выходе соответствующее количество каналов цифрового сигнала с частотой дискретизации 32000 отсчетов в секунду. Разрешение каждого канала составляет до 24 разрядов, кроме того, для каждого канала предусмотрены собственные настройки усиления (коэффициент усиления может составлять от 1 до 12).

Особенностью является возможность установки максимального разрешения сигнала при частоте дискретизации до 8 кГц, при частотах дискретизации 16 кГц и 32 кГц оно может составлять до 19 бит и до 17 бит соответственно. Кроме того, несмотря на возможность данной микросхемы использовать биполярное питание, рекомендуют питание однополярное в диапазоне от 2,8 В до 5,25 В. Что касается синфазной помехи, то микросхема обеспечивает ее подавление 115dB. Связь с внешними устройствами осуществляется с помощью последовательного периферийного интерфейса (SPI), что позволяет настраивать устройство с помощью микроконтроллера.

Производитель Analog Devices так же имеет в своей линейке микросхему для построения устройств регистрации ЭКС и ЭЭС - AFEADAS1000. Ее возможности, в целом, аналогичны той, что рассмотрена выше. Среди

основных отличий можно отметить 5 каналов АЦП, а также использование особой схемы, позволяющей формировать на экранах защитное напряжение. Конструктивные особенности AFEADAS1000 (см. Рисунок 82):

- наличие 5 предварительных усилителей сигналов;

- наличие 5 АЦП, функционирующих параллельно;

- потребляемая мощность - 21 мВт [145], что превышает в 3 раза потребляемую мощность ADS1298.

Рисунок 82 - Упрощенная схема AFE ADAS1000

Кроме указанных решений, существуют микросхем иных производителей, но, в большинстве своем, эти решения представляют собой закрытые разработки, информация по которым не доступна для широкому кругу пользователей. Примером может служить фирма 1МЕС, которая, среди прочего, разрабатывает и производит портативные устройства медицинского назначения [184]. Подобные микросхемы, главным образом, предназначены для использования в портативных устройствах и идеально подходят для нательных

ЭКГ сенсоров. Структура аналоговых интерфейсов способствует созданию на их основе легко программируемых, интеллектуальных средств регистрации и обработки ЭКГ сигнала. Рассмотрим это подробнее на примере ADS1298.

Для управления аналоговыми интерфейсами в устройствах целесообразно использовать микроконтроллеры или цифровые сигнальные процессоры. Связь осуществляется через интерфейс SPI. Изменение настроек AFE осуществляется записью соответствующих регистров, считывание результатов аналого-цифрового преобразования может происходить либо в непрерывном режиме, либо по запросу.

Одной из особенностей AFE является наличие операционных усилителей с программируемым коэффициентом усиления. Анализируя поступающие данные можно легко подобрать требуемый коэффициент усиления, в зависимости от уровня помех и уровня полезного сигнала. В ADS1298 можно установить коэффициент усиления равный 1,2,3,4,6,8 или 12, причем отдельно для каждого канала [208]. При максимальном усилении в 12 раз и опорном напряжении АЦП равным 2,4 В, максимальная амплитуда на входе усилителя составляет 200 мВ. Достоинством аналоговых интерфейсов является наличие входного мультиплексора, с помощью которого можно переключать каналы или замыкать вход, а также встроенного генератора тестового сигнала. Например, можно измерить внутренний шум усилителей и АЦП, для того чтобы учитывать его уровень в дальнейшем.

Для исследования характеристик аналогового интерфейса воспользуемся демонстративным набором ADS1298ECG Front End Performance Demonstration Kit от Texas Instruments [146]. Набор представляет собой непосредственно плату с ADS1298 и плату с цифровым сигнальным процессором для управления интерфейсом и связью с ПК. В первую очередь, исследуем потребление тока микросхемой ADS1298 в различных режимах работы. Таблица 6 представляет полученные результаты. Видно, что микросхема обладает низким энергопотреблением, полученные значения близки к заявленным производителем.

Таблица 6 - Энергопотребление микросхемы ADS1298

Частота Потребляемый ток, мА при различном числе задействованных каналов ЭКГ

дискретизации 0 1 2 4 8

4 кГц 1 1,25 1,56 2,15 3,2

18 кГц 1 1,25 1,56 2,16 3,32

216 кГц 1,1 1,25 1,56 2,16 3,5

Данный аналоговый интерфейс обладает достаточно низким внутренним шумом. При расчете значений использовалось не менее 1000 показаний. Измерения происходили при напряжении питания 3 В и работе в режиме высокого разрешения [208].

При низком потреблении энергии шум увеличивается на величину порядка 5% [208]. Несмотря на повышенное энергопотребление можно выбирать режим высокого разрешения с наибольшим коэффициентом усиления случаев, когда требуется краткосрочно зарегистрировать сигнал [99].

7.3.2. Портативное устройство регистрации ЭКС

Разрабатываемое портативное устройство для регистрации ЭКС должно отвечать следующим требованиям [199]:

- малый размер;

- эргономичность;

- низкое энергопотребление;

- достаточная точность;

- надежность;

- безопасность;

- низкая стоимость.

Также важной является возможность самодиагностики, особенно обнаружение обрыва электрода [98].

Рассматриваемый ЭКГ - сенсор в общем случае состоит из блока АЦП для входного сигнала (его функции выполняет аналоговый интерфейс) и блока контроля и обработки сигнала, который может строиться на базе микроконтроллера или цифрового сигнального процессора. Рисунок 83 представляет обобщенную схему ЭКГ-сенсора.

Рисунок 83 - Общая схема устройства регистрации ЭКС

Для реализации описанного выше протокола Bluethooth Low Energy (BLE) было выбрано готовое решение от компании Nordic Semiconductor -NRF52832.

Экспериментальный образец портативного устройства регистрации построен на базе выбранного аналогового интерфейса спроектирован и создан на основе AFE ADS1298R фирмы Texas Instruments и беспроводного модуля Nordic Semiconductor NRF52832 [224].

Рисунок 84 представляет внешний вид (дизайн-проект) разработанного устройства под названием EasyECG.

CD

Рисунок 84 - Дизайн портативного устройства регистрации ЭКС

Таблица 7 представляет основные параметры разработанного устройства.

Таблица 7 - Параметры устройства EasyECG

Параметр Значение

Габаритные размеры 75x60x30 мм

Разрешение 24 бит

216 кГц 1,1

Частота дискретизации 500/1000 Гц

Беспроводной протокол Bluetooth Low Energy

Источник питания LR2450, 3.6 V, 110 mAh

Время работы более 24 часов

Спроектированный сенсор позволяет регистрировать до 8 отведений ЭКГ, измерять частоты дыхания пользователя и передавать данные по беспроводному каналу Bluetooth на мобильное вычислительное устройство.

7.3.3. Программное обеспечение мобильной системы мониторинга ЭКС

Разработанное программное обеспечение для портативного устройства регистрации ЭКС зарегистрировано в государственном реестре программ для ЭВМ [117]. представляет собой программу для микроконтроллера, где он является одновременно master в SPI соединении с АЦП и slave в беспроводном соединении по отношению к мобильному устройству с работающим приложением.

Для связи с АЦП через SPI используются пины P1_0-5, где каждый пин запрограммирован в соответсвии с протоколом SPI: P1_0 - CS, P1_1 - SCLK, P1_2 - DIN, P1_3 - DRDY, P1_4 - DOUT, P1_5 - DGND. Данные, получаемые через SPI сохраняются в XREG регистрах в виде буфера. Скорость работы SPI интерфейса задается МК по формуле fCLK/DIV (DIV = 2n, n = 1...8) и также ограничивается характеристиками slave-устройства (АЦП).

Взаимодействие МК и мобильного устройства осущесивпяеися благодаря профилю и сервису ECG Signal Transmission Profile/Service, разработанными авторами на основе стандартых профиля и сервиса bluetooth - Heart Rate Profile/Service. Эти профиль и сервис были разработанны для эффективной упаковки ЭКГ-данных (ECG-data) с колличеством отведений от 1 до 3 в стандартный пакет Bluetooth Low Energy 4.0 c размером пакета до 47 байт (39 байт полезной информации).

Приложение, работающее на мобильном вычислительном устройстве, выполняет следующие основные функции:

- обеспечение связи с мобильным устройством регистрации ЭКС и управление им;

- запись полученных ЭКС во внутреннюю память устройства;

- отображение зарегистрированных данных ЭКС;

- передача зарегистрированных данных ЭКС через средства беспроводного доступа к Интернет;

- выполнение доступных функций анализа ЭКС (с учетом ограничений на вычислительную мощность мобильного устройства).

Рассмотрим подробнее некоторые из указанных функций.

Выбор устройства из списка созданных пар. Важно отметить, что приложение не предлагает создать пару с кардиоусилителем, а возлагает эту функцию на Android Bluetooth API, то есть для работы приложения и портативного устройства связь между устройствами должна существовать (устройства должны пройти этап pairing и bonding).

Соединение с устройством регистрации ЭКС. После того, как устройство выбрано, для дальнейшей передачи данных необходимо развернуть подключение с помощью MAC-адреса клиентского устройства и UUID ECG Signal Transmission Service.

Обмен данными. Поскольку для общения мобильного приложения и устройства регистрации ЭКС используется доработанная вариация стандартного профиля BLE Heartrate Profile/Service - ECG Signal Transmission Profile/Service, взаимодействие приложения и кардиоусилителя происходит синхронно по принципу "запрос/ответ", т.е. каждый новый пакет от устройства регистрации ЭКС отправляется на мобильное устройство по запросу от последнего.

Сохранение данных. В процессе получения данных от устройства регистрации ЭКС в мобильном приложении заполняется буфер, по размеру равный длине одного пакета. Этот буфер называется первичным буфером обмена данных. Пусть запрос от приложение на отправку данных имеет номер i. Тогда ответ кардиоусилителя относительно как принятых, так и отправленных пакетов будет иметь номер i+1. Из этого следует, что данные (i+1) из первичного буфера данных актуальны только для i отправленного

приложением пакета. Соответственно для i+2 отправленного приложением пакета актуальным будет уже i+3 пакет и так далее. Для циклического добавления данных из первичного буфера данных служит одномерный динамический массив unsigned int16 _receivedData[]. Промежуточным результатом работы приложения является сохранение содержимого вышеуказанного массива в текстовый файл с именем - временной меткой (timestamp).

Визуализация кардиографических данных на мобильном устройстве может выполнять в двух режимах:

- непрерывный мониторинг;

- просмотр сохраненных данных

В случае непрерывного мониторинга визуализация данных происходит путем циклической перезаписи буферов A и B, по объему равных 1 секунда *3 отведения * 24 бита * 500 Гц / 8 бит = 4500 байт каждый. Буфер A отображается в течение 1 секунды и столько же времени требуется для заполнения буфера B, после чего буфер A очищается и начинает заполнятся принятыми данными, а буфер B отображается. Отображение производится посредством инструмента Android API - Canvas.

В случае вывода из файла данные файла посредством построчного считывания с использованием Android API попадают в массив, после чего к этому массиву применяются процедуры центрирования и масштабирования, далее все массив используется инструментом Canvas для визуализации в статическом виде.

Анализ данных осуществляется подключаемыми модулями. Например, режиме оффлайн может производится проводится выделение кардиоциклов, определение параметров сердечного ритма.

Отправка данных на сервер для хранения в удаленной БД. Для связи мобильного вычислительного устройства и сервера используется TCP-соединение, а данные передаются посредством стандартных POST-запросов через шифрованный с помощью SSL канал.

Разработка программного обеспечения для мобильного вычислительного устройства (смартфона) выполнена в среде Eclipse на языке программирования Java. Программное обеспечение поддерживает операционную систему Android версии 4.4.2 и выше. Рисунок 85 представляет общий вид данного мобильного приложения.

13 soptorrtar 2017 ПО S6 07 15M253M7IMIA

13 ScnttrrÍKf 2011 00 41 47 1806253347JerA

33Seplefrber 2017 004527 1Ю12Я3271ИЧ9

13S4«l«irt»> 2017004S07 tSen7M30íton4

13 Sepwrrt* 2017 OOS4 47

15М25ЭЗ*71м*

13 Sepletrtw 20170044:27 ísmrawMra

l3Seplefrbec 2017 00 4407 13 Seplwrter 2017 00:4327

Г с -А- * 3G* 1 ■ 16:56

1 т Aerii 201" 16 5« 1: .. I........Ю. il.1.1...

ч tai* byúj I íW

¡

1 i

Рисунок 85 - Интерфейс мобильного приложения EasyECG

Для доступа к удаленной БД разработано программное обеспечение, включающее клиентскую и серверную часть.

Разработка клиентской части программного обеспечения производилась одновременно с разработкой серверной части программного обеспечения системы мониторинга. Разработанная система представляет собой единое приложение, осуществляющее прием, хранение, обработку и отображение электрокардиографической информации.

Для разработки клиентской части программного обеспечения были использованы следующие компоненты:

- jquery 1.11.3;

- jquery-ui 1.11.4;

- bootstrap 3.3.2.

При открытии веб-интерфейса загружается подготовленное на серверной стороне изображение ЭКГ в данный момент времени. Затем, с некоторой периодичностью (около 1 с), производится проверка, не было ли изменено изображение на серверной стороне. В случае обновления изображения ЭКГ на стороне сервера производится его фоновая загрузка и замена текущего изображения на странице загруженным.

В локальном хранилище данных браузера сохраняется время загрузки изображения. С помощью Javascript производится запрос заголовка «Last-Modified» для файла изображения (~250 байт). В случае расхождения данных, полученных в результате запроса, и времени загрузки из локального хранилища производится загрузка нового изображения и, в случае успешной загрузки, подмена старого изображения на странице новым. Во избежание кеширования запросов заголовков и загрузки изображения на стороне сервера и/или браузера к каждому запросу в javascript добавляется текущая метка времени.

Разработка серверной части программного обеспечения началась с создания асинхронного сервера для TCP-соединений, так как применяемый в портативном устройстве модем SIM5360e имеет встроенную поддержку TCP-клиента. TCP-соединение нужно для обеспечения онлайн мониторинга ЭКГ. Для выгрузки файлов большего объема используется протокол FTP, так же нативно поддерживаемый используемым модемом. Для приема, хранения и обработки информации был развернут кластер виртуальных машин (ВМ) ProxMox, внутри которого работают ВМ под управлением операционной системы Debian. В рамках одной такой ВМ были развернуты следующие сервисы:

- NGINX - веб-сервер с возможностью прямой переадресации PHP-запросов в режиме FastCGI;

- PHP7.0 - backend-платформа для выполнения основной работы с сокетами и базой данных (БД);

- сервер управления базами данных (СУБД) MySQL для обработки и хранения пользовательской информации;

- pChart - библиотека для отрисовки графиков с помощью php на стороне сервера.

pChart [5] - это специализированный PHP-фреймворк, предназначенный для создания комплексных диаграмм. В отличие от большинства современных коммерческих аналогов, данный фреймворк предназначен для бесплатного свободного использования. Данные для визуализации могут быть импортированы из SQL-запросов, CSV-файлов или вручную в виде PHP-массива. Проект pChart все еще находится на стадии разработки, однако обладает как стабильной веткой, предназначенной для построения систем с повышенными требованиями к надежности и отказоустойчивости системы, так и экспериментальной веткой, куда наиболее оперативно внедряются все нововведения.

Для работы с библиотекой pChart был написан программный модуль на языке PHP, позволяющий настраивать отображаемое изображение (менять цвет фона, линии, менять шрифт и рабочую область изображения).

Важно отметить, что имя файла всегда остается неизменным (image.png), так как логика работы всей разрабатываемой информационной системы представляет собой динамическое обновление изображения в момент изменения заголовка конкретного файла (в конкретном случае - image.png). Однако перед тем, как передать данные модулю вывода, их нужно правильно упаковать. Для создания массива точек для вывода из потока принимаемых данных был создан программный модуль parser.php, также написанный на языке PHP.

Данный программный модуль, помимо разбора приходящих пакетов с данными, занимается подготовкой буфера кадра для отображения. Язык PHP накладывает некоторые ограничения на работу с очередями (Queue): такой класс попросту отсутствует в PHP. Однако для работы с динамически меняющимся набором данных использование принципа разбора очереди типа FIFO (First In, First Out - первый вошел, первый вышел) является наиболее удобным. Пример реализации динамического FIFO на PHP представлен в программном модуле parser.php в функции generate_data_plot.

Структурная схема серверной части программного обеспечения состоит из TCP-сервера, FTP-сервера, модуля предварительной обработки данных, модуля онлайн мониторинга ЭКГ и модуля хранения данных.

TCP-сервер [6] предназначен для приема данных ЭКГ в режиме реального времени (буферная передача данных) для обеспечения онлайн мониторинга ЭКГ.

FTP-сервер предназначен для приема файлов с электрокардиографической информацией в высоком разрешении (режим передачи файлов).

Модуль предварительной обработки данных выполняет функции разбора входящих пакетов и формирования данных для визуализации, а также функцию фильтрации ЭКГ.

Модуль хранения данных отвечает за долгосрочное хранение электрокардиографической информации (запись информации в базу данных под управлением СУБД MySQL).

Совместная работа перечисленных модулей обеспечивает штатную работу системы кардиодиагностики.

Система мониторинга состояния сердца на основе предложенного устройства [239] с разработанной информационной инфраструктурой используется как открытая платформа для создания и тестирования алгоритмических и программных решений для диагностики состояния сердца [244, 238, 201, 202].

7.4. Программное обеспечение системы

неинвазивной диагностики

Предложена структура программных средств, позволяющая использовать возможности моделирования ЭАС и визуализации кардиографической информации с использованием трехмерных моделей и аппарата компьютерной графики. Рисунок 86 представляет структуру программных модулей для моделирования и визуализации сердца в составе неинвазивной системы компьютерной диагностики или симуляционного обучения.

Рисунок 86 - Структура ПО системы моделирования и визуализации сердца

Основные модули следующие [61]:

- модуль программного интерфейса (API) позволяет внешней программе взаимодействовать с системой, активировать требуемые функции;

- подсистема обработки входных данных позволяет получать и обрабатывать исходные данные из внешних источников (файлов, БД и др.);

- подсистема моделирования выполняет основную функцию системы - моделирование ЭАС с использованием геометрических параметров модели сердца и расчет на основе параметров ЭАС модификаций геометрических параметров трехмерной модели сердца [126];

- модуль расчета характеристик гемодинамики позволяет косвенно оценить кровоток на основе данных сократительной активности;

- модуль цветового кодирования необходим визуализации механических и электрических параметров на поверхности модели сердца [69, 90].

В качестве входных данных для последующей визуализации компьютерной модели торса и сердца пациента используются [12]:

- исходные геометрические данные - модели сердца и торса, реализованные средствами компьютерной графики (пакет Blender и библиотека OpenGL). Средствами компьютерной графики обеспечивается реалистичность трехмерного изображения торса и сердца пациента;

- ФГ. Анализ ФГ предоставляет информацию о геометрических параметрах сердца;

- ЭКС. Визуализация результатов анализа ЭКС позволяет наглядно представить ЭАС - важнейший показатель сердечной деятельности;

- антропометрические данные пациента. Антропометрические данные пациента необходимы для корректировке геометрических параметров компьютерных моделей торса пациента.

Система должна иметь в своем составе модели сердца и торса со средними геометрическими параметрами, отвечающие требованиям реалистичности. Модели могут отражать не только поверхность, но и внутреннее строение сердца. При этом в результате одним из важных параметров будет взаимная ориентация моделей сердца и торса. С точки зрения компьютерной графики построение компьютерной модели торса и сердца пациента проходит в несколько этапов (см. Рисунок 87).

Рисунок 87 - Этапы построения компьютерных моделей сердца и торса

Рассмотрим подробно этапы построения компьютерной модели торса и сердца пациента.

Проектирование компьютерной модели торса и сердца в графическом редакторе (Blender, 3DMax) является необходимым для достаточно сложных

трехмерных моделей, когда требуется проектировать модель, манипулируя не отдельными вершинами полигонов, а наглядным трехмерным представлением.

Проектирование компьютерной модели торса и сердца в пакете Blender [6] включает следующие этапы:

- построение полигональной модели объектов на основании анатомического описания торса и сердца человека;

- настройка источников света (направление, мощность, степень освещенности);

- настройка материалов объектов;

- создание текстурной карты;

- настройка точки зрения наблюдателя (камеры), выбор точки и угла построения проекции.

Выходными данными программного в процессе работы над моделью может быть как непосредственно набор вершин и полигонов, так и результаты рендеринга модели, либо видеозапись.

Полученная полигональная модель может быть загружена в приложение для дальнейшей визуализации, для чего может использоваться открытая графическая библиотека OpenGL.

Для проектирования модели с использованием библиотеки OpenGL, необходимо экспортировать модели, созданные в Blender в общепринятый формат описания геометрии .obj. Формат файла является открытым и может быть экспортирован (и/или) импортирован в известные программные системы для работы с 3D графикой. Формат файлов obj - это простой формат данных, который содержит только геометрические данные 3D:

- координаты вершин,

- текстурные координаты,

- нормали к вершинам,

- индексы полигонов.

При загрузке модели в приложение обязательным является синтаксический анализ данных (.obj - файлов моделей торса и сердца). В ходе синтаксического анализа, текст файла преобразуется в структуры данных, требуемых для обработки в приложении. Как правило модуль синтаксического анализа работает со стандартным набором тэгов для описания 3D объекта. Таблица 8 представляет анализируемые тэги формата .obj.

Таблица 8 - Тэги описания 3D объекта формата .obj

Тип Описание Массив данных в приложении

V Список вершин, с координатами (х,у,2,^]), w является не обязательным и по умолчанию 1.0. Vertex: array of array of real;

Vt Текстурные координаты (и,у[^]), w является не обязательным и по умолчанию 0. Texture: array of array of real;

Vn Нормали (х,у,2); нормали могут быть не нормированными. Normals: array of array of real;

Vp Параметры вершин в пространстве ( и [,у] ); VertexInSpace: array of array of real;

F Определения поверхности (сторон) FacesVertex : array of array of integer; FacesTexture: array of array of integer; FacesNormals: array of array of integer; FacesVertexInSpace: array of array of real;

Блок синтаксического анализа позволяет последовательно произвести чтение всего файла .obj и преобразовывает данные файла в соответствующие массивы данных приложения.

Предусмотрена также возможность загрузки модели из файлов открытого формата .^тя. В этом случае также проводится синтаксический анализ, только с использованием другого набора тэгов. Таблица 9 представляет анализируемые тэги формата ^тя.

Таблица 9 - Тэги описания 3D объекта формата .gms

Название Описание

New object Объявление нового объекта

TriMesh() Название нового объекта

numverts Количество вершин

Numfaces Количество полигонов

Mesh vertices: Массив вершин

end vertices Окончание массива вершин

Mesh faces: Массив полигонов

end faces Окончание массива полигонов

Faset normals: Массив нормалей к полигонам

end faset normals Окончание массива к полигонам

Smooth normals: Массив нормалей к вершинам

end smooth normals Окончание массива нормалей к вершинам

end mesh Окончание описания объекта

end of file Окончание файла

В процессе синтеза и визуализация компьютерных моделей сердца и торса пациента с использованием библиотеки OpenGL выполняются следующие действия вывод моделей торса и сердца на основании массивов геометрических данных, определение ракурса в соответствии с положением камеры относительно сцены, применение эффектов освещения (направление, интенсивность, тип, цвет), применение типа материала и текстуры, рендеринг.

При экспорте моделей возможно использованием двух видов полигонов, образованных 3 или 4 вершинами. В библиотеке OpenGL для визуализации таких полигонов применяются команды GL TRIANGLES или GLQUADS соответственно. Команда glVertex3f используется для вывода вершины.

Перед началом визуализации объекта задается модель освещения. Имитация реального освещения представляет собой сложную задачу. Традиционно в компьютерной графике используются модели Гуро и Фонга. От выбора конкретной модели зависит качество и реалистичность отображаемых объектов, в частности анатомических [31].

На основании загруженной модели сердца с усредненными геометрическими характеристиками, строятся модели сердца и торса, соответствующие геометрическим параметрам сердца и торса пациента.

Разработанная система визуализации предусматривает принципиальную возможность визуализации внутренних полостей сердца в случае, если имеются исходные данные. При этом для визуализации полостей сердца в простейшем случае используются дополнительные поверхности, отображающие внутренние поверхности сердца. Для визуализации полигонов внутренних поверхностей так же необходимы нормали. В этом случае направлены они внутрь объекта, т.е. взяты с противоположным знаком (инвертированы). В этом случае будет достигаться нужный визуальный эффект.

Рисунок 88 представляет отображение модели сердца средствами компьютерной графики.

Рисунок 89 представляет отображение модели сердца с внутренними полостями средствами компьютерной графики.

Процесс визуализации модели торса принципиально не отличается от процесса визуализации модели сердца. В этом случае на сцене будет присутствовать 2 объекта. Модель сердца располагается внутри модели торса в соответствии определенными параметрами, определенными индивидуально. Причем для определения индвидуальных параметров торса требуются дополнительно антропометрические данные. Для того, чтобы обе модели были

видны (т.е. модель сердца, находящаяся внутри модели торса) необходимо применить к модели торса эффект полупрозрачности с помощью команды

OpenGL glBlendFunc.

у Н%-< -"ЭДмич". 1

И «Л. л Q ,1 Wi<Y»Y - |J- Г »- iifi и/ >iiiri

Терс и

ИСвдипь :t'((w CifWis

8 гмасет

»"Л.* и -

•V-Y j о

Cj 1 '•(ЛЛО^ "ъ-у Vt«rr«M

ОсьХ О . •"SVTfOe

■V.» Пор 4J 1 имм- —1Ъ 1*4 J-

Рисунок 88 - Визуализация модели сердца

1 V

«■'•ЭеьХ 43--я rvnw «p,»a

IvockY ¿0*1 -g—о Q Торс и cowjc

« Ч«(вг Crpjajf

• ОСх.% Uto ♦ V 3rccp«wninw"-

I il •»! A

{J mw fuo« 1

[ M lUH

• Ось* • .

■>ЛгГ J • il m J J r^wnv-i 04

0 « ~

r^NNWIinh

Рисунок 89 - Визуализация модели сердца с внутренними полостями

Рисунок 90 представляет совместное отображение модели сердца и торса средствами компьютерной графики.

/ОйХ--(J »? 7<*»t Q •> Ям П »7 JfCTdi «Л»£Т Т«рС м Седа*

• rtaapor: Спшр |'п»ч»н»»:

■ о»' 17*!V ¥ Ч» WWII

I 1 - (сами

*#* ПК»/ ит>-4я. «<

L I^MIMM; '—о»

«Оо»1 О •

<*»• U - ГЬну >ян> 30 %

Рисунок 90 - Отображение моделей сердца и торса с эффектом прозрачности

Для реализации функций визуализации трехмерных моделей с помощью OpenGL разработан набор специализированных классов. Рисунок 91 представляет структуру данных классов и соответствующих программных модулей [51].