Многоканальный человеко-машинный интерфейс для интеллектуальных киберфизических комплексов тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Возненко Тимофей Игоревич

• Возненко Тимофей Игоревич
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Возненко Тимофей Игоревич

ВВЕДЕНИЕ

1 АНАЛИЗ РЕАЛИЗАЦИЙ МНОГОКАНАЛЬНОГО ЧЕЛОВЕКО-МАШИННОГО ИНТЕРФЕЙСА ДЛЯ ИНТЕЛЛЕКТУАЛЬНЫХ КИБЕРФИЗИЧЕСКИХ КОМПЛЕКСОВ

1.1 Обзор человеко-машинных интерфейсов для интеллектуальных киберфизических комплексов

1.2 Одноканальные и многоканальные интерфейсы для интеллектуальных киберфизических комплексов

1.3 Критерий эффективности работы интерфейса

1.4 Выводы по первой главе

2 РАЗРАБОТКА АЛГОРИТМА ПОСТРОЕНИЯ ЭФФЕКТИВНОГО ЧЕЛОВЕКО-МАШИННОГО ИНТЕРФЕЙСА ДЛЯ ИКК

2.1 Определение критериев эффективности работы одноканальной и многоканальной систем

2.2 Разработка методов декомпозиции и интерпретации для многоканальной системы

2.3 Методика определения количества испытаний для получения данных о работе каналов

2.4 Выводы по второй главе

3 АППАРАТНО-ПРОГРАММНАЯ РЕАЛИЗАЦИЯ МНОГОКАНАЛЬНОГО ЧЕЛОВЕКО-МАШИННОГО ИНТЕРФЕЙСА

3.1 Реализация алгоритма построения эффективного многоканального человеко-машинного интерфейса

3.2 Общая схема взаимодействия оператора и РТК

3.3 Общая архитектура ПО управления

3.4 Практическая реализация модулей каналов управления

3.5 Практическая реализация инициализации конфигурационного файла

3.6 Выводы по третьей главе

4 ТЕСТИРОВАНИЕ МНОГОКАНАЛЬНОГО ЧЕЛОВЕКО-МАШИННОГО ИНТЕРФЕЙСА

4.1 Проверка концепции параметра эффективности системы

4.2 Методика тестирования интерпретации команд при декомпозиции многоканальной системы

4.3 Тестирование методики определения минимального количества испытаний

4.4 Временные характеристики

4.5 Выводы по четвертой главе

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ А. Акты о внедрении

ПРИЛОЖЕНИЕ Б. Свидетельства о регистрации программы для ЭВМ

ПРИЛОЖЕНИЕ В. Обсуждение диссертации на научном семинаре

Введение диссертации (часть автореферата) на тему «Многоканальный человеко-машинный интерфейс для интеллектуальных киберфизических комплексов»

ВВЕДЕНИЕ

В настоящее время происходит активное развитие человеко-машинных интерфейсов для интеллектуальных киберфизических комплексов (ИКК). Существует большое количество интерфейсов человеко-машинного взаимодействия. Примерами таких интерфейсов могут быть джойстик, голосовой интерфейс, жестовый интерфейс, нейрокомпьютерный интерфейс (Brain-Computer Interface, BCI), электроокулографический (ЭОГ) интерфейс, электромиографический (ЭМГ) интерфейс и другие. Данные интерфейсы состоят из аппаратной и программной частей, представляющих из себя каналы передачи данных (команд) на интеллектуальный киберфизический комплекс.

У каждого интерфейса человеко-машинного взаимодействия, ввиду его особенности, есть свои достоинства и недостатки. Для обеспечения естественного взаимодействия человека с комплексом может быть использовано мультимодальное взаимодействие, которое реализуется на основе мультимодального интерфейса. Мультимодальный интерфейс предоставляет пользователю несколько различных интерфейсов взаимодействия для ввода и вывода данных. В таком случае пользователь должен сам выбрать то, какой интерфейс (канал передачи данных) будет использован для взаимодействия с комплексом в данный момент времени.

В ходе передачи команды с помощью интерфейса от оператора-человека на ИКК могут возникать ошибки 1-го и 2-го рода. Ошибки 1-го рода это ложноположительное срабатывание (ложное срабатывание): когда команда была распознана, хотя она не была отдана оператором. Ошибки 2-го рода являются ложноотрицательными срабатываниями (пропуском события): когда команда была не распознана, хотя она была отдана оператором. При этом стоит отметить, что чем сложнее интерфейс (сложнее технология получения и интерпретации командных данных от оператора), тем больше будет вероятность того, что будут происходить ошибки 1 -го и 2-го рода. Для

оценки количества ошибок 1-го и 2-го рода можно использовать матрицу ошибок. Для ее построения проводится тестирование, в рамках которого оператор выполняет различные команды с помощью интерфейса. Результатом распознавания может быть как правильное распознавание, так и ошибки 1-го и 2-го рода. Существует множество метрик, которые можно использовать в качестве итоговой оценки эффективности работы интерфейса. Некоторые из них оценивают количество правильных срабатываний, ошибки 1-го и 2-го рода.

В данной работе предлагается рассмотреть новую концепцию

многоканального человеко-машинного интерфейса для интеллектуальных

киберфизических комплексов. Оператор-человек может выполнять команды

с помощью несколько параллельно работающих интерфейсов. Однако при

параллельном использовании интерфейсов возможны случаи

одновременного прихода противоречивых команд с различных интерфейсов.

Например, какую команду необходимо выполнить, если пришла одна

команда с одного интерфейса и команда, требующая противоположенное

действие с другого. При этом неизвестно, произошла ли данная ситуация из-

за ошибок 1 -го или 2-го рода. Для решения данных ситуаций можно либо

реализовать логику взаимодействия различных интерфейсов с учетом

эффективности их работы, либо произвести выбор и использование только

одного наиболее эффективно способа передачи команд. В данной работе

предлагается не просто использование одного наиболее эффективно

работающего интерфейса, а провести выбор наиболее эффективной

комбинации команд и интерфейсов. И также, впервые предлагается

использование остальных комбинаций команд и интерфейсов для улучшения

эффективности работы интерфейса, на основе анализа ошибок 1 -го и 2-го

рода. Для определения того, что такое эффективность, необходимо

рассмотреть критерии эффективности работы интерфейса. Чтобы понять,

насколько один интерфейс работает лучше другого необходимо также

провести статистические испытания. А для проведения статистических

5

испытаний необходимо определить, какое количество испытаний нужно провести для получения данных о работе интерфейса.

Целью диссертационной работы является разработка методики построения многоканального человеко-машинного интерфейса для интеллектуальных киберфизических комплексов, позволяющего повысить эффективность работы человеко-машинных интерфейсов. Для достижения поставленной цели в диссертации требуется решить следующие задачи:

1. Разработать критерий оценки эффективности функционирования интерфейса ИКК на основе анализа ошибок 1-го и 2-го рода;

2. Разработать алгоритм построения эффективного многоканального человеко-машинного интерфейса для ИКК;

3. Разработать методику определения минимального количества испытаний, необходимого для определения эффективности работы интерфейса;

4. Выполнить и исследовать эффективность аппаратно-программной реализации многоканального человеко-машинного интерфейса на основе параллельной обработки данных с нескольких интерфейсов;

5. Разработать методику тестирования многоканального интерфейса. Объектом исследования являются человеко-машинные интерфейсы

для интеллектуального киберфизического комплекса.

Предмет исследования определен паспортом специальности 2.3.5, направлением исследований в п.7. модели, методы, архитектуры, алгоритмы, форматы, протоколы и программные средства человеко-машинных интерфейсов, компьютерной графики, визуализации, обработки изображений и видеоданных, систем виртуальной реальности, многомодального взаимодействия в социокиберфизических системах, и направлением исследований в п.1. модели, методы и алгоритмы проектирования, анализа, трансформации, верификации и тестирования программ и программных систем.

Методы исследования. В работе используются методы математической статистики, методы теории принятия решений, методы разработки архитектуры программного обеспечения, методы моделирования, теория обработки изображений, теория обработки сигналов.

Научная новизна исследования заключается в следующем:

1. Разработан новый алгоритм построения эффективного многоканального человеко-машинного интерфейса для интеллектуального киберфизического комплекса (ИКК) на основе перераспределения информации получаемой с интерфейсов ИКК;

2. Предложен и математически обоснован новый критерий оценки эффективности функционирования интерфейса ИКК, основанный на анализе ошибок первого и второго рода при выборе команд с помощью человеко-машинного интерфейса;

3. Разработана, математически обоснована и экспериментально подтверждена методика определения количества испытаний, необходимых для построения эффективного многоканального человеко-машинного интерфейса ИКК;

4. Разработана оригинальная методика тестирования многоканального человеко-машинного интерфейса ИКК.

Практическая значимость и реализация результатов работы

Теоретические и практические результаты работы использованы при разработке многоканального человеко-машинного интерфейса для формирования команд управления движением мобильного роботизированного инвалидного кресла. Кресло учитывает особенности конкретного пациента (с помощью настройки всех интерфейсов) и обеспечивает эффективную работу системы. Данное кресло прошло апробацию и было внедрено в государственном автономном учреждении городского научно-практического центра медико-социальной реабилитации инвалидов им. Л.И. Швецовой, что подтверждается актом о внедрении.

Также результаты диссертационной работы используются в учебном процессе кафедры №12 «Компьютерные системы и технологии» НИЯУ МИФИ в ряде дисциплин, таких как: «Основы робототехники» и «Датчики и интерфейсы для робототехники», что подтверждается актом о внедрении.

Достоверность полученных результатов. Научные положения и выводы, полученные в диссертационной работе, являются достоверными и обоснованными, что подтверждается использованием научной методологии исследования, проведенными в работе экспериментами, анализом полученных результатов в сравнении с существующими способами многоканального управления, обсуждением основных положений диссертации на международных научно-практических конференциях и актами о внедрении.

Основные положения, выносимые на защиту:

1. Алгоритм построения эффективного многоканального человеко-машинного интерфейса для интеллектуального киберфизического комплекса (ИКК) на основе перераспределения информации получаемой с интерфейсов ИКК;

2. Критерий оценки эффективности функционирования интерфейса ИКК, основанный на анализе ошибок первого и второго рода при выборе команд с помощью человеко-машинного интерфейса;

3. Методика определения количества испытаний, необходимых для построения эффективного многоканального человеко-машинного интерфейса ИКК;

4. Методика тестирования многоканального человеко-машинного интерфейса ИКК на основе генерирования матриц ошибок.

Личный вклад автора. Все результаты диссертационной работы

получены либо лично автором, либо при его непосредственном участии.

Область исследования. Область диссертационного исследования

соответствует по своему содержанию Паспорту научных специальностей

ВАК Министерства образования РФ и науки РФ по специальности 2.3.5

8

«Математическое и программное обеспечение вычислительных систем, комплексов и компьютерных сетей»:

п.7. «Модели, методы, архитектуры, алгоритмы, форматы, протоколы и программные средства человеко-машинных интерфейсов, компьютерной графики, визуализации, обработки изображений и видеоданных, систем виртуальной реальности, многомодального взаимодействия в социокиберфизических системах»;

п.1. «Модели, методы и алгоритмы проектирования, анализа, трансформации, верификации и тестирования программ и программных систем».

Апробация результатов работы. Основные результаты исследований работы представлены на следующих конференциях:

1. II Научно-практическая конференция. «Физико-технические, интеллектуальные системы». (ФТИС-2023)

2. 6-я международная выставка реабилитационного оборудования и 1-й Российский форум по ортопедии и реабилитационной технике ИНТЕГРАЦИЯ' 17 / Москва, Июнь 2017.

3. KnE Engineering / Breakthrough directions of scientific research at MEPhI: Development prospects within the Strategic Academic Units, Moscow, October 2017.

4. 2017 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, 2017 ElConRus / St. Petersburg, Russia, February 2017.

5. 2017 Annual International Conference on Biologically Inspired Cognitive Architectures Eighth Annual Meeting of the BICA Society / Moscow, RUSSIA, August 2017.

6. The 19th International Workshop on Computer Science and Information Technologies (19th CSIT'2017) / Baden-Baden, Germany, October 2017.

7. 2018 Annual International Conference on Biologically Inspired Cognitive Architectures, Ninth Annual Meeting of the BICA Society (as part of the

Joint Multi-Conference on Human-Level Artificial Intelligence (HLAI-18)) / Prague, Czech Republic, August 2018.

8. 2019 10th Annual International Conference on Biologically Inspired Cognitive Architectures, BICA 2019 / Redmond, USA, August 2019.

9. International School-Conference "Intelligent Technologies in Robotics" (ITR-2019) / Moscow, Russia, October 2019.

10.2020 Annual International Conference on Brain-Inspired Cognitive Architectures for Artificial Intelligence (BICA*AI 2020), the Eleventh Annual Meeting of the BICA Society / as a virtual-only event, November 2020.

Также диссертация обсуждалась на научном семинаре в АО «НИКИМТ-Атомстрой» в 2023 году.

Публикация результатов. Основные результаты диссертации опубликованы в 20 печатных работах, из них: 5 публикаций, представленных в изданиях из перечня ведущих рецензируемых научных журналов и изданий ВАК; 3 свидетельства о регистрации программы для ЭВМ; 12 публикаций в трудах международных конференций, входящих в базы SCOPUS и Web of Science. Также по научно-техническим разработкам было получено 2 акта о внедрении. Разработанное мобильное роботизированное инвалидное кресло получило довольно широкое освещение в российских СМИ (телеканалы НТВ, 360, Russia today) и зарубежных СМИ (пресса Испании и испаноязычных стран, а также пресса Китая (Science and Technology Daily)).

Структура и объем диссертационной работы. Диссертация состоит из введения, четырех глав, заключения, списка литературы и трех приложений. Основной текст работы изложен на 122 страницах, приложения - на 7 страницах текста. Иллюстративный материал включает 58 рисунков, 6 таблиц и 13 листингов. Список литературы содержит 1 11 наименований.

1 АНАЛИЗ РЕАЛИЗАЦИЙ МНОГОКАНАЛЬНОГО ЧЕЛОВЕКО-МАШИННОГО ИНТЕРФЕЙСА ДЛЯ ИНТЕЛЛЕКТУАЛЬНЫХ КИБЕРФИЗИЧЕСКИХ КОМПЛЕКСОВ

1.1 Обзор человеко-машинных интерфейсов для интеллектуальных киберфизических комплексов

В настоящее время происходит активное развитие человеко-машинных интерфейсов для интеллектуальных киберфизических комплексов (ИКК) в целом, и для робототехнических комплексов (РТК) в частности. Человеко-машинный интерфейс (ЧМИ) - это комплекс технических и программных средств, обеспечивающих взаимодействие между человеком-оператором и вычислительными средствами компьютеризированного образца [1]. В качестве такого взаимодействия может быть рассмотрена передача команд управления от оператора к ИКК или РТК. Среди человеко-машинных интерфейсов можно отметить:

> джойстик [2, 3];

> голосовой интерфейс [4];

> жестовый интерфейс [5];

> нейрокомпьютерного интерфейса (Brain-Computer Interface, BCI) [6];

> интерфейс на основе анализа направления взгляда [7];

> интерфейс на основе анализа сигнала с шеи или мышцы руки, лицевых

мышц [8];

> интерфейс на основе анализа электромиографии (ЭМГ) [9, 10];

> интерфейс на основе анализа электроокулографии (ЭОГ) [11];

> интерфейс на основе анализа электроэнцефалографии (ЭЭГ) [12];

> и другие.

Рассмотрим современные способы человеко-машинного взаимодействия, используемые для различных ИКК.

Джойстик

Одним из самых распространенных способов управления (интерфейсов) является джойстик. Данный способ управления применяется во многих сферах жизни: как для удаленного управления роботом на МКС [13-14], так и при управлении мобильным роботизированным инвалидным креслом [15-16].

Джойстик является одним из самых простых и надежных способов управления. Если предусмотреть опору для руки, то джойстиком можно управлять продолжительное время без утомления [17]. Однако он требует постоянного физического контакта с ним, для обеспечения управления.

Голосовой интерфейс

Голосовое управление - способ взаимодействия человека и компьютера с помощью голоса. Системы распознавания речи используются для общения человека и машины, например для голосового управления программами. В настоящее время распознавание речевых сигналов применяется во многих сферах, например при управлении системой «Умный дом» [18].

Среди методов речевого распознавания можно выделить метод

распознавания «по образцу». Данный способ управления основан на

обработке аудиосигналов, поступающих с микрофона. Аудиосигнал

разбивается на части, для каждой из которых получаются данные, с

помощью метода оцифровки. Также на этапе оцифровки происходит

обработка сигнала шумоподавляющими фильтрами. После оцифровки и

удаления шумов происходит сравнение с известными фонемами и

грамматикой. Пример использования данной технологии в системе

голосового управления роботом, показан в работе [19]. На рисунке 1

показана система распознавания речи «по образцу». Для обработки

аудиосигналов были использованы коэффициенты линейного предсказания

Linear Prediction Coefficient (LPC), а при сравнении «по образцу» - алгоритм

динамической трансформации временной шкалы Dynamic Time Warping

12

(DTW). Пример управления двухколесного робота на основе распознавания голоса представлен в работе [20]. В исследовании [21] показано проектирование системы управления гибридным двуруким роботом на основе распознавания голоса.

Рисунок 1 - Система распознавание речи «по образцу» [19]

Процесс распознавания может быть связан с языковой моделью, которая описывает высказывание на фонетическом уровне, основываясь на особенностях, извлеченных из речи. Система распознавания может зависеть от языка. В каждом языке можно выделить несколько состояний (фонем), которые являются основной фонетической языковой единицей, однако разные языки имеют разные фонемы. Если алгоритм распознавания основан на данной фонетической информации, то он будет иметь хорошую производительность и точность, однако будет работать только для этого языка.

Для сопоставления шаблонов речевых данных широко используются скрытые Марковские модели (Hidden Markov Models - HMM) и нейронные сети [22]. Пример использования HMM и нейронных сетей представлен в работах [23-25]. Большинство современных систем используют HMM для распознавания речи [26]. Недостатком данной реализации является большая вычислительная сложность, возникающая при необходимости полного перебора вариантов вхождения в слово. Также потенциально могут

присутствовать слова, которые будут плохо распознаваться из-за несбалансированности речевой базы данных, на которой производилось обучение, или из-за неправильного процесса обучения.

Для распознавания ключевого слова среди инородной речи применяется метод моделей-заполнителей [27]. Данный метод основан на обработке инородной речи с помощью ее моделирования и реализации за счет второстепенных моделей. В процессе реализации в словарь добавляются обобщенные слова. Цель добавления данных слов состоит в том, чтобы система распознавания работала с данными обобщенными словами, находя сегменты с ними. После нахождения сегментов обобщенные слова отбрасываются, и оставшаяся часть является результатом распознавания. Недостатком данного подхода является вопрос выбора данных обобщенных слов, а также построение второстепенных моделей. Также потенциально могут присутствовать ошибки при ложном распознавании обобщенных слов.

Жестовый интерфейс

Одним из актуальных способов управления робототехническим устройством является управление с помощью жестов. Жестовое управление основано на технологии распознавания жестов и интерпретировании распознанных жестов в определенную команду.

Существуют различные категории жестового управления: пальцевые

жесты, жесты сделанные руками и жесты, основанные на движении

различных частей тела. Пальцевые жесты используются для работы с

устройствами с сенсорными экранами. Жесты, сделанные руками, делятся на

два вида: статические и динамические. Под статическими жестами

подразумевается фиксированное положение ладони оператора.

Динамический жест - жест, который производится за некоторый промежуток

времени. В исследовании [28] показано управление промышленным роботом

с помощью жестового управления, а на рисунке 2 показаны используемые

для управления жесты. Отслеживание жестов производилось с помощью

14

специальной перчатки (показано на рисунке 3). Другим способом отслеживания жеста руки является обработка изображения, полученного с помощью камеры. Например, в работе [29] авторы используют для управления промышленным роботом статические жесты: количество пальцев показанных в камеру (показаны на рисунке 4). Архитектура данной системы представлена на рисунке 5.

Рисунок 3 - Управление промышленным роботом с помощью проводной

перчатки [28]

Hand Gesture Number Robot Movement

4 1 Move Forward 100mm

« 2 Move Back 100mm

vr 3 Move Right 100mm

« 4 Move Left 100mm

Рисунок 4 - Статический жест и соответствующая ему команда [29]

Рисунок 5 - Архитектура управления промышленным роботом с помощью статических жестов (количество пальцев) [29]

Жесты, основанные на движении различных частей тела, используют специальные ЭЭ-камеры. Например, в работе [30] рассказывается про реализацию управления колесным роботом на основе распознавания жестов с использованием датчика Ктес1 При данной реализации, задача распознавания жестов решается с помощью 3Э камеры, которая благодаря инфракрасному сенсору глубины позволяет получать факт выполнения определенного жеста пользователем. Архитектура данного способа управления представлена на рисунке 6. Набор жестов, использующийся для управления колесным роботом, представлен на рисунке 7.

К преимуществам жестового управления можно привести интуитивно понятный интерфейс, который позволяет быстро учиться управлять роботом с помощью жестов (зависит от реализации). К недостаткам относятся высокая вероятность ошибок, так как репрезентация жестов у разных людей может отличаться, и требуются соответствующие аппараты и оборудования. Также длительнее управление с помощью жестов может привести к усталости оператора.

Khepera

Рисунок 6 - Архитектура системы управления на основе ЭЭ-камеры Kinect

[30]

I (L-45*) J (L-90") К (L-135*) L (Origin)

Рисунок 7 - Набор жестов, использующийся для управления роботом [30]

Нейрокомпьютерный интерфейс (BCI)

Нейрокомпьютерный интерфейс (Brain-Computer Interface, BCI) - это устройство, которое позволяет осуществлять передачу информации между мозгом и электронным устройством. Информация может передаваться как от человека к устройству (управление устройством с помощью мозговой активности), так и от устройства к мозгу (протезирование). Различные BCI используются для различных задач: мониторинг мозговой активности пользователя, упомянутые управление и протезирование.

Передача информации от мозга к компьютеру может осуществляться с помощью различных биологических сигналов. Существуют различные типы BCI основанные на обработке:

• ЭЭГ (электрический сигнал мозговой активности)

• МЭГ (магнитный сигнал мозговой активности)

• фМРТ (мониторинг кровотока в мозгу)

• ЭМГ (электрический сигнал мышечной активности)

• ЭОГ (электрический сигнал активности глазных мышц) и др.

На рисунке 8 представлена общая схема взаимодействия оператора и РУ, управляемого с помощью BCI.

Рисунок 8 - Схема взаимодействия оператора с робототехническим устройством с помощью BCI [31]

Помимо биологических сигналов для управления могут быть

использованы сигналы о движениях головы [32], данные о которых можно

18

получить с помощью IMU-датчиков (гироскопа, акселерометра, магнетометра). Данный способ задействует непосредственно мышцы шеи оператора, а значит, накладывает на оператора определенные требования.

Посредством BCI можно реализовать управление некоторым устройством различными способами, основанными на обработке сигналов физиологических показателей оператора. Среди таких способов на практике можно встретить реализации на основе ЭЭГ [33], МЭГ [34], ЭКоГ [35], ЭОГ [36], фМРТ [37]. Также существуют способы управления, основанные на комбинации таких сигналов - например, в статье [38] описана реализация, при которой выбор движения манипулятора осуществляется с помощью генерации мыслеобразов (с обработкой ЭЭГ), а управление захватом - с помощью морганий (ЭОГ).

Самым распространенным способом человеко-машинного взаимодействия является ЭЭГ - сигнал, отводимый с кожи головы человека. Устройства для регистрации ЭЭГ довольно мобильны (например, Emotiv, Neuroscan и т. д.), неинвазивны, являются весьма удобными в использовании и требуют небольшое время настройки (в основном, перед началом регистрации сигнала необходимо смочить и расположить электроды на коже головы испытуемого, но некоторые устройства, такие как Emotiv Insight, не требуют даже смачивания). Сигнал ЭЭГ имеет довольно низкое разрешение в пространстве, и в целом, качество получаемого сигнала значительно ниже, чем у ЭКоГ, регистрируемого инвазивно, но при этом во многих существующих реализациях получается довольно высокая точность (от 60 до 90%, но это зависит от конкретной реализации [39 - 41]). Исследования, связанные с инвазивными нейрокомпьютерными интерфейсами являются актуальными, однако их установка требует хирургического вмешательства. Поэтому на данный момент большинство работ посвящено исследованию неивазивного BCI.

Принцип управления с помощью BCI на основе ЭЭГ заключается в

определенной обработке сырого ЭЭГ-сигнала, получаемого с головы

19

пользователя и дальнейшей интерпретации результатов такой обработки в виде их отображения на пространство управляющих команд. Сбор данных осуществляется через датчики ВС1, располагаемые на голове пользователя. Обработка данных производится отдельно с помощью специального ПО. Зачастую производители ВС1 сами предоставляют вместе с устройствами для регистрации сигнала ПО для обработки и интерпретации данных.

Среди основных способов обработки ЭЭГ сигнала можно выделить:

• обработку на основе вызванного потенциала Р300;

• обработку на основе вызванного потенциала SSVEP;

• обработку на основе мысленных образов (мыслеобразов).

Р300

Потенциал Р300 называется таким образом из-за того, что всплеск напряжения имеет положительную амплитуду («Р»), спустя 300 мс после предъявления человеку стимула. Потенциал возникает при идентификации стимула и принятии решения относительно него. Примером реализации ВС1 на основе Р300 является набор представленных на экране управляющих стимулов, подсвечивающихся по очереди, на одном из которых оператору нужно сконцентрироваться [88]. Далее подсвеченный выбранный оператором стимул спровоцирует у оператора автоматический отклик - вызванный потенциал Р300. Типичная схема работы ВС1 на основе Р300 описана в статье [40], в которой разработанная система позволяет управлять направлением движения робота, с помощью представленных на экране четырех стрелок, соответствующих четырем направлениям движения. Затем, в момент отклика, управляемому устройству будет отдана команда движения в выбранном направлении.

В данной системе присутствуют значительные плюсы, главным из

которых является ее простота как с точки зрения реализации, так и с точки

зрения взаимодействия с оператором. Такой подход не требует интенсивных

и долгих тренировок - оператору требуется всего лишь на некоторое время

Список литературы диссертационного исследования кандидат наук Возненко Тимофей Игоревич, 2024 год

СПИСОК ЛИТЕРАТУРЫ

1. Сергеев, С. Ф. (2013). Методы тестирования и оптимизации интерфейсов информационных систем.

2. Reindle M. E. Robotic appliance with on-board joystick sensor and associated methods of operation : пат. 7603744 США. - 2009.

3. Jiang H. et al. 3D joystick for robotic arm control by individuals with high level spinal cord injuries //2013 IEEE 13th International Conference on Rehabilitation Robotics (ICORR). - IEEE, 2013. - С. 1-5.

4. Liu P. X. et al. Voice based robot control //2005 IEEE International Conference on Information Acquisition. - IEEE, 2005. - С. 5 pp.

5. Park H. S. et al. HMM-based gesture recognition for robot control //Iberian Conference on Pattern Recognition and Image Analysis. - Springer, Berlin, Heidelberg, 2005. - С. 607-614.

6. Bryan M. et al. An adaptive brain-computer interface for humanoid robot control //2011 11th IEEE-RAS International Conference on Humanoid Robots. - IEEE, 2011. - С. 199-204.

7. Matsumoto, Y., Ino, T. & Ogasawara, T., "Development of intelligent wheelchair system with face and gaze based interface", Proc. of the 10th IEEE International Workshop on Robot and Human Interactive Communication, pp. 262-267, 2001.

8. Bergasa, L.M., Mazo, M., Gardel, A., Barea, R. & Boquete, L., "Commands generation by face movements applied to the guidance of a wheelchair for handicapped people", Proc. of the 15th International Conference on Pattern Recognition, Vol. 4, pp. 4660-4663, 2000.

9. Choi, K., Sato, M. & Koike, Y., "Consideration of the embodiment of a new, human-centered interface", IEICE-Transactions on Information and Systems, Vol. E89-D, No. 6, pp. 1826-1833, 2006.

10. Kim, K.H., Kim, H.K., Kim, J. S., Son, W. & Lee, S.Y., "A bio signal-based human interface controlling a power-wheelchair for people with motor disabilities", Etri Journal, Vol. 28, No. 1, pp. 111- 114, 2006.

11. Barea, R., Boquete, L., Mazo, M. & Lopez, E., "Wheelchair guidance strategies using EOG", Journal of Intelligent and Robotic Systems, Vol. 34, No. 3, pp. 279-299, 2002.

12. Rebsamen, B., Burdet, E., Guan, C., Zhang, H., Teo, C.L., Zeng, Q., Laugier, C. & Ang Jr., M. H., "Controlling a wheelchair indoors using thought". IEEE Intelligent Systems, vol. 22, No. 2, pp. 18-24, 2007.

13. Schiele A. et al. Haptics-1: Preliminary results from the first stiffness jnd identification experiment in space //International Conference on Human Haptic Sensing and Touch Enabled Computer Applications. - Springer, Cham, 2016. -С. 13-22.

14. Мулюха В. А. и др. РЕЗУЛЬТАТЫ КОСМИЧЕСКОГО ЭКСПЕРИМЕНТА" КОНТУР-2" ПО ОТРАБОТКЕ ТЕХНОЛОГИЙ УДАЛЕННОГО УПРАВЛЕНИЯ НАПЛАНЕТНЫМИ РОБОТОТЕХНИЧЕСКИМИ ОБЪЕКТАМИ //Известия Южного федерального университета. Технические науки. - 2017. - №. 9 (194).

15. Yanco H. Wheelesley: A robotic wheelchair system: Indoor navigation and user interface //Assistive technology and artificial intelligence. - 1998. - С. 256-268.

16. Morales R. et al. Environment adaptation of a new staircase-climbing wheelchair //Autonomous Robots. - 2007. - Т. 23. - №. 4. - С. 275-292.

17. Хайос К., Салвенди Г. Человеческий фактор: пер. с англ. В 6 т. Т. 5. ЭРГОНОМИЧЕСКИЕ ОСНОВЫ ПРОЕКТИРОВАНИЯ РАБОЧИХ МЕСТ. - 1992.

18. Карпов А. А., Акарун Л., Ронжин А. Л. Многомодальные ассистивные системы для интеллектуального жилого пространства //Труды СПИИРАН. - 2011. - Т. 4. - №. 19. - С. 48-64.

19. Zhizeng L., Jingbing Z. Speech recognition and its application in voice-based robot control system //Intelligent Mechatronics and Automation, 2004. Proceedings. 2004 International Conference on. - IEEE, 2004. - C. 960-963.

20. Koo Y. M. et al. An intelligent motion control of two wheel driving robot based voice recognition //Control, Automation and Systems (ICCAS), 2014 14th International Conference on. - IEEE, 2014. - C. 313-315.

21. Huang R., Shi G. Design of the control system for hybrid driving two-arm robot based on voice recognition //Industrial Informatics (INDIN), 2012 10th IEEE International Conference on. - IEEE, 2012. - C. 602-605.

22. Sajkowski M. Voice control of dual-drive mobile robots-survey of algorithms //Proceedings of the Third International Workshop on Robot Motion and Control, 2002. RoMoCo'02. - IEEE, 2002. - C. 387-392.

23. Cosi P. et al. Connected digit recognition experiments with the ogi toolkit's neural network and hmm-based recognizers //Proceedings 1998 IEEE 4th Workshop Interactive Voice Technology for Telecommunications Applications. IVTTA'98 (Cat. No. 98TH8376). - IEEE, 1998. - C. 135-140.

24. R. Rabiner L. A tutorial on Hidden Markov Models and selected applications in speech recognition // Proceedings of the IEEE. - 1989.

25. Morgan N. Neural Network for Statistical Recognition of Continuous Speech // Proceedings of the IEEE. - 1995.

26. Couvreur C. Hidden Markov Models and Their Mixtures //DEA Thesis, Department of Mathematics, Catholic University of Louvain. - 1996.

27. Higgins A. Keyword recognition using template concatenation. Acoustics, Speech, and Signal Processing, IEEE International Conference on ICASSP, 1985.

28. Simao M., Neto P., Gibaru O. Natural control of an industrial robot using hand gesture recognition with neural networks //Industrial Electronics Society, IECON 2016-42nd Annual Conference of the IEEE. - IEEE, 2016. - C. 53225327.

29. Ganapathyraju S. Hand gesture recognition using convexity hull defects to control an industrial robot //Instrumentation Control and Automation (ICA), 2013 3rd International Conference on. - IEEE, 2013. - С. 63-67.

30. Wang Y. et al. Wheeled robot control based on gesture recognition using the Kinect sensor //Robotics and Biomimetics (ROBIO), 2013 IEEE International Conference on. - IEEE, 2013. - С. 378-383.

31. Фоменков, С. А. Управление мобильным роботом посредством сигналов головного мозга / С. А. Фоменков, Е. Ю. Попов. — Текст : непосредственный // Молодой ученый. — 2015. — № 17 (97). — С. 280284

32. Dardona T. и др. Remote Presence: Development and Usability Evaluation of a Head-Mounted Display for Camera Control on the da Vinci Surgical System // Robotics. 2019. Т. 8. № 2. С. 31.

33. Song W. et al. Mobile Robot Control by BCI Based on Motor Imagery //Intelligent Human-Machine Systems and Cybernetics (IHMSC), 2014 Sixth International Conference on. - IEEE, 2014. - Т. 2. - С. 383-387.

34. Chen X., Bai O. Towards multi-dimensional robotic control via noninvasive brain-computer interface //2009 ICME International Conference on Complex Medical Engineering. - IEEE, 2009. - С. 1-5.

35. Gruenwald J. et al. Comparison of alpha/beta and high-gamma band for motor-imagery based bci control: A qualitative study //2017 IEEE International Conference on Systems, Man, and Cybernetics (SMC). - IEEE, 2017. - С. 2308-2311.

36. Lin J. S., Chen K. C., Yang W. C. EEG and eye-blinking signals through a Brain-Computer Interface based control for electric wheelchairs with wireless scheme //4th International Conference on New Trends in Information Science and Service Science. - IEEE, 2010. - С. 731-734.

37. Andersson P. et al. BCI control using 4 direction spatial visual attention and real-time fMRI at 7T // 2010 Annual International Conference of the IEEE Engineering in Medicine and Biology. 2010.

38. Zhang W. et al. A hybrid EEG-based BCI for robot grasp controlling //2017 IEEE International Conference on Systems, Man, and Cybernetics (SMC). -IEEE, 2017. - C. 3278-3283.

39. Al-Ghamdi N. et al. Trials and tribulations of BCI control applications // 2013 Science and Information Conference. 2013. p. 212-217.

40. Finke A. et al. A hybrid brain interface for a humanoid robot assistant // 2011 Annual International Conference of the IEEE Engineering in Medicine and Biology Society. 2011.

41. Tang Z. et al. Learning to control an SSVEP-based BCI speller in naïve subjects // 2017 39th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC). 2017.

42. Gruenwald J. et al. Comparison of alpha/beta and high-gamma band for motor-imagery based bci control: A qualitative study //2017 IEEE International Conference on Systems, Man, and Cybernetics (SMC). - IEEE, 2017. - C. 2308-2311.

43. Petrova A. et al. The Influence of Using Different Mental Images as BCI Commands on the Quality of Control //Procedia Computer Science. - 2020. -T. 169. - C. 235-239.

44. Falk T. et al. Taking NIRS-BCIs Outside the Lab: Towards Achieving Robustness Against Environment Noise // IEEE Transactions on Neural Systems and Rehabilitation Engineering. 2011. vol. 19, number 2. p. 136-146.

45. Kadambi P., Lovelace J., Beyette F. Audio based brain computer interfacing for neurological assessment of fatigue // 2013 6th International IEEE/EMBS Conference on Neural Engineering (NER). 2013.

46. Voznenko T. et al. The Experimental Study of 'Unwanted Music' Noise Pollution Influence on Command Recognition by Brain-Computer Interface // Procedia Computer Science. 2018. vol. 123. p. 528-533.

47. Cherepanova A. D. et al. The research of distracting factors influence on quality of brain-computer interface usage //Biologically Inspired Cognitive Architectures Meeting. - Springer, Cham, 2018. - C. 44-49.

48. Petrova A. I., Voznenko T. I., Chepin E. V. The Impact of Artifacts on the BCI Control Channel for a Robotic Wheelchair //Advanced Technologies in Robotics and Intelligent Systems. - Springer, Cham, 2020. - С. 105-111.

49. Petrova A. I., Chepin E. V., Voznenko T. I. Using environmental objects as visual stimuli in BCI-based interaction system: theoretical approach //Procedia Computer Science. - 2021. - Т. 190. - С. 670-677.

50. Voznenko T. I. et al. The research of emotional state influence on quality of a brain-computer interface usage //Procedia Computer Science. - 2016. - Т. 88. - С. 391-396.

51. Matthieu D. et al. A P300-Based quantitative comparison between the Emotiv EPOC headset and a medical EEG device //International Journal of Biomedical Engineering. - 2013. - Т. 12. - №. 56. - С. 201.

52. Chepin E. V. et al. The improved method for robotic devices control with operator's emotions detection //2016 IEEE NW Russia Young Researchers in Electrical and Electronic Engineering Conference (EIConRusNW). - IEEE, 2016. - С. 173-176.

53. Карпов В. Э. и др. Архитектура системы управления для инвалидной коляски: на пути к многофункциональному роботу с нейробиологическими интерфейсами //Современные технологии в медицине. - 2019. - Т. 11. - №. 1. - С. 90-102.

54. Frisoli A., Loconsole C., Leonardis D., Banno F., Barsotti M., Chisari C., Bergamasco M. A new gaze-BCI driven control of an upper limb exoskeleton for rehabilitation in real-world tasks. IEEE Transactions on Systems, Man, and Cybernetics, Part C 2012; 42(6): 1169-1179.

55. Ронжин А. Л., Юсупов Р. М. Многомодальные интерфейсы автономных мобильных робототехнических комплексов //Известия Южного федерального университета. Технические науки. - 2015. - №. 1 (162).

56. Ронжин А. Л., Карпов А. А. Многомодальные интерфейсы: основные принципы и когнитивные аспекты //Труды СПИИРАН. - 2006. - Т. 1. -№. 3. - С. 300-319.

57. Мирошник И. В. Теория автоматического управления. Линейные системы. - 2005.

58. A. Bhattacharjee, A. Khan, M. Haider, S. Fattah, D. Chowdhury, M. Sarkar and C. Shahnaz, "Bangla voice controlled robot for rescue operation in noisy environment", 2016 IEEE Region 10 Conference (TENCON), 2016.

59. Cherepanova A. D. et al. The research of distracting factors influence on quality of brain-computer interface usage //Biologically Inspired Cognitive Architectures Meeting. - Springer, Cham, 2018. - С. 44-49.

60. Po-Yi Shih, Po-Chuan Lin, J. Wang and You-Zen Chen, "Improving real-time voice activity detection for perceptual robotic control in noisy environment", TENCON 2011 - 2011 IEEE Region 10 Conference, 2011.

61. Плотникова Наталья Валерьевна Экспертная система управления роботом // Вестник ЮУрГУ. Серия: Компьютерные технологии, управление, радиоэлектроника. 2012. №23.

62. Бишоп К. М. Распознавание образов и машинное обучение //М.: Вильямс. - 2020.

63. Мирошник И. В. Согласованное управление многоканальными системами // Ленинград : Энергоатомиздат - 1990.

64. Чабан Л. Н. Методы и алгоритмы распознавания образов в автоматизированном дешифрировании данных дистанционного зондирования //М.: МИИГАиК. - 2016.

65. Старовойтов В. В., Голуб Ю. И. Об оценке результатов классификации несбалансированных данных по матрице ошибок1 //Информатика. - 2021. - Т. 18. - №. 1. - С. 61-71.

66. Liu J. et al. uWave: Accelerometer-based personalized gesture recognition and its applications //Pervasive and Mobile Computing. - 2009. - Т. 5. - №. 6. - С. 657-675.

67. Abdelnasser H., Youssef M., Harras K. A. Wigest: A ubiquitous wifi-based gesture recognition system //Computer Communications (INFOCOM), 2015 IEEE Conference on. - IEEE, 2015. - С. 1472-1480.

68. Nuzzi, C., Pasinetti, S., Lancini, M., Docchio, F., & Sansoni, G. (2019). Deep learning-based hand gesture recognition for collaborative robots. IEEE Instrumentation & Measurement Magazine, 22(2), 44-51.

69. Мюллер А., Гвидо С. Введение в машинное обучение с помощью Python //Руководство для специалистов по работе с данными. СПб.: ООО «Альфа-книга. - 2017.

70. G. Marin, F. Dominio, P. Zanuttigh, Hand gesture recognition with leap motion and kinect devices, in: 2014 IEEE International Conference on Image Processing (ICIP), IEEE, 2014, pp. 1565-1569.

71. C. Matuszek, L. Bo, L. Zettlemoyer, D. Fox, Learning from unscripted deictic gesture and language for human-robot interactions, in: Proceedings of the National Conference on Artificial Intelligence, 2014.

72. Heng-Tze Cheng, Zheng Sun, Pei Zhang, Imirok: Real-time imitative robotic arm control for home robot applications, in: 2011 IEEE International Conference on Pervasive Computing and Communications Workshops (PERCOM Workshops), IEEE, 2011, pp. 360-363.

73. S. Naik, R. P. K. Jagannath, GCV-Based Regularized Extreme Learning Machine for Facial Expression Recognition, in: Advances in Machine Learning and Data Science, Springer, 2018, pp. 129-138

74. Eves H. Means appearing in geometric figures //Mathematics magazine. -2003. - Т. 76. - №. 4. - С. 292-294.

75. Shein-Chung Chow, Jun Shao, Hansheng Wang, Yuliya Lokhnygina Sample Size Calculations in Clinical Research .- CRC Press is an imprint of Taylor & Francis Group, an Informa business. - 2018.

76. Esther W. de Bekker-Grob, Bas Donkers Marcel, F. Jonker Elly, A. Stolk Sample Size Requirements for Discrete-Choice Experiments in Healthcare: a Practical Guide

77. Zhang L. et al. Transient analysis of Bernoulli serial lines: Performance evaluation and system-theoretic properties //IIE Transactions. - 2013. - Т. 45. - №. 5. - С. 528-543.

78. Naebulharam R., Zhang L. Bernoulli serial lines with deteriorating product quality: performance evaluation and system-theoretic properties //International Journal of Production Research. - 2014. - Т. 52. - №. 5. - С. 1479-1494.

79. Jia Z. et al. Performance analysis of assembly systems with Bernoulli machines and finite buffers during transients //IEEE Transactions on Automation Science and Engineering. - 2015. - Т. 13. - №. 2. - С. 1018-1032.

80. Xia Y. et al. Performance evaluation of multi-Bernoulli conjugate priors for multi-target filtering //2017 20th International Conference on Information Fusion (Fusion). - IEEE, 2017. - С. 1-8.

81. Lee H. S. Performance evaluation of a flow line systemwith Bernoulli sampling inspections //International journal of production research. - 1999. - Т. 37. - №. 3. - С. 581-595.

82. Садыхов Г. С., Савченко В. П. К проблеме оценки средней наработки до критического отказа техногенно-опасного объекта. - Надежность и качество сложных систем. № 1, 2013.

83. Ned Kock, Pierre Hadaya Minimum sample size estimation in PLS-SEM: The inverse square root and gamma-exponential methods. - Info Systems J (2018) 28.

84. Irene Rodriguez-Lujan, Jordi Fonollos, Alexander Vergara, Margie Homer, Ramon Huerta On the calibration of sensor arrays for pattern recognition using the minimal number of experiments.

85. Michael A. Black, R. W. Doerge Calculation of the minimum number of replicate spots required for detection of significant gene expression fold change in microarray experiments.

86. Esther W. de Bekker-Grob, Bas Donkers Marcel, F. Jonker Elly, A. Stolk Sample Size Requirements for Discrete-Choice Experiments in Healthcare: a Practical Guide

87. Кибзун А.И., Горяинова Е.Р., Наумов А.В., Сиротин А.Н. Теория вероятностей и математическая статистика. - М.: Физматлит, 2002. - 224 с.

88. Nurseitov D. et al. Design and evaluation of a P300-ERP based BCI system for real-time control of a mobile robot //Brain-Computer Interface (BCI), 2017 5th International Winter Conference on. - IEEE, 2017. - C. 115-120.

89. Hwang J., Lee M., Lee S. A brain-computer interface speller using peripheral stimulus-based SSVEP and P300 // 2017 5th International Winter Conference on Brain-Computer Interface (BCI). 2017.

90. Kapeller C. et al. A BCI using VEP for continuous control of a mobile robot //Engineering in medicine and biology society (EMBC), 2013 35th annual international conference of the IEEE. - IEEE, 2013. - C. 5254-5257.

91. Waytowich N., Krusienski D. Development of an extensible SSVEP-BCI software platform and application to wheelchair control // 2017 8th International IEEE/EMBS Conference on Neural Engineering (NER). 2017.

92. Wang M. et al. A Wearable SSVEP-Based BCI System for Quadcopter Control Using Head-Mounted Device // IEEE Access. 2018. vol. 6. p. 26789-26798.

93. Voznenko T. I., Gridvev A. A., Chepin E. V. The Non-traditional Methods of Robotic Wheelchair Multi-channel Control //KnE Engineering. - 2018. - C. 385-390-385-390.

94. Trofimov A. G., Skrugin V. I. Brain-computer interfaces. Review // Information Technologies. - 2011. - №. 2. - C. 2-11.

95. Stamps K., Hamam Y. Towards inexpensive BCI control for wheelchair navigation in the enabled environment-a hardware survey //International Conference on Brain Informatics. - Springer Berlin Heidelberg, 2010. - C. 336-345.

96. Kha H. H., Kha V. A., Hung D. Q. Brainwave-controlled applications with the Emotiv EPOC using support vector machine //Information Technology, Computer, and Electrical Engineering (ICITACEE), 2016 3rd International Conference on. - IEEE, 2016. - C. 106-111.

97. Das R., Kumar K. B. S. GeroSim: A simulation framework for gesture driven robotic arm control using Intel RealSense //Power Electronics, Intelligent

Control and Energy Systems (ICPEICES), IEEE International Conference on. -IEEE, 2016. - С. 1-5.

98. Чистяков И.С. и др. Система управления роботизированным креслом при помощи жестов. Вестник национального исследовательского университета МИФИ. - 2016. - Т. 5. - №. 4. - С. 381-388.

99. Shachter R. D., Peot M. A. Decision making using probabilistic inference methods //Proceedings of the Eighth international conference on Uncertainty in artificial intelligence. - Morgan Kaufmann Publishers Inc., 1992. - С. 276-283.

100.Voznenko T. I. et al. The Command Interpretation in Decomposition Method of Multi-Channel Control for a Robotic Device // Procedia Computer Science. - 2020. - Т. 169. - С. 152-157.

101.Voznenko, T. I., Chepin, E. V., & Urvanov, G. A. (2018). The Control System Based on Extended BCI for a Robotic Wheelchair. Procedia Computer Science, 123, 522-527.

102.Kudryavtsev K. Y. et al. The Method of Statistical Estimation of the Minimum Number of Tests for Reliable Evaluation of the Robotic Multi-channel Control Systems Quality //Biologically Inspired Cognitive Architectures Meeting. -Springer, Cham, 2018. - С. 203-208.

103.Возненко, Т. И., Петрова, А. И., Кудрявцев, К. Я., Чепин, Е. В. Принципы реализации многоканального человеко-машинного интерфейса //Вестник Национального исследовательского ядерного университета" МИФИ". -2023. - Т. 11. - №. 1. - С. 59-67.

104.Возненко, Т. И., Петрова, А. И., Чепин, Е. В. Принципы декомпозиции в разработке программной архитектуры для систем с использованием BCI-взаимодействия //Вестник Национального исследовательского ядерного университета" МИФИ". - 2023. - Т. 10. - №. 6. - С. 540-549.

105.Тагунов, В. В., Кудрявцев, К. Я., Петрова, А. И., Возненко, Т. И. Методика выбора входных признаков для алгоритмов машинного обучения //Вестник Национального исследовательского ядерного университета" МИФИ". - 2023. - Т. 11. - №. 1. - С. 51-58.

106.Voznenko, T.I., Gridnev, A.A., Kudryavtsev, K.Y., Chepin, E.V. The Decomposition Method of Multi-channel Control System Based on Extended BCI for a Robotic Wheelchair // Advances in Intelligent Systems and Computing, 2020 Vol. 948, pp. 562-567.

107.Voznenko, T.I., Gridnev, A.A., Chepin, E.V., Kudryavtsev, K.Y. Comparison Between Coordinated Control and Interpretation Methods for Multi-channel Control of a Mobile Robotic Device // Advances in Intelligent Systems and Computing, 2021, Vol .1310, pp. 558-564.

108.Voznenko, T.I., Kudryavtsev, K.Y. Algorithm for Multi-Channel Robotic Device Control Based on Minimizing Bayesian Risk // Procedia Computer Science, 2021 Vol. 190, pp. 803-807/

109.Gridnev, A.A., Voznenko, T.I., Chepin, E.V. The decision-making system for a multi-channel robotic device control // Procedia Computer Science, 2018 Vol. 123, pp. 149-154.

110.Возненко, Т.И. Методика тестирования многоканального человеко-машинного интерфейса // Вестник Национального исследовательского ядерного университета" МИФИ". - 2023. - Т. 12. - №. 4. - С. 243-250.

111.Возненко, Т.И. Модификация алгоритма интерпретации команд для многоканального человеко-машинного интерфейса // Вестник Национального исследовательского ядерного университета" МИФИ". -2023. - Т. 12. - №. 3. - С. 170-177.

ПРИЛОЖЕНИЕ A. Акты о внедрении

ДЕПАРТАМЕНТ ТРУДА И СОЦИАЛЬНОЙ ЗАЩИТЫ НАСЕЛЕНИЯ ГОРОДА МОСКВЫ

Государственное бюджетное учреждение юрода Москвы НАУЧНО-ПРАКТИЧЕСКИЙ ЦЕНТР МЕДИКО-СОЦИАЛЬНОЙ РЕАБИЛИТАЦИИ ИНВАЛИДОВ имени Л.И.ШВЕЦОВОЙ (ГВУ НПЦ MCP имени Л.И.ШВЕЦОВОЙ)

125362, Москва, ул. Лодочная, д. 15. корп. 2

Тел./ (факс): (499) 493 50 49 E-mail: [e-mail] http://www.cmir.injg ОКПО 76409246, ОГРН 1047796931049, ИНН/КПП 7733534013/77330100!

на №

АКТ

о внедрении результатов диссертационной работы Возненко Тимофея Игоревича в деятельность ГБУ НПЦ MCP им. Л.И. Швецовой

ГБУ НПЦ MCP им. Л.И. Швецовой настоящим актом подтверждает, что теоретические и практические результаты, полученные в диссертационной работе аспиранта Возненко Т.И., использованы для управления инвалидным роботизированным креслом пациентами с ограниченными функциональными возможностями. Практическим результатом диссертационной работы аспиранта Возненко Т.П. является мобильное роботизированное кресло, которое управляется пациентом с помощью многоканальной системы включающей голосовой канал, жестовый канал и канал управления с помощью нейрокомпьютерного интерфейса.

Управление с помощью нейрокомпьютерного интерфейса является актуальным и перспективным направлением, особенно для пациентов со слабым голосом и двигательной активностью. Однако основным недостатком нейрокомпьютерного интерфейса является длительное время обучения, необходимое для получения высокой точности управления. Для устранения данного недостатка, на время обучения управления с помощью нейрокомпьютерного интерфейса, предлагается использовать помимо данного канала управления другие, работающие в параллельном режиме (например, голосовое

ПРИЛОЖЕНИЕ Б. Свидетельства о регистрации программы для ЭВМ

ПРИЛОЖЕНИЕ В. Обсуждение диссертации на научном семинаре

НИКИМТ-АТОМСТРОЙ

POCATOU

с« AIM ПАШИ) АО АО

Акционерное общество «На> чно-нсслeviовательскнй и конструкторский институт монтажной rexuo.ioiHii - Атомстрой» (АО «НИ КИМТ-Атомстрой»)

«Утверждаю» Директор НИКИМТ

Долгов И.О. » августа 2023 г.

Алтуфьевское шоссе, д. 43, стр.2, Москва, 127410 Телефон [phone], факс [phone] E-mail: posiroialomrus.ru ОКПО 0862148ft, ОГРН 5087746235836 ИНН 7715719854. КПП 771501001

03.08.2023

он

HaJfe

Or)

Выписка из протокола научного семинара

Выписка из протокола научного семинара от «02» августа 2023 г. по результатам завершённого диссертационного исследования Возненко Тимофея Игоревича на гему: «Многоканальный человеко-машинный интерфейс для интеллектуальных киберфизических комплексов», выполненного по научной специальности 2.3.5. -«Математическое и программное обеспечение вычислительных систем, комплексов и компьютерных сетей»

Председатель: начальник Научно-инженерной и образовательной лаборатории цифровых компьютерных систем и автоматизации НИКИМТ, доктор технических наук, профессор Ковшов Е.Е.

Секретарь: главный специалист Научно-инженерной и образовательной лаборатории цифровых компьютерных систем и автоматизации НИКИМТ. кандидат технических наук Кувшинников B.C.

Слушали: доклад Возненко Т.И. по результатам завершённого диссертационного исследования на соискание учёной степени кандидата технических наук.

Постановили: считать диссертацию Возненко Т.И. завершённой научной работой для её возможного представления и последующей защиты в профильном диссертационном совете по заявленной научной специальности с учётом вопросов, заданных соискателю в ходе научной дискуссии, а также высказанных в процессе обсуждения замечаний и пожеланий.

Председатель

Секретарь

Е.Е. Ковшов