Разработка и исследование методов повышения эффективности человеко-машинного взаимодействия на основе взгляда тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Чжао Дарисий Гуанлинович

• Чжао Дарисий Гуанлинович
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Чжао Дарисий Гуанлинович

ВВЕДЕНИЕ

ГЛАВА 1. ОБЗОР ЛИТЕРАТУРЫ ПО ТЕМЕ ДИССЕРТАЦИИ

1.1. Описание феноменов движений глаз для управления техническим объектом

1.2. Методы определения направления взгляда

1.3. Ключевые характеристики и методы обработки данных айтрекера

1.4. Примеры человеко-машинных интерфейсов на основе взгляда

1.5. Попытки решения «проблемы прикосновения Мидаса»

1.5.1. Глазоуправление в комбинации с ЭЭГ

1.5.2. Глазоуправление в комбинации с голосом

1.6. Выводы по Главе

ГЛАВА 2. ГЛАЗОУПРАВЛЕНИЕ ПОДВИЖНЫМИ ОБЪЕКТАМИ

2.1. Разработка модельной среды с подвижными объектами для тестирования алгоритма глазоуправления

2.2. Алгоритм глазоуправления на основе прослеживающих

движений глаз

2.3. Экспериментальное тестирование алгоритма глазоуправления совместно с виброобратной связью

2.4. Сравнение эффективности глазоуправления с механическим способом подачи команд

2.5. Выводы по Главе

ГЛАВА 3. РАЗРАБОТКА И ИССЛЕДОВАНИЕ МУЛЬТИМОДАЛЬНЫХ

ИНТЕРФЕЙСОВ НА ОСНОВЕ ГЛАЗОУПРАВЛЕНИЯ

3.1. Комбинация глазоуправления и простого голосового

подтверждения

3.2. Комбинация глазоуправления и пассивного интерфейса мозг-компьютер

3.3. Исследование ЭЭГ-маркера ожидания при глазоуправлении транспортным средством

3.4. Выводы по Главе

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

СПИСОК ТАБЛИЦ

Введение диссертации (часть автореферата) на тему «Разработка и исследование методов повышения эффективности человеко-машинного взаимодействия на основе взгляда»

ВВЕДЕНИЕ

Наиболее распространенные способы управления компьютерами и разнообразными компьютеризированными техническими устройствами, такие как клавиатура, компьютерная мышь и подобные методы ввода команд, так или иначе задействуют руки оператора. Однако существуют сценарии человеко-машинного (ЧМ) взаимодействия, при которых оператор вследствие объективных или субъективных причин не может осуществлять управление традиционными методами, или таких методов недостаточно для эффективного управления. В этом случае целесообразно задействовать дополнительные каналы управления - голос, движения глаз, а также сигналы мозговой активности оператора. ЧМ взаимодействие, основанное на использовании подобных показателей, с одной стороны, значительно повысит качество жизни здоровых пользователей, которые могли бы использовать подобного рода интерфейсы в качестве основного или дополнительного источника управляющих сигналов без необходимости механического контакта с управляемым устройством, с другой, обеспечит альтернативный способ передачи команд для людей с врожденной или приобретенной инвалидностью. Помимо управления, подобная организация ЧМ взаимодействия позволит объективно оценивать состояние оператора при управлении техническими устройствами на основе анализа поведения взгляда и сопутствующей мозговой активности, что крайне важно с точки повышения эффективности управления роботизированными системами или системами с делегированной автономностью.

Интерфейсы управления на основе взгляда, интерфейсы глаз-компьютер (ИГК), и неинвазивные интерфейсы мозг-компьютер (ИМК) на основе электроэнцефалографии (ЭЭГ) используются в разработке новых средств ЧМ взаимодействия благодаря их способности отслеживать физиологические реакции человека практически в реальном времени при относительно низкой стоимости оборудования и без необходимости проведения хирургических операций, которые

требуются при использовании инвазивных ИМК. ИГК имеют более высокие точностно-скоростные характеристики, чем неинвазивные ИМК, вследствие сложности обработки и интерпретации активности мозга последних, и в ряде стран уже используются инвалидами в домашних условиях. Тем не менее, и ИГК имеет серьезные ограничения: в общем случае он не может отличать движения или задержки взгляда, используемые пользователем для управления, от спонтанно возникающих фиксаций, саккад или прослеживаний. В связи с этим он не может полноценно заменять стандартные устройства ввода, требующие использования рук - клавиатуры, мыши, тачскрины, джойстики - при взаимодействии с компьютером и тем более при управлении реальными техническими средствами.

Одно из возможных решений данной проблемы - использование мультимодального подхода, в котором распознавание намерения передать команду определяется посредством совокупного анализа как передвижений глаз во время управления с помощью взгляда («глазоуправления», далее без кавычек), так и данных других модальностей, за счет чего ограничения ИГК будут компенсироваться. Таким образом, анализ потока данных о движении глаз, аналогично данным с компьютерной мыши, определяет положение «курсора» в пространстве, после чего данные другой модальности, в конечном итоге, будут определять тип команды, которую нужно выполнить, либо использоваться в качестве источника сигнала подтверждения глазоуправляемой команды.

Комбинация данных о передвижении взгляда с голосовой модальностью не получила широкого распространения, что может быть связано с различными временными шкалами голоса и взгляда: команды, отдаваемые естественной речью более длительные по сравнению с комфортными задержками взгляда. При использовании предопределенного набора коротких голосовых команд пользователь может испытывать трудности с быстрым запоминанием нужной команды даже после предварительной тренировки. При этом быстрое и надежное распознавание голосовых команд все еще труднодостижимо.

В случае комбинации данных о передвижении взгляда с данными ЭЭГ, был выявлен ЭЭГ-маркер, возникающий вследствие ожидания пользователя

срабатывания глазоуправления, который используется для определения степени намеренности фиксации взгляда на одном из объектов. Однако в подавляющем большинстве проводимых исследований, в том числе при комбинации взгляда и голоса, в качестве визуальных стимулов использовались неподвижные объекты на экране монитора, что ограничивает возможное использование, поскольку в реальном ЧМ взаимодействии часто используются именно подвижные объекты. Помимо этого, при наличии нескольких движущихся объектов любой из таких объектов может привлечь внимание и, соответственно, взгляд, что усугубляет проблему различения намеренных движений глаз от спонтанных.

Все это позволяет говорить об актуальности разработки новых методов, моделей, алгоритмического и программного обеспечения, которые обеспечат эффективное и эргономичное глазоуправление как подвижными, так и неподвижными виртуальными объектами на экране монитора. Для решения проблемы ложнопозитивных срабатываний глазоуправления из-за возникающих спонтанных задержек и передвижений взгляда, актуальным представляется задействование дополнительных сенсорных модальностей - голоса и ЭЭГ - для детектирования в них либо подтверждающего действия, либо показателя намеренности глазной команды.

Разработки ЧМ интерфейсов на основе глазоуправления без использования дополнительных сенсорных модальностей ведутся в ряде научно-исследовательских центров, в том числе: в «Университете Клемсона» (A. Duchowski), в «Институте информатики Общества Макса Планка» (A. Bulling, P. Majaranta) и других. Проводятся исследования способов улучшения глазоуправления на основе дискриминации намеренных и спонтанных команд глазоуправления во время их подачи компьютеру по особенностям поведения взгляда. Для этого используются лабораторные айтрекеры - специальные камеры для определения направления взгляда, способные детектировать низкоамплитудные движения взгляда и динамику изменения характеристик взгляда пользователя. Глазоуправление в комбинации с другими модальностями изучается в ряде научно-исследовательских центров, например, в «Берлинской

высшей технической школе» (T.O. Zander, J. Protzak). Среди отечественных, можно выделить: МГППУ (С.Л. Шишкин), МГУ (А.Я. Каплан), ВШЭ (А.Е. Осадчий), НИЦ «КИ» (Б.М. Величковский). Основным направлением исследований является попытка совмещения глазоуправления с анализом мозговой активности. В исследованиях варьируются: используемые ЭЭГ-, МЭГ-паттерны при анализе активности мозга; технические средства, над которыми осуществляется управление; методы формирования самого управления. В представленных исследованиях в качестве феноменов глазоуправления используются преимущественно фиксации, наиболее эффективные для неподвижных объектов.

В данной работе предлагается рассмотреть ситуации использования ИГК в случае подвижных объектов, а также разработать новые методы объединения глазоуправления с другими модальностями с целью расширения практического применения интерфейсов глаз-компьютер.

Целью данной работы является расширение возможностей практического применения человеко-машинных интерфейсов глазоуправления путем разработки новых методов реализации интерфейса и методов взаимодействия пользователя с интерфейсом, основанных на механизме подтверждения команды с помощью данных ЭЭГ и голоса.

Для достижения поставленной цели необходимо было решить следующие задачи:

1. Разработка методов и алгоритмов анализа голосовых и нейрофизиологических данных, получаемых в ходе человеко-машинного взаимодействия, на основе глазоуправления подвижными объектами на экране монитора.

2. Разработка программного комплекса, реализующего обработку и визуализацию экспериментальных данных.

3. Разработка экспериментальных методик глазоуправления, дополняющих или обобщающих описанные в литературе, и моделей интерфейсов управления на их основе.

4. Экспериментальные исследования возможности повышения эффективности глазоуправления в комбинации с подтверждением по другим каналам (ЭЭГ, голос).

5. Оценка эргономических характеристик человеко-машинного взаимодействия в разработанных методиках на основе анализа субъективного опыта взаимодействия с интерфейсом.

Методы исследования. В работе использованы оригинальные подходы и процедуры, разработанные автором, в том числе: метод человеко-машинного взаимодействия при выборе подвижных объектов взглядом и контрольные к нему условия; метод человеко-машинного взаимодействия при выборе подвижных объектов взглядом и простого голосового подтверждения без декодирования произнесенного; метод обработки и классификации сигналов мозгового происхождения для улучшения распознавания подаваемых взглядом команд; метод управления транспортным средством с помощью взгляда. Применялись также такие классические методы исследования, как: элементы теории множеств и дискретной математики; вычислительные методы цифровой обработки сигналов; методы бинарной линейной классификации; статистические методы обработки данных; элементы теории вероятностей.

Объект и предмет исследования. Объектом исследования являются системы человеко-машинного взаимодействия. Предмет исследования - методы, алгоритмы и математические модели для создания интерфейса управления компьютером на основе взгляда.

Научная новизна и основные результаты диссертации. В ходе диссертационного исследования создан новый алгоритм глазоуправления умеренно различимыми движущимися целями, который превзошел по эффективности традиционное управление компьютерной мышью. Впервые предложен метод ЧМ взаимодействия на основе глазоуправления и голосового подтверждения без распознавания речи и без необходимости предварительной тренировки. Создана новая классификационная модель для различия намеренных и спонтанных прослеживаний взгляда по ЭЭГ во время глазоуправления

подвижными объектами. На этой основе создан новый метод глазоуправления роботизированной коляской с помощью виртуальных областей-команд, без использования монитора и с минимальным количеством визуальных командных ориентиров.

На защиту выносятся следующие новые научные результаты:

1. Метод человеко-машинного взаимодействия на основе взгляда (глазоуправление), базирующийся на разработанном алгоритме анализа расстояний от точки взгляда до виртуальных объектов на экране монитора в скользящем временном окне в задаче выбора умеренно различимых движущихся целей.

2. Методы и алгоритмы валидации совершенного с помощью глазоуправления выбора на основе детектирования голосового подтверждения в отфильтрованном аудиосигнале без распознавания речи, направленные на решение проблемы возникновения ложнопозитивных срабатываний выбора.

3. Модели и алгоритмы оценки намеренности прослеживания подвижного объекта в задаче выбора его взглядом на основе электроэнцефалографического маркера ожидания и линейного дискриминантного анализа.

4. Комплекс программ для фильтрации и сегментирования ЭЭГ-данных от артефактов окулографического и механического происхождения на основе анализа независимых компонент при выборе виртуальных объектов на экране монитора с помощью взгляда, а также при управлении реальным техническим объектом (роботизированная инвалидная коляска).

Соответствие паспорту специальности. Диссертационная работа соответствует пунктам 3, 8, 9 паспорта специальности 1.2.2 (математическое моделирование, численные методы и комплексы программ): 3 - реализация эффективных численных методов и алгоритмов в виде комплексов проблемно-ориентированных программ для проведения вычислительного эксперимента (разработка методов и алгоритмов, реализующих: эффективный выбор подвижных объектов с помощью прослеживающих движений глаз, вибростимуляции, анализа коротких голосовых команд, а также обработка и

сегментирование нейрофизиологических данных); 8 - комплексные исследования научных и технических проблем с применением современной технологии математического моделирования и вычислительного эксперимента (исследование возможности применения прослеживающих движений глаз для управления подвижными объектами на экране монитора, исследование границ применимости мультимодального интерфейса глаз-мозг-компьютер на основе управления подвижными объектами с помощью взгляда и отслеживания ЭЭГ маркера ожидания срабатывания управления с помощью классификационной модели); 9 -постановка и проведение численных экспериментов, статистический анализ их результатов, в том числе с применением современных компьютерных технологий (постановка и проведение численных экспериментов по определению параметров предобработки данных для классификации индикатора вовлеченности оператора в процесс управления подвижными объектами и статистический анализ полученных результатов).

Практическая значимость. Полученные результаты могут служить основой формирования интерфейса, способного воспринимать мысленные команды оператора и определять его текущее состояние, что позволит повысить вовлеченность оператора в процесс управления и, как следствие, улучшит качество ЧМ взаимодействия в целом. Практическая ценность полученных научных результатов заключается в следующем:

1. Повышение эффективности и надежности глазоуправления виртуальными объектами на экране монитора за счет использования разработанных алгоритмов, использующих подтверждение.

2. Расширение функциональных возможностей ЧМ интерфейсов на основе взгляда вследствие реализации методов анализа намеренности поданных глазоуправлением команд.

Разработанные в ходе исследований программы прошли регистрацию в Роспатенте и применяются в лаборатории нейрокогнитивных интерфейсов НИЦ «Курчатовский институт».

Практическая значимость работы подтверждается также применением полученных результатов в проведении научно-исследовательских работ по тематикам, утвержденным в НИЦ «Курчатовский институт». Результаты исследований были использованы при выполнении внутренних проектов НИЦ «Курчатовский институт» (приказы №1057 от 02.07.2020, №2752 от 28.10.2021); проектов, поддержанных грантами РНФ (№18-19-00593, №22-19-00528), РФФИ (№17-29-07083 конкурс "офи_м", тема 707); в работе по проекту фонда содействия инновациям УМНИК-17 (договор № 13310ГУ/2018 от 02.07.2018). Практическая задача была связана с практической реализацией ЧМ интерфейсов нового типа, а также относилась к сфере анализа данных - построению методики обработки и анализа мультимодальных записей испытуемых, участвовавших в экспериментах.

Достоверность полученных результатов подтверждается проведенными экспериментами и апробацией на реальных компьютеризированных системах.

Апробация. Основные результаты исследований докладывались на ряде конференций и семинаров:

1. Международный научный форум студентов, аспирантов и молодых ученых "Ломоносов" 2017, 2018 - постерный, устный доклады.

2. Всероссийская конференция "XV Юбилейная Курчатовская междисциплинарная молодёжная научная школа" 2017 - устный доклад.

3. Всероссийская конференция "Когнитивная наука в Москве: новые исследования" 2017, 2019 и 2021 года - постерные доклады на русском и английском языках.

4. Международная конференция "BCI: Science&Practice (Samara)" 2018 и 2019 - постерный доклад на английском языке. В 2018 доклад победил в номинации "лучший постерный доклад".

5. Международная конференция "Volga Neuroscience Meeting" 2018 -устный доклад на английском языке

6. Всероссийская конференция молодых учёных "Psy-Вышка -Актуальные проблемы психологической науки" 2019 - устный доклад.

7. Международная конференция "The 20th European Conference on Eye Movements (ECEM, Spain)" 2019 - постерный доклад на английском языке.

8. Международная конференция "The 8th Graz Brain-Computer Interface Conference (GBCIC, Austria)" 2019 - устный доклад на английском языке. Был представлен первый устный доклад в истории этой конференции от российских ученых.

На заседании НТС и на семинарах КК НБИКС-пт НИЦ «Курчатовский институт» (2018, 2019, 2020, 2021), семинарах МЭГ-центра МГППУ (2019) и МИЭМ НИУ ВШЭ (2023).

Личный вклад. Автор диссертации самостоятельно сформулировал теоретические утверждения, лежащие в основе разработанных методов ЧМ взаимодействия, разработал численные алгоритмы для глазоуправления и провел серию вычислительных экспериментов. Постановка математической задачи принадлежит научному руководителю - Карпову В.Э. Физическая постановка задачи поиска паттернов ЭЭГ активности принадлежат Шишкину С.Л. и Величковскому Б.М. Методические рекомендации по анализу и интерпретации ЭЭГ-данных были сформированы Васильевым А.Н.

В совместных публикациях лично соискателем получены следующие результаты. Вместе с сотрудником лаборатории НИЦ «Курчатовский институт» Мельничуком Е.В. разработана и отлажена программная среда с подвижными объектами [56; 106; 135; 136; 138]. Соискателем были программно реализованы: алгоритмы и методы взаимодействия объектов между собой и с пользователем; экспериментальные сценарии ЧМ взаимодействия; алгоритм детектирования прослеживающих движений взгляда (глазоуправление); интерфейс глаз-компьютер на основе выбора подвижных объектов; разработана среда моделирования работы алгоритмов детектирования прослеживающих движений взгляда на основе натурных экспериментов (Программы для ЭВМ: № 2018612472, № 2018612468). Совместно с сотрудником лаборатории НИЦ «Курчатовский институт» Исаченко А.В. было проведено сравнение эффективности разработанного глазоуправления с механическими устройствами ввода [56].

Соискателем были подобраны параметры экспериментальных режимов и осуществлен анализ полученных данных (Программа для ЭВМ № 2019610136).

Экспериментальные методики исследования комбинации глазоуправления с анализом ЭЭГ и голоса были разработаны, протестированы и отлажены соискателем. Совместно с Кариковым Н.Д. был разработан метод глазоуправления с голосовым подтверждением [135]. Соискателем выполнены: разработка алгоритмов анализа голосового сигнала и методов подтверждения глазоуправления; проведено экспериментальное исследование; проанализированы полученные данные. В случае совмещения глазоуправления с анализом ЭЭГ [136], соискателем были разработаны: методы синхронизации данных ЭЭГ и айтрекинга; разработка экспериментальных режимов намеренного и спонтанного выбора глазоуправления; программный пакет, реализующий алгоритмы обработки данных ЭЭГ и последующую классификацию; статистический анализ полученных классификатором результатов (Программы для ЭВМ: № 2019610456, № 2020611577, № 2020617668). В случае глазоуправления транспортным средством [132], соискателем были разработаны алгоритмы очистки данных для выявления маркера намерения и методика глазоуправления коляской с помощью виртуальных областей-команд (Программа для ЭВМ № 2022610513).

Публикации. Основные результаты по теме диссертации изложены в 6 статьях в рецензируемых печатных изданиях, из которых 5 индексируется Scopus и 4 в WoS. Было зарегистрировано 7 РИДов (программы для ЭВМ), из которых в 3-х соискатель являлся единственным автором.

Объем и структура работы. Диссертация состоит из введения, трех глав, заключения. Полный объём диссертации составляет 132 страниц с 36 рисунками и 18 таблицами. Список литературы содержит 140 наименования.

ГЛАВА 1. ОБЗОР ЛИТЕРАТУРЫ ПО ТЕМЕ ДИССЕРТАЦИИ

Основной задачей интерфейса взаимодействия человека с компьютером является обеспечение простого, эффективного и удобного канала передачи команд между пользователем и компьютером. При управлении на основе взгляда (глазоуправление), такой класс программно-аппаратных решений называют интерфейсами глаз-компьютер (ИГК), основным источником командных сигналов служит информация о передвижениях и остановках взгляда, детектируемых с помощью специального устройства - айтрекера. Технология (айтрекинг) имеет широкое применение как в исследованиях работы зрительной системы или когнитивной психологии, так и для управления техническими объектами в качестве устройства ввода [17; 67].

1.1. Описание феноменов движений глаз для управления техническим

объектом

При формировании ЧМ взаимодействия на основе взгляда в качестве управляющих паттернов движения глаз используют следующие феномены:

1. Саккады и фиксации;

2. Прослеживающие движения.

Саккады представляют собой согласованные быстрые движения глаз, возникающие при осмотре человеком различных объектов в поле зрения (Рисунок 1.1 ). Во время выполнения саккады визуальное восприятие подавляется, поэтому человек может фактически не воспринимать в эти моменты визуальную информацию [28; 100]. Саккады различаются по амплитуде и продолжительности, изменяющиеся в зависимости от поставленной перед человеком задачи. Типичные саккады при чтении небольшие (порядка 2 градусов поля зрения) и длятся около 30 мс, в то время как саккады при восприятии визуальной сцены обычно больше (порядка 5 градусов поля зрения) и длятся 40-50 мс [20; 74; 91]. Длительность саккад варьируется от 10 мс до 100 мс, размах составляет от 1 до 40 градусов

(обычно 15-20 градусов) [41]. В ответ на внешний стимул, появление саккады происходит приблизительно через 200 мс после его возникновения. Саккады имеют баллистический характер движения - после возникновения траектория и конечная точка не могут быть изменены [10; 59].

Рисунок 1.1 - Пример саккад и фиксаций при чтении текста (слева, [16]), траектория прослеживания подвижного объекта (справа)

При фиксациях взгляд человека останавливается на объекте, который привлек его внимание. Во время фиксаций взгляд относительно стабилен. Длительность фиксаций варьируется в промежутке от 150 мс до 600 мс, после чего происходит саккада [55; 74].

Прослеживающие движения глаз возникают при наблюдении человеком подвижного объекта. Этот тип движений глаз с высокой точностью повторяет траекторию наблюдаемой цели, а наведение взгляда на объект происходит быстро и без субъективных усилий [26]. Минимальная скорость объекта для появления прослеживающих движений глаз составляет приблизительно 5 град/с, после скорости приблизительно 20 град/с начинают возникать разрывы прослеживания [66; 103]. Примечательно, что невозможно искусственно, без наличия прослеживаемого объекта, выполнять прослеживающие движения.

н

Skipped

1.2. Методы определения направления взгляда

На данный момент существуют несколько методов зафиксировать передвижения взгляда:

1. Электроокулография;

2. Метод склеральных линз;

3. Инфракрасная окулография;

4. Видеоокулография.

Метод электроокулографии (ЭОГ) основывается на регистрации изменений постоянного роговично-ретинального потенциала, возникающего в результате деполяризации и гиперполяризации. В этом случае глазное яблоко можно представить как диполь, в котором центр роговицы имеет положительный заряд, а сетчатка отрицательный. Соответственно, движения глазного яблока приводят к возникновению микротоков в проводящих тканях в глазнице, которые регистрируются посредством расположенных вокруг глаз электродов [37; 116]. Полученные потенциалы изменяются в диапазоне от 50 до 3500 мкВ, приблизительно 14-20 мкВ на каждый градус движения глаза [24; 75]. Записанная электрическая активность представляет собой композицию как движений глаз, так и активности мышц, поэтому запись ведется с помощью дифференциального усилителя переменного тока совместно с полосными фильтрами как высоких, так и низких частот при частоте дискретизации не менее 176 Гц. При изменениях вектора взгляда в пределах углового диапазона ±50° горизонтально и ±30° вертикально, ЭОГ относительно пропорциональна смещению взгляда. Из-за совокупного количества ограничений данной технологии, ее, в основном, используют в качестве дополнительного канала информации о передвижениях взгляда [32; 37].

Метод склеральных линз базируется на явлении электромагнитной индукции - модифицированная линза с размещенной на ней катушкой вставляется в глаз, после чего регистрируются электрические токи, возникающие в контуре катушки. Таким методом возможно отслеживать как горизонтальные,

так и вертикальные перемещения взгляда, однако требуется размещение как минимум двух ортогональных друг другу внешних катушек. Преимуществом метода является высокая точность, хорошее временное и пространственное разрешение [130]. Метод не получил широкого распространения из-за необходимости механического воздействия на глаз (малоинвазивный метод), что подвергает участников исследования определенному риску и накладывает ограничения на возможности массового использования [110].

Метод инфракрасной окулографии основан на отслеживании изменений диффузного отражения инфракрасного света от поверхности глазного яблока во время его движения, при фиксированных источниках света и детектора. Относительное вращение глаза отслеживается путем наблюдения за границей между склерой и радужкой (лимб роговицы) или зрачка и радужкой [73]. Поскольку инфракрасный свет невидим для глаза, излучение от источников не отвлекает внимание пользователя. Пространственное разрешение составляет порядка 0,1°, а временное разрешение может достигать 1 мс. Данный метод хорошо работает при измерении горизонтальных движений глаз в диапазоне от ±15° до ±40° в зависимости от конструкции и дизайна системы, однако для вертикальных движений измерение сильно затрудняется из-за перекрывания глазными веками границы между радужкой и склерой [63].

Список литературы диссертационного исследования кандидат наук Чжао Дарисий Гуанлинович, 2024 год

СПИСОК ЛИТЕРАТУРЫ

1. Величковский, Б.М. Управление «силой мысли»: на пути к новым формам взаимодействия человека с техническими устройствами / Б.М. Величковский, Ю.О. Нуждин, Е.П. Свирин и др. // Вопросы психологии. - 2016. - Управление" силой мысли". - № 1. - С. 109-122.

2. Ганин, И.П. Интерфейс мозг-компьютер «на волне P300»: исследование эффекта номера стимулов в последовательности их предъявления / И.П. Ганин, С.Л. Шишкин, А.Г. Кочетова, А.Я. Каплан // Физиология человека. - 2012. - Т. 38.

- № 2. - С. 5-5.

3. Исаченко, А.В. Проверка гипотезы о возможности ускорения подачи команд с помощью взгляда при использовании вибротактильного канала связи / А.В. Исаченко, Е.В. Мельничук, Д.Г. Чжао // Материалы конференции XV Курчатовская молодежная научная школа. - 2017. - С. 128.

4. Каплан, А.Я. Экспериментально-теоретические основания и практические реализации технологии" интерфейс мозг-компьютер" / А.Я. Каплан, А.Г. Кочетова, С.Л. Шишкин и др. // Бюллетень Сибирской медицины. - 2013. - Т. 12.

- № 2. - С. 21-29.

5. Каплан, А.Я. Нейрофизиологические основания и практические реализации технологии мозг-машинных интерфейсов в неврологической реабилитации / А.Я. Каплан // Физиология человека. - 2016. - Т. 42. - № 1. - С. 118-127.

6. Карпов, А.А. Многомодальные интерфейсы человеко-машинного взаимодействия / А.А. Карпов, Р.М. Юсупов // Вестник Российской академии наук. - 2018. - Т. 88. - № 2. - С. 146-155.

7. Карпов, В.Э. Архитектура системы управления для инвалидной коляски: на пути к многофункциональному роботу с нейробиологическими интерфейсами /

В.Э. Карпов, Д.Г. Малахов, М.А. Ровбо и др. // Современные технологии в медицине. - 2019. - Т. 11. - Архитектура системы управления для инвалидной коляски. - № 1. - С. 90-102.

8. Медынцев, А.А. Влияние тактильной обратной связи на скорость подачи команд компьютеру с помощью последовательных фиксаций взгляда / А.А. Медынцев, Ю.О. Нуждин, Е.П. Свирин и др. // Седьмая международная конференция по когнитивной науке. - 2016. - С. 420-421.

9. Потапова, Р.К. Речь: коммуникация, информация, кибернетика / Р.К. Потапова. - Москва : Общество с ограниченной ответственностью" Книжный дом" ЛИБРОКОМ", 2020. - 598 с.

10. Славуцкая, М.В. Внимание и движения глаз. Строение глазодвигательной системы, феноменология и программирование саккады / М.В. Славуцкая, В.В. Моисеева, В.В. Шульговский // Журнал высшей нервной деятельности им. ИП Павлова. - 2008. - Т. 58. - № 1. - С. 28-45.

11. Федотчев, А.И. Технологии «Интерфейс мозг-компьютер» и нейробиоуправление: современное состояние, проблемы и возможности клинического применения (обзор) / А.И. Федотчев, С.Б. Парин, С.А. Полевая, С.Д. Великова // Современные технологии в медицине. - 2017. - Т. 9. - Технологии «Интерфейс мозг-компьютер» и нейробиоуправление. - № 1. - С. 175-184.

12. Чжао, Д.Г. ЭЭГ во время выбора подвижных объектов прослеживающими движениями глаз / Д.Г. Чжао, А.Н. Васильев, Б.Л. Козырский и др.// Когнитивная наука в Москве: новые исследования. - 2019. - С. 648-653.

13. Чжао, Д.Г. Чем интересна ээг, регистрируемая при управлении роботизированной инвалидной коляской с помощью взгляда? / Д.Г. Чжао, А.Д. Московский, Е.В. Мельничук и др. // Когнитивная наука в Москве: новые исследования. - 2021. - С. 548-553.

14. Шишкин, С.Л. Учитесь ждать! Условно-негативная волна поможет отдавать команды взглядом? / С.Л. Шишкин, Е.П. Свирин, Ю.О. Нуждин и др. -[Электронный ресурс] // Когнитивная наука в Москве: новые исследования. -2015. - С. 486-491.

15. Шишкин, С.Л. На пути к высокоскоростным интерфейсам глаз—мозг— компьютер: сочетание «Одностимульной» парадигмы и перевода взгляда / С.Л. Шишкин, А.А. Федорова, Ю.О. Нуждин и др. // Вестник Московского университета. Серия 14. Психология. - 2013. - На пути к высокоскоростным интерфейсам глаз—мозг—компьютер. - № 4. - С. 4-19.

16. Al Madi, N.S. Modeling Eye Movement for the Assessment of Programming Proficiency : PhD Thesis / N.S. Al Madi. - Kent State University, 2020. - Режим доступа: https://rave.ohiolink.edu/etdc/view?acc_num=kent1595429905152276 (дата обращения: 13.05.2024). - [Электронный ресурс].

17. Alemdag, E. A systematic review of eye tracking research on multimedia learning / E. Alemdag, K. Cagiltay // Computers & Education. - 2018. - Т. 125. - С. 413-428. DOI: 10.1016/j.compedu.2018.06.023.

18. Amari, S. A new learning algorithm for blind signal separation / S. Amari, A. Cichocki, H.H. Yang // Advances in neural information processing systems. - 1996. -Т. 8.

19. Amit, R. Oculomotor inhibition reflects temporal expectations / R. Amit, D. Abeles, M. Carrasco, S. Yuval-Greenberg // Neurolmage. - 2019. - Т. 184. DOI: 10.1016/j.neuroimage.2018.09.026.

20. Bahill, A.T. Overlapping saccades and glissades are produced by fatigue in the saccadic eye movement system / A.T. Bahill, L. Stark // Experimental Neurology. -1975. - Т. 48. - № 1. - С. 95-106. DOI: 10.1016/0014-4886(75)90225-3.

21. Baldiwn, D.A. Understanding the Link Between Joint Attention and Language / D.A. Baldiwn // Joint Attention: Its Origins and Role in Development. - 1995. - С. 131158.

22. Bandara, D.S.V. Brain signal acquisition methods in BCIs to estimate human motion intention - a survey / D.S.V. Bandara, K. Kiguchi. - [Электронный ресурс] // 2018 International Symposium on Micro-NanoMechatronics and Human Science (MHS) 2018 International Symposium on Micro-NanoMechatronics and Human Science (MHS). - 2018. - С. 1-7.

23. Barbuceanu, F. Eye tracking applications / F. Barbuceanu, C. Antonya. - 2009. -Т. 2. - С. 17.

24. Barea, R. System for assisted mobility using eye movements based on electrooculography / R. Barea, L. Boquete, M. Mazo, E. Lopez // IEEE Transactions on Neural Systems and Rehabilitation Engineering. - 2002. - Т. 10. - № 4. - С. 209-218. DOI: 10.1109/TNSRE.2002.806829.

25. Bates, R. Zooming interfaces! enhancing the performance of eye controlled pointing devices / R. Bates, H. Istance. // Proceedings of the fifth international ACM conference on Assistive technologies : Assets '02. - New York, NY, USA : Association for Computing Machinery, 2002. - С. 119-126.

26. Brielmann, A.A. Effects of reward on the accuracy and dynamics of smooth pursuit eye movements / A.A. Brielmann, M. Spering // Journal of Experimental Psychology: Human Perception and Performance. - 2015. - Т. 41. - № 4. DOI: 10.1037/a0039205.

27. Brouwer, A.M. Distinguishing between target and nontarget fixations in a visual search task using fixation-related potentials. / A.M. Brouwer, B. Reuderink, J. Vincent и др. // Journal of vision. - 2013. DOI: 10.1167/13.3.17.

28. Burr, D.C. Selective suppression of the magnocellular visual pathway during saccadic eye movements / D.C. Burr, M.C. Morrone, J. Ross // Nature. - 1994. - Т. 371. - № 6497. - С. 511-513. DOI: 10.1038/371511a0.

29. Casiez, G. 1€ filter: A simple speed-based low-pass filter for noisy input in interactive systems / G. Casiez, N. Roussel, D. Vogel // Conference on Human Factors in Computing Systems - Proceedings. - 2012.

30. Castellina, E. Accessible web surfing through gaze interaction / E. Castellina, F. Corno. // Gaze-based Creativity, Interacting with Games and On-line Communities. -2007. - С. 74-77.

31. Chen, J. Attention is allocated closely ahead of the target during smooth pursuit eye movements: Evidence from EEG frequency tagging / J. Chen, M. Valsecchi, K.R. Gegenfurtner // Neuropsychologia. - 2017. DOI: 10.1016/j.neuropsychologia.2017.06.024.

32. Chen, Y. A human-robot interface based on electrooculography / Y. Chen, W.S. Newman. - [Электронный ресурс] // IEEE International Conference on Robotics and Automation, 2004 (ICRA'04). Proceedings. - 2004. - Т. 1. - С. 243-248. - Режим доступа: https://ieeexplore.ieee.org/abstract/document/1307158 (дата обращения: 29.04.2024).

33. Congedo, M. Classification of movement intention by spatially filtered electromagnetic inverse solutions / M. Congedo, F. Lotte, A. Lécuyer // Physics in Medicine & Biology. - 2006. - Т. 51. - № 8. - С. 1971. DOI: 10.1088/00319155/51/8/002.

34. Cuong, N.H. Eye-gaze detection with a single WebCAM based on geometry features extraction / N.H. Cuong, H.T. Hoang. // 2010 11th International Conference on Control Automation Robotics & Vision 2010 11th International Conference on Control Automation Robotics & Vision. - 2010. - С. 2507-2512.

35. Cymek, D.H. Entering PIN codes by smooth pursuit eye movementsc / D.H. Cymek, S. Ruff, S. Hofmann и др. // Journal of Eye Movement Research. - 2014. -Т. 7. - № 4. DOI: 10.16910/jemr.7.4.1.

36. Delorme, A. EEGLAB: An open source toolbox for analysis of single-trial EEG dynamics including independent component analysis / A. Delorme, S. Makeig // Journal of Neuroscience Methods. - 2004. DOI: 10.1016/j.jneumeth.2003.10.009.

37. Dhillon, H.S. EOG and EMG based virtual keyboard: A brain-computer interface / H.S. Dhillon, R. Singla, N.S. Rekhi, R. Jha. - [Электронный ресурс] // 2009 2nd IEEE International Conference on Computer Science and Information Technology. -2009. - С. 259-262. - Режим доступа: https://ieeexplore.ieee.org/abstract/document/5234951 (дата обращения: 29.04.2024).

38. Dimigen, O. Human microsaccade-related visual brain responses / O. Dimigen, M. Valsecchi, W. Sommer, R. Kliegl // Journal of Neuroscience. - 2009. DOI: 10.1523/JNEUROSCI.0911 -09.2009.

39. Dorr, M., Bohme, M., Martinetz, T., Brath, E. Gaze Beats Mouse: A Case Study / E. Dorr, M., Bohme, M., Martinetz, T., Brath // Cogain. - 2007. - Т. 7. - № 2. - С. 1619.

42. Duchowski, A. Eye tracking methodology: Theory and practice / A. Duchowski. - 2007.

43. Duchowski, A.T. Gaze-based interaction: A 30 year retrospective / A.T. Duchowski // Computers and Graphics (Pergamon). - 2018. - Т. 73. DOI: 10.1016/j.cag.2018.04.002.

44. Ehrlichman, H. Why do people move their eyes when they think? / H. Ehrlichman, D. Micic // Current Directions in Psychological Science. - 2012. - Т. 21. -№ 2. - С. 96-100. DOI: 10.1177/0963721412436810.

45. Esteves, A. Orbits: Gaze interaction for smart watches using smooth pursuit eye movements / A. Esteves, E. Velloso, A. Bulling, H. Gellersen // UIST 2015 -Proceedings of the 28th Annual ACM Symposium on User Interface Software and Technology. - 2015. - C. 457-466.

46. Findlay, J.M. Active vision: The psychology of looking and seeing : Active vision: The psychology of looking and seeing. Active vision / J.M. Findlay, I.D. Gilchrist. - New York, NY, US : Oxford University Press, 2003. - xiii, 220 c.

47. Fuhl, W. Pupil detection for head-mounted eye tracking in the wild: an evaluation of the state of the art / W. Fuhl, M. Tonsen, A. Bulling, E. Kasneci // Machine Vision and Applications. - 2016. - T. 27. - Pupil detection for head-mounted eye tracking in the wild. - № 8. - C. 1275-1288. DOI: 10.1007/s00138-016-0776-4.

48. Golenia, J.E. Implicit relevance feedback from electroencephalography and eye tracking in image search / J.E. Golenia, M.A. Wenzel, M. Bogojeski, B. Blankertz // Journal of Neural Engineering. - 2018. - T. 15. - № 2. - C. 026002. DOI: 10.1088/1741-2552/aa9999.

49. Grauman, K. Communication via eye blinks and eyebrow raises: Video-based human-computer interfaces / K. Grauman, M. Betke, J. Lombardi h gp. // Universal Access in the Information Society. - 2003. - T. 2. - № 4. - C. 359-373. DOI: 10.1007/s10209-003-0062-x.

50. Hansen, J.P. Command Without a Click: Dwell Time Typing by Mouse and Gaze Selections / J.P. Hansen, A.S. Johansen, D.W. Hansen h gp. // 9th Human-Computer Interaction. - 2003.

52. Hansen, J.P. Gaze typing compared with input by head and hand / J.P. Hansen, K. T0rning, A.S. Johansen h gp. // Proceedings of the 2004 symposium on Eye tracking research & applications : ETRA '04. - New York, NY, USA : Association for Computing Machinery, 2004. - C. 131-138.

53. Hoy, M.B. Alexa, Siri, Cortana, and More: An Introduction to Voice Assistants / M.B. Hoy // Medical Reference Services Quarterly. - 2018. - T. 37. - № 1. - C. 81-88. DOI: 10.1080/02763869.2018.1404391.

54. Ihme, K. What you expect is what you get? Potential use of contingent negative variation for passive BCI systems in gaze-based HCI / K. Ihme, T.O. Zander // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2011. - C. 447-456.

55. Irwin, D.E. Memory for position and identity across eye movements / D.E. Irwin // Journal of Experimental Psychology: Learning, Memory, and Cognition. - 1992. -T. 18. - № 2. - C. 307-317. DOI: 10.1037/0278-7393.18.2.307.

56. Isachenko, A.V. The Pursuing Gaze Beats Mouse in Non-Pop-Out Target Selection / A.V. Isachenko, D.G. Zhao, E.V. Melnichuk h gp. // Proceedings - 2018 IEEE International Conference on Systems, Man, and Cybernetics, SMC 2018. - 2019. - C. 3518-3523.

57. Isokoski, P. Gaze controlled games / P. Isokoski, M. Joos, O. Spakov, B. Martin // Universal Access in the Information Society. - 2009. - T. 8. - № 4. - C. 323-337. DOI: 10.1007/s 10209-009-0146-3.

58. Jacob, R.J.K. Eye Movement-Based Human-Computer Interaction Techniques: Toward Non-Command Interfaces / R.J.K. Jacob // Advances in Human-Computer Interaction. - 1993. - T. 4. - C. 151-190.

59. Jacob, R.J.K. The Use of Eye Movements in Human-Computer Interaction Techniques: What You Look at is What You Get / R.J.K. Jacob // ACM Transactions on Information Systems (TOIS). - 1991. DOI: 10.1145/123078.128728.

60. Jacucci, G. Integrating neurophysiologic relevance feedback in intent modeling for information retrieval / G. Jacucci, O. Barral, P. Daee h gp. // Journal of the

Association for Information Science and Technology. - 2019. - T. 70. - № 9. - C. 917930. DOI: 10.1002/asi.24161.

61. Jamalabadi, H. Classification based hypothesis testing in neuroscience: Below-chance level classification rates and overlooked statistical properties of linear parametric classifiers / H. Jamalabadi, S. Alizadeh, M. Schönauer h gp. // Human Brain Mapping. - 2016. - T. 37. - № 5. - C. 1842-1855. DOI: 10.1002/hbm.23140.

62. Jangraw, D.C. Neurally and ocularly informed graph-based models for searching 3D environments / D.C. Jangraw, J. Wang, B.J. Lance h gp. // Journal of Neural Engineering. - 2014. - T. 11. - C. 046003. DOI: 10.1088/1741-2560/11/4/046003.

63. Johns, M.W. Monitoring eye and eyelid movements by infrared reflectance oculography to measure drowsiness in drivers / M.W. Johns, A. Tucker, R. Chapman h gp. // Somnologie - Schlafforschung und Schlafmedizin. - 2007. - T. 11. - № 4. -

C. 234-242. DOI: 10.1007/s11818-007-0311-y.

64. Kamienkowski, J.E. Fixation-related potentials in visual search: A combined EEG and eye tracking study / J.E. Kamienkowski, M.J. Ison, R.Q. Quiroga, M. Sigman // Journal of Vision. - 2012. - T. 12. - № 7. - C. 4. DOI: 10.1167/12.7.4.

66. Kao, G.W. The relationship of anticipatory smooth eye movement to smooth pursuit initiation / G.W. Kao, M.J. Morrow // Vision Research. - 1994. - T. 34. - № 22. DOI: 10.1016/0042-6989(94)90276-3.

67. Karatekin, C. Eye tracking studies of normative and atypical development : Developmental Cognitive Neuroscience / C. Karatekin // Developmental Review. -2007. - T. 27. - № 3. - C. 283-348. DOI: 10.1016/j.dr.2007.06.006.

68. Karpov, V.E. Architecture of a wheelchair control system for disabled people: Towards multifunctional robotic solution with neurobiological interfaces / V.E. Karpov,

D.G. Malakhov, A.D. Moscowsky h gp. // Sovremennye Tehnologii v Medicine. -2019. - T. 11. - № 1. DOI: 10.17691/stm2019.11.1.11.

69. Kazai, K. Comparison between the lambda response of eye-fixation-related potentials and the P100 component of pattern-reversal visual evoked potentials / K. Kazai, A. Yagi // Cognitive, Affective and Behavioral Neuroscience. - 2003. DOI: 10.3758/CABN.3.1.46.

70. Khamis, M. VRpursuits: interaction in virtual reality using smooth pursuit eye movements / M. Khamis, C. Oechsner, F. Alt, A. Bulling. // Proceedings of the 2018 International Conference on Advanced Visual Interfaces : AVI '18. - New York, NY, USA : Association for Computing Machinery, 2018. - VRpursuits. - C. 1-8.

71. Kim, M. Quantitative Evaluation of a Low-Cost Noninvasive Hybrid Interface Based on EEG and Eye Movement / M. Kim, B.H. Kim, S. Jo // IEEE Transactions on Neural Systems and Rehabilitation Engineering. - 2015. - T. 23. - № 2. - C. 159-168. DOI: 10.1109/TNSRE.2014.2365834.

72. Kumah-Crystal, Y.A. Electronic Health Record Interactions through Voice: A Review / Y.A. Kumah-Crystal, C.J. Pirtle, H.M. Whyte h gp. // Applied Clinical Informatics. - 2018. - T. 9. - № 3. - C. 541-552. DOI: 10.1055/s-0038-1666844.

73. Kumar, A. Binocular infrared oculography / A. Kumar, G. Krol // The Laryngoscope. - 1992. - T. 102. - № 4. - C. 367-378. DOI: 10.1288/00005537199204000-00002.

74. Land, M. Looking and Acting: Vision and eye movements in natural behaviour / M. Land, B. Tatler. - 2012.

75. Lin, M. A wireless EOG-based Human Computer Interface / M. Lin, B. Li. // 2010 3rd International Conference on Biomedical Engineering and Informatics 2010 3rd International Conference on Biomedical Engineering and Informatics. - 2010. -T. 5. - C. 1794-1796.

76. Lisberger, S.G. Visual motion processing annd sensory-motor integration for smooth pursuit eye movements. T. Vol. 10 / S.G. Lisberger, E.J. Morris, L. Tychsen. -1987.

77. Liu, D. Exploiting eye tracking for smartphone authentication / D. Liu, B. Dong, X. Gao, H. Wang // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2015. - T. 9092. - C. 457-477.

78. Lukander, K. A system for tracking gaze on handheld devices / K. Lukander // Behavior Research Methods. - 2006. - T. 38. - № 4. - C. 660-666. DOI: 10.3758/BF03193899.

79. Lutz, O.H.M. SMOOVS: Towards calibration-free text entry by gaze using smooth pursuit movements / O.H.M. Lutz, A.C. Venjakob, S. Ruff // Journal of Eye Movement Research. - 2015. - T. 8. - № 1. DOI: 10.16910/jemr.8.1.2.

80. Majaranta, P. Fast gaze typing with an adjustable dwell time / P. Majaranta, U.-K. Ahola, O. Spakov. // Proceedings of the SIGCHI Conference on Human Factors in Computing Systems : CHI '09. - New York, NY, USA : Association for Computing Machinery, 2009. - C. 357-360.

81. Majaranta, P. Eye Tracking and Eye-Based Human-Computer Interaction / P. Majaranta, A. Bulling. - 2014. - C. 39-65.

82. Majaranta, P. Text Entry by Gaze: Utilizing Eye Tracking / P. Majaranta, K.J. Räihä // Text Entry Systems: Mobility, accessibility, universality. - 2007.

83. Martinez-Conde, S. Microsaccades: a neurophysiological analysis / S. Martinez-Conde, S.L. Macknik, X.G. Troncoso, D.H. Hubel // Trends in Neurosciences. - 2009. -T. 32. - Microsaccades. - № 9. - C. 463-475. DOI: 10.1016/j.tins.2009.05.006.

84. Mewes, A. Touchless interaction with software in interventional radiology and surgery: a systematic literature review. T. 12 / A. Mewes, B. Hensen, F. Wacker, C. Hansen. - 2017.

85. Nielsen, J. Noncommand User Interfaces / J. Nielsen // Communications of the ACM. - 1993. - T. 36. - Noncommand User Interfaces. - № 4. - C. 83-99.

86. Nikolaev, A.R. Combining EEG and eye movement recording in free viewing: Pitfalls and possibilities / A.R. Nikolaev, R.N. Meghanathan, C. van Leeuwen // Brain and Cognition. - 2016. DOI: 10.1016/j.bandc.2016.06.004.

87. Nuzhdin, Y.O. Passive detection of feedback expectation: Towards fluent hybrid eye-brain-computer interfaces / Y.O. Nuzhdin, S.L. Shishkin, A.A. Fedorova h gp. // 7th Graz Brain-Computer Interface Conference. - 2017. - C. 361-366.

88. Olsson, P. Real-time and Offline Filters for Eye Tracking / P. Olsson. - 2007.

89. Pfeuffer, K. Pursuit calibration: Making gaze calibration less tedious and more flexible / K. Pfeuffer, M. Vidal, J. Turner h gp. // UIST 2013 - Proceedings of the 26th Annual ACM Symposium on User Interface Software and Technology. - 2013.

90. Porta, M. ceCursor, a contextual eye cursor for general pointing in windows environments / M. Porta, A. Ravarelli, G. Spagnoli. // Proceedings of the 2010 Symposium on Eye-Tracking Research & Applications : ETRA '10. - New York, NY, USA : Association for Computing Machinery, 2010. - C. 331-337.

91. Privitera, C.M. Scanpath theory, attention, and image processing algorithms for predicting human eye fixations / C.M. Privitera, L.W. Stark // Neurobiology of Attention. - 2005.

92. Protzak, J. A Passive Brain-Computer Interface for Supporting Gaze-Based Human-Machine Interaction / J. Protzak, K. Ihme, T.O. Zander // Universal Access in Human-Computer Interaction. Design Methods, Tools, and Interaction Techniques for

eInclusion: 7th International Conference, UAHCI 2013. - Las Vegas, NV, USA : Springer Berlin Heidelberg, 2013. - C. 662-671.

94. Purwanto, D. Electric wheelchair control with gaze direction and eye blinking / D. Purwanto, R. Mardiyanto, K. Arai // Artificial Life and Robotics. - 2009. - T. 14. -№ 3. - C. 397-400. DOI: 10.1007/s10015-009-0694-x.

95. Putze, F. Locating user attention using eye tracking and EEG for spatio-temporal event selection / F. Putze, J. Hild, R. Kärgel h gp. // Proceedings of the 2013 international conference on Intelligent user interfaces : IUI '13. - New York, NY, USA : Association for Computing Machinery, 2013. - C. 129-136.

96. Putze, F. Intervention-free selection using EEG and eye tracking / F. Putze, J. Popp, J. Hild h gp. // Proceedings of the 18th ACM International Conference on Multimodal Interaction : ICMI '16. - New York, NY, USA : Association for Computing Machinery, 2016. - C. 153-160.

97. Reingold, E.M. Eye tracking research and technology: Towards objective measurement of data quality / E.M. Reingold // Visual Cognition. - 2014. - T. 22. - Eye tracking research and technology. - № 3-4. - C. 635-652. DOI: 10.1080/13506285.2013.876481.

98. Riechelmann, E. Gaze interaction: anticipation-based control of the gaze of others / E. Riechelmann, T. Raettig, A. Böckler, L. Huestegge // Psychological Research. -2021. - T. 85. - Gaze interaction. - № 1. - C. 302-321. DOI: 10.1007/s00426-019-01257-4.

99. Ries, A.J. The fixation-related lambda response: Effects of saccade magnitude, spatial frequency, and ocular artifact removal / A.J. Ries, D. Slayback, J. Touryan // International Journal of Psychophysiology. - 2018. DOI: 10.1016/j.ijpsycho.2018.09.004.

100. Rolfs, M. Attention in Active Vision: A Perspective on Perceptual Continuity Across Saccades / M. Rolfs // Perception. - 2015. - T. 44. - Attention in Active Vision. - № 8-9. - C. 900-919. DOI: 10.1177/0301006615594965.

101. Salous, M. Investigating static and sequential models for intervention-free selection using multimodal data of EEG and eye tracking / M. Salous, F. Putze, T. Schultz h gp. // Proceedings of the Workshop on Modeling Cognitive Processes from Multimodal Data : MCPMD '18. - New York, NY, USA : Association for Computing Machinery, 2018. - C. 1-6.

102. Schäfer, J. A Shrinkage Approach to Large-Scale Covariance Matrix Estimation and Implications for Functional Genomics / J. Schäfer, K. Strimmer. // Statistical Applications in Genetics and Molecular Biology. - 2005. - T. 4. - № 1.

103. Schütz, A.C. Contrast sensitivity during the initiation of smooth pursuit eye movements / A.C. Schütz, D.I. Braun, K.R. Gegenfurtner // Vision Research. - 2007. -T. 47. - № 21. DOI: 10.1016/j.visres.2007.07.006.

104. Shishkin, S.L. Developing cognitive architecture of a multimodal wheelchair robotic system for disabled people / S.L. Shishkin, V.E. Karpov, A.A. Kotov, B.M. Velichkovsky // XVI European Congress of Psychology (ECP). - 2019. - C. 1789b-1789b.

105. Shishkin, S.L. EEG negativity in fixations used for gaze-based control: Toward converting intentions into actions with an eye-brain-computer interface / S.L. Shishkin, Y.O. Nuzhdin, E.P. Svirin h gp. // Frontiers in Neuroscience. - 2016. DOI: 10.3389/fnins.2016.00528.

106. Shishkin, S.L. Gaze-and-brain-controlled interfaces for human-computer and human-robot interaction / S.L. Shishkin, D.G. Zhao, A.V. Isachenko, B.M. Velichkovsky // Psychology in Russia: State of the Art. - 2017. - T. 10. - № 3. -C. 120. DOI: 10.11621/pir.2017.0308.

107. Sibert, L.E. Evaluation of eye gaze interaction / L.E. Sibert, R.J.K. Jacob // Conference on Human Factors in Computing Systems - Proceedings. - 2000. - C. 281288.

109. Simpson, T. Evaluation of tooth-click triggering and speech recognition in assistive technology for computer access / T. Simpson, M. Gauthier, A. Prochazka // Neurorehabilitation and Neural Repair. - 2010. - T. 24. - № 2. - C. 188-194. DOI: 10.1177/1545968309341647.

110. Singh, H. Human Eye Tracking and Related Issues: A Review / H. Singh, D.J. Singh. - 2012. - T. 2. - № 9.

111. Smith, J.D. Use of eye movements for video game control / J.D. Smith, T.C.N. Graham // International Conference on Advances in Computer Entertainment Technology 2006. - 2006. - C. 20-es.

113. Steyrl, D. On the suitability of Random Forests for detecting mental imagery for non-invasive Brain-Computer Interfacing / D. Steyrl. - Graz University of Technology, 2012.

114. Thickbroom, G.W. Saccade onset and offset lambda waves: relation to pattern movement visually evoked potentials / G.W. Thickbroom, W. Knezevic, W.M. Carroll, F.L. Mastaglia // Brain Research. - 1991. DOI: 10.1016/0006-8993(91)90927-N.

115. Tuisku, O. Wireless Face Interface: Using voluntary gaze direction and facial muscle activations for human-computer interaction / O. Tuisku, V. Surakka, T. Vanhala h gp. // Interacting with Computers. - 2012. - T. 24. - Wireless Face Interface. - № 1. -C. 1-9. DOI: 10.1016/j.intcom.2011.10.002.

116. Usakli, A.B. On the Use of Electrooculogram for Efficient Human Computer Interfaces / A.B. Usakli, S. Gurkan, F. Aloise h gp. // Computational Intelligence and Neuroscience. - 2009. - T. 2010. - C. e135629. DOI: 10.1155/2010/135629.

117. Uscumlic, M. Active visual search in non-stationary scenes: Coping with temporal variability and uncertainty / M. Uscumlic, B. Blankertz // Journal of Neural Engineering. - 2016. - T. 13. - № 1. - C. 016015. DOI: 10.1088/17412560/13/1/016015.

118. Uscumlic, M. EEG correlates of visual recognition while overtly tracking a moving object / M. Uscumlic, M. Hagele, B. Blankertz // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2015. - C. 166-171.

119. Valtakari, N.V. Eye tracking in human interaction: Possibilities and limitations / N.V. Valtakari, I.T.C. Hooge, C. Viktorsson h gp. // Behavior Research Methods. -2021. - T. 53. - Eye tracking in human interaction. - № 4. - C. 1592-1608. DOI: 10.3758/s13428-020-01517-x.

120. Velichkovsky, B. Towards gaze-mediated interaction: Collecting solutions of the "Midas touch problem" / B. Velichkovsky, A. Sprenger, P. Unema // Human-Computer Interaction INTERACT '97. - 1997. - C. 509-516.

122. Velichkovsky, B.M. Communicating attention: Gaze position transfer in cooperative problem solving / B.M. Velichkovsky // Pragmatics & Cognition. - 1995. -T. 3. - № 2. - C. 199-223. DOI: 10.1075/pc.3.2.02vel.

123. Velichkovsky, B.M. New technological windows into mind: there is more in eyes and brains for human-computer interaction / B.M. Velichkovsky, J.P. Hansen. // Proceedings of the SIGCHI conference on Human factors in computing systems common ground - CHI '96 the SIGCHI conference. - Vancouver, British Columbia, Canada : ACM Press, 1996. - New technological windows into mind. - C. 496-503.

124. Vickers, S. Keeping an eye on the game: Eye gaze interaction with massively multiplayer online games and virtual communities for motor impaired users. / S. Vickers, H. Istance, A. Hyrskykari, N. Ali // Proceedings of the 7th International

Conference on Disability, Virtual Reality and Associated Technologies; ICDVRAT 2008. - 2008.

126. Vidal, M. Pursuits / M. Vidal, A. Bulling, H. Gellersen // GetMobile: Mobile Computing and Communications. - 2015. - T. 18. - № 4. - C. 8-10. DOI: 10.1145/2721914.2721917.

127. Vidal, M. Pursuits: Spontaneous interaction with displays based on smooth pursuit eye movement and moving targets / M. Vidal, A. Bulling, H. Gellersen // UbiComp 2013 - Proceedings of the 2013 ACM International Joint Conference on Pervasive and Ubiquitous Computing. - 2013. - C. 439-448.

128. Walcher, S. Looking for ideas: Eye behavior during goal-directed internally focused cognition / S. Walcher, C. Körner, M. Benedek // Consciousness and Cognition: An International Journal. - 2017. - T. 53. - Looking for ideas. - C. 165-175. DOI: 10.1016/j.concog.2017.06.009.

129. Wenzel, M.A. Real-time inference of word relevance from electroencephalogram and eye gaze / M.A. Wenzel, M. Bogojeski, B. Blankertz // Journal of Neural Engineering. - 2017. - T. 14. - № 5. - C. 056007. DOI: 10.1088/1741-2552/aa7590.

130. Whitmire, E. EyeContact: Scleral coil eye tracking for virtual reality / E. Whitmire, L. Trutoiu, R. Cavin h gp. // International Symposium on Wearable Computers, Digest of Papers. - 2016. - C. 184-191.

131. William Grey Walter. Expectancy waves and intention waves in the human brain and their application to the direct cerebral control of machines / William Grey Walter // Electroencephalography and Clinical Neurophysiology. - 1966. - T. 21. - C. 616.

132. Yashin, A.S. Subjective distance estimates and sense of agency in robotic wheelchair control / A.S. Yashin, Zhao D.G., Stolyarova A.N. h gp. // Applied Sciences. - 2022. - T. 12. - № 12. - C. 6217.

134. Zander, T.O. Combining eye gaze input with a brain-computer interface for touchless human-computer interaction / T.O. Zander, M. Gaertner, C. Kothe, R. Vilimek // International Journal of Human-Computer Interaction. - 2011. - T. 27. -№ 1. - C. 38-51. DOI: 10.1080/10447318.2011.535752.

135. Zhao, D.G. Voice as a Mouse Click: Usability and Effectiveness of Simplified Hands-Free Gaze-Voice Selection / D.G. Zhao, N.D. Karikov, E.V. Melnichuk h gp. // Applied Sciences. - 2020. - T. 10. - № 24. - C. 8791. DOI: 10.3390/app10248791.

136. Zhao, D.G. A passive BCI for monitoring the intentionality of the gaze-based moving object selection / D.G. Zhao, A.N. Vasilyev, B.L. Kozyrskiy h gp. // Journal of Neural Engineering. - 2021. - T. 18. - № 2. - C. 026001. DOI: 10.1088/1741-2552/abda09.

138. Zhao, D.G. An expectation-based EEG marker for the selection of moving objects with gaze / D.G. Zhao, A.N. Vasilyev, B.L. Kozyrskiy h gp. // Proceedings of the 8th Graz Brain-Computer Interface Conference. - 2019. - C. 291-296.

139. Kamp, J. Van Der. Gaze and voice controlled drawing / J. Van Der Kamp, V. Sundstedt // ACM International Conference Proceeding Series. - 2011. - P. 9.

140. Uludagli, M.Q. User interaction in hands-free gaming: A comparative study of gaze-voice and touchscreen interface control / M.Q. Uludagli, C. Acarturk // Turkish Journal of Electrical Engineering and Computer Sciences. - 2018. - Vol. 26. - № 4. -P. 1967-1976. DOI: 10.3906/elk-1710-128.

СПИСОК ТАБЛИЦ

1.1 - Методы получения сигнала и их характеристики [22]................................26

2.1 - Координаты х и у для времен t2 и 11 с последующим вычислением расстояния L и скорости v........................................................................................38

2.2 - Ключевые параметры экспериментальной среды........................................40

2.3 - Вероятность ошибки определение прослеживания.....................................46

2.4 - Ключевые параметры экспериментальной системы....................................50

2.5 - Среднее время ± стандартное отклонение срабатывания (N = 7)...............51

2.6 - Параметры экспериментальной системы......................................................55

2.7 - Статистика времени выбора в различных режимах управления, в секундах, M±SD (N=14)...........................................................................................58

3.1 - Параметры экспериментальной системы......................................................63

3.2 - p-значения, полученные в post-hoc тесте Тьюки для индивидуальных времен выбора в различных методах подтверждения (* p < 0.05)......................68

3.3 - p-значения, полученные в роst ^с тесте Тьюки для индивидуальных баллов в различных методах подтверждения (* p < 0.05)....................................69

3.4 - Параметры экспериментальной системы......................................................70

3.5 - Количество срабатываний...............................................................................73

3.6 - Количество срабатываний...............................................................................79

3.7 - Параметры экспериментальной системы......................................................80

3.8 - Таблица отбраковки эпох для данных без обработки ICA..........................86

3.9 - Таблица отбраковки эпох для данных с обработкой ICA...........................86

3.10 - Количество эпох в разных режимах и результаты классификации sLDA для ЭЭГ, очищенной с помощью ICA. SMB и SSB - режимы с намеренным выбором, CT - контрольное условие со спонтанным выбором. Уровень

значимости p < 0,05 выделен жирным. Мед. - медиана, MAD - медианное абсолютное отклонение............................................................................................95