Разработка методов и алгоритмов для классификации многомерных временных рядов в интерфейсе мозг-компьютер тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат наук Сотников Петр Иванович

• Сотников Петр Иванович
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Сотников Петр Иванович

Принятые определения и сокращения

Введение

Глава 1. Обзор современного состояния исследований в области интерфейсов мозг-компьютер

1.1. ИМК на основе регистрации и анализа данных ЭЭГ

1.2. Общая структура ИМК

1.3. Математическая постановка задачи классификации записей ЭЭГ

1.4. Методы предобработки сигнала ЭЭГ

1.5. Методы формирования характерных признаков ЭЭГ

1.5.1. Методы на основе анализа сигнала во временной области

1.5.2. Методы на основе анализа сигнала в частотной области

1.5.3. Методы на основе анализа сигнала в частотно-временной области

1.5.4. Специальные методы анализа сигнала ЭЭГ

1.5.5. Недостатки известных методов формирования характерных признаков

1.6. Методы классификации данных, применяемые в ИМК

1.6.1. Байесовские методы классификации

1.6.2. Линейные методы классификации

1.6.3. Метрические классификаторы

1.6.4. Искусственные нейронные сети

1.6.5. Комитеты классификаторов

1.7. Выводы по первой главе

Глава 2. Предлагаемые методы построения оптимального пространства характерных признаков многомерных временных рядов

2.1. Постановка задачи построения оптимального пространства характерных признаков

2.2. Построение оптимального пространства характерных признаков во временной, частотной и частотно-временной области

2.3. Модифицированный метод шейплетов для формирования характерных признаков во временной области

2.3.1. Постановка задачи поиска шейплетов многомерных временных рядов

2.3.2. Предлагаемые модификации метода шейплетов

2.4. Поиск оптимальных частотных диапазонов многомерных временных рядов

2.4.1. Постановка задачи поиска оптимальных частотных диапазонов

2.4.2. Общая схема предлагаемого метода

2.4.3. Решение задачи поиска оптимальных частотных диапазонов ЭЭГ

с помощью генетического алгоритма

2.4.4. Решение задачи поиска оптимальных частотных диапазонов сигнала ЭЭГ с помощью алгоритма роя частиц

2.4.5. Контроль переобучения при поиске границ оптимальных частотных диапазонов

2.4.6. Сочетание алгоритмов поиска с методом мультистарта

2.5. Поиск оптимальных параметров частотно-временных окон

2.5.1. Постановка задачи поиска оптимальных параметров частотно-временных окон

2.5.2. Общая схема метода

2.6. Общая характеристика предлагаемых методов

2.7. Выводы по второй главе

Глава 3. Программная реализация предложенных методов выделения характерных признаков сигнала ЭЭГ

3.1. Выбор среды разработки

3.2. Структура программного комплекса

3.3. Предлагаемые схемы XML-документов для хранения записей ЭЭГ и векторов характерных признаков

3.4. Модуль записи и просмотра ЭЭГ

3.4.1. Приложение для записи ЭЭГ с энцефалографа Emotiv Epoc

3.4.2. Приложение для чтения файлов формата GDF

3.5. Модуль предобработки данных

3.6. Модуль формирования характерных признаков многомерных временных рядов

3.7. Модуль классификации данных

3.8. Модуль оптимизации характерных признаков

3.8.1. Приложение для поиска оптимального подмножества признаков

3.8.2. Приложение для поиска шейплетов многомерных временных рядов

3.8.3. Приложение для поиска оптимальных частотных диапазонов многомерных временных рядов

3.9. Выводы по третьей главе

Глава 4. Исследование эффективности предлагаемых методов для построения оптимального пространства характерных признаков многомерных временных рядов

4.1. Описание тестовых данных

4.2. Исследование эффективности модифицированного метода шейплетов

4.2.1. Сравнение эффективности предлагаемого метода поиска шейплетов с другими известными методами

4.2.2. Оценка обобщающих свойств шейплетов, найденных с помощью различных алгоритмов поиска

4.3. Исследование эффективности методов поиска оптимальных частотных диапазонов и оптимальных параметров частотно-временных окон

4.3.1. Методы формирования характерных признаков ЭЭГ, выбранные для сравнения

4.3.2. Методы классификации, выбранные для сравнения

4.3.3. Результаты вычислительных экспериментов

4.3.4. Анализ полученных результатов

4.3.5. Сравнение эффективности предлагаемого метода с мировым уровнем

4.4. Выводы по четвертой главе

Глава 5. Апробация предлагаемых методов построения оптимального пространства характерных признаков ЭЭГ в гибридном интерфейсе «глаз-мозг-компьютер»

5.1. Описание тестовых данных

5.2. Анализ эффективности предлагаемых методов по сравнению с известными методами извлечения характерных признаков

5.3. Выводы по пятой главе

Общие выводы и заключение

Список литературы

Принятые определения и сокращения

ГА - генетический алгоритм

ЗВП - зрительные вызванные потенциалы

ИМК - интерфейс мозг-компьютер

ИНС - искусственная нейронная сеть

МКП - медленные корковые потенциалы

ХП - характерные признаки

ЭОГ - электроокулограмма

ЭЭГ - электроэнцефалограмма

Введение диссертации (часть автореферата) на тему «Разработка методов и алгоритмов для классификации многомерных временных рядов в интерфейсе мозг-компьютер»

Введение

Актуальность работы. Диссертация посвящена исследованию способов повышения эффективности интерфейсов мозг-компьютер (ИМК), решающих задачу человеко-машинного взаимодействия путем регистрации и декодировании биоэлектрических сигналов головного мозга [1,2,3,4].

ИМК представляет собой систему, которая позволяет человеку управлять внешним техническим устройством без участия нервов и мышц, основываясь только на сигналах, генерируемых мозгом. Фактически ИМК формирует искусственные выходы нервной системы, что является сравнительно новым и перспективным подходом к обеспечению человеко-машинного взаимодействия. ИМК были предложены и нашли свое основное применение в качестве средства помощи пациентам с тяжелыми нарушениями двигательных функций (параличом большей части тела) [5]. Для повышения качества жизни таких пациентов были разработаны ИМК, обеспечивающие набор текста, управление протезами конечностей, инвалидными креслами, экзоскелетами и пр. Также в настоящее время ИМК может применяться и здоровыми людьми для управления роботизированными манипуляторами, автомобилем, квадрокоптером, объектами в виртуальной/дополненной реальности.

Среди различных типов ИМК выделяется большой класс интерфейсов, построенных на анализе и классификации сигналов электроэнцефалограммы (ЭЭГ). К преимуществам данных ИМК относятся высокая степень мобильности и эргономичности. Главной целью диссертации является проведение междисциплинарных исследований, направленных на повышение эффективности систем именно этого типа.

Об актуальности выбранной темы исследований свидетельствует значительный рост числа публикаций, посвященных созданию ИМК на основе ЭЭГ, который наблюдается в последние годы. Большое разнообразие предлагаемых авторами методических приемов направлено на совершенствование

ИМК по таким показателям как: 1) число распознаваемых мысленных команд пользователя; 2) вероятность правильного распознавания команд; 3) быстродействие (время реакции) интерфейсов. За рубежом исследованиями неинвазивных ИМК занимаются научные группы под руководством Niels Birbaumer (Wyss Center, Швейцария), Jonathan Wolpaw (Wadsworth Center, США), Gert Pfurtscheller (Graz University of Technology, Австрия), Benjamin Blankertz и Klaus-Robert Müller (Technische Universität Berlin, Германия), Cuntai Guan (Nanyang Technological University, Сингапур), Xiaorong Gao (Tsinghua University, Китай) и др. В России разработкой ИМК занимаются коллективы под руководством А. Я. Каплана (МГУ им. М.В. Ломоносова, Москва), А. А. Фролова и Г.А. Иваницкого (ИВНД и НФ РАН, Москва), А. Е. Осадчего (НИУ ВШЭ, Москва), В.Н. Кироя (ЮФУ, Ростов-на-Дону) и др.

Основу математического обеспечения ИМК составляют методы теории цифровой обработки сигналов и теории машинного обучения. Задача распознавания мысленных команд пользователя сводится в ИМК к задаче классификации многомерных временных рядов, в виде которых записи ЭЭГ сохраняются в компьютере. Принадлежность временного ряда к одному из известных классов определяют на основе следующих подходов: 1) измерение сходства временных рядов путем нахождения расстояния между ними (с помощью евклидова расстояния или алгоритма динамической трансформации временной шкалы [6]); 2) выделение характерных признаков временного ряда и классификация в пространстве признаков [7,8]; 3) формирование модели процесса, порождающего временной ряд (с помощью скрытых марковских моделей [9], рекуррентных нейронных сетей [10] и др.). Второй подход получил широкое распространение в исследованиях ИМК и рассматривается в диссертации.

Под признаковым описанием (характерными признаками) временного ряда в литературе понимают некоторые интегральные показатели, описывающие свойства этого ряда. Примерами характерных признаков (ХП) могут служить: среднее значение и дисперсия амплитуды временного ряда, спектральная

плотность мощности и др. В публикациях было предложено большое число методов выделения характерных признаков ЭЭГ. Данные методы можно условно разделить на четыре группы: методы, основанные на анализе временных рядов 1) во временной области, 2) в частотной области, 3) в частотно-временной области, 4) специальные методы.

К первой группе относятся следующие методы: оценка статистических показателей временного ряда (таких как среднее значение, дисперсия, коэффициенты асимметрии и эксцесса); оценка степени хаотичности сигнала (оценка энтропии [11,12,13] или фрактальной размерности); регрессионный анализ (включая, построение моделей авторегрессии [14] и символьной регрессии сигнала [15]); корреляционный анализ и др.

Во вторую группу входят дискретное преобразование Фурье и дискретное вейвлет-преобразование [16]. В качестве характерных признаков временного ряда в данном случае выступают значения суммарной спектральной плотности мощности в заранее определенных частотных диапазонах.

Для анализа сигнала в частотно-временной области используют оконное преобразование Фурье и непрерывное вейвлет-преобразование [17]. Преимуществом данных методов является то, что они позволяют отследить процесс изменения гармонических составляющих сигнала во времени.

Также в публикациях был предложен ряд специальных подходов к анализу ЭЭГ, учитывающих его специфику. К ним, например, относятся: метод преобразования сигнала к плотностям источников тока; модельно-ориентированный подход, основанный на определении характеристик эквивалентных токовых диполей [18]; метод выделения характерных признаков на основе показателей бегущих волн [19] и др.

Рассмотренные методы формирования ХП позволяют описать свойства ЭЭГ, важные для решения задачи классификации, однако эти методы обладают рядом недостатков, ограничивающих эффективность интерфейсов мозг-компьютер. К таким недостаткам относятся: 1) отсутствие средств для адаптации методов под особенности конкретного пользователя ИМК; 2) высокая

размерность получаемых векторов ХП (как правило, большая или равная числу каналов в ЭЭГ); 3) включение в вектор ХП «шумовых» (неинформативных) признаков. Актуальной остается задача разработки методов выделения ХП, наиболее полно учитывающих свойства исследуемых временных рядов.

При разработке ИМК эксперту необходимо выбрать методы и алгоритмы обработки ЭЭГ, обеспечивающие наилучшее качество распознавания команд пользователя. Решение данной задачи требует от эксперта значительных временных затрат, что обусловлено трудоёмкостью сравнения эффективности различных методов формирования ХП и методов классификации. По этой причине актуальным является создание системы поддержки принятия решений для автоматизации исследований при разработке ИМК.

Предметом исследований диссертации служат методы и алгоритмы, применяемые для формирования характерных признаков многомерных временных рядов при решении задачи классификации этих рядов.

Целями работы являются 1) разработка методов и алгоритмов оптимизации характерных признаков многомерных временных рядов для повышения эффективности интерфейсов мозг-компьютер, 2) разработка алгоритмической основы системы поддержки принятия решений для автоматизации исследований при создании ИМК.

Исходя из поставленных целей, были сформулированы следующие основные задачи исследования:

1) Провести анализ современных подходов к построению интерфейсов мозг-компьютер, основанных на регистрации и декодировании сигналов ЭЭГ.

2) Исследовать особенности методов и алгоритмов, применяемых в ИМК для решения задачи классификации многомерных временных рядов.

3) Разработать методы и алгоритмы для выделения оптимальных характерных признаков многомерных временных рядов, учитывающие различия между классами этих рядов, которые проявляются во временной, частотной и частотно-временной области.

4) Реализовать предложенные математические методы и алгоритмы в проблемно-ориентированном программном обеспечении для автоматизации исследований при разработке интерфейсов мозг-компьютер.

5) На основе вычислительных экспериментов провести анализ эффективности разработанного математического и программного обеспечения.

Методы исследования. Для решения поставленных задач в диссертации использованы методы цифровой обработки сигналов, теории вероятности и математической статистики, методы оптимизации и теории машинного обучения. Научная новизна диссертационной работы состоит в следующем.

1) Предложены формализованные постановки задачи построения оптимального пространства ХП сигнала ЭЭГ во временной области, в частотной области и в частотно-временной области, имеющие целью повышение качества распознавания команд пользователя в интерфейсе мозг-компьютер.

2) Предложены три метода для построения оптимального пространства характерных признаков сигналов ЭЭГ:

а) модифицированный метод поиска шейплетов многомерных временных рядов, особенностью которого является применение популяционного алгоритма глобальной оптимизации и вычисление признаков временных рядов как расстояний от них до шейплетов;

б) метод поиска с помощью популяционных алгоритмов глобальной оптимизации таких частотных диапазонов многомерных временных рядов, в которых различия между классами этих рядов проявляются в наибольшей степени;

в) метод поиска с помощью популяционных алгоритмов глобальной оптимизации таких областей на спектрограмме, в которых различия между классами исследуемых временных рядов проявляются в наибольшей степени.

3) Предложен прототип системы поддержки принятия решений для автоматизации исследований при разработке интерфейсов мозг-компьютер. Особенность системы состоит в возможности выбора лицом, принимающим

решения, методов и алгоритмов обработки сигналов ЭЭГ, обеспечивающих наилучшее распознавание мысленных команд пользователя для конкретного типа интерфейса.

Теоретическая и практическая значимость результатов работы заключается в следующем.

1) Предложено три метода для построения оптимального пространства характерных признаков многомерных временных рядов.

2) На основе предложенных методов и алгоритмов реализован программный комплекс, предназначенный для выбора экспертом (разработчиком интерфейса) оптимальных методов и алгоритмов обработки информации в ИМК. Программный комплекс включает модули, обеспечивающие регистрацию ЭЭГ, чтение записей из файлов, их предобработку, формирование и оптимизацию характерных признаков временных рядов, классификацию данных.

3) Использование предложенных методов и их программных реализаций позволило: сократить число ложных срабатываний в новом гибридном интерфейсе «глаз-мозг-компьютер»; решить задачу определения качества пилотирования по ЭЭГ оператора, зарегистрированной во время осуществления им заходов на посадку на полунатурном стенде.

4) Результаты работы внедрены в МГТУ им. Н.Э. Баумана, Федеральном государственном унитарном предприятии «Государственный научно-исследовательский институт авиационных систем» (ГосНИИАС).

Достоверность и обоснованность полученных в диссертации результатов обеспечивается корректностью применяемого математического аппарата и подтверждается результатами экспериментальной проверки методов на реальных тестовых данных ЭЭГ.

Апробация работы. Основные результаты и положения диссертационной работы были представлены и обсуждались на: 15-й, 17-й и 19-й Международных молодежных конференциях «Наукоемкие технологии и интеллектуальные системы» (Москва, 2013, 2015 и 2017); на междисциплинарном семинаре

«Экобионика» в МГТУ им. Н.Э. Баумана (Москва, 2015); на 12-м Международном Симпозиуме «Интеллектуальные системы» (Москва, 2016).

Публикации. Основные результаты диссертационного исследования опубликованы в 10 научных работах, из них 1 работа - в сборнике, индексируемом в Scopus и Web of Science; 4 работы - в рецензируемых научных журналах, рекомендованных ВАК РФ; 1 свидетельство о регистрации программы для ЭВМ. Общий объем - 4,75 п.л.

Личный вклад автора. Исследования, результаты которых изложены в диссертации, проведены лично соискателем в процессе научной деятельности. Соискателем самостоятельно разработан программный комплекс, реализующий предложенные методы анализа, и выполнены вычислительные эксперименты.

Структура работы. Диссертация состоит из введения, пяти глав, заключения и списка используемой литературы. Общий объем диссертации составляет 170 страниц машинописного текста. Диссертация содержит 49 рисунков и 22 таблицы. Список используемой литературы состоит из 1 14 источников.

Глава 1 посвящена обзору современных подходов к построению ИМК. Представлено описание общей структуры ИМК; приведена математическая постановка задачи распознавания мысленных команд пользователя по записям ЭЭГ; выполнен обзор подходов к её решению; приведено описание основных методов формирования ХП и методов классификации, получивших широкое распространение при анализе многомерных временных рядов в ИМК; выделены недостатки известных методов формирования ХП, ограничивающие эффективность ИМК.

В Главе 2 сформулирована математическая постановка задачи построения оптимального пространства ХП многомерных временных рядов, в виде которых записи ЭЭГ сохраняются в компьютере. Предложены три метода для решения указанной задачи, учитывающие, что различия между классами временных рядов проявляются во временной, частотной и частотно-временной областях.

Глава 3 посвящена разработке программного комплекса, реализующего прототип системы поддержки принятия решений для автоматизации исследований при создании ИМК. Представлено описание основных модулей программного комплекса, обеспечивающих регистрацию ЭЭГ, чтение записей из файлов, их предобработку, формирование и оптимизацию характерных признаков временных рядов, классификацию данных.

Глава 4 посвящена оценке эффективности разработанных методов, алгоритмов и программного обеспечения в задаче распознавания по записи ЭЭГ мысленных команд пользователя ИМК. Приведены результаты сравнительного анализа эффективности предложенных в диссертации методов построения оптимальных характерных признаков ЭЭГ с рядом других применяемых в ИМК методов формирования ХП.

В Главе 5 представлены результаты практической апробации разработанных методов, алгоритмов и программного обеспечения в задаче определения по ЭЭГ типа фиксации взгляда пользователя в новом гибридном интерфейсе «глаз-мозг-компьютер».

Глава 1. Обзор современного состояния исследований в области интерфейсов мозг-компьютер

Раздел 1.1 посвящен обзору интерфейсов мозг-компьютер, основанных на регистрации и анализе данных ЭЭГ. В разделе 1.2 представлено описание общей структуры ИМК. В разделе 1.3 приведена математическая постановка задачи распознавания мысленных команд пользователя по записям ЭЭГ. Раздел 1.4 содержит обзор методов частотной и пространственной фильтрации, применяемых в ИМК для подавления различного рода помех, возникающих в ЭЭГ. В разделах 1.5 и 1.6 приведено соответственно описание методов формирования характерных признаков и методов классификации, получивших широкое распространение при анализе многомерных временных рядов в ИМК; выделены недостатки известных методов формирования ХП, ограничивающие эффективность ИМК. Основные выводы обобщены в разделе 1.7.

1.1. ИМК на основе регистрации и анализа данных ЭЭГ

Электроэнцефалографический метод регистрации активности мозга основывается на измерении электрических потенциалов, генерируемых мозгом, с помощью электродов, расположенных на поверхности головы. Благодаря ряду преимуществ метода, включающих его неинвазивность, высокое временное разрешение, малый размер и мобильность оборудования, он получил широкое распространение в исследованиях интерфейсов мозг-компьютер. В ИМК данные электроэнцефалограммы дешифруются и преобразуются в команды для внешнего исполнительного устройства (Рис. 1.1).

Пользователь Энцефалограф Компьютер Исполнительное

устройство

Рис. 1.1. Схема ИМК, базирующегося на методе электроэнцефалографии

ИМК, основанные на анализе ЭЭГ, по принципу работы можно разделить на следующие подгруппы.

1) ИМК на основе анализа медленных корковых потенциалов (англ. - slow cortical potentials, SCP), возникающих как результат поляризации коры больших полушарий головного мозга [20]. Принцип действия ИМК данного типа базируется на предположении о том, что испытуемые могут сознательно изменять интенсивность поляризации коры головного мозга с помощью биологической обратной связи.

2) ИМК на основе вызванных потенциалов (англ. - evoked potentials, event-related potentials, ERP). Широкий класс интерфейсов, в которых для управления устройством используется ответная реакция мозга на некоторый стимул [21]. ИМК данного типа включают в себя следующие интерфейсы.

а) ИМК на основе зрительных вызванных потенциалов (англ. - steady-state visual evoked potentials, SSVEP). ИМК позволяет определить направление взгляда пользователя путем выделения в ЭЭГ реакции на визуальные вспышки, повторяющиеся с заданной частотой в некоторой области экрана.

б) ИМК на основе компонента Р300. Компонент (потенциал) Р300 возникает в ЭЭГ как реакция на редкий значимый стимул, который появляется среди незначимых (нецелевых) стимулов. После предъявления череды стимулов по наличию/отсутствию потенциала Р300 определяется объект (например, символ на экранной клавиатуре), на котором

сфокусировано внимание пользователя. Чтобы выделить стимул как значимый, пользователю обычно предлагается считать число его появлений.

в) Одностимульные ИМК. В ИМК данного типа используются однородные зрительные стимулы без разделения их на целевые и нецелевые. Задачей ИМК в данном случае является быстрое определение того, привлечено внимание пользователя к области предъявления стимулов или нет [22].

3) ИМК на основе анализа сенсомоторных ритмов (англ. - sensorimotor rhythms, SMR). Принцип действия ИМК базируется на явлениях синхронизации и десинхронизации мю- и бета-ритмов ЭЭГ при выполнении или мысленном представлении пользователем движений различных частей тела. Управление устройством обеспечивается за счет планирования или представления пользователем движений левой и правой руки, ног и т.д.

4) ИМК на основе распознавания типов ментальной деятельности. При решении ментальных задач разных классов (например, вербальных, пространственных, логических задач) формируются устойчивые паттерны сигнала ЭЭГ, которые и связываются с командами управления внешним устройством. Пользователь осуществляет контроль над устройством, поочередно решая в уме задачи разных классов.

5) Прямые ИМК. Основываются на том, что для управления объектом пользователю достаточно мысленно представить некоторый образ или слово из заданного небольшого набора (словаря) понятий/терминов, хорошо различимых с помощью характерных паттернов сигнала ЭЭГ [23].

ИМК на основе анализа медленных корковых потенциалов (МКП) был разработан в конце 1990-х годов исследовательской группой Нильса Бирбаумера (Университет Тюбингена, Германия). В работах Бирбаумера регистрировался потенциал макушки (позиция Cz согласно схеме «10-20%») относительно двух референтных электродов, расположенных за ушами. После частотной фильтрации и удаления артефактов от движения глаз из сигнала выделялись медленные корковые потенциалы, представляющие собой низкочастотную компоненту

сигнала ЭЭГ с периодом изменения 0,5-10 с [24,25]. МКП в виде временной развертки показывались испытуемому на экране монитора. Таким способом организовывалась обратная связь. Задачей испытуемого было научиться сдвигать МКП в сторону верхней или нижней границы, которые также отображались на экране. Когда число правильных сдвигов достигало значения свыше 70%, ИМК подключался к устройству для набора символов. Для выбора символа/буквы использовалась последовательность бинарных команд. Например, сначала необходимо было указать первую или вторую половину алфавита, затем половину той половины и т.д.

Необходимость длительного обучения пользователей (от нескольких недель до нескольких месяцев), а также низкая скорость работы интерфейса (для набора одного символа требуется от 20 до 40 с) сильно ограничили его применение на практике.

В ИМК на основе зрительных вызванных потенциалов (ЗВП) анализируются изменения сигнала ЭЭГ, ассоциированные с реакцией мозга на визуальные вспышки, предъявляемые пользователю с некоторой частотой [26,27,28]. Сигнал ЭЭГ регистрируется от отведений, расположенных в затылочной области головы, что позволяет отслеживать активность зрительной коры мозга. Управление интерфейсом основывается на том факте, что при возбуждении сетчатки глаза стимулами с частотой от 3,5 до 75 Гц в зрительной коре мозга генерируется активность той же частоты.

В настоящее время ИМК на основе ЗВП являются одними из самых производительных. Исследовательской группой, в которую входят Сяоган Чен (Xiaogang Chen), Йеджен Ванг (Yijun Wang), Масаки Наканиши (Masaki Nakanishi) и др., была разработана виртуальная клавиатура, предназначенная для отображения на жидкокристаллическом мониторе с частотой обновления кадров 75 Гц. Для кодирования 32-х символов на клавиатуре в работе использовалось 8 частот (от 8 до 15 Гц) и 4 фазы (0, 90, 180 и 270 °). Интерфейс позволил пользователям набирать до 40 символов в минуту [29].

Однако, поскольку в основе ИМК рассматриваемого типа лежит предъявление повторяющихся визуальных вспышек, при работе с ним существует риск развития приступа у людей, страдающих эпилепсией. Поэтому ИМК на основе ЗВП должны применяться с осторожностью.

Другим типом интерфейсов, также использующим реакцию на внешний стимул, является ИМК на основе компонента Р300. Компонент P300 был открыт исследователями Робертом Чапменом (Robert Chapman) и Генри Брэгдоном (Henry Bragdon) в 1964 году [30]. Авторы обнаружили, что реакция мозга на предъявляемые зрительные стимулы отличается в зависимости от их значимости для испытуемых. Значимые (целевые) стимулы вызывают положительное отклонение амплитуды сигнала ЭЭГ спустя примерно 300 мс после их демонстрации. Позднее, в других исследованиях было показано, что амплитуда потенциала (волны) Р300 коррелирует с вероятностью предъявления целевых стимулов и тем больше, чем реже появляется значимый стимул среди незначимых. При этом латентность волны Р300 зависит от сложности задания по дискриминации целевого стимула и возрастает при увеличении трудоемкости задания.

Первый работоспособный ИМК на основе волны Р300 был предложен в 1988 году исследователями Эммануэлем Дончиным (Emanuel Donchin) и Лоуренсом Фарвеллом (Lawrence Farwell) [31]. В этом ИМК на экран в виде матрицы размерностью 6*6 выводились светло-серые буквы и цифры на черном фоне. С интервалом в 125 мс в случайном порядке подсвечивались строки и столбцы матрицы (путем изменения цвета символов на белый). Для ввода символа испытуемым предлагалось считать, сколько раз подсвечивались строка и столбец матрицы, содержащие символ. После предъявления в качестве стимула всех 6 строк и 6 столбцов матрицы ответные реакции на каждую строку и столбец попарно складывались. Компонент Р300 наблюдался, если в паре или строка, или столбец включали задуманный символ, и был максимальным, если символ стоял на пересечении строки и столбца, входящих в пару. Перемещая затем внимание на другой объект/символ, испытуемые могли конструировать слова и предложения.

Позднее различными исследователями было предложено большое число модификаций интерфейса на основе компонента Р300 [32]. Данные модификации включают, в частности, увеличение размеров символов при их подсветке [33], подсветку одиночных символов (вместо строк и столбцов) [34], подсветку случайных групп символов, сформированных по типу шахматной доски (англ. - checkboard paradigm) [35], изменение длительности межстимульного интервала [36], использование картинок вместо букв и цифр [37], подсветку движущихся объектов [38] и др.

Главным достоинством ИМК на основе компонента Р300 является то, что использование интерфейса не требует предварительной тренировки. Волна Р300 -это естественная реакция мозга, проявляющаяся в ЭЭГ с максимумом в отведениях средней линии (позиции электродов «Fz», «Cz», «Pz» согласно схеме «10-20%»). Кроме того, интерфейс показывает относительно высокую производительность, обеспечивая набор от 12 до 25 символов в минуту с точностью около 95%. Однако ряд исследователей отмечают недостаточную эргономичность интерфейса, которая связана с отсутствием средств автоматического привлечения внимания и необходимостью многократного предъявления одного и того же стимула для распознавания намерений пользователя. Подсчет пользователем числа появлений стимула может становиться утомительной задачей и снижать степень «погружения» в процесс управления.

Одностимульные ИМК возникли как разновидность ИМК на основе компонента Р300. Главным отличием ИМК данного типа является то, что в «одностимульной» парадигме (англ. - «single-stimulus» paradigm) нецелевые стимулы отсутствуют. Было показано, что фокусировка внимания пользователя на целевых стимулах, предъявляемых с одинаковыми интервалами, также обеспечивает генерацию волны Р300, амплитуда которой лишь ненамного меньше, чем в классическом ИМК Р300. Одностимульный ИМК служит для быстрой подачи единственной команды в нужный момент времени. В качестве

Список литературы диссертационного исследования кандидат наук Сотников Петр Иванович, 2020 год

Список литературы

1. Wolpaw J.R., Birbaumer N., McFarland D.J., Pfurtscheller G., and Vaughan T.M. Brain-computer interfaces for communication and control // Clinical Neurophysiology, No. 113, 2002. pp. 767-791.

2. Левицкая О.С., Лебедев М.А. Интерфейс мозг-компьютер: будущее в настоящем // Вестник РГМУ, № 2, 2016. С. 4-16.

3. Фролов А.А., Рощин В.Ю. Интерфейс мозг-компьютер. Реальность и перспективы // Научная конференция по нейроинформатике МИФИ 2008. Лекции по нейроинформатике. 2008. С. 82-125.

4. Жигалов А.Ю. Исследование динамики альфа-активности ЭЭГ человека в контуре интерфейса мозг-компьютер : автореф. дис. ... канд. биол. наук : 03.00.13. Москва. 2009. 24 с.

5. Müller-Putz G.R., Plank P., Stadlbauer B., Statthaler K., and Bosco Uroko J. 15 Years of Evolution of Non-Invasive EEG-Based Methods for Restoring Hand & Arm Function with Motor Neuroprosthetics in Individuals with High Spinal Cord Injury: A Review of Graz BCI Research // Biomedical Science and Engineering, Vol. 10, No. 6, 2017. pp. 317-325.

6. Jeong Y.S., Jeong M.K., and Omitaomu O.A. Weighted dynamic time warping for time series classification // Pattern Recognition, Vol. 44, No. 9, 2011. pp. 22312240.

7. Fulcher B.D. Feature-based time-series analysis // Monash Institute for Cognitive and Clinical Neurosciences, Melbourne, Victoria, Australia, Technical Report arXiv:1709.08055v2, 2017.

8. Vasimalla K. A Survey on Time Series Data Mining // International Journal of Innovative Research in Computer and Communication Engineering, Vol. 2, No. 5, 2014. pp. 170-179.

9. Esmael B., Arnaout A., Fruhwirth R.K., and Thonhauser G. Improving time series

classification using Hidden Markov Models // 12th International Conference on Hybrid Intelligent Systems (HIS). Pune, India. 2012. P. 6.

10. Che Z., Purushotham S., Cho K., Sontag D., and Liu Y. Recurrent Neural Networks for Multivariate Time Series with Missing Values // Nature, Scientific Reports, Vol. 8, No. 6085, 2018. P. 12.

11. Fang Y., Chen M., and Zheng X. Feature Extraction of Motor Imagery in BCI with Approximate Entropy // Journal of Computational Information Systems, Vol. 8, No. 6, 2012. pp. 2485-2491.

12. Wang L., Xu G., Wang J., and Yang S. Feature Extraction of Mental Task in BCI Based on the Method of Approximate Entropy // Proceedings of the 29th Annual International Conference of the IEEE EMBS. Lyon, France. 2007. pp. 1941-1944.

13. Yuyi, Zhaoyun, Surui L., Lijuan S., and Zhenxin L. Motor imagery EEG discrimination using Hilbert-Huang Entropy // Biomedical Research , Vol. 28, No. 2, 2017. pp. 727-733.

14. Argunsah A.O., Cetin M. AR-PCA-HMM Approach for Sensorimotor Task Classification in EEG-based Brain-Computer Interfaces // International Conference on Pattern Recognition. Istanbul, Turkey. 2010. Vol. 113-116.

15. Сонькин К.М. Распознавание паттернов мозговой активности на основе метода символьной регрессии // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление, Т. 2, № 169, 2013. С. 117-122.

16. Xu B.G., Song A.G. Pattern recognition of motor imagery EEG using wavelet transform // J. Biomedical Science and Engineering, Vol. 1, 2008. pp. 64-67.

17. Трофимов А.Г., Скругин В.И. Адаптивный классификатор многомерных нестационарных сигналов на основе анализа динамических паттернов // Наука и образование: научное издание МГТУ им. Н.Э. Баумана, № 8, 2010. С. 11.

18. Трофимов А.Г., Шишкин С.Л., Осадчий А.Е. Модельно-ориентированный подход к классификации электроэнцефалограмм // Наука и образование:

научное издание МГТУ им. Н.Э. Баумана, № 4, 2014. С. 135-158.

19. Трофимов А.Г., Колодкин И.В., Ушаков В.Л., Величковский Б.М. Метод сегментации пространственно-распределенных временных рядов на основе бегущих волн // Наука и Образование. МГТУ им. Н.Э. Баумана. Электрон. журн., № 10, 2014. С. 114-136.

20. Kubler A., Kotchoubey B., Hinterberger T., and Ghanayim N. The thought translation device: a neurophysiological approach to communication in total motor paralysis // Experimental Brain Research, Vol. 124, 1999. pp. 223-232.

21. Vidal J.J. Real-Time Detection of Brain Events in EEG // Proceedings of the IEEE, Vol. 65, No. 5, 1977. pp. 633 - 641.

22. Шишкин С.Л., Федорова А.А., Нуждин Ю.О., Ганин И.П., Осадчий А.Е. На пути к высокоскоростным интерфейсам глаз-мозг-компьютер: сочетание «одностимульной» парадигмы и перевода взгляда // Вестник Московского университета. Серия 14: Психология, № 4, 2013. С. 4-19.

23. Bobrov P., Frolov A., Cantor C., and Fedulova I. Brain-Computer Interface Based on Generation of Visual Images // PLoS ONE, Vol. 6, No. 6, 2011. P. 12.

24. Hinterberger T., Mellinger J., and Birbaumer N. The Thought Translation Device: Structure of a multimodal brain-computer communication system // Proceedings of the 1st International IEEE EMBS Conference on Neural Engineering. Capri Island, Italy. 2003. pp. 603-606.

25. Hinterberger T., Schmidt S., Neumann N., Mellinger J., and Blankertz B. Brain-Computer Communication and Slow Cortical Potentials // IEEE Transactions on Biomedical Engineering, Vol. 51, No. 6, 2004. pp. 1011 - 1018.

26. Middendorf M., McMillan G., Calhoun G., and Jones K.S. Brain-computer interfaces based on the steady-state visual-evoked response // IEEE Transactions on Rehabilitation Engineering , Vol. 8, No. 2, 2000. pp. 211 - 214.

27. Lin Z., Zhang C., Wu W., and Gao X. Frequency Recognition Based on Canonical Correlation Analysis for SSVEP-Based BCIs // IEEE Transactions on biomedical

engineering, Vol. 54, No. 6, 2007. pp. 1172-1176.

28. Prueckl R., Guger C. A Brain-Computer Interface Based on Steady State Visual Evoked Potentials for Controlling a Robot // Bio-Inspired Systems: Computational and Ambient Intelligence. IWANN 2009. Lecture Notes in Computer Science, Vol. 5517, 2009. pp. 690-697.

29. Nakanishi M., Wang Y., Wang Y.T., and Mitsukura Y. A High-Speed Brain Speller using steady-State Visual evoked potentials // International journal of neural systems, Vol. 24, No. 6, 2014. P. 1450019.

30. Chapman R.M., Bragdon H.R. Evoked responses to numerical and non-numerical visual stimuli while problem solving // Nature, Vol. 203, No. 4950, 1964. pp. 1155-1157.

31. Farwell L.A., Donchin E. Talking off the top of your head: toward a mental prosthesis utilizing event-related brain potentials // Electroencephalography and Clinical Neurophysiology, Vol. 70, No. 6, 1988. pp. 510-523.

32. Ганин И.П. Интерфейс мозг-компьютер на волне P300: исследование эффектов повторения и движения стимулов : дис. ... канд. биол. наук: 03.03.01, 03.03.06. Москва. 2013. 199 с.

33. Gibert G., Attina V., Mattout J., Maby E. Size enhancement coupled with intensification of symbols improves P300 Speller accuracy // 4th International BrainComputer Interface Workshop and Training Course. Graz, Austria. 2008. P. 6.

34. Guger C., Daban S., Sellers E., Holzner C., and Krausz G. How many people are able to control a P300-based brain-computer interface (BCI)? // Neuroscience Letters, No. 462, 2009. pp. 94-98.

35. Townsend G., LaPallo B. K., Boulay C. B., Krusienski D. J., et al. A novel P300-based brain-computer interface stimulus presentation paradigm: moving beyond rows and columns // Clinical Neurophysiology, No. 121, 2010. pp. 1109-1120.

36. McFarland D.J., Sarnacki W.A., Townsend G., Vaughan T., Wolpaw J.R.

The P300-based brain-computer interface (BCI): effects of stimulus rate // Clinical Neurophysiology, Vol. 122, No. 4, 2011. pp. 731-737.

37. Hoffmann U., Vesin J.M., Ebrahimi T., Diserens K. An efficient P300-based braincomputer interface for disabled subjects // Journal of Neuroscience Methods, Vol. 167, No. 1, 2008. pp. 115-125.

38. Ганин И.П., Каплан А.Я. Интерфейс мозг-компьютер на основе волны P300: предъявление комплексных стимулов «подсветка + движение» // Журнал высшей нервной деятельности им. И.П. Павлова, т. 64, № 1, 2014. С. 32.

39. Rebsamen B., Guan C., and Zhang H. A Brain Controlled Wheelchair to Navigate in Familiar Environments // IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol. 18, No. 6, 2010. pp. 590 - 598.

40. Wolpaw, J.R., McFarland, D.J. An EEG-based brain-computer interface for cursor control // Electroencephalography and Clinical Neurophysiology, Vol. 78, No. 3, 1991. pp. 252-259.

41. Pfurtscheller G., Lopes da Silva F.H. Event-related EEG/MEG synchronization and desynchronization: basic principles // Clinical Neurophysiology , Vol. 110, 1999. pp. 1842-1857.

42. Бобров П.Д. Выделение и локализация источников электрической активности мозга, наиболее значимых для управления интерфейсом мозг-компьютер, основанным на воображении движений : автореф. дис. ... канд. биол. наук: 03.03.01. Москва. 2013. 21 с.

43. Pfurtscheller G. et al. Graz-BCI: state of the art and clinical applications // IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol. 11, No. 2, 2003. pp. 1-4.

44. Лурия А.Р. Высшие корковые функции человека и их нарушения при локальных поражениях мозга. 3-е изд. Москва: Академический проект, 2000. 512 с.

45. Bahri Z., Abdulaal S., and Buallay M. Sub-Band-Power-Based Efficient Brain

Computer Interface for Wheelchair Control // American Journal of Signal Processing , Vol. 4, No. 1, 2014. pp. 34-40.

46. Choi K., Cichocki A. Control of a wheelchair by motor imagery in real time // Intelligent Data Engineering and Automated Learning-IDEAL, 2008. pp. 330-337.

47. Doud A., Lucas J.P., Pisansky M.T., and He B. Continuous Three-Dimensional Control of a Virtual Helicopter Using a Motor Imagery Based Brain-Computer Interface // PLoS ONE, Vol. 6, No. 10, 2011. P. 10.

48. Фролов А.А., Мокиенко О.А., Люкманов Р.Х., Черникова Л.А. Предварительные результаты контролируемого исследования эффективности технологии ИМК-экзоскелет при постинсультном парезе руки // Вестник РГМУ, № 2, 2016. С. 17-25.

49. Xiao R., Ding L. Evaluation of EEG features in decoding individual finger movements from one hand // Computational and Mathematical Methods in Medicine, Vol. 2013, 2013. P. 10.

50. Сонькин К.М., Станкевич Л.А., Хоменко Ю.Г. Классификация электроэнцефалографических паттернов воображаемых и реальных движений пальцев одной руки методом опорных векторов // Тихоокеанский медицинский журнал, Т. 2, 2014. С. 30-35.

51. Сонькин К.М. Система классификации электроэнцефалографических сигналов воображаемых движений мелкой моторики для интерфейса мозг-компьютер : дис. ... канд. техн. наук: 05.11.16. Санкт-Петербург. 2016. 163 с.

52. Z.A. Keirn, J.I. Aunon A New Mode of Communication Between Man and His Surroundings // IEEE Transactions on Biomedical Engineering, Vol. 37, No. 12, 1990. pp. 1209-1214.

53. Иваницкий Г.А., Наумов Р.А., Иваницкий А.М. Технология определения типа совершаемой в уме мысленной операции по рисунку электроэнцефалограммы // Технологии живых систем, Т. 4, № 5-6, 2007. С. 20-28.

54. Huan N.J., Palaniappan R. Neural network classification of autoregressive features

from electroencephalogram signals for brain-computer interface design // Journal of neural engineering, Vol. 1, No. 3, 2004. pp. 142-150.

55. Scherer R., Faller J., Friedrich E.V.C., Opisso E., Costa U., Kubler A., et al. Individually Adapted Imagery Improves Brain-Computer Interface Performance in End-Users with Disability // PLoS ONE, Vol. 10, No. 5, 2015. P. 14.

56. Трофимов А.Г., Скругин В.И. Системы нейрокомпьютерного интерфейса. Обзор // Информационные технологии, № 2, 2011. С. 2-11.

57. Зенков Л.Р. Клиническая электроэнцефалография (с элементами эпилептологии). Руководство для врачей. 3-е изд. Москва: МЕДпрессинформ, 2004. 368 с.

58. Сотников П.И. Обзор методов обработки сигнала электроэнцефалограммы в интерфейсах мозг-компьютер // Инженерный вестник. МГТУ им. Н.Э. Баумана. Электрон. журн., № 10, 2014. С. 612-632.

59. Кропотов Ю.Д. Количественная ЭЭГ, когнитивные вызванные потенциалы мозга человека и нейротерапия. Донецк: Издатель Заславский А.Ю., 2010. 512 с.

60. Blankertz B., Tomioka R., and Lemm S. Optimizing Spatial Filters for Robust EEG Single-Trial Analysis // IEEE Signal processing magazine, Vol. XX, 2008. pp. 581-607.

61. Zheng Yang Chin, Kai Keng Ang, Chuanchu Wang, and Cuntai Guan. Multi-class Filter Bank Common Spatial Pattern for Four-Class Motor Imagery BCI // 31st Annual International Conference of the IEEE EMBS. Minneapolis, Minnesota, USA. 2009. pp. 571-574.

62. Jolliffe I.T.. Principal Component Analysis. 2nd ed. New York: Series in Statistics, Springer, 2002. 487 pp.

63. Захаров И.С. Компонентный анализ в задаче слепого разделения спонтанной электроэнцефалограммы // Молодежный научно-технический вестник, № 9, 2013. С. 10.

64. Kachenoura A., Albera L., Senhadji L., Comon P. ICA: a potential tool for BCI systems // IEEE Signal Processing Magazine, Vol. 25, 2008. P. 57.

65. Brunner C., Billinger M., and Vidaurre C. A comparison of univariate, vector, bilinear autoregressive, and band power features for brain-computer interfaces // Med Biol Eng Comput, Vol. 49, 2011. pp. 1337-1346.

66. Lutkepohl H. New Introduction to Multiple Time Series Analysis. Berlin: Springer, 2005. 764 pp.

67. Немирко А.П., Манило Л.А., Калиниченко А.Н. Сравнительный анализ применения различных оценок энтропии ЭЭГ-сигнала для распознавания стадий наркоза // Биотехносфера, № 3, 2010. С. 3-10.

68. Сотников П.И. Выделение характерных признаков сигнала электроэнцефалограммы с помощью анализа энтропии // Наука и Образование. МГТУ им. Н.Э. Баумана. Электрон. журн., № 11, 2014. С. 555-570.

69. Shi Q., Zhou W., Cao J., Tanaka T., Wang R. Brain-Computer Interface System Using Approximate Entropy and EMD Techniques // In: Advances in Swarm Intelligence. ICSI 2010. Lecture Notes in Computer Science. Berlin: Springer, 2010. pp. 204-212.

70. Mu Z., Xiao D., and Hu J. Classification of Motor Imagery EEG Signals Based on STFTs // Image and Signal Processing, 2009. CISP '09. 2nd International Congress on. Tianjin, China. 2009. pp. 1-4.

71. Chui C.K. An Introduction to Wavelets. Vol 1. San Diego: Academic Press, 1992.

72. Muller K.R., Anderson C.W., and Birch G.E., Linear and nonlinear methods for brain-computer interfaces // IEEE Transactions on Neural Systems and Rehabilitation Engineering, Vol. 11, No. 2, 2003. pp. 165-169.

73. Lotte F., Congedo M., Lécuyer A., and Lamarche F. A review of classification algorithms for EEG-based brain-computer interfaces // Journal of Neural Engineering, Vol. 4, No. 2, 2007. P. 24.

74. Morris A.C., Obermaier B. & Pfurtscheller G. EEG pattern recognition through multi-stream evidence combination // Proc. World Congress on Neuroinformatics. Vienna, Austria. 2001. P. 8.

75. Oana D.E., Anca M.L. Comparison of Classifiers and Statistical Analysis for EEG Signals Used in Brain Computer Interface Motor Task Paradigm // International Journal of Advanced Research in Artificial Intelligence, Vol. 4, No. 1, 2015. pp. 8-12.

76. Manyakov N.V., Chumerin N., Combaz A., and Van Hulle M.M. Comparison of Classification Methods for P300 Brain-Computer Interface on Disabled Subjects // Computational Intelligence and Neuroscience, No. 519868, 2011. P. 12.

77. Krusienski D.J., Sellers E.W., Cabestaing F., and Bayoudh S. A comparison of classification techniques for the P300 speller // Journal of Neural Engineering, Vol. 3, No. 4, 2006. pp. 299-305.

78. Thomas J., Maszczyk T., Sinha N., and Kluge T. Deep Learning-based Classification for Brain-Computer Interfaces // IEEE International Conference on Systems, Man, and Cybernetics (SMC). Banff, Canada. 2017. pp. 234-239.

79. Chen P.H., Lin C.J., and Scholkopf B. A tutorial on nu-support vector machines // Applied stochastic models in business and industry, Vol. 21, 2005. pp. 111-136.

80. Хайкин С. Нейронные сети: полный курс. 2-е изд. Москва: Издательский дом «Вильямс», 2006. 1104 с.

81. Терехов С.А. Гениальные комитеты умных машин // В кн.: IX Всероссийская научно-техническая конференция «Нейроинформатика-2007»: Лекции по нейроинформатике. Часть 2. Москва: МИФИ, 2007. С. 11-42.

82. Molina L.C., Belanche L., and Nebot. Feature Selection Algorithms: A Survey And Experimental Evaluation // Proceedings of the 2002 IEEE International Conference on Data Mining, IEEE Computer Society. 2002. pp. 306-313.

83. Dash M., Liu H. Feature Selection for Classification // Intelligent Data Analysis, Vol. 1, 1997. pp. 131-156.

84. Narendra P. F.K. A Branch and Bound Algorithm for Feature Subset Selection // IEEE Transactions on Computers, Vol. C-26, No. 9, 1977. P. 917-922.

85. Somol P., Pudil P., and Kittler J. Fast Branch & Bound Algorithms for Optimal Feature Selection // IEEE Transactions on pattern analysis and machine intelligence, Vol. 26, No. 7, 2004. pp. 900-912.

86. Rejer I. Genetic Algorithms in EEG Feature Selection for the Classification of Movements of the Left and Right Hand // Proceedings of the 8th International Conference on Computer Recognition Systems CORES 2013. Advances in Intelligent Systems and Computing. 2013. Vol. 226. pp. 579-589.

87. Карпенко А.П., Кострубин М.С., Чернышев А.С. Эффективность классификации многомерных временных рядов с помощью шейплетов // Наука и Образование. МГТУ им. Н.Э. Баумана. Электронный журнал, № 11, 2015. С. 382-405.

88. Ye L., Keogh E. Time series shapelets: a new primitive for data mining // In Proceedings of the 15th ACM SIGKDD international conference on Knowledge discovery and data mining, 2009. pp. 947 - 956.

89. Lines J., Davis L.M., Hills J., and Bagnall A. A shapelet transform for time series classification // Proceedings of the 18th ACM SIGKDD international conference on Knowledge discovery and data mining, 2012. pp. 289-297.

90. Grabocka J. et al. Scalable Discovery of Time-Series Shapelets, Cornell University, Technical Report arXiv:1503.03238, 2015.

91. Карпенко А.П., Сотников П.И., Модифицированный метод классификации многомерных временных рядов с использованием шейплетов // Вестник МГТУ им. Н.Э. Баумана. Серия Приборостроение, № 2, 2017. С. 46-65.

92. Rakthanmanon T., Keogh E. Fast Shapelets: A Scalable Algorithm for Discovering Time Series Shapelets // Proceedings of the 13th SIAM International Conference on Data Mining, 2013. pp. 668-676.

93. Grabocka J., Schilling N., Wistuba M., and Schmidt-Thieme L., "Learning time-

series shapelets // Proceedings of the 20th ACM SIGKDD international conference on Knowledge discovery and data mining, 2014. pp. 392-401.

94. Карпенко А.П. Современные алгоритмы поисковой оптимизации. Москва: Издательство МГТУ им. Н.Э.Баумана, 2014. 446 с.

95. Lines J., Bagnall A., Alternative Quality Measures for Time Series Shapelets // Intelligent Data Engineering and Automated Learning - IDEAL 2012, Vol. 7435, 2012. pp. 475-483.

96. Hills J., Lines J., Baranauskas E., Mapp J., and Bagnall A. Classification of time series by shapelet transformation // Data Mining and Knowledge Discovery, Vol. 28, No. 4, July 2014. pp. 851-881.

97. Thomas K.P., Guan C., and Tong Lau C. Adaptive tracking of discriminative frequency components in electroencephalograms for a robust brain-computer interface // Journal of neural engineering, No. 8, 2011. pp. 1-15.

98. Billinger M., Kaiser V., Neuper C., and Brunner C. Automatic frequency band selection for BCIs with ERDS difference maps // Proceedings of the Fifth International Brain-Computer Interface Conference. Graz. 2011. pp. 44-47.

99. Сотников П.И., Выбор оптимальных частотных диапазонов сигнала электроэнцефалограммы в интерфейсе мозг-компьютер // Наука и образование: научное издание МГТУ им. Н.Э. Баумана, № 6, 2015. С. 217-234.

100. Нессонова М.Н. Метод рейтингового голосования комитета алгоритмов в задачах классификации с учителем // Запорожский медицинский журнал, № 1 (76), 2013. С. 101-102.

101. Brunner C., Leeb R., Müller-Putz G. BCI Competition 2008 - Graz data set A [Электронный ресурс] URL: http://www.bbci.de/competition/iv/

102. Brunner C., Leeb R., Müller-Putz G. BCI Competition 2008 - Graz data set B [Электронный ресурс] URL: http://www.bbci.de/competition/iv/

103. Зенков Л.Р. Клиническая электроэнцефалография (с элементами

эпилептологии). Руководство для врачей. 3-е изд. Москва: МЕДпрессинформ, 2004. 368 с.

104. Унгуряну Т.Н., Гржибовский А.М. Краткие рекомендации по описанию, статистическому анализу и представлению данных в научных публикациях // Экология человека, № 5, 2011. С. 55-60.

105. Kubat M., Holte R., and Matwin S. Learning when negative examples abound // Proceedings of the 9th European conference on Machine Learning. LNCS, Vol. 1224, 1997. pp. 146-153.

106. Anand A., Pugalenthi G., Fogel G.B., and Suganthan P. An approach for classification of highly imbalanced data using weighting and undersampling // Amino Acids, Vol. 39, 2010. pp. 1385-1391.

107. Hoffmann U., Vesin J.M., Diserens K., and Ebrahimi T. An efficient P300-based brain-computer interface for disabled subject // Journal of Neuroscience Methods, No. 167(1), 2008. pp. 115-25.

108. Riccio A., Simione , Schettini F., and Pizzimenti A., Attention and P300-based BCI performance in people with amyotrophic lateral sclerosis // Frontiers in Human Neuroscience, Vol. 7, No. 00732, 2013. P. 9.

109. Carletta J. Assessing agreement on classification tasks: The kappa statistic // Computational Linguistics, No. 22(2), 1996. pp. 249-254.

110. Ihme K., Zander T.O. What You Expect Is What You Get? Potential Use of Contingent Negative Variation for Passive BCI Systems in Gaze-Based HCI. Vol 6975. // In: Affective Computing and Intelligent Interaction. Lecture Notes in Computer Science. Berlin, Heidelberg: Springer, 2011. pp. 447-456.

111. Protzak J., Ihme K., and Zander T.O. A passive brain-computer interface for supporting gaze-based human-machine interaction. Vol 8009. // In: Universal Access in Human-Computer Interaction. Design Methods, Tools, and Interaction Techniques for eInclusion. UAHCI 2013. Lecture Notes in Computer Science. Berlin, Heidelberg: Springer, 2013. pp. 662-671.

112. Shishkin S.L., Nuzhdin Y.O., Svirin E.P., Trofimov A.G., and Fedorova A.A. EEG Negativity in Fixations Used for Gaze-Based Control: Toward Converting Intentions into Actions with an Eye-Brain-Computer Interface // Frontiers in Neuroscience, No. 10, 2016. P. 528.

113. Шишкин С.Л., Козырский Б.Л., Трофимов А.Г., Нуждин Ю.О. Улучшение работы интерфейса глаз-мозг-компьютер при использовании частотных компонентов ЭЭГ // Вестник РГМУ, № 2, 2016. С. 39-44.

114. Сотников П.И. Методы построения пространства признаков сигнала ЭЭГ в гибридном интерфейсе «глаз-мозг-компьютер» // Математика и математическое моделирование, № 2, 2018. С. 33-52.