Биотехническая система мониторинга эмоций человека по речевым сигналам и электроэнцефалограммам тема диссертации и автореферата по ВАК РФ 05.11.17, кандидат наук Сидоров, Константин Владимирович

• Сидоров, Константин Владимирович
• кандидат наук
• 2015

Оглавление диссертации кандидат наук Сидоров, Константин Владимирович

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

ГЛАВА 1 АНАЛИЗ БИОТЕХНИЧЕСКИХ СИСТЕМ, ПРИМЕНЯЕМЫХ

ДЛЯ МОНИТОРИНГА ЭМОЦИЙ ЧЕЛОВЕКА

1.1 Мониторинг эмоций для диагностики заболеваний на ранних

этапах

1.2 Компьютерные технологии и технические решения, применяемые для выявления эмоций на основе анализа речи

1.2.1 Одноканальные системы

1.2.2 Многоканальные системы

1.3 Модели эмоций и их применение для анализа эмоционально

окрашенной речи

1.4 Признаки эмоционально окрашенной речи

1.5 Постановка задач дальнейшего исследования

Выводы по главе 1

ГЛАВА 2 РАЗРАБОТКА МЕТОДИКИ ИССЛЕДОВАНИЯ ЭМОЦИЙ НА

ОСНОВЕ АНАЛИЗА РЕЧЕВОГО СИГНАЛА

2.1 Концепция интегрированной БТС для мониторинга эмоций человека

2.2 Методика проведения экспериментов

2.3 Разработка мультимодальной базы эмоций

Выводы по главе 2

ГЛАВА 3 РАЗРАБОТКА МОДЕЛИ И АЛГОРИТМОВ ИНТЕРПРЕТАЦИИ

ЭМОЦИЙ ЧЕЛОВЕКА ПО ЕСТЕСТВЕННОЙ РЕЧИ

3.1 Влияние эмоционального состояния на спектральную плотность

мощности биомедицинских сигналов

3.2 Изменение морфологии аттракторов биомедицинских сигналов, зарегистрированных при различных эмоциональных реакциях

3.3 Алгоритмы для оценки морфологических признаков аттрактора

3.3.1 Максимальные векторы аттрактора

3.3.2 Плотность траекторий аттрактора

3.4 Модель интерпретатора эмоций на основе нечетких оценок характеристик биомедицинских сигналов

Выводы по главе 3

ГЛАВА 4 РАЗРАБОТКА МЕТОДИЧЕСКОГО И ПРОГРАММНОГО

ОБЕСПЕЧЕНИЯ БТС EEG/S

4.1 Структура БТС EEG/S

4.2 Программные модули БТС EEG/S

4.3 Испытания БТС EEG/S

Выводы по главе 4

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЯ

Введение диссертации (часть автореферата) на тему «Биотехническая система мониторинга эмоций человека по речевым сигналам и электроэнцефалограммам»

ВВЕДЕНИЕ

Актуальность темы исследования. Эмоции непрерывно сопровождают человека на протяжении всей его жизни, они являются мощными стимулами при достижении людьми биологических и социальных потребностей, от них во многом зависит физическое и душевное здоровье человека. Задача мониторинга эмоций актуальна для многих сфер деятельности человека, в том числе для медицины (психосоматика, неврозология, нейропсихология и т.д.), где оценки различных эмоциональных состояний человека принимаются во внимание при диагностике психосоматических и психомоторных нарушений. Мониторинг эмоций может использоваться в качестве дополнительного инструментария при клинико-психологическом исследовании пациентов.

В настоящее время для решения задач мониторинга эмоций создаются специальные методики, основанные на анализе речевых сигналов пациента и направленные на поиск объективных показателей депрессии, состояния тоски, тревоги и т.п., позволяющие формализовать операции передачи и дешифровки невербальной информации. С помощью обнаруженных изменений в характеристиках речи можно выделить т.н. «фазу дестабилизации», возникающую при резкой отмене назначенных лекарственных препаратов и необходимую для прогнозирования терапевтических эффектов при лечении эмоционально-аффективных расстройств и психических заболеваний.

Мониторинг эмоционального состояния человека становится новым востребованным инструментом, который находит применение как в области медицины, так и при создании специализированных биотехнических средств оценки эмоционального состояния человека (т.н. «эмоциональные сканеры», обучающие системы, автоматизированные системы оповещения и т.п.).

Степень разработанности темы исследования. Большой комплекс исследований эмоций выполнен с помощью регистрации электрической активности головного мозга при предъявлении испытуемому различных

эмоционально значимых стимулов. Результаты, полученные в работах S. Koelstra, Т. Flaisch, Т.Н. Лапшиной, О.О. Кисловой, Н.В. Рева, Л.Н. Савотиной, НЛО. Смит, Н.В. Шемякиной, иллюстрируют методики регистрации эмоциональных реакций человека на комбинированные стимулы с помощью электроэнцефалографа.

Большой вклад в развитие теоретических и прикладных решений в области анализа эмоциональной информации, содержащейся в речи, принадлежит таким авторам, как Y. Chen, М. Schröder, F. Burkhardt, Е. van den Broek, R. Cowie, E. Douglas-Cowie, F. Ringeval, Y.A. Petrushin, A.B. Заболеева-Зотова, В.Л. Розалиев, И.Б. Старченко, А.Ф. Хроматиди, Ю.С. Перервенко, М.В. Калюжный, О.Г. Федоренко, В.М. Федоров, A.A. Лукьяница, И.Э. Хейдоров, A.A. Марьев, Ю.Т. Глазунов, А.Н. Голубинский, А.Г. Давыдов, В.В. Киселёв.

На данном этапе успешный анализ эмоциональной речи осуществляется в основном для случаев ярко выраженных проявлений эмоций с использованием большого числа признаков (от нескольких десятков до нескольких сотен). Современные средства анализа речи позволяют получать упрощенную интерпретацию эмоции, уверенно идентифицируя в основном только ее знак. Существующие модели (ООС, KARO, EMA, Affective Computing, сегментарная, иммунная и др.) не позволяют получить достаточно точные оценки уровня и динамических свойств эмоций на основе характеристик акустической волны или другого сигнала.

Для построения модели интерпретации эмоциональной информации, скрытой в речевых сообщениях, необходимо создание биотехнической системы (БТС), обеспечивающей регистрацию как речевого сигнала, так и другого биомедицинского сигнала, взаимосвязанного с эмоциональным состоянием испытуемого. Это позволит использовать для построения модели эмоций только образцы речи пациента с объективно подтвержденным фактом изменения эмоционального состояния. В качестве контрольного канала мониторинга эмоциональной реакции целесообразно использовать регистрацию электроэнцефалограмм (ЭЭГ).

Объектом исследования является БТС обработки и анализа

биомедицинских сигналов (речевых сигналов и ЭЭГ) для задач диагностики эмоциональных состояний человека.

Предметом исследования являются методы и алгоритмы анализа биомедицинских сигналов, позволяющих интерпретировать эмоциональные состояния человека.

Целью исследования является разработка программных и информационных средств мониторинга эмоций человека путем анализа речевых образцов с объективным подтверждением изменения эмоционального состояния при помощи регистрации ЭЭГ.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Выполнить функционально-структурный анализ компьютерных технологий и технических решений, применяемых для выявления эмоций на основе анализа речи или ЭЭГ.

2. Разработать БТС для исследования объективно подтвержденных слабо выраженных эмоциональных реакций, проявляющихся в естественной речи человека.

3. Создать структуру мультимодальной базы эмоций и методику регистрации образцов эмоционально окрашенной речи при условии подтверждения изменения эмоционального состояния человека путем регистрации электрической активности головного мозга.

4. Разработать признаки, позволяющие идентифицировать изменения эмоционального состояния человека на основе оценки морфологических свойств аттракторов, восстановленных по биомедицинским сигналам.

5. Разработать и исследовать модель интерпретатора эмоций человека на основе анализа биомедицинских сигналов.

6. Разработать и исследовать алгоритмическое и программное обеспечение БТС для мониторинга эмоций человека.

Методология и методы исследования. В диссертационной работе использована методология последовательного применения методов научного познания, включающих экспериментальные и теоретические методы анализа БТС.

Для решения поставленных задач использованы методы нелинейной динамики, нечетких множеств, цифровой.- обработки сигналов, математической статистики.

Научная новизна результатов исследования:

1. Принципы построения БТС для исследования слабо выраженных эмоциональных реакций в естественной речи человека, объективно подтверждаемых изменениями сигналов электрической активности мозга.

2. Система признаков для идентификации параметров эмоций, основанная на оценке морфологических свойств аттракторов, инвариантная к природе физического сигнала и позволяющая представлять образцы речи и ЭЭГ в одинаковых признаковых пространствах. Экспериментально доказано совпадение результатов интерпретации эмоций по образцам речи и ЭЭГ, зарегистрированных у одного и того же испытуемого. Это позволяет использовать предложенную систему признаков для проектирования программных средств бесконтактной дистанционной диагностики с использованием звукозаписывающей аппаратуры.

3. Математическая модель интерпретатора эмоций, отображающая их знак, уровень и динамику на основе нечетких оценок максимальных векторов, плотности и равномерности траекторий проекций аттракторов, реконструированных по двум разным биомедицинским сигналам, позволяет распознавать изменения эмоциональных состояний человека. Расхождение между интерпретаций по ЭЭГ и речевому сигналу не превышает 5 %.

Теоретическая значимость работы. Полученные в диссертационной работе результаты дополняют и развивают теорию создания и применения специализированных БТС и бесконтактных средств экспресс-диагностики и мониторинга эмоционального состояния человека в профилактических или лечебных целях.

Практическая значимость работы:

1. Создана мультимодальная база эмоций, включающая более 240 пар образцов речевых сигналов и параллельно зарегистрированных образцов ЭЭГ. Записи отличаются знаком и уровнем проявления эмоциональных откликов. База

эмоций может быть использована специалистами при разработке и тестировании систем мониторинга эмоционального состояния человека.

2. Предложена методика формирования образцов эмоционально окрашенной речи и создания мультимодальной базы эмоций, основанная на применении стимулирующего воздействия на испытуемого и объективном подтверждении изменения эмоционального состояния человека при помощи регистрации ЭЭГ. Применение методики позволяет повысить достоверность регистрируемых образцов биомедицинских сигналов, отображающих изменение эмоционального состояния человека.

3. Разработаны алгоритмы для оценки морфологических признаков аттрактора, позволяющие оценивать вариации контуров, площадь и плотность двухмерных проекций. Алгоритмы позволяют формировать описания биомедицинских сигналов в виде векторов, включающих оценки разнородных дискретных признаков.

4. Разработана БТС EEG/S, позволяющая осуществлять мониторинг эмоций человека по речевым сигналам или ЭЭГ. Система прошла испытания по мониторингу психофизиологического состояния сотрудников компании ООО «МУ МГСС» (г. Москва). Реализованные в БТС технические решения позволяют регистрировать промежуточные и заключительные результаты исследований, обладают чувствительностью к малым изменениям эмоционального состояния испытуемого, не требуют проведения продолжительного тестирования и способствуют уменьшению ошибок при диагностике эмоционального состояния пациента.

Научные положения, выносимые на защиту:

1. Регистрация реакции испытуемого на внешние эмоционально значимые стимулы по двум каналам (основному - речевые сигналы, контрольному - сигналы ЭЭГ), позволяет создавать записи образцов с различным уровнем проявления эмоций в речи с объективным подтверждением по сигналам ЭЭГ факта изменения эмоционального состояния испытуемого.

2. Система признаков, характеризующая морфологию аттракторов

(максимальные векторы, плотность траекторий и равномерность заполнения проекций аттрактора), дает-возможность использовать специальные методы для визуализации данных и позволяет создавать интегрированные количественные и графические интерпретации результатов исследований, выполненных при различных способах регистрации откликов испытуемого.

3. Математическая модель интерпретатора эмоций отображает взаимосвязь между знаком, уровнем и динамикой эмоций и морфологией проекций аттракторов, реконструированных по образцам речи или ЭЭГ.

Достоверность научных положений и результатов работы подтверждается математическими выкладками, а также результатами экспериментов с опытным образцом БТС EEG/S, которые показали: 1) совпадение выводов, получаемых с помощью модели интерпретатора эмоций по образцам речи, с выводами, получаемыми при анализе ЭЭГ сигналов, зарегистрированных у одного и того же испытуемого; 2) совпадение выводов интерпретатора с оценками выводов экспертов при анализе образцов международной базы Emo-DB. Достоверность результатов подтверждается апробацией основных положений работы на международных и всероссийских конференциях и конгрессах.

Реализация и внедрение результатов исследований. Результаты диссертационного исследования использовались при выполнении НИР по проекту РФФИ: 14-01-00719-а «Интерпретатор эмоций, проявляющихся в естественной речи» (2014-2016 гг.). Отдельные результаты получены при финансовой поддержке Минобрнауки РФ в рамках программы ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009-2013 гг., мероприятие 1.4, соглашение от 14.11.2012 г. № 14.А18.21.2081.

Полученные в ходе исследований теоретические и практические результаты диссертации внедрены в Тверской государственный технический университет по направлению подготовки специалистов «Биомедицинская инженерия» и переданы для внедрения в учебный процесс кафедры нервных болезней и восстановительной медицины с курсом психического здоровья Тверской государственной медицинской академии. Результаты диссертационной работы

также переданы в ООО «МУ МГСС» (г. Москва) для мониторинга психофизиологического состояния сотрудников организации.

Апробация работы. Основные результаты, полученные в ходе исследования, докладывались и обсуждались на: I всероссийском конгрессе молодых ученых (Санкт-Петербург, 2012 г.); XI всероссийской научно-технической конференции «Приоритетные направления развития науки и технологий» (Тула, 2012 г.); международной научно-практической конференции «Технические науки - основа современной инновационной системы» (Йошкар-Ола, 2012г.); XXIV всероссийской научно-технической конференции студентов, молодых ученых и специалистов «Биотехнические, медицинские и экологические системы и комплексы» (Рязань, 2012 г.); XXV международной научной конференции «Математические методы в технике и технологиях (ММТТ-25)» (Волгоград, 2012 г.); XII всероссийской научно-технической конференции «Медицинские информационные системы (МИС-2012)» (Таганрог, 2012 г.); II международной летней школе-семинаре по искусственному интеллекту «Интеллектуальные системы и технологии: современное состояние и перспективы (18уТ'2013)» (Протасово, 2013 г.); международных конгрессах по интеллектуальным системам и информационным технологиям «18&1Т'13», «18&1Т'14» (Дивноморское, 2013-2014 гг.); четырнадцатой национальной конференции по искусственному интеллекту с международным участием «КИИ-2014» (Казань, 2014 г.); XVI и XVII всероссийских научно-технических конференциях «НЕЙРОИНФОРМАТИКА-2014», «НЕЙРОИНФОРМАТИКА-2015» (Москва, 2014-2015 гг.).

Публикации. Основные положения и результаты диссертационной работы опубликованы в 27 работах, включающих 11 статей в сборниках научных трудов и журналах, в том числе 5 статей в изданиях, входящих в перечень ВАК, 11 текстов докладов на международных и российских конференциях, 1 патент на полезную модель, 3 свидетельства о регистрации программ для ЭВМ, 1 свидетельство о регистрации базы данных.

Личное участие автора. Автор лично выполнил основной объем

теоретических и экспериментальных исследований, сформировал БД инструментальных обследований, разработал алгоритмы и программы для обработки результатов, выполнил анализ полученных результатов, написал текст диссертации.

Объем и структура диссертации. Диссертация состоит из введения, 4 глав, заключения, списка литературы, включающего 159 наименований, и 6 приложений. Основная часть работы изложена на 165 страницах машинописного текста. Работа содержит 69 рисунков и 27 таблиц.

Во введении обосновывается актуальность, научная новизна и практическая значимость диссертационной работы. Поставлена цель, сформулированы основные задачи исследования, перечислены методы их решения. Приведены основные научные положения, выносимые на защиту. Кратко излагается содержание глав диссертации.

В первой главе рассмотрены вопросы мониторинга эмоций с целью диагностики заболеваний на ранних этапах. Проведен функционально-структурный анализ компьютерных технологий и технических решений, применяемых для выявления эмоций на основе анализа речевых сигналов (РС). Проведен обзор моделей эмоций и показано их применение для анализа эмоционально окрашенной речи. Выполнен анализ признаков акустической волны, применяемых для распознавания эмоций по РС. На основе выполненного аналитического обзора сформулированы выводы, определены направления исследований и сделана постановка задач дальнейшего исследования.

Во второй главе предложена концепция и принципы построения новой 2-х канальной БТС для мониторинга эмоций человека. Приведена новая методика проведения экспериментов для регистрации эмоционально окрашенной речи с объективным подтверждением изменения эмоционального состояния с помощью регистрации другого биомедицинского сигнала (ЭЭГ). Дано описание новой созданной мультимодальной базы эмоций, которая включает в себя образцы двух типов сигналов (РС и ЭЭГ), отображающих изменение эмоционального состояния испытуемого при предъявлении ему стимулов различного эмоционального окраса.

В третьей главе рассмотрены задачи разработки модели и алгоритмов интерпретации эмоций человека по естественной речи. Проведены исследования паттернов ЭЭГ и параллельно зарегистрированных образцов PC методами спектрального анализа. Приведены алгоритмы для корректной реконструкции аттракторов PC и ЭЭГ и для оценки морфологических признаков аттрактора (максимальных векторов и плотности траекторий). На основе морфологических признаков дано описание предложенной модели интерпретатора эмоций.

В четвертой главе рассмотрены вопросы разработки структуры, программного и методического обеспечения БТС EEG/S, позволяющей осуществлять мониторинг и диагностику эмоций человека по PC и ЭЭГ. Даны описания проведенных испытаний с помощью БТС EEG/S.

В заключении изложены основные выводы, приведены научные и практические результаты диссертационной работы.

В приложениях приведены прикладные результаты диссертационной работы, а также акты о внедрении результатов работы.

ГЛАВА 1 АНАЛИЗ БИОТЕХНИЧЕСКИХ СИСТЕМ, ПРИМЕНЯЕМЫХ ДЛЯ МОНИТОРИНГА ЭМОЦИЙ ЧЕЛОВЕКА

1.1 Мониторинг эмоций для диагностики заболеваний на ранних этапах

Эмоции непрерывно сопровождают человека на протяжении всей его жизни, их значение трудно переоценить. Эмоции имеют огромное значение - они являются мощными стимулами при достижении людьми социальных и биологических потребностей. От эмоционального состояния во многом зависит душевное и физическое здоровье человека [10, 12, 33, 38, 42].

В настоящее время не существует общепринятого определения понятия «эмоция». При любых попытках его формализации мы натыкаемся на многообразие теорий эмоциональных процессов, демонстрирующих различные модели описания эмоций человека. На настоящий момент известно более 2-х десятков различных теорий эмоций (психологических, нейрофизиологических, когнитивистских, эволюционных, системных и т.д.), предложенных известными психологами и физиологами (например, С. Darwin, W. Wundt, W. James-C. Lange, J. Deway, H. Spencer, G. Maranon, W. Cannon-P. Bard, S. Freud, J. Papez, G. Lindsey-G. Hebb, L. Festinger, M. Arnold-R. Lazarus, S. Schachter, П.К. Анохин, П.В. Симонов, С. Izard, R. Plutchik, R. Zajonc, J. Gray и др.) [12, 33, 57].

Эмоции - одна из наиболее важных сторон психических процессов, которая характеризует переживание человека. Эмоции описывают интегральное выражение тонуса нервно-психической деятельности, которое отражается на различных системах организма человека (дыхательной, кровеносной, опорно-двигательной и др.) и оказывает влияние на его психику. Эмоции ориентированы на выполнение функций по регулировке активности человека на основе отражения степени значимости при различных внешних и внутренних ситуациях (стимулах) для активизации его жизнедеятельности [5, 12, 26, 27, 42, 57].

Согласно проанализированным современным психофизиологическим теориям, подчеркивающим дифференцированную структуру эмоциональной реакции (например, Lazarus, 1984; Афтанас, 2000 и др.), выделяют следующие этапы возникновения и развития эмоций [58, 62, 67, 108]:

1. Перцептивный этап (восприятие) - декодирование внешних (речевых, экспрессивных, поведенческих) и внутренних (когнитивных, интероцептивных) эмоциональных раздражителей (стимулов); определение знака поступающей информации и оценка ее значимости для человека.

2. Переживательный этап (переживание) - субъективные реакции человека на внешние и внутренние раздражители, которые проявляются в виде страха или гнева, удовольствия или неудовольствия, грусти или радости и т.д. Эмоции оказывают активное влияние на церебральные системы, которые регулируют поведение и набор вегетативных (соматических) функций организма.

3. Экспрессивный этап (переживание) - лицевые (мимические), постуральные, речевые и вегетативные изменения, возникающие во время генераций эмоций (эмоциональных состояний).

Для исследования (диагностики и мониторинга) эмоций человека применяют различные экспериментально-статистические методики экспертного оценивания эмоций и дифференциации методов обработки сигналов по доступным каналам регистрации откликов человека. Предложенные решения позволяют генерировать описания закономерностей и формировать правила, характеризующие отдельные виды эмоций путем анализа: 1)РС (речевых сообщений) [2, 14, 18, 19, 21, 29, 37, 39, 46, 54, 55, 57, 95, 96, 104, 105, 112, 113. 114, 116, 117, 119, 127, 141, 143, 149, 156, 157]; 2) видеофрагментов, отображающих мимику и жесты человека [6, 111, 115, 139, 140, 154]; 3) физиологических сигналов (ЭЭГ, ЭКГ, ЭМГ и др.) [28, 36. 38. 58, 62, 67, 93, 108, 109, 121, 137, 140]; 4) биохимических показателей (параметры функционирования кровеносной и дыхательной систем и др.) [16, 47, 86, 122, 150, 151]; 5) параметров клавиатурного и рукописного текста [24]; 6) психологических тестов [11, 40].

Для большинства подходов выявлен один существенный недостаток, заключающийся в том, что- регистрация сигнала (отклика) требует установки контактных датчиков (биосенсоров). Каналы формирования эмоциональных откликов человека отличаются «тонкостью» в передаче оттенков эмоционального состояния. Для каждого канала предусматривается свой специализированный алфавит эмоций. С нашей точки зрения, очевидно, что на современном этапе для передачи эмоций у человека наиболее развит его речевой аппарат.

В рамках диссертационной работы предлагается в качестве диагностического критерия для оценки эмоционального состояния человека использовать изменения в структуре его PC, что упрощает аппаратную поддержку методов диагностики.

Несмотря на то, что эмоции сопровождают человека на протяжении всего периода бодрствования, степень и характер их проявления может существенно меняться. Следует отметить, что этот процесс может протекать не вполне осознанно, т.е. человек может пытаться скрыть какую-то информацию от собеседника, но эмоциональная реакция его выдаст. Учитывая способности человека контролировать и управлять своей мимикой и жестами, наиболее важным источником сведений об его эмоциональном состоянии становится речь. Обычно человек использует эмоции как дополнительный источник информации (невербальной), которую он хочет передать собеседнику [8, 13, 22, 23, 55, 57].

Исследования PC проводились многими учеными с целью описания различных характеристик речи (акустических, просодических, лингвистических и т.п.). Огромный вклад по развитию науки в сфере речевой акустики принадлежит таким ведущим ученым как Г. Фант, Н.В. Витт, Дж. Фланаган, В.Н. Сорокин, НЛО. Секунов, Б.М. Лобанов, М.А. Сапожков, В.И. Галунов, Е.Л. Чойнзонов, Л.В. Златоустова, Т.К. Винцюк, Н.Г. Загоруйко, Ю.А. Косарев, A.B. Аграновский, А.Л. Ронжин, Р.К. Потапова, В.К. Иоффе, М.В. Хитров, В.Г. Михайлов, С.Л. Коваль, В.П. Бондаренко, Л.Н. Балацкая и др. [2, 64, 106].

В последние десятилетия наблюдается явное усиление интереса к анализу PC как объективных показателей эмоционального состояния человека-оператора,

выполняющего различную ответственную деятельность космонавта, летчика, диспетчера аэропорта, диспетчера РЖД, диспетчера центра МЧС, оператора контакт-центра и т.д. (Congleton, 1997; Rothkrantz, 2004; Sigmund, 2004; Хроматиди, 2005; Airas, 2006; Johannes, 2007; Соловьева, 2008; Chen, 2008; Siging, 2009; Розалиев, 2009; Калюжный, 2009; Перервенко, 2009; Morist, 2010; Карпов, 2010; Давыдов, 2011; Киселёв, 2012; Марьев, 2012; Пенский, 2013 и т.д.) [54, 75, 89, 91]. Этот интерес объясняется рядом причин. Для записи и анализа PC можно использовать типичную (обычную) аудиозапись. PC по сравнению с вегетативными функциями, испытывает меньшее влияние физических нагрузок. В целом, анализ эмоций человека по речи, является неконтактным и при необходимости скрытым от испытуемого. Это дает преимущество в виде исследований человека в комфортной для него обстановке и исключает возможность маскировки эмоциональных реакций.

Проблема изучения эмоций по PC актуальна для многих сфер деятельности человека, исследования весьма активно ведутся по различным направлениям, например, таким как [43, 46]:

1. Разработка бесконтактных методов диагностики и мониторинга психоэмоционального состояния человека по голосу.

2. Разработка усовершенствованных интерфейсов нового поколения диалогового взаимодействия человека с компьютером, адаптивных роботов и систем искусственного интеллекта (т.н. «эмоциональные сканеры», обучающие системы, системы безопасности, автоматизированные системы управления, реабилитации и протезирования, срочного оповещения и т.д.), в которых система распознает эмоциональное состояние оператора и эмулирует (генерирует) в ответ адекватное эмоциональное состояние.

3. Разработка систем, способствующих правильному восприятию и выражению эмоций при обучении как национальному, так и иностранным языкам.

4. Формирование систем идентификации человека на основе анализа его голоса (установление личности, пола, акцента и т.д.).

Особое место в проблеме изучения эмоций человека по РС отведено сфере медицины. Среди медицинских приложений важное место занимают разработки, направленные на человека в лечебных, терапевтических и профилактических целях [3, 7, 13, 32, 43, 45, 53, 90, 92]:

1. Мониторинг эмоционального состояния пациента в течение длительного времени при приеме лекарственных препаратов (оценка терапевтического воздействия на пациента, отслеживание динамики изменения эмоций пациента при приеме лекарств). Формирование специальных тактик назначения / запрета препаратов.

2. Диагностика и мониторинг психосоматических, психомоторных и соматовегетативных нарушений, неврозоподобных и невротических синдромов у взрослых и детей.

3. Создание методик лечения и психокоррекции эмоциональных расстройств и синдромов у детей (синдром раннего детского аутизма, астенический синдром, церебрастенический синдром и т.п.).

Список литературы диссертационного исследования кандидат наук Сидоров, Константин Владимирович, 2015 год

СПИСОК ЛИТЕРАТУРЫ

1. Аграновский, A.B. Сегментация: речи (математическая модель) /

A.B. Аграновский, Д.А. Леднов, Б.А. Телеснин // Информационные технологии. -№ 9. - М.: Новые технологии, 1998. - С. 24-28.

2. Алдошина, И.А. Связь акустических параметров с эмоциональной выразительностью речи и пения / И.А. Алдошина // Звукорежиссер. - №2. - СПб., 2003.

3. Бажин, Е.Ф. Объективная диагностика эмоционального состояния в психиатрической клинике по речи / Е.Ф. Бажин, В.И. Галунов, Г.Д. Горский,

B.Х. Манеров // Речь и эмоции. - Л.: 1975. - С. 69-74.

4. Баклаев, A.B. Система эмоциональной стабилизации речевых коммуникаций «ЭМОС»: пат. 2408087 Рос. Федерация: МПК G10L 15/00; заявитель и патентообладатель A.B. Баклаев, A.A. Струценко; №2008141478/09; заявл. 22.10.2008; опубл. 27.12.2010. Бюл. №36.

5. Бреслав, Г.М. Психология эмоций: 2-е изд. / Г.М. Бреслав. - М.: Смысл: Академия, 2006. - 544 с.

6. Бобков, A.C. Модели и методы определения эмоционального состояния человека на основе автоматизированной обработки и анализа видеоинформации: дис. ...канд. тех. наук: 05.13.01 / A.C. Бобков. - М.: ИСА РАН, 2013.- 170 с.

7. Бодров, В.А. Информационный стресс: Учеб. пособие для вузов / В.А. Бодров. -М.: ПЕР СЭ, 2000. - 352 с.

8. Борисова, A.A. Восприятие эмоционального состояния человека по интонационному рисунку речи / A.A. Борисова // Вопросы психологии. - 1989. -№1. — С. 117-121.

9. Борисова, О.С. Исследование и анализ нативных электроэнцефалографических данных методами нелинейной динамики: дис. ...канд. тех. наук: 05.11.17/ О.С. Борисова. - Таганрог, 2010.- 163 с.

10. Вартанян, Г.А. Эмоции и поведение / Г.А. Вартанян, Е.С. Петров. -.- М.: Наука, 1989.- 145 с.

11. Вартанов, A.B. Антропоморфный метод распознавания эмоций в звучащей речи / A.B. Вартанов // Национальный психологический журнал. - 2013. -№2(10).-С. 69-79.

12. Вилюнас, В.К. Психология эмоций. Тексты / В.К. Вилюнас, Ю.Б. Гиппенрейтер. - М., 1984. - 288 с.

13. Витт, Н.В. Личностно-ситуационная опосредованность выражения и распознавания эмоций в речи / Н.В. Витт // Вопросы психологии. - 1991. - №1. -С. 95-107.

14. Галунов, В.И. Пути решения проблемы создания систем определения эмоционального состояния говорящего / В.И. Галунов, В.Х. Манеров // Вопр. кибернетики. - Вып. 22.-М., 1976. - С. 95-114.

15. Глазунов, Ю.Т. Эмоциональное переживание в системе целеполагания человека / Ю.Т. Глазунов // Вестник МГТУ. - Т. 14. - №1. - 2011. - стр. 126-140.

16. Грекова, Т.И. Кожно-гальванический рефлекс как показатель изменений психического состояния / Т.И. Грекова // Физиология человека. - 1975. -Т. 1. -№6. - С. 993-998.

17. Горшков, В.А. Идентификация временных рядов авиационных событий методами и алгоритмами нелинейной динамики / В.А. Горшков, С.А. Касаткин. - М.: Бланк Дизайн, 2008. - 208 с.

18. Горшков, Ю.Г. Новые решения речевых технологий безопасности / Ю.Г. Горшков // Специальная техника. - М. ,2006. - № 4. - С. 41-47.

19. Голубинский, А.Н. Выявление эмоционального состояния человека по речевому сигналу на основе вейвлет-анализа / А.Н. Голубинский // Вестник Воронежского института МВД России. -2011. -№3. - С. 144-153.

20. Голицын, Г.А. Информация, поведение, язык, творчество / Г.А. Голицын, В.М. Петров. - М.: ЖИ, 2007 - 223 с.

21. Давыдов, А.Г. Классификация эмоционального состояния диктора по голосу: проблемы и решения / А.Г. Давыдов, В.В. Киселев, Д.С. Кочетков //

Труды международной конференции «Диалог 2011». - М.: РГТУ, 2011. - С. 178— 185.

22. Есин, И.Б. Голос как один из каналов невербальной коммуникации / И.Б. Есин // Юр. психология. - 2008. - №3. - С. 29-35.

23. Жинкин, Н.И. Речь как проводник информации / Н.И. Жинкин. - М.: Наука, 1982.-340 с.

24. Заболеева-Зотова, A.B. Задача создания системы автоматизированного распознавания эмоций / A.B. Заболеева-Зотова, Ю.А. Орлова, B.J1. Розалиев, A.C. Бобков // Материалы Международной научно-технической конференции «OSTIS-2012». - Минск, 2012. - С. 347-350.

25. Зенков, JI.P. Клиническая электроэнцефалография (с элементами эпилептологии) / JI.P. Зенков. - Таганрог: Издательство ТРТУ, 1996. - 358 с.

26. Изард, К.Э. Эмоции человека / К.Э. Изард. - СПб.: Питер, 2000. -

385 с.

27. Ильин, Е.П. Эмоции и чувства / Е.П. Ильин. - СПб.: Питер, 2008. -

783 с.

28. Ильюченок, И.Р. Различия частотных характеристик ЭЭГ при восприятии положительно-эмоциональных, отрицательно-эмоциональных и нейтральных слов / И.Р. Ильюченок // Журнал Высшей Нервной Деятельности им. И.П. Павлова. - 1996. -Т. 46. - - №3. - С. 457-468.

29. Калюжный, М.В. Система реабилитации слабовидящих на основе настраиваемой сегментарной модели синтезируемой речи: дис. ...канд. тех. наук: 05.11.17 / М.В. Калюжный. - Санкт-Петербург, 2009. - 178 с.

30. Калюжный, М.В. Кластерный анализ речевых сигналов / М.В. Калюжный, К.В. Сидоров // Вестник Тверского государственного технического университета: научный журнал. - Вып. 14. — Тверь: ТвГТУ, 2009. — С. 54-59.

31. Карпов, В.Э. Эмоции роботов / В.Э.Карпов // XII национальная конференция по искусственному интеллекту с международным участием КИИ-2010: Труды конференции. - Т.З. -М: Физматлит, 2010. - С. 354-368.

32. Квасовец, C.B. ЭЭГ-корреляты функционального взаимодействия полушарий мозга при эмоциях в норме и у больных с локальными поражениями мозга / C.B. Квасовец // «Нейропсихологический анализ межполушарной асимметрии мозга» под ред. Хомской Е.Д. - М.: Наука. - 1986. - С. 153-162.

33. Костандов, Э.А. Восприятие и эмоции / Э.А. Костандов. - М.: Наука, 1977.-247 с.

34. Колесников, A.B. Гибридные интеллектуальные системы: Теория и технология разработки / A.B. Колесников. - СПб.: СПбГТУ, 2001. - 711 с.

35. Кузнецов, С.П. Динамический хаос (курс лекций). - М.: Физматлит, 2001.-295 с.

36. Кислова, О.О. Психофизиологические предпосылки успешности распознавания эмоциональной речевой экспрессии: дис. ...канд. биолог, наук: 03.00.13 / О.О. Кислова.-Москва, 2009.- 151 с.

37. Киселёв, В.В. Система определения эмоционального состояния диктора по голосу / В.В. Киселёв, А.Г. Давыдов, A.B. Ткаченя // Материалы Международной научно-технической конференции «OSTIS-2012». - Минск, 2012. -С. 355-358.

38. Лапшина, Т.Н. Психофизиологическая диагностика эмоций человека по показателям ЭЭГ: дис. ...канд. псих, наук: 19.00.02 / Т.Н. Лапшина. -М.: МГУ, 2007.- 190 с.

39. Лукьяница, A.A. Автоматическое определение изменений эмоционального состояния по речевому сигналу / A.A. Лукьяница, А.Г. Шишкин // Речевые технологии. - М.: Народное образование, 2009. - №3. - С. 60-76.

40. Лучшева, Л.М. Интерпретация и идентификация эмоциональных состояний по голосу (на примере педагогов): дис. ...канд. псих, наук: 19.00.01 / Л.М. Лучшева. - Новосибирск, 2010. - 318 с.

41. Люсин, Д.В. Измерение способности к распознаванию эмоций с помощью видеотеста / Д.В. Люсин , В.В. Овсянникова // Психологический журнал.-2013.-Т. 34.-№6.-С. 82-94.

42. Леонтьев, В.О. Классификация эмоций / В.О. Леонтьев. - Одесса: Изд-во Инновационного ипотечного центра, 2002. - 150 с.

43. Лебедева, H.H. Акустические характеристики речевого сигнала как показатель функционального состояния человека / H.H. Лебедева, Е.Д. Каримова // Успехи физиологических наук. - 2014. Т. 45. - №1. - С. 57-95.

44. Малинецкий, Г.Г. Современные проблемы нелинейной динамики / Г.Г. Малинецкий, А.Б. Потапов. - М.: Эдиториал УРСС, 2000. - 336 с.

45. Манеров, В.Х. Успешность восприятия говорящего в зависимости от индивидуальных особенностей слушателей / В.Х. Манеров // Вопросы психологии. - 1990. - № 1. - С. 147 - 153.

46. Марьев, A.A. Методы и алгоритмы повышения эффективности автоматического интонационного анализа речевых сигналов: дис. ...канд. тех. наук: 05.12.04, 01.04.06 / A.A. Марьев. - Таганрог, 2012. - 141 с.

47. Милованова, Г.Б. Интегральная оценка эмоционального состояния человека по его вегетативным функциям / Г.Б. Милованова // Методика и техника исследований операторской деятельности. - М.: Наука, 1985. - С. 7-11.

48. Меклер, A.A. Применение аппарата нелинейного анализа динамических систем для обработки сигналов ЭЭГ // Вестник новых медицинских технологий. - 2007. - Т. XIV, № 1. - С. 73-76.

49. Меклер, A.A. Программный комплекс для анализа электроэнцефалограмм методами теории динамического хаоса: дис. ...канд. тех. наук: 05.13.18 / A.A. Меклер. - Санкт-Петербург, 2006. - 168 с.

50. Морозов В.П. Эмоциональный слух: экспериментально-психологические исследования / В.П. Морозов // Психол. журн. -2013. - Т. 34. -№1. - С. 45-62.

51. Наздратенко, А.Е. Система для обнаружения эмоций: пат. 42905 Рос. Федерация: МПК G06F 13/38; заявитель и патентообладатель А.Е. Наздратенко; № 2004129162/22; заявл. 05.10.2004; опубл. 20.12.2004.

52. Напалков, Д.А. Аппаратные методы диагностики и коррекции функционального состояния стрелка: Методические .• рекомендации / Д.А. Напалков, П.О. Ратманова, М.Б. Коликов. - М.: МАКС Пресс, 2009. - 212 с.

53. Никонов, A.B. Особенности структуры речи человека-оператора в стрессовых условиях / A.B. Никонов, В.А. Попов // Речь и эмоции. - Л., 1975. -С. 11-16.

54. Носенко, Э.Л. Система автоматического определения эмоционального состояния человека по акустическим и темпоральным характеристикам речи / Э.Л.Носенко, A.A. Чугай, О.Н. Карпов//Речь и эмоции.-Л., 1975.-С. 108-113.

55. Перервенко, Ю.С. Исследование инвариантов нелинейной динамики речи и принципы построения системы аудиоанализа психофизиологического состояния: дис. ...канд. тех. наук: 05.11.17 / Ю.С. Перервенко. - Таганрог, 2009. -175 с.

56. Ребрун, И.А. Биотехническая система для исследования когнитивной деятельности в различных эмоциональных состояниях испытуемого / И.А. Ребрун, К.В. Сидоров, С.А. Терехин, H.H. Филатова, П.Д. Шемаев // XVII Всероссийская научно-техническая конференция «НЕЙРОИНФОРМАТИКА-2015»: Сборник научных трудов в 3-х частях. - Ч. 1. - М.: НИЯУ МИФИ, 2015. -С. 19-29.

57. Розалиев, В.Л. Моделирование эмоциональных реакций пользователя при речевом взаимодействии с автоматизированной системой: дис. ...канд. тех. наук: 05.13.01 / В.Л. Розалиев. - Волгоград, 2009. - 163 с.

58. Рева, Н.В. Линейные и нелинейные характеристики ЭЭГ человека при вызванных эмоциях: дис. ...канд. биолог, наук: 03.00.13 / Н.В. Рева. -Новосибирск, 2000. - 156 с.

59. Ребрун, И.А. Модель проявления эмоций в естественной речи / И.А. Ребрун, К.В. Сидоров, H.H. Филатова, Д.М. Ханеев // Четырнадцатая национальная конференция по искусственному интеллекту с международным участием КИИ-2014 (24-27 сентября 2014 г., г. Казань, Россия): Труды конференции. - Т. 2. - Казань: РИЦ «Школа», 2014. - С. 112-121.

60. Сахаров, B.JI. Методы математической обработки электроэнцефалограмм: Учебное пособие / B.JI. Сахаров, A.C. Андреенко. -Таганрог, 2000. - 44 с.

61. Сорокин, В.Н. Сегментация и распознавание гласных / В.Н. Сорокин, А.И. Цыплихин // Информационные процессы. - Т. 4. - № 2. - М.: ИППИ РАН, 2004. - С. 202-220.

62. Савотина, JI.H. Нейрофизиологические корреляты восприятия мотивационно значимых стимулов и переживания эмоций у человека: дис. ...канд. биолог, наук: 03.00.13 / JI.H. Савотина. - Новосибирск, 2000. - 168 с.

63. Сидоров, К.В. Генератор потока воздуха для биотехнической установки для мониторинга эмоций: патент № 151520, заявка №2014118660 / К.В. Сидоров, H.H. Филатова, JI.B. Илясов, Д.М. Ханеев // Изобретения. Полезные модели: офиц. бюл. Федер. службы по интеллект, собственности. - Бюл. 10. - М.: ФИПС, 2015.

64. Секунов, НЛО. Обработка звука на PC: наиболее полное руководство / Н.Ю. Секунов. - СПб.: БХВ-Петербург, 2001. - 1232 с.

65. Старченко, И.Б. Методы нелинейной динамики для биомедицинских приложений / И.Б. Старченко, Ю.С. Перервенко, О.С. Борисова, Т.В. Момот // Известия ЮФУ. Технические науки. Тематический выпуск «Медицинские информационные системы». - Таганрог: ТТИЮФУ, 2010. -№ 9 (110). -С. 42-51.

66. Соловьева, Е.С. Методы и алгоритмы обработки, анализа речевого сигнала для решения задач голосовой биометрии: дис. ...канд. тех. наук: 05.13.01 / Е.С. Соловьева. -М., 2008. - 149 с.

67. Смит, Н.Ю. Связь характеристик движущихся волн электроэнцефалограммы человека с показателями экстраверсии и интроверсии: дис. ...канд. биолог, наук: 03.00.13 / Н.Ю. Смит. - Санкт-Петербург, 2007. -215 с.

68. Сайтов, И.А. Способ обнаружения эмоций по голосу: пат. 2510955 Рос. Федерация: МПК G10L 15/00; И.А. Сайтов, О.О.Басов, В.А. Я1упов; заявитель и патентообладатель ГКОУВПО Академия ФСО России; № 2012109382/08; заявл. 12.03.2012; опубл. 10.04.2014. Бюл. №10.

69. Сидоров, K.B. Применение методов нелинейной динамики для .распознавания эмоции радости в речи / К.В. Сидоров, H.H. Филатова // Научно-технический вестник информационных технологий, механики и оптики. — 2012. -№5 (81).-С. 110-114.

70. Сидоров, К.В. Диагностика психофизиологического и эмоционального состояния человека-оператора / К.В. Сидоров, И.А. Ребрун, Д.Д. Кожевников, И.С. Соботницкий // Инженерный вестник Дона. - 2012. - №4-2 (23). - С. 27. -http://www.ivdon.ru/magazine/archive/n4p2y2012/1480.

71. Сидоров, К.В. Интерпретатор двухмерных проекций аттракторов биоэлектрических сигналов №2013618634 / К.В.Сидоров, Д.М. Ханеев, H.H. Филатова // Программы для ЭВМ. Базы данных. Топологии интегральных микросхем: офиц. бюл. Федер. службы по интеллект, собственности. — №3 (85). -М.: ФИПС, 2013.

72. Сидоров, К.В. Автоматическая локализация аппаратно-физиологических артефактов электроэнцефалограмм №2013619055 / К.В. Сидоров, H.H. Филатова // Программы для ЭВМ. Базы данных. Топологии интегральных микросхем: офиц. бюл. Федер. службы по интеллект, собственности. - №3 (85). -М.: ФИПС, 2013.

73. Сидоров, К.В. Мультимодальная база образцов естественной речи с объективно подтвержденным фактом изменения эмоционального состояния диктора №2014620467 / К.В.Сидоров, Н.Н.Филатова, С.А. Терехин // Программы для ЭВМ. Базы данных. Топологии интегральных микросхем: офиц. бюл. Федер. службы по интеллект, собственности. -№4 (90). - М.: ФИПС, 2014.

74. Сидоров, К.В. К вопросу оценки эмоциональности естественной и синтезированной речи по объективным признакам / К.В. Сидоров, М.В. Калюжный // Вестник Тверского государственного технического университета: научный журнал. - Вып. 18. - Тверь: ТвГТУ, 2011. - С. 81-85.

75. Сидоров, К.В. Анализ признаков эмоционально окрашенной речи / К.В. Сидоров, H.H. Филатова // Вестник Тверского государственного

технического университета: научный журнал. - Вып. 20. - Тверь: ТвГТУ, 2012. -С. 26-31.

76. Сидоров, К.В. Применение аппарата нелинейной динамики для распознавания эмоционального состояния человека по речевому сигналу / К.В. Сидоров // Сборник тезисов докладов I всероссийского конгресса молодых ученых. - Вып. 2. - СПб.: НИУ ИТМО, 2012. - С. 217-219.

77. Сидоров, К.В. Модельный русскоязычный корпус эмоциональной речи / К.В. Сидоров, H.H. Филатова, М.В. Калюжный // Приоритетные направления развития науки и технологий: доклады XI всероссийской научн.-техн. конф.; под общ. ред. В.М. Панарина. - Тула: Инновационные технологии, 2012.-С. 115-117.

78. Сидоров, К.В. Алгоритм автоматической генерации речевых объектов / К.В. Сидоров, H.H. Филатова // Сборник материалов I Международной научн.-практ. конф. «Технические науки - основа современной инновационной системы». -Часть 1. - Йошкар-Ола: Коллоквиум, 2012. - С. 118-120.

79. Сидоров, К.В. К вопросу построения модели распознавания эмоциональных состояний человека по речевому сигналу / К.В. Сидоров, H.H. Филатова // Сборник материалов XXIV Всероссийской научн.-техн. конф. студентов, молодых ученых и специалистов «Биотехнические, медицинские и экологические системы и комплексы». - Часть 1. - Рязань: РГРТУ, 2012. - С. 155160.

80. Сидоров, К.В. Распознавание эмоционального состояния человека на основе спектрального анализа речевого сигнала / К.В. Сидоров // Сборник научных трудов магистрантов и аспирантов. — Вып. 2. - Тверь: ТвГТУ, 2012. — С. 142-145.

81. Сидоров, К.В. Реконструкция аттракторов фонем для распознавания эмоционального состояния человека / К.В. Сидоров, H.H. Филатова // Математические методы в технике и технологиях - ММТТ-25: сб. трудов XXV Междунар. науч. конф. / под общ. ред. A.A. Большакова. - Саратов: Саратов, гос.

техн. ун-т, 2012; Волгоград: Волгогр. гос. техн. ун-т, 2012; Харьков: Национ. техн. ун-т «ХПИ», 2012.- С. 127-130..-

82. Сидоров К.В. Автоматическое распознавание эмоций человека на основе реконструкций аттракторов образцов речи / К.В. Сидоров, H.H. Филатова // Программные системы и вычислительные методы. - №1 (1). - 2012. - С. 67-79.

83. Сидоров, К.В. Биотехнический подход к построению модели эмоций / К.В. Сидоров // Сборник научных трудов Н-ой Международной летней школы-семинара по искусственному интеллекту для студентов, аспирантов и молодых ученых «Интеллектуальные системы и технологии: современное состояние и перспективы» (ISyT'2013). - Тверь: ТвГТУ, 2013. - С. 172-181.

84. Сидоров, К.В. К вопросу автоматического выделения артефактов в электроэнцефалограммах / К.В. Сидоров, И.А. Ребрун, И.А. Тюрина // Вестник Тверского государственного технического университета: научный журнал-Тверь: ТвГТУ, 2013. - №2. - Вып. 24. - С. 40^14.

85. Сидоров, К.В. Биотехническая система для анализа эмоций человека / К.В. Сидоров, H.H. Филатова // Труды Конгресса по интеллектуальным системам и информационным технологиям «IS&IT14». Научное издание в 4-х томах. - М.: Физматлит, 2014. - Т. 2. - С. 238-244.

86. Терехин, С.А. Оценка и анализ площади проекции аттрактора временного ряда №2014662110 / С.А. Терехин, Н.Н.Филатова, К.В. Сидоров // Программы для ЭВМ. Базы данных. Топологии интегральных микросхем: офиц. бюл. Федер. службы по интеллект, собственности. -№12 (98). -М.: ФИПС, 2014.

87. Уразаева, Ф.Х. Система для восстановления эмоционально-аффективных состояний человека: пат. 63201 Рос. Федерация: МПК А61В 5/0476; заявитель и патентообладатель Ф.Х. Уразаева, К.Ф. Уразаев; №2006127108/22; заявл. 26.07.2006; опубл. 27.05.2007. Бюл. №15.

88. Фоминых, И.Б. Эмоции как аппарат оценок поведения интеллектуальных систем / И.Б. Фоминых // Труды 10-й Национальной конференции по искусственному интеллекту КИИ-2006. — Т.2. — М.: Физматлит, 2006. - http://www.raai.org/resurs/papers/kii-2006/doklad/Fominykh.doc.

89. Фролов, M.B. Контроль функционального состояния человека-оператора / М.В. Фролов. - М.: Наука, 1987. - 195 с.

90. Фролов, М.В. Дифференцирование степени и знака эмоционального напряжения у человека по изменению интонационных характеристик речи / М.В. Фролов // Физиологические особенности положительных и отрицательных эмоциональных состояний. - М.: Наука, 1972. - С. 128-132.

91. Фролов, М.В. Особенности контроля состояния человека-оператора по параметрам основного тона и спектра речи / М.В. Фролов, Г.Б. Милованова // Физиол. человека. - 2009. - Т. 35.-№2.-С. 136-138.

92. Фролов, М.В. Диагностика функциональных и депрессивных состояний по характеристикам интонации и временного потока речи / М.В. Фролов, Г.Б. Милованова, JT.A. Потулова // Биомедицинские технологии и радиоэлектроника. -2004. -№12. - С. 8-15.

93. Фролов, М.В. Амплитуда Т-зубца ЭКГ как коррелят эмоционального напряжения / М.В. Фролов, Е.П. Свиридов // Журнал высшей нервной деятельности. - 1974. -Т. 24. -№ 5. - С. 1052-1055.

94. Федоров, В.М. Сегментация сигналов на основе дискретного вейвлет-преобразования / В.М. Федоров, П.Ю. Юрков // Информационное противодействие угрозам терроризма. - Таганрог: ЮФУ, 2009. — С. 138-146.

95. Федоров, В.М. Распознавание эмоционального состояния человека по акустическим параметрам речи / В.М. Федоров, П.Ю. Юрков // Анализ разговорной русской речи: сборник трудов Третьего междисциплинарного семинара. - СПб.: СПИИРАН, 2009. - С. 63-67.

96. Федоренко, О.Г. Разработка и исследование методов повышения эффективности программно-аппаратных вычислительных средств обработки речевых сигналов: дис. ...канд. тех. наук: 05.13.13, 05.13.16 / О.Г. Федоренко. — Таганрог, 1999. - 177 с.

97. Филатова, H.H. Построение правил классификации для биотехнических систем / H.H. Филатова, Д.М. Ханеев // VII Международная научно-практическая конференция «Интегрированные модели и мягкие

вычисления в искусственном интеллекте»: сборник научных трудов в 3-х томах. М.: Физматлит, 2013. - Т. 3. - С.1153-1158.

98. Филатова, H.H. Нейроподобный классификатор дыхательных шумов, заданных нечеткими признаками / H.H. Филатова, Д.М. Ханеев // XV Всероссийская научно-техническая конференция «НЕЙРОИНФОРМАТИКА-2013»: Сборник научных трудов в 3-х частях. - Ч. 3. - М.: НИЯУ МИФИ, 2013. -С. 231-239.

99. Филатова, H.H. Модель интерпретации знака эмоций по естественной речи / H.H. Филатова, К.В. Сидоров // Известия ЮФУ. Технические науки. Тематический выпуск «Медицинские информационные системы». — 2012. - №9 (134).-С. 39-45.

100. Филатова, H.H. Модель интерпретации эмоций в речи / H.H. Филатова, К.В. Сидоров // Труды Конгресса по интеллектуальным системам и информационным технологиям «IS&IT'13». Научное издание в 4-х томах. - М.: Физматлит, 2013. - Т. 1. - С. 98-105.

101. Филатова, H.H. Интерпретатор сигналов на основе нейроподобной иерархической структуры / H.H. Филатова, Д.М. Ханеев, К.В. Сидоров // Программные продукты и системы. - 2014. - №1 (105). - С. 92-97.

102. Филатова, H.H. Алгоритм классификации графиков с последовательным укрупнением признаков / H.H. Филатова, Д.М. Ханеев, К.В. Сидоров // Программные продукты и системы. - 2014. - №3 (107). - С. 78-86.

103. Филатова, H.H. Применение нейроподобной иерархической структуры для классификации знака эмоций / H.H. Филатова, К.В. Сидоров, Д.М. Ханеев // XVI Всероссийская научно-техническая конференция «НЕЙРОИНФОРМАТИКА-2014» с международным участием: Сборник научных трудов в 3-х частях. — Ч. 2. — М.: НИЯУ МИФИ, 2014. - С. 291-300.

104. Хроматиди, А.Ф. Исследование психофизиологического состояния человека на основе эмоциональных признаков речи: дис. ...канд. тех. наук: 05.11.17, 05.13.01 / А.Ф. Хроматиди. - Таганрог, 2005. - 154 с.

105. Хейдоров, И.Э. Классификация эмоционально окрашенной речи с использованием метода опорных векторов / И.Э. Хейдоров, Я. Цзинбинь, У. Ши, A.M. Сорока, А.А. Трус // Речевые технологии. - Вып. 3. - СПб., 2008. - С. 63-71.

106. Шелухин, О.И., Лукьянцев Н.Ф. Цифровая обработка и передача речи. - М.: Радио и связь, 2000. - 456 с.

107. Шустер, Г. Детерминированный хаос. - М.: Мир, 1988. - 240 с.

108. Шемякина, Н.В. Физиологические корреляты выполнения вербальной творческой задачи в условиях индукции эмоциональных состояний разного знака.: дис. ...канд. биолог, наук: 03.00.13 / Н.В.Шемякина. - Санкт-Петербург, 2007.- 177 с.

109. AgrafiotiF. ECG in Biometric Recognition: Time Dependency and Application Challenges: Ph.D. Dissertation. - University of Toronto, 2011. - 172 p.

110. BurkhardtF., Paeschke A., RolfesM., Sendlmeier W., Weiss В. A Database of German Emotional Speech // Proc. Intern. Conf. Interspeech. - Lissabon, 2005. - http://pascal.kgw.tu-berlin.de/emodb/index-1280.html.

111. BanzigerT., GrandjeanD., SchererK.R. Emotion Recognition From Expressions in Face, Voice, and Body: The Multimodal Emotion Recognition Test (MERT) // Emotion. - 2009. - Vol. 9. - № 5. - pp. 691-704.

112. Chen Y.T. A study of emotion recognition on mandarin speech and its performance evaluation: Ph. D. dissertation. - Tatung University, 2008. - 134 p.

113. Cowie R., Cornelius R. Describing the emotional states that are expressed in speech // Speech Communication. - Vol. 40, №1-2, 2003. - pp. 5-32.

114. Chetouani M., Mahdhaoui A., Ringeval F. Time-scale feature extractions for emotional speech characterization // Cognitive Computation. - Vol. 1, №2, 2009. -pp. 194-201.

115. Duong D. Dysphoria and facial emotion recognition: Examining the role of rumination: PhD. Dissertation. - Waterloo, Ontario, Canada, 2012. - 113 p.

116. Douglas-Cowie E., Campbell N., Cowie R., Roach P. Emotional speech: Towards a new generation of databases // Speech Communication. - Vol. 40, №1, 2003. -pp. 33-60.

117. Douglas-Cowie E., Cowie R., Schroder M. The description of naturally occurring emotional speech // Proc. 15th Internat. Conf. on Phonetic Sciences. -Barcelona, Spain. - pp. 2877-2880.

118. Eckmann J.P., Kamphorst S.O., RuelleD. Recurrence Plots of Dynamical Systems // Europhys. Lett. 5. - 1987. - pp. 973-977.

119. E.L. van den Broek. Affective Signal Processing (ASP): Unraveling the mystery of emotions: PhD. Dissertation. - University of Twente, 2011. - 302 p.

120. Fraser A.M. Reconstructing attractors from scalar time series: a comparison of singular system and redundancy criteria // Physica D34. - №3. - 1989. - pp. 391404.

121. Flaisch T. The Neural Processing of Emotional Pictures: Evidence from Evoked Potentials and Functional Magnetic Resonance Imaging: PhD. Dissertation. -2007.- 118 p.

122. FarwellL.A. Method for a classification guilty knowledge test and integrated system for detection of deception and information. United States Patent: US 0143629 A1 (30.06.2005).

123. GratchJ., Marsella S. A domain-independent framework for modeling emotions // Journal of Cognitive Systems Research. - 5(4). - 2004. - pp. 269-306.

124. Grassberger P., Procaccia I. Measuring the strangeness of strange attractors // Physica 9D. - 1983. - pp. 189-208.

125. Grassberger P. An optimized box-assisted algorithm for fractal dimensions //Physica. Lett. A. 148. - 1990. - pp. 63-68.

126. Hegger R. et al. Practical Implementation of Nonlinear Time Series Methods. In: The TISEAN package, CHAOS 9, 413, 1999.

127. He L. Stress and Emotion Recognition in Natural Speech in the Work and Family Environments: Ph.D. Dissertation. - RMIT University, 2010. - 197 p.

128. http://www.speechpro.ru/product/audio-video/voice-recording/smartlogger2.

129. http://courses.media.mit.edu/2004spring/mas630/04.projects/zeynep_ron/, http://vismod.media.mit.edu/tech-reports/TR-585.pdf.

130. http://www.asteros.ru/press/news/684/, http://www.asteros.ru/docs/ exaudios_presentation.pdf. ;

131. http://www.areopagcentr.ru/ex-sense.html-p=3.htm.

132. http://securebiosys.com/produkty/golosovoj-detektor-emocionalnogo-sostoyaniya/.

133. http://www.mmf.spbstu.ru/mese/2013/585_594.pdf

134. http://www.sworld.com.Ua/konfer26/l6.pdf

135. http://fractal-theory.narod.ru/doc/Signalnoise.pdf

136. Jasper H.H. The ten-twenty electrode system of the International Federation// Electroencephalogr. Clin. Neurophysiol., 10. - 1958. - pp. 371-375.

137. Kappeler-Setz C. Multimodal Emotion and Stress Recognition: Sc.D. Dissertation. - ETH Zurich, Switzerland, 2012.-174 p.

138. Kennel M.B., Brown R., Abarbanel I. Determining embedding dimension for phase-space reconstruction using a geometrical construction // Phys. Rev. A 45. -1992.-pp. 3403-3411.

139. Katsyri J. Human recognition of basic emotions from posed and animated dynamic facial expressions: PhD. Dissertation. - Helsinki University of Technology, 2006. - 124 p.

140. Koelstra S. Affective and Implicit Tagging using Facial Expressions and Electroencephalography: PhD. Dissertation. - Queen Mary University of London, 2012. - 167 p.

141. KwonO.-W., ChanK., Hao J., Lee T.-W. Emotion recognition by speech signals //In: Proc. Interspeech. - pp. 125-128.

142. Liebert W., Schuster H.G. Proper choice of the time delay for the analysis of chaotic time series // Physics Letters A. - V. 142. -№2-3. - 1989 - pp. 107-111.

143. Makarova V., Petrushin V.A. RUSLANA: a database of russian emotional utterances // ICSLP, 2002. - pp. 2041-2044.

144. Mayer J.D., SaloveyP., Caruso D.R., Sitaremos G. Measuring emotional intelligence with the MSCEIT V2.0 // Emotion. - 2003. - Vol. 3. - №1. - pp. 97-105.

145. Matsumoto D., Le Roux J. et al. A new test to measure emotion recognition ability: Matsumoto and Ekman's Japanese and Caucasian brief Affect recognition test (JACBART) // Journal of Nonverbal Behavior. - 2000. - №24(3). - pp. 179-209.

146. Nowicki S., Duke M.P. Individual differences in the nonverbal communication of affect: The diagnostic analysis of nonverbal accuracy // Journal of Nonverbal Behavior. - 1994. - Vol. 18. - pp. 9-35.

147. OrtonyA., Clore G.L., Collins A. The Cognitive Structure of Emotions. Cambridge. - Cambridge, UK: Cambridge University Press, 1990. - 207 p.

148. Picard R.W. Affective Computing // M.I.T Media Laboratory Perceptual Computing Section Technical Report. - No. 321. - 1995.

149. Petrushin V.A. Emotion in speech: recognition and application to call centers // In: Proc. Artificial Neural Networks in Engineering (ANNIE'99). - St. Louis, MO, USA.-pp. 7-10.

150. Rangayyan R.M. Biomedical signal analysis: a case-study approach / IEEE Press and Wiley. - New York, NY, 2002. - 516 p.

151. Rosenfeld J.P. System and method for P300-based concealed information detector having combined probe and target trials. United States Patent: US 7376459 B2 (20.05.2008).

152. Ringeval F., Chetouani M. Exploiting a Vowel Based Approach for Acted Emotion Recognition // Verbal and Nonverbal Features of Human-Human and Human-Machine Interaction. -2008. - pp. 243-254.

153. Rosenthal R., HallJ.A., Di Matteo M.R., Rogers P.L., Archer D. Sensitivity to nonverbal communication: The PONS test // Baltimore: John Hopkins University Press., 1979.

154. Soleymani M., Koelstra S., Patras I., Pun T. Continuous emotion detection in response to music videos // In conjunction with the IEEE FG, 2011. - pp. 803-808.

155. Steunebrink B.R., Dastani M.M., Meyer J-J.Ch. . A Formal Model of Emotions: Integrating Qualitative and Quantitative Aspects // Proceedings of the 18th European Conference on Artificial Intelligence (ECAT08). - 2008. - pp. 256-260.

156. Schroder M. Speech and Emotion Research: An Overview of Research Frameworks and a Dimensional Approach to Emotional Speech Synthesis: PhD. Dissertation. - 2003. - 264 p.

157. Wu S. Recognition of human emotion in speech using modulation spectral features and support vector machines. - Kingston, Ontario, Canada, 2009. - 114 p.

158. Takens F. Detecting strange attractors in turbulence // Dynamical Systems and Turbulence. - Heidelberg: Springer-Verlag, 1981. - pp. 366-381.

159. El Ayadi M.M.H., Kamel M.S., KarrayF. Speech emotion recognition using gaussian mixture vector autoregressive models // IEEE International Conference on Acoustics, Speech and Signal Processing, 2007. - Vol. 4. - pp. IV-957 - IV-960.