Влияние консонансных и диссонансных аккордов на биопотенциалы мозга тема диссертации и автореферата по ВАК РФ 03.03.01, кандидат биологических наук Масленникова, Александра Валерьевна

• Масленникова, Александра Валерьевна
• кандидат биологических наук
• 2013

Оглавление диссертации кандидат биологических наук Масленникова, Александра Валерьевна

Содержание

Введение

Глава 1. Современные представления о восприятии музыкальной гармонии н ее корковой организации

1. Общие представления о восприятии музыкальной гармонии

1.1 Общие определения понятий музыкальной гармонии

1.2 Поведенческие данные о восприятии консонансов и диссонансов

1.3 Теории восприятия консонансов и диссонансов и их физиологических причин

1.4 Современные исследования психофизиологии восприятия консонансов и диссонансов

1.5 Вызванная активность. Ранние компоненты вызванных потенциалов (N1, Р2) на музыкальные стимулы

1.6 Гипотезы обработки музыкальных интервалов головным мозгом человека

1.7 Данные нейровизуальных исследований восприятия музыкальной гармонии

2 Особенности психофизиологии восприятия консонансов и

диссонансов в зависимости от музыкального опыта

Глава 2. Методы исследования

Глава 3. Результаты субъективных оценок консонансных и

диссонансных аккордов музыкантами н немузыкантами

Глава 4. Результаты, полученные для вызванных изменений спектральной мощности (ВИСМ)

4.1. Вызванные изменения спектральной мощности (ВИСМ) на консонансы и диссонансы у немузыкантов

4.2. ВИСМ на консонансы и диссонансы у музыкантов

2

4.3. Сравнение результатов ВИСМ, полученных для двух групп

испытуемых

Глава 5. Вызванные потенциалы при прослушивании консонансных и

диссонансных аккордов

5.1. Вызванные потенциалы на консонансы и диссонансы у немузыкантов

5.2. Вызванные потенциалы на консонансы и диссонансы у музыкантов

5.3. Сравнение вызванных потенциалов у двух групп испытуемых

Глава 6. Обсуждение результатов

6.1. Соотношение субъективного восприятия музыкальной гармонии и данных биопотенциалов мозга

6.2. Вызванные изменения спектральной мощности медленных ритмов при восприятии музыкальной гармонии

6.3. Особенности обработки консонансов и диссонансов у музыкантов и испытуемых без музыкального образования

6.4. Связь обработки лингвистической и музыкальной стимуляции

Выводы

Библиографический указатель

Приложение

Введение диссертации (часть автореферата) на тему «Влияние консонансных и диссонансных аккордов на биопотенциалы мозга»

ВВЕДЕНИЕ

Актуальность проблемы.

На данный момент существует немало исследований психофизиологии восприятия гармонической структуры музыки человеком. Исследования когерентности (Passynkova, 2005, 2006) дают основание считать, что более сильная внутриполушарная связь в правом полушарии для консонансов по сравнению с диссонансами в диапазоне тета-ритма связана с оценкой данных аккордов как приятных. Некоторые исследователи приводят данные о том, что обработка гармонической структуры базируется на низких уровнях сенсорного анализа и поэтому может быть причиной того, что консонансы более предпочитаемы (Bindelman, Ananthanarayan, 2009). В тоже время показано, что консонантные аккорды стимулируют более высокую гамма-активность по сравнению с диссонансными (Park, 2011). В основе гармонического строя музыки лежат соотношения частот музыкальных звуков, или музыкальные интервалы. В музыкальной акустике и теории музыки интервалы делят на консонансы и диссонансы по соотношению частот тонов, входящих в интервал. Отмечается, что консонансы звучат мягко, спокойно, благозвучно, диссонансы - резко, жестко, напряженно (Budge, 1943; Vos and Troost, 1989; Huron, 1991, Готсдинер A.JI., 1993). Согласно теории Гельмгольца (акустическая теория) консонантность и диссонансность интервалов определяются отсутствием или наличием биений между основными и частичными тонами, входящими в интервал. Два и более интервалов составляют аккорд, причем в аккорде могут сочетаться как консонантные, так и диссонансные интервалы. Предпочтение консонансов выявлено также у младенцев (Trainor et al., 2002; Hannon and Trainor, 2007,

Winkler, Haden, He, 2009) и животных (В.П. Морозов, 1967, Fishman et al., 2001).

В настоящей работе была поставлена задача исследовать вызванные изменения спектральной мощности и вызванные потенциалы ЭЭГ при предъявлении консонансных и диссонансных аккордов, а также субъективное восприятие этих аккордов.

Таким образом, исключительно актуальным представляется изучение обработки музыкальной гармонии мозгом человека, понять механизм влияния созвучий и их субъективной оценки, а также влияние музыкального обучения на биопотенциалы мозга. Результаты исследования дают возможность понять влияние музыки на физиологическое и психическое состояние человека, в том числе при музыкотерапии.

Объект исследования: психофизиологические механизмы переработки музыкальной гармонии у музыкантов и немузыкантов.

Предмет исследования: особенности потенциалов, связанных с событиями (ПСС), при восприятии информации, предъявляемой на слух и влияние на этот процесс обучения.

Цели исследования: состояла в психофизиологическом анализе особенностей центральных механизмов восприятия музыкальной гармонии.

Задачи исследования:

В соответствии с этой целью были поставлены следующие задачи:

1. Выявить субъективные особенности восприятия эмоциональной информации и переживания музыкальной гармонии.

2. Оценить особенности вызванных изменений спектральной мощности ритмов мозга испытуемых при восприятии консонансных и диссонансных аккордов.

3. Исследовать различия вызванных потенциалов на две категории стимулов (консонансы и диссонансы).

4. Провести анализ вызванных изменений спектральной мощности при восприятии аккордов музыкантами и людьми без музыкального образования, а также изучить особенности вызванных потенциалов на консонансные и диссонансные аккорды в зависимости от музыкального образования.

5. Сопоставить показатели межполушарной асимметрии в зависимости от наличия или отсутствия музыкального образования.

Научная новизна работы

Впервые применена методика вызванных изменений спектральной мощности для анализа влияния консонансных и диссонансных аккордов на биопотенциалы мозга. Впервые обнаружено увеличение вызванных изменений спектральной мощности в тета-диапазоне ритмов на консонансные аккорды вне зависимости от обучения.

Впервые выявлено увеличение вызванных изменений спектральной мощности в зависимости от музыкального навыка.

• Впервые показаны топографические изменения при восприятии аккордов в тета-диапазоне и их зависимость от музыкального навыка.

• Показано впервые отсутствие различий по амплитуде и латентности в ранних компонентах вызванного потенциала на консонансы и диссонансы.

Теоретическая и практическая значимость

Полученные результаты вносят вклад в изучение психофизиологического механизма восприятия музыкальной гармонии.

В работе было изучено влияние аккордов, построенных на консонансных и диссонансных музыкальных интервалах, на биопотенциалы мозга человека. Обнаружено, что приятно звучащие консонансные аккорды вызывают увеличение активности в диапазоне тета-ритма по сравнению с диссонансными. Причем у людей без музыкального образования активируются преимущественно фронто-медиальные области со смещением в левое полушарие, что говорит об обработке данных стимулов с вовлечением зон коры, ответственных за положительные эмоции. У музыкантов подобной асимметрии не наблюдается, так как обработка аккордов в силу музыкального опыта у этой группы испытуемых достаточно автоматизированная, свернутая. Однако, необходимо отметить, что наличие музыкального образования на предпочтение консонансов и увеличение тета-активности на консонансные аккорды не влияет.

Выявленные различия в обработке консонансных и диссонансных аккордов у музыкантов и немузыкантов, дают возможность говорить об

общих, универсальных механизмах обработки музыкальных аккордов, и, в то же время, различиях, связанных с обучением.

Поскольку на настоящий момент опубликованы лишь единичные работы, рассматривающие психофизиологические корреляты восприятия гармоничности/дисгармоничности в музыке, следует также отметить важность полученных результатов для понимания особенностей восприятия музыки и формирования связанных с ней эмоциональных ощущений.

Настоящая работа имеет определенную практическую значимость для музыкантов-теоретиков, специалистов по психоакустике и врачей-психотерапевтов как теоретическая база и обоснование музыкотерапевтической практики.

Представленные в диссертационной работе результаты включены в лекционные курсы по психофизиологии искусства Московского Института Психоанализа и используются в психотерапевтической работе в клинике РВНД Роса (Москва).

Положения, выносимые на защиту:

1. Различия в вызванных изменениях мощности ритмов обусловлены разными типами аккордов (консонансными и диссонансными).

2. Вызванные изменения мощности ритмов на разные типы аккордов у профессиональных музыкантов и немузыкантов различны.

3. При восприятии аккордов у немузыкантов наблюдается межполушарная асимметрия, и она отсутствует у музыкантов.

4. Амплитуда компонентов N100 и Р200 вызванного потенциала на консонансные и диссонансные аккорды зависит от опыта занятий музыкой.

Апробация работы

Результаты работы в качестве доклада были представлены на конференции молодых ученых ИВНД и НФ РАН (Москва, 2011, 2012), международной конференции (Салоники, 2011 и Калининград, 2012), а также апробированы на годовой отчетной конференции ИВНД и НФ РАН 21 ноября 2011 года. Кроме того, используются в материалах лекций по психологии искусства в Московском институте психоанализа, психофизиологии в МГУ ТУ. Полученные данные дали возможность разработать курс музыкотерапии в рамках арт-терапевтической работы с пациентами в практической работе в коммерческих психоневрологических клиниках г. Москвы (клиники «Роса» и «Преображение») и г. Перми (Центр реабилитации инвалидов).

Результаты работы опубликованы в 5 печатных трудах, из них 1 в журнале, рекомендуемом ВАК.

ГЛАВА 1. СОВРЕМЕННЫЕ ПРЕДСТАВЛЕНИЯ О ВОСПРИЯТИИ МУЗЫКАЛЬНОЙ ГАРМОНИИ И ЕЕ КОРКОВОЙ ОРГАНИЗАЦИИ.

1. Общие представления о восприятии музыкальной гармонии

1.1. Общие определения понятий музыкальной гармонии

В основе гармонического строя музыки лежат соотношения частот музыкальных звуков, или музыкальные интервалы. Интервалом называют соотношение между двумя звуковыми тонами определенной высоты. Под гармонией подразумевается область выразительных средств музыки, основанная на закономерном объединении тонов в созвучия и на закономерной связи созвучий. Созвучие - это любое сочетание тонов в одновременности. В нашей работе мы использовали созвучия в виде аккордов - то есть таких созвучий, которые имеют определенное строение, подчиняющееся ладовым и акустическим закономерностям (Тюлин Ю.Н„ Привано Н.Г., 1986). «Согласное» звучание звуков, входящих в интервал, даёт первую категорию гармонии— консонанс, противопоставляемый диссонансу. В музыкальной акустике и теории музыки интервалы делят на консонансы и диссонансы по соотношению частот тонов, входящих в интервал. Отмечается, что консонансы звучат мягко, спокойно, благозвучно, диссонансы - резко, жестко, напряженно (Budge, 1943; Vos and Troost, 1989; Huron, 1991, Готсдинер А.Л., 1993). Гельмгольц разделил интервалы в следующем порядке (см. табл.1):

• Абсолютные: октава, прима

• Совершенные: кварта, квинта

• Средние: большая терция и большая секста

• Несовершенные: малая терция и малая секста

• Диссонансы: малая и большая секунды, малые и большие септимы и тритон.

Рис. 1. Нотация музыкальных интервалов (обозначения расшифрованы ниже).

" Ь ...................... I

>-1-т- >о 1о л> ос» 1?о ¡:о 4> 1

1 чэен С|чэО Р1 ш2 М2 л О » * * м ........... ■ -о- -о- -о- -о- -о- шЗ МЗ Р4 А4 ё5 Р5 ш6 Мб т7 М7 Р8

Табл. 1. Соотношение частот в музыкальных интервалах (даны для равномерно темперированного строя).

Музыкальный интервал Обозначение Консонанс или диссонанс Соотношение частот

Прима Р1 Консонанс 1:1

Малая секунда т2 Диссонанс 16:15

Большая секунда М2 Диссонанс 9:8

Малая терция тЗ Консонанс 6:5

Большая терция МЗ Консонанс 5:4

Кварта Р4 Консонанс 4:3

Тритон А4, (15 Диссонанс 42:32, 64:45

Квинта Р5 Консонанс 3:2

Малая секста тб Диссонанс 8:5

Большая секста Мб Консонанс 5:3

Малая септима т7 Диссонанс 9:5

Большая септима М7 Диссонанс 15:8

Октава Р8 Консонанс 2:1

Два и более интервалов составляют аккорд, причем в аккорде могут сочетаться как консонансные, так и диссонансные интервалы. Для того, чтобы понять закономерности восприятия музыкальной гармонии и их электрофизиологические корреляты, нам показалось целесообразно взять аккорды, построенные на основе диссонансных и консонансных интервалах. В структуре аккордов проявляются основные свойства музыкальной системы, такие как соотношение звуков по высоте и одновременное их сочетание. Звуки в аккорде отражают основные категории гармонии: порядок расположения по высоте (свойства звукоряда) и ладовую систему (лад - система взаимоотношений ступеней звукоряда, определяемая главенством основного опорного тона и зависимостью от него остальных ступеней (Тюлин Ю.Н., Привано Н.Г., 1986).

1.2. Поведенческие данные о восприятии консонансов и диссонансов.

Тот факт, что консонансные интервалы с одними и теми же соотношениями частот входящих в них тонов есть абсолютно во всех культурах с глубокой древности, может свидетельствовать в пользу гипотезы о врожденности этого свойства слухового восприятия. В пользу этого предположения можно привести результаты исследований восприятия созвучий у младенцев (Trainor et al., 2002; Hannon and Trainor, 2007) и животных (В.П. Морозов, 1967).

Предпочтение консонансов было подтверждено экспериментально. К. Штумпф подошел к исследованию вопроса предпочтения одних созвучий перед другими с психологической стороны. Свои выводы Штумпф сделал на основании изучения ответов 100 испытуемых, критерием оценки которых служило впечатление слияния или расщепления звуков: чем больше звуки сливаются в один, тем более этот интервал консонирует, чем больше раздваивается - тем более диссонируют. В зависимости от степени слияния Штумпф разделил интервалы на пять групп по степени этого впечатления: октава, квинта, кварта, большая и малая терции, большая и малая секста (Штумпф, 1936).

Другой исследователь, Ю.Н. Тюлин (Тюлин, 1990) взял за основу разделения интервалов качественную, то есть красочную (по его терминологии - фоническую) характеристику звучания. Испытуемые должны были оценивать интервалы по степени «гладкости-шероховатости». Плавно меняя высоту одного из звуков интервала, получали «интонационный сдвиг». Пользуясь таким, тембровым критерием, можно установить консонансность или диссонансность интервала. Для обобщенного восприятия музыкальной гармонии как общей окраски звучания тембровый критерий достаточен. Более того, красочный характер звучания аккорда или то, что Тюлин называет

фонизмом, зависит от интервального его состава. Фонизм гармонии основан на тембровой ее оценке, а отсутствие слухового анализа входящих в аккорд звуков превращает его восприятие в тембровое.

Связь между характеристиками интонации голоса человека и восприятием музыкальной гармонии показал в своих исследованиях В.П. Морозов. Известно, что важнейшая особенность кодирования невербальной информации передается, как правило, не каким-либо одним акустическим средством, а одновременно несколькими. Например, информация о разном эмоциональном состоянии говорящего найдет выражение не только в изменении тембра (т.е. спектра) голоса, но и в характерных для каждой эмоции изменениях высоты, силы, темпоритмических характеристик речевой фразы. Однако, новые данные о психоакустических механизмах передачи слушателю информации об эмоциональном состоянии говорящего получены в ряде совместны работ Морозова с Ю.М. Кузнецовым. С помощью специально разработанных компьютерных программ (В.Р. Женило) показано, что помимо указанных выше характеристик интонации имеет место смещение обертонов голоса по частотной шкале в зависимости от характера выражаемой эмоции. Так при нейтральной интонации и умеренной радости обертоны носят практически гармонический характер, а при выражении страха или гнева — специфичный для каждой эмоции дисгармоничный характер за счет смещения от своего гармонического положения в сторону повышения или понижения. Указанный эффект, названный авторами «феноменом квазигармоничности» лежит в основе формирования у слушателя психологического портрета говорящего по невербальным особенностям его голоса (Морозов, 1977, 1998).

Данные Ю.Н. Тюлина о тембровом критерии восприятия музыкальной гармонии, а также результаты, полученные В.П. Морозовым, позволяют сделать вывод о сходстве механизмов обработки гармонии и тембра голоса человека.

Учитывая, что восприятие звуковысотных отношений играет важную роль в структуре музыки и речи, польские исследователи показали, что пропевание тонов может быть избирательно нарушено без нарушения интонирования речи. Это может указывать на тот факт, что механизмы речепорождения и пения не связаны между собой (Dalla Bella S., Berkowska M., 2011).

Клиническая литература по обработке музыкального синтаксиса ограничивается поведенческими исследованиями, которые, однако, не дают точной локализации активированных областей, потому что они брали или пациентов с рассеченным мозолистым телом или пациентов с билатеральными поражениями. Исследования, осуществленные методом монорецепторной стимуляции и методом дихотического прослушивания, показывают, что различение тональных последовательностей, идентификации коротких музыкальных фраз и опознание знакомых мелодий существенно хуже удается больным с поражением височной доли правого полушария, чем больным с поражением височной доли левого полушария (Milner, 1967; Shandweiler, 1966).

1.3. Теории восприятия консонансов и диссонансов и их физиологических причин

Философско-эстетическое понятие гармонии разрабатывалось с глубокой древности. Античные учебники гармоники (Бакхий, Гауденций, Боэций) и музыкально-теоретические исследования гармонии (наиболее значительны труды греков: Аристоксена, Птолемея, Аристида) содержали в обязательном порядке изложение и толкование вопросов гармонии: учение о музыкальном (высотно определённом) звуке, об интервалах, об интервально-звуковой системе с присущими ей звукорядными («модальными») функциями, о ладовых звукорядах («тонах», «ладах») и

др.

Уже тогда ставился вопрос о физиологии восприятия интервалов. Даже первые теории объясняли созвучность одних соотношений музыкальных тонов по сравнению с другими «биологически», «суждением слуха». «Чувство слуха может различать консонанс, однако определяет его разум», - писал Боэций. Однако практически до XVIII века было распространено мнение о божественной природе консонанса, отражении в нем гармонии мироздания. Только в конце XIX века Г. Гельмгольц (Не1тЬокг, 1877) разработал концепцию, согласно которой важно количество биений, возникающее при сложении двух музыкальных тонов разных частот. Если биений много, то на слух это сочетание воспринимается как неприятное. Другой теоретик, Ж.Ф. Рамо (Рамо, 1930) считал, что созвучие слуховой аппарат оценивает как комбинацию гармоник и старается найти для него основной тон, наибольший общий делитель. То есть более консонансны интервалы, которые располагаются в нижнем конце гармонического ряда, и, следовательно, частотные

компоненты находятся между собой в простых соотношениях. Все современные теории психоакустики интервалов так или иначе основаны на теории Гельмгольца. Более современны экспериментальные исследования Пломпа (Plomp and Levelt, 1965) установившие связь между созвучностью и строением внутреннего уха человека. Они показали, что биения при сложении двух звуков имеют определенное физиологическое основание. То есть, если разница частот между двумя чистыми тонами в интервале превышает три полутона (т.е. находятся за критической полосой пропускания), то ухо не воспринимает «шероховатость» созвучия. Однако, за этой критической полосой пропускания оценки созвучий могут значительно меняться и менять направление, а разница частот увеличивается. Эти изменения производят созвучие, несмотря на отсутствие гармоник, и, следовательно, режим, в котором биения должны быть, полностью отсутствует. При этом авторы упускают из вида такие созвучия, как тритон и большая секста, у которых разница частот между двумя тонами в интервале явно выше трех полутонов, но являющиеся острыми, «шероховатыми» диссонансами. Очевидно, теория биений Гельмгольца не в состоянии объяснить ощущения созвучности.

Экспериментальные исследования показали, что пациенты с поражением слухового коры не могут оценить созвучие (Peretz и др., 2001;. Tramo и др. 2001г.). В этой связи возникает вопрос о том, является ли источником музыкального восприятия периферические механизмы внутреннего уха, как предполагал Гельмгольц. Скорее можно предположить наличие нервных путей, которые специфичны для вычисления диссонанса, которые могут быть избирательно нарушены в результате повреждения головного мозга (Tramo и соавт., 2001).

Хотя теория биения гармоник Гельмгольца хорошо объясняет созвучность интервалов и приятность для восприятия, как показано выше, тем не менее, она не в состоянии объяснить многие явления, известные в литературе. Отчасти из-за этого, синхрония нервных импульсов предлагалась в качестве объяснения механизма слухового восприятия (Boomsliter, 1965; Palisca & Moore, 2001). Исследователи из Израиля (Inbal Shapira Lots & Lewi Stone, 2003) предлагают в качестве объяснения модель предпочтения простых соотношений частот в чистых тонах. Авторы считают, что это может быть естественным следствием нейронной синхронизации.

В последние десять лет многие исследования были посвящены нейроанатомическим и функциональным параллелям обработки музыкальной и лингвистической информации (Lehrdahl, 1983; Patel, 2003; Koelsch, 2000). Гипотезы о соотношении музыкальной и лингвистической систем сводятся в основном к предположениям о связи акустического контура или обертонового состава голоса с аналогичными характеристиками музыкального звука. Результаты недавних исследований показали, что консонансы обрабатываются не так как услышанные гласные звуки. Однако, гласные каким-то образом взаимодействуют с интервалами в процессе обработки или процессы обработки консонансов и гласных звуков связаны на одном из этапов (Kolinsky R., Pascale L., Peretz I., Besson M., Moris J., 2009).

С помощью специально разработанных компьютерных программ (В.Р. Женило) показано, что помимо известных в науке невербальных акустических средств эмоциональной выразительности (динамика силы и высоты голоса, амплитудный спектр обертонов; Морозов, 1977) имеет место смещение обертонов голоса по частотной шкале в зависимости от

характера выражаемой эмоции. Так, при нейтральной интонации и умеренной радости обертоны носят практически гармонический характер, а при выражении страха или гнева - специфичный для каждой эмоции дисгармоничный характер за счет смещения от своего гармонического положения в сторону повышения или понижения. Указанный эффект, названный авторами «феномен квазигармоничности» лежит в основе формирования у слушателя психологического портрета говорящего по невербальным особенностям его голоса (наряду с другими психоакустическими механизмами). Таким образом, созвучные, или консонансные, интервалы несут информацию об эмоциональном и физическом благополучии индивида и поэтому воспринимаются как приятные.

1.4. Современные исследования психофизиологии восприятия консонансов и диссонансов.

Чтобы понять роль консонансов и диссонансов в общем процессе восприятия и обработки музыки и речи, можно привести схему, где представлены основные блоки восприятия, обработки и порождения речи и музыки (в данном случае - пения).

Рис. 2. Модульная модель обработки музыки (по I. Robles).

Однако эта схема не отражает структур мозга, участвующих в описываемых процессах. Кёлып приводит модель восприятия музыки, которую он называет нейрокогнитивной. В ней он учитывает и процессы, и этапы обработки и соответствующие им процессы и мозговые структуры. По этой схеме видно, что обработка музыки сначала претерпевает разложение на характеристики, их последовательную обработку и выделение значения или смысла музыки и одновременное переживание связанных с этим значением эмоций. Анализ интервалов (консонансов и диссонансов) связан со стадией формирования слухового гештальта (образа). Он включает более детальную обработку между тонами аккорда (звуковысотные и ладовые отношения, инверсию и т.п.) или между тонами в последовательности, мелодии; возможно, более детальную обработку временных отношений и интервалов.

г

л

Значение ;Ы40СЛМ5, 250-550 тё Ваа 22р, 21/37

Выделение характеристик -1

Периодичность

Тембр Интенсивность Локализация

/ Выделение \ характеристик -2

ЗйуКП1!ЫГ:ПТНПГТЬ

Окраска звука Тембр (гладкость) громкость Локализация MI.Cs, Р1, N1 10-100 те

Формирование гештальта

Объединение мелодии и ритма ВА 22р

Анализ интервалов

Аккорды Мелодил Временные интервалы Ваэ 22а, 22р

Рис. 3.

Нейрокогнитивная

модель восприятия

музыки (по S. Koelsch,

2011). 21

Нейронные корреляты этого процесса на данный момент не известны, считает Келыи, но он предполагает, что в процесс обработки консонансных интервалов включены и височные, и нижние префронтальные области, которые также связаны с обработкой мелодий. Данные мозговых поражений показывают, что анализ мелодического контура (как части гештальта), а также интервальных отношений частично связан с задней частью правой верхней височной извилины обоих полушарий (Liegeos-Chauvel et al., 1998; Patterson et al., 2002; Peretz and Zattore, 2005).

1.5 Вызванная активность. Ранние компоненты вызванных потенциалов (N1, Р2) на музыкальные стимулы.

Самый популярный метод исследования вызванной активности на звуковой стимул - метод вызванных потенциалов. Необходимо учесть, что короткие звуковые стимулы прекрасно подходят для исследования этим методом. Чаще всего в качестве музыкальных стимулов исследователи берут музыкальные тоны (ноты) и их гармоничные или дисгармоничные сочетания (интервалы и аккорды) небольшой длительности. Работы, посвященные последним, представляют для нас наибольший интерес.

Ряд исследований вызванных потенциалов был посвящен проблеме связи обработки музыкальных и речевых стимулов. В качестве основной гипотезы некоторыми авторами (Koelsch, 2009) было выдвинуто предположение о сходстве механизмов и топографии обработки музыкального и лингвистического синтаксиса. Была принята парадигма последовательности аккордов, исследована амплитуда и топография ранней право-центральной негативности (ERAN). Это

электрофизиологический маркер обработки музыкального синтаксиса, который коррелирует с активностью в зоне Брока и его правополушарном гомотопе. Пациенты с повреждением левой нижней фронтальной борозды (IFG, но не anterior superior височная борозда - aSTG) с длительностью заболевания более 4 лет показывали ERAN с отклонениями от нормального распределения, а также небольшой поведенческий дефицит в определении ошибок музыкального синтаксиса. Эти совместные результаты говорят о том, что левая IFG, известная как ответственная за обработку синтаксиса речи, также играет функциональную роль в обработке музыкального синтаксиса. Таким образом, результаты этого исследования согласуются с данными о том, то зона Брока поддерживает обработку синтаксиса в общем виде.

Исследования когерентности (Passynkova, 2005, 2006) дают основание считать, что более сильная внутриполушарная связь в правом полушарии для консонансов по сравнению с диссонансами в диапазоне тета-ритма связана с оценкой данных аккордов как приятных. Связь между сенсорными компонентами воспринимаемого консонанса и внутриполушарная связь в левом полушарии в тета-2-диапазоне в этих же исследованиях интерпретируется, как когнитивный анализ вертикальной гармонической структуры.

Группа исследователей из Кореи (J. Y. Parka, P. Joong-il Kimb, H.-J. Parka, 2011) изучила восприятие консонансных и диссонансных аккордов с целью показать, что восприятие слуховых последовательностей связано, по их предположению, с гамма-колебаниями. Были проанализированы электроэнцефалограмма 18 субъектов без музыкального опыта во время прослушивания консонансных и диссонансных аккордов, а также музыкальных тонов. Заданием было подсчитывать количество одиночных тонов, которые они услышали. Фазонезависимую активность в диапазоне

гамма-ритма наблюдалось в правом полушарии на 170мс после начала стимула. Эта же гамма-активность значительно увеличилась при прослушивании консонансов по сравнению с диссонансами. Результаты этого исследования показали, что нейронная активность в полосе частот гамма может отражать особенности обработки физических отношений звуков.

1.6. Гипотезы обработки музыкальных интервалов головным мозгом человека.

Нейронные корреляты иерархии музыкальных тонов и их соотношений на корковом уровне у людей чаще всего исследуются посредством методов вызванных потенциалов (Krohn et al., 2007) и функциональной магнитно-резонансной томографии (Minati et al., 2008). Эти и другие исследования показали, что активность мозга особенно чувствительна к звуковысотным отношениям, являющимся основой музыки. И более того, если эти отношения консонансны, активация увеличивается по сравнению с диссонансами. Исследования на животных подтверждают эти данные: магнитуда фазо-связанной активности в слуховом нерве (Tramo et al., 2001), inferior colliculus (McKinney et al., 2001) и первичной слуховой коре (Fishman, 2001) коррелирует с восприятием консонансных и диссонансных интервалов. То есть, все вышеупомянутые исследования основываются на предположении о том, что предпочтение консонансных соотношений двух частот могут быть базовым процессом в обработке аудиального сигнала (Tramo, Zatorre and McGill, 2005; Trainor, 2008).

Некоторые исследователи приводят данные о том, что обработка гармонической структуры базируется на низких уровнях сенсорного

анализа и поэтому может быть причиной того, что консонансы более предпочитаемы. Они предположили, что фазосвязанная нейронная активность в стволе мозга может сохранять релевантную информацию на такие важные атрибуты музыки, как консонанс и диссонанс. Измеряя стволовые частотные ответы (FFR) у немузыкантов в ответ на дихотическое предъявление музыкальных интервалов, которые варьировались по, степени консонансности, были получены нейронные корреляты консонанса, диссонанса и иерархии музыкального тона в стволе мозга человека. Частотный спектр показал, что FFR достоверно представляющий гармонические компоненты обоих нот интервала, даже если они были предъявлены отдельно в разные уши. Консонансные интервалы в любом случае имеют более высокие спектральные магнитуды гармоник. (Bindelman, Ananthanarayan, 2009). Таким образом, была предложена модель первичной обработки гармонической структуры музыки на стволовом уровне.

Было показано, что колебания волны по времени показывают более чистую периодичность и более высокие амплитуды для консонансных интервалов, чем для диссонансных. К тому же диссонансные интервалы (малая секунда и большая септима) показывают значимое взаимодействие частотных компонентов как видно из их форм волны.

Есть точка зрения, что структуры, ответственные за обработку музыкальных стимулов созревают постепенно с возрастом. Эту гипотезу подтверждают исследования вызванной активности — вызванных потенциалов и частотно-временного анализа. (A. Shahin, J. Trainor, Е. Roberts, 2010).

1.7. Данные нейровнзуальных исследований восприятия

музыкальной гармонии

На данный момент существует немало исследований психофизиологии восприятия вертикальной гармонической структуры музыки человеком. Так, данные позитронно-эмиссионной томографии во время прослушивания испытуемыми созвучий-консонансов и диссонансов, показали, что в развитии эмоциональных реакций участвуют различные области. Аккорды-консонансы активизировали орбитофронтальную область правого полушария, а также часть области, расположенной под мозолистым телом. Аккорды-диссонансы вызывали активизацию правой парагиппокампальной извилины. Таким образом, в развитии эмоциональных переживаний, связанных с восприятием музыкальной гармонии, принимают участие две различные системы мозговых структур (A. Blood, 2001; Koelsch et al. 2006). Кроме того, в качестве ключевой структуры, отвечающей за обработку консонансности, выделяют миндалину (Ball et al. 2007; Koelsch et al. 2006). Данные поражений головного мозга подтверждают важность вовлечения в первую очередь парагиппокампальной коры, а не миндалины (Gosselin et al. 2006). Однако, есть и другие данные. Согласно Jaslin & Vastfjall (2010) диссонанс не может обрабатываться только одной из вышеуказанных структур. Более того, факты говорят, что возможно совершенно разные механизмы могут быть вовлечены в эмоциональный ответ на диссонанс и консонанс, а также что лежащие в основе этого процесса механизмы не являются основными.

Большое число нейровизуальных исследований музыкального восприятия было посвящено исследованию влияния цельных музыкальных произведений или их отрывков на активность головного мозга. Причем было достоверно показано, что за обработку музыкальных

произведений ответственны области верхне-височной и нижней фронтальной извилин левого полушария. Попытки выяснить, какие области мозга отвечают за анализ таких слагаемых музыки, как темп, тембр, метр, фразировку и звуковысотные отношения, сталкивались с некоторыми трудностями. Некоторые исследователи полагались на то, что «языковые области» вовлечены в обработку музыкального синтаксиса, но ни одно из них не поясняло, являются ли эти области необходимыми для нормальной обработки музыкального синтаксиса. В 2001 году Мэсс с соавторами показали, что музыкальный синтаксис обрабатывается в зоне Брока, а также предположили, что эта область может «обрабатывать информацию синтаксиса, что менее специфично для языка, чем думалось ранее». Однако, ни МЭГ ни фМРТ не способны прояснить, почему эти области мозга необходимы для обработки синтаксиса. Локализация источников в МЭГ сталкивается с неоднозначностью обратной проблемы, а результаты фМРТ обычно отражают корреляции между активированными частями мозга и результаты функций, полученных в результате вычитания двух условий. Другими словами, эти данные могут показать вовлеченность этих зон, даже если они не обязательны для обработки синтаксиса, что показывает поспешность выводов о том, что эти области являются необходимыми для обработки музыкального и/или лингвистического синтаксиса.

2. Особенности психофизиологии восприятия консонансов и диссонансов в зависимости от музыкального опыта.

Влияние фактора профильного обучения на обработку звуковых стимулов в головном мозге довольно ясно выражено, что показано в ряде работ. Так, исследования восприятия созвучной музыки

профессиональными музыкантами и меломанами-любителями и людьми без музыкального образования показали различность процессов обработки данных стимулов. В процессе прослушивания мелодий у людей без музыкального образования происходит преимущественная активация правого полушария, тогда как у музыкантов подобной асимметрии не наблюдается. Можно предположить, что у музыкантов данные стимулы вызывают более сложную когнитивную деятельность с оживлением ассоциативных связей при участии системы речи, что приводит к активации и левого полушария, а, следовательно, и устранению межполушарной асимметрии (Bever, Chiarello, 1974). Эту же гипотезу подтверждают современные данные, полученные отечественными учеными. Было показано, что гармонические категории мажора и минора при прослушивании соответствующих музыкальных отрывков у музыкально образованных людей (студентов класса композиции в консерватории) вызывают активацию фронто-центральных областей обоих полушарий (Р. N. Ermakov, L. A. Dikaya, I. A. Denisova, 2012).

Исследование финских ученых из университета Хельсинки показало, что музыкальное образование увеличивает быструю (в течение десятков минут) нейронную пластичность кодирования звука (Seppaanen М., Hamalainen J., Personen A., Tervaniemi М., 2012). Если рассматривать этот эффект более подробно, то заметим, что анализ источников вызванных потенциалов показал активацию источников N1 и Р2. Это указывает на более быстрое слуховое восприятие и обучение у музыкантов по сравнению с испытуемыми без музыкального опыта. Это подтверждается результатами исследований других авторов (Koelsch et al., 1999) о влиянии музыкального образования и обучения на особенности обработки не только звуковой, но и речевой, лингвистической информации.

Компоненты слухового вызванного потенциала (СВП) показывают более высокую чувствительность к реструктуризации слуховой коры в зависимости от опыта оценки музыкальных тонов у немузыкантов. По аналогии было показано, что у музыкантов эти компоненты СВП увеличиваются в зависимости от величины опыта. Так, в сравнении с немузыкантами, у музыкантов значимо увеличиваются амплитуды компонентов Nie (138 мс) и Р2 (185 мс) на одиночные чистые тоны). Как и в исследованиях с немузыкантами, увеличение Nie компонента было выявлено в префронтальной коре правого полушария, где предположительно происходит обработка спектра звукового тона.

Эквивалентные электрические диполи, связанные с компонентами N1 и Р2, локализованы во вторичной слуховой коре. Эти результаты показывают, что пластичность нейронов модифицируется в распределенных областях слуховой коры и связана с опытом обучения музыке у испытуемого. Исследователи делают вывод о том, что увеличение компонентов СВП у музыкантов на музыкальные тоны не связаны с генетическими или пренатальными причинами музыкальных способностей (А. Shahin, Daniel J. Bosnyak, Laurel J. Trainor and Larry E. Roberts, 2003).

Исследования, посвященные негативности рассогласования (mismatch negativity (MMN) — раннему компоненту вызванного потенциала, который может быть вызван простыми вариациями тона или последовательности в стандартной oddball парадигме, показали, что у музыкантов этот компонент латерализован слева (в ответ на последовательность тонов АААВ в стандартной oddball парадигме). Эти результаты могут говорить о более выраженной у музыкантов способности интегрировать информацию о последовательности тонов на больший временной промежуток. С помощью магнитоэнцефалографии

(МЭГ) было получено, что паттерн MMN может быть вызван общими, а не частными способностями, так как лежащие в основе процесса интеграции длинных последовательностей тонов увеличивается у музыкантов по сравнению с немузыкантами. Полученные данные могут также говорить о том, что вероятность распределения возможных паттернов последовательности тонов влияет на ожидания, а ранняя негативность может также быть показателем процесса избирательного внимания, а не локального следа памяти (S. Herholz, С. Lappe and С. Pantev, 2009).

Другие исследователи (W. Wanga et al., 2009), в рамках этой же парадигмы, предположили, что распознавание мелодии в музыке включает в себя обнаружение звуковысотных интервалов и пауз между последовательно представленными звуками. Они проверили гипотезу о том, что музыкальное обучение подростков облегчает возможность пассивного обнаружения последовательных моделей звуков по сравнению с музыкально нетренированными соответственно подобранными по возрасту испытуемыми. Было получено, что музыкально подготовленные подростки смогли обнаружить звуковые паттерны через более длительное время, чем их соответствующего возраста сверстники. Таким образом, музыкальная подготовка облегчает обнаружение слуховых паттернов, позволяющих автоматически распознавать последовательные звуки паттерна в течение длительных периодов времени.

Другой подход рассматривает различия, вызванные профильным образованием, уже на уровне нижних отделов мозга. Известно, что музыканты имеют опыт разбора мелодии на фоне гармонии, которая может рассматриваться как процесс, аналогичный процессу выделения речи из шума. В рамках исследования влияния музыкального опыта на нейронную обработку сигнал-шум или, по аналогии, речь-шум, Кларк и Парбери (Parbery, Clark, 2009) сравнили стволовые нейрофизиологические

ответы на речь в тишине и на фоне шума у группы профессиональных музыкантов и людей без музыкального образования. У музыкантов была обнаружена значимо более выраженная амплитуда стволового потенциала на акустические стимулы на фоне шума в тесте Hearing in Noise Test (HINT). Эти результаты показывают, что музыкальный опыт ограничивает негативное влияние конкурирующих фоновых шумов, таким образом выявляя первичную обработку слухового речевого стимула и выделение его на фоне шума уже на подкорковом уровне.

Исходя из вышеперечисленных данных, можно заключить, что музыкальное образование или опыт занятий музыкой ускоряют обработку слуховых стимулов, а также извлечение из памяти слуховой информации.

Выводы из теоретической части

• Определенные сочетания музыкальных тонов в интервале оцениваются как приятные, гладкие, созвучные и гармоничные вне зависимости от музыкального опыта и культурной традиции.

• Результаты исследований вызванной активности на консонансные и диссонансные интервалы говорят об их различном влиянии на биопотенциалы мозга.

• В результате накопления музыкального опыта увеличиваются амплитуды компонентов N1 и Р2 вызванного потенциала на слуховой стимул, то есть более быстрое слуховое восприятие и обучение у музыкантов по сравнению с испытуемыми без музыкального опыта.

Заключение диссертации по теме «Физиология», Масленникова, Александра Валерьевна

выводы

1. Выявлена более высокая вызванная спектральная мощность в верхнем (6-8 Гц) и нижнем (4-6 Гц) тета-диапазонах ритмов у профессиональных музыкантов, чем у немузыкантов, независимо от типа стимула.

2. При восприятии консонансных аккордов как более приятных происходит увеличение спектральной мощности по сравнению с диссонансными аккордами в указанных тета-диапазонах в префронтальных областях коры с пиком во фронтомедиальных отведениях для обеих экспериментальных групп.

3. Более высокая мощность тета-ритма у немузыкантов на консонансные аккорды по сравнению с диссонансами во фронтальных и центральных отделах коры левого полушария может указывать на более эмоциональное восприятие гармонии людьми, не имеющими музыкального образования или на большую интегрированность полушарий у профессионалов.

4. Амплитуда компонента N100 вызванного потенциала у музыкантов профессионалов значимо выше, чем у немузыкантов независимо от типа стимула, то есть у них имеет место более полная обработка свойств аудиальных стимулов и концентрация внимания, обусловленные опытом.

5. Амплитуда компонента Р200 вызванного потенциала у музыкантов значимо выше, чем у немузыкантов на оба типа стимулов, что позволяет говорить о большей эффективности обработки у музыкантов.

6. Различий в поздних компонентах (N600) вызванного потенциала не было выявлено.

Список литературы диссертационного исследования кандидат биологических наук Масленникова, Александра Валерьевна, 2013 год

БИБЛИОГРАФИЧЕСКИЙ УКАЗАТЕЛЬ

1. Александров Ю.И., Бастиаансе Р., Безруких М. М. Когнитивные исследования: Сборник научных трудов: Выпуск 4. М.: 2010 - с. 102.

2. Анохин П.К. Узловые вопросы теории функциональных систем. М.: Наука, 1978.-С. 42-51.

3. Анохин П.К. Биология и нейрофизиология условного рефлекса. М.: Медицина, 1968. - С. 36-39.

4. Базанова О.М. Современная интерпретация альфа-активности электроэнцефалограммы.Успехи физиологических наук. 2009. Т. 40. № 3. - С. 32-53.

5. Базанова О.М. Современная интепретацияальфа-активности ЭЭГ. Международный неврологический журнал. 2011. № 8. - с. 96-104.

6. Базанова О.М., Афтанас Л.И. Успешность обучения и индивидуальные частотно-динамические характеристики альфа-активности электроэнцефалограммы. Вестник Российской академии медицинских наук. 2006. № 6. - С. 30-33.

7. Балонов Л.Я., Деглин В.Л. Слух и речь доминантного и недоминантного полушарий. Л.: Наука. 1976. - С. 105-112.

8. Голубева Э.А. Способности и индивидуальность. М., 1993. - С. 103.

9. Данилова H.H. Психофизиологическая диагностика функционального состояния. М.: МГУ, 1992. - 354с.

Ю.Дарвин Ч. Выражение эмоций у человека и животных // Соч. М.: Наука, 1953. - С. 263.

П.Дмитриева Е.С., Гельман В.Я. Зайцева К.А., Орлов A.M. Влияние индивидуальных особенностей человека на акустические корреляты эмоциональной интонации речи.Журн. эвол. биохим. и физиол. 2010. Препринт.

12.Иваницкий A.M. Синтез информации в ключевых отделах коры как основа субъективных переживаний// Журн. высш. нервн. деят. 1997. Т. 47. Вып. 2. - С. 209-225.

И.Костандов Э.А. Функциональная асимметрия полушарий мозга и неосознаваемое восприятие. М.: Наука, 1983. - 256 с.

И.Костандов Э.А. Когнитивная гипотеза полушарий асимметрии эмоциональных функций человека. Физиол. человека 1993. 19(3):5-14.

15.Лурия А.Р. Язык и сознание. М.: МГУ, 1980. - С. 95-97.

16.Маунткасл В. Организующий принцип функции мозга -элементарный модуль и распределительная система// Эдельман Дж., Маунткасл В. Разумный мозг. М.: Наука, 1981. С. 15-67.

17.Морозов В.П. Невербальная коммуникация. Экспериментально-психологические исследования. М.: Наука, 2011. - С. 195-196, 213214.

18.Морозов В.П. Вокальная речь: психоакустические исследования // Материалы научной сессии, посвященной памяти Николая Андреевича Дубровского. М., 2009. - С. 167-196.

19.Морозов В.П. Психологический портрет человека по невербальным особенностям его речи // Юридический справочник руководителя. 2003. - С. 144-151.

20.Морозов В.П. Музыка как средство невербального воздействия на человека // Невербальное поле культуры. Матералы науч. Конференции «Невербальные коммуникации в культуре». М., 1995. - 432 с.

21.Морозов В.П., Дмитриева Е.С., Зайцева К.А., Карманова В.Ю., Суханова Н.В. возрастные особенности восприятия человеком эмоций в речи и пении // Журн. эвол. биохим. и физиол. 1983. Т. 19. -с. 289-292.

22.Натаанен Р. Внимание и функции мозга. М.: МГУ, 1998. - С. 25-35.

23.Орехов Ю. В., Голикова Ж.В. (Гарах), Стрелец В.Б. Психофизиологические показатели мысленного воспроизведения эмоциональных состояний в норме и у больных при первом приступе депрессии // Журн. высш. нерв.деят. 2004. Т.54. №.5. - С.592-599.

24.Панов E.H. Знаки. Символы. Языки. Коммуникация в царстве животных и в мире людей. М.: ЛКИ, 2010. - С. 105-114.

25.Павлов C.B., Афтанас Л.И., Варламов A.A., Рева Н.В. Анализ вызванной синхронизации и десинхронизации ЭЭГ при восприятии угрожающей и положительной эмоциональной информации: влияние фактора личностной тревожности. Журнал высшей нервной деятельности им.И.П.Павлова, 2004.-N 4. - С.473-481

26.Психология человека в современном мире. Том 4. Субъектный подход в психологии. История и современное состояние. Личность профессионала в обществе современных технологий. Нейрофизиологические основы психики. // Под редакцией А. Л. Журавлева, М. И. Воловиковой, Л. Г. Дикой, Ю. И. Александрова. 2009.

27.Русинов B.C., Гриндель О.М., Болдырева Г.И., Вапард Е.М. Биопотенциалы мозга человека. Математический анализ. М.: Наука, 1987.-321с.

28.Рутман Э.М. Вызванные потенциалы в психологии и психофизиологии. М.: Наука, 1975. - с. 21.

29.Сахаров Д.С., Давыдов В.И., Павлыгина P.A. Межцентральные отношения ЭЭГ человека при прослушивании музыки.// Физиология человека. 2005. Т. 31. № 4. с. 1-6.

30.Симонов П.В. Созидающий мозг. Нейробиологические основы творчества. М.: Наука, 1993. -213с.

31.Симонов П.В. Теория отражения и психофизиология эмоций. М., 1970.

32.Симонов П.В. Эмоциональный мозг. М., 1981. - 431с.

33. Сокол ов E.H., Данилова H.H. Нейронные корреляты функционального состояния мозга// Функциональные состояния мозга. М., 1976. С. 129-136.

34.Соколов E.H. Психофизиология научения: курс лекций. М.: МГУ, 1997.-263с.

35.В.Б. Стрелец, Ж.В. Тарах, В.Ю. Новотоцкий-Власов, P.A. Магомедов. Соотношение между мощностью и синхронизацией ритмов ЭЭГ в норме и при когнитивной патологии // Журн. высш. нерв.деят. 2005. Т.55. №.4. С.496-504.

36.Стрелец В.Б., Магомедов P.A., Голикова Ж.В. (Гарах), Новотоцкий-Власов В.Ю. Спектральная мощность и внутрикорковые

взаимодействия по бета2-ритму в норме и при шизофрении // Журн. высш. нерв.деят. 2004. Т.54. №.2. С.229-236.

37.Теплов Б.М. Избранные труды. М., 1988. - 524с.

38.Физиологические особенности положительных и отрицательных эмоциональных состояний. Вайншнейн И.И., Валуева М.Н., Мехедова А.Я., Михайлова Н.Г., Пигарева М.Л., Симонов П.В., Фролов М.В. М., Наука, 1972.

39.Шагас Ч. Вызванные потенциалы мозга в норме и патологии. М.: Наука, 1975.

40.Aftanas, L., Reva, N., Varlamov, A., Pavlov, S., and Makhnev, V. Analysis of evoked EEG synchronization and desynchronization in conditions of emotional activation in humans: Temporal and topographic characteristics. Neurosci. Behav. Physiol. 34, 8, 2004. P. 859-867

41.Blanco, S., Figliola, A., Quiroga, R., Rosso, O., and Serrano, E.. Time-Frequency analysis of electroencephalogram series. III. Wavelet packets and information cost function. Phys. Rev. E 57, 1, 1998, p.932—940.

42.Blood, A.J., Zatorre, R.J., Bermudez, P., Evans A.C. Emotional responses to pleasant and unpleasant music correlate with activity in paralimbic brain regions Nature Neuroscience 2, 382-387., 1999.

43.Boomsliter, P. & Creel, W. The long pattern hypothesis in harmony and hearing. Jnl. Music Theory 2-31., 1961.

44.Carlos W. Tuning: At the Crossroads. Computer Music Journal, Spring, 29-43, 1987.

45.Cartwright, H. E. J., Gonza'lez, D. L., Piro, O. Pitch perception: A dynamical systems perspective PNAS 98, 2001, 4855-4859.

46.Chanel, G., Kierkels, J., Soleymani, M., and Pun, T. Short-term emotion assessment in a recall paradigm. Int. J. Hum.-Comput. Stud. 67, 8, 2009, p. 607-627.

47.Chanel, G., Kronegg, J., Grandjean, D., and Pun, T. Emotion assessment: Arousal evaluation using EEG's and peripheral physiological signals. In Proceedings of the Conference on Multimedia Content Representation, Classification and Security. 2006, p. 530—537.

48.Chowning J. M. The Synthesis of Complex Audio Spectra by Means of Frequency Modulation. J. Audio Engineering Society, Vol. 21, 526-534, 1973.

49.Coan, J. and Allen, J. 2004. Frontal EEG asymmetry as a moderator and mediator of emotion. Biol. Psychol. 67, 1-2, 7—50.

50.Coombes, S. & Lord G.J. Intrinsic modulation of pulse-coupled integrate-and-fire neurons Phys., 1997. Rev. E 56, 5809-5818.

51.Cowie, R. 2010. Emotion-Oriented Systems: The Humaine Handbook. Springer.

52.Cowie, R., Douglas-Cowie, E., Tsapatsoulis, N., Votsis, G., Kollias, S., Fellenz, W., and Taylor, J. 2002. Emotion recognition in human-computer interaction. IEEE Signal Process. Mag. 18, 1, 32-80.

53.Ekman, P., Friesen, W. V., O'Sullivan, M., Chan, A., Diacoyanni-Tarlatzis, I., Heider, K., Krause, R., LeCompte, W. A., Pitcairn, T., and Ricci-Bitti, P. E. 1987. Universals and cultural differences in the

judgments of facial expressions of emotion. J. Person. Social Psychol. 53, 4, 712-717.

54.Ekman, P., Levenson, R. W., and Friesen, W. V. 1983. Autonomic nervous system activity distinguishes among emotions. Sci. 221, 1208— 1210.

55.Fishman YI, Volkov 10, Noh MD, Garell PC, Bakken H, Arezzo JC, Howard MA, Steinschneider M.Consonance and dissonance of musical chords: neural correlates in auditory cortex of monkeys and humans. J. Neurophysiol. 2001 Dec; 86(6):2761-88.

56.Fletcher N. H. and T. D. Rossing, The Physics of Musical Instruments, Springer-Verlag, 1991.

57.Fragopanagos, N. and Taylor, J. 2005. Emotion recognition in humancomputer interaction. Neural Netw. 18, 4, 389—405.

58.Gillick, L. and Cox, S. J. 1989. Some statistical issues in the comparison of speech recognition algorithms. In Proceedings of the International Conference Acoustics, Speech and Signal Processing. 532—535.

59.Goldberg S., Genetic Algorithms in Search, Optimization, and Machine Learning, Addison-Wesley, New York, NY (1989)

60.Guo, L., Rivero, D., Seoane, J., and Pazos, A. 2009. Classification of EEG signals using relative wavelet energy and artificial neural networks. In Proceedings of the ACM/SIGEVO Summit on Genetic and Evolutionary Computation. 177—184.

61.Hanjalic, A. and Xu, L. 2005. Affective video content representation and modeling. IEEE Trans. Multimedia 7, 1, 143—154.

62.Hartmann, W. M. Signais, Sound and Sensation. Springer-Verlag New York, Inc., 1998.

63.Healey, J. A. 2000. Wearable and automotive systems for affect recognition from physiology. Ph.D. thesis, MIT.

64.Heller W. Neuropsychological mechanisms of individual differences in emotion. Personality and arousal// Neuropsychology. 1993. Vol. 7. P. 476.

65.Helmholtz H., On the Sensations of Tones, Dover, New York (1954).

66.Helmholtz, H. Dover Publications, New York, Inc. On the sensations of tone as a physiological basis for the theory of music., 1877.

67.Ishino, K. and Hagiwara, M. 2003. A feeling estimation system using a simple electroencephalograph. In Proceedings of the IEEE International Conference Systems, Man and Cybernetics. Vol. 5. 4204-4209.

68.Itoh, K., Suwazono, S. &Nakada, N. Cortical processing of musical consonance: an evoked potential study. Neuroreport 14, 2003. P.2303-2306.

69.Jack, J.J.B, Nobel D., &Tsien, R.W. Electric current flow in excitable cells// Oxford Science Publications, New York, 1975.

70.Jaimes, A. and Sebe, N. 2007. Multimodal human-computer interaction: A survey. Comput. Vis. Image Understand. 108, 1-2, 116—134.

71.Kim, J. and André, E. 2008. Emotion recognition based on physiological changes in music listening. IEEE Trans. Pattern Anal. Mach. Intell. 30, 12, 2067-2083.

72.Kim, K., Bang, S., and Kim, S. 2004. Emotion recognition system using short-term monitoring of physiological signals. Med. Biol. Engin. Comput. 42,3,419-427.

73.Kirkpatrick S., C. D. Gelatt, M. P. Vecchi, "Optimization by Simulated Annealing," Science, vol. 220, No., 4598, May (1983).

74.Koelstra, S., Yazdani, A., Soleymani, M., Mühl, C., Lee, J.-S., Nijholt, A., Pun, T., Ebrahimi, T., and Patras, I. 2010. Single trial classification of EEG and peripheral physiological signals for recognition of emotions induced by music videos. In Proceedings of the International Conference Brain Informatics. Springer, 89—100.

75.Kolev, V., Demiralp, T., Yordanova, J., Ademoglu, A., and Isoglu-Alka?, Ü. 1997. Time-frequency analysis reveals multiple functional components during oddball P300. NeuroRep. 8, 8, 2061-2065.

76.Kostyunina, M. and Kulikov, M. 1996. Frequency characteristics of EEG spectra in the emotions. Neurosci. Behav. Physiol. 26, 4, 340—343.

77.Krause, C., Viemerö, V., Rosenqvist, A., Sillanmäki, L., and Äström, T. 2000. Relative electroencephalographic desynchronization and synchronization in humans to emotional film content: An analysis of the 4-6, 6-8, 8-10 and 10-12 Hz frequency bands. Neurosci. Lett. 286, 1, 912.

78.Lang, P. 1995. The emotion prob: Studies of motivation and attention. Amer. Psychol. 50, 5, 372-385.

79.Lang, P., Bradley, M., and Cuthbert, B. 2008. International affective picture system (IAPS): Affective ratings of pictures and instruction manual. Tech. rep. A-8, University of Florida, Gainesville, FL.

80.Lang, P., Greenwald, M., Bradeley, M., and Hamm, A. 1993. Looking at pictures- affective, facial, visceral, and behavioral reactions. Psychophysiol. 30, 3, 261-273.

81.Lin, Y., Wang, C., Jung, T., Wu, T., Jeng, S., Duann, J., and Chen, J. 2010. Eeg-Based emotion recognition in music listening. IEEE Trans. Biomed. Engin. 57, 7, 1798-1806.

82.Lisetti, C. L. and Nasoz, F. 2004. Using noninvasive wearable computers to recognize human emotions from physiological signals. EURASIP J. Appl. Signal Process., 1, 1672-1687.

83.Mathews M. V. and J. R. Pierce, "Harmony and Nonharmonic Partials," Journal of the Acoustical Society of America 68, 1252-1257 (1980).

84.Mathews M. V., J. R. Pierce, A. Reeves, and L. A. Roberts, "Theoretical and Experimental Explorations of the Bohlen-Pierce Scale," Journal of the Acoustical Society of America. 84, 1214-1222, 1988.

85.McFarland, R. A. 1985. Relationship of skin temperature changes to the emotions accompanying music. Biofeedback Self-Regul. 10, 3, 255—267.

86.McNemar, E. L. 1947. Note on the sampling error of the difference between correlated proportions or percentages. Psychometrika 12, 153— 157.

87.Minati L, Rosazza C, D'Incerti L, Pietrocini E, Valentini L, Scaioli V, Loveday C, Bruzzone MG. Functional MRI/event-related potential study of sensory consonance and dissonance in musicians and nonmusicians. Neuroreport. 2009 Jan 7; 20(l):87-92.

88.Mirollo, R. E. &Strogatz, S. H., Synchronization of pulse-coupled biological oscillators, SIAM Journal of Applied Mathematics 1990, 50: 1645-1662.

89.Morris, J. D. 1995. SAM: the self-assessment manikin. An efficient cross-cultural measurement of emotional response. J. Advertis. Res. 35, 8, 63— 68.

90.Mota, S. and Picard, R. 2003. Automated posture analysis for detecting learner's interest level. In Proceedings of the Computer Vision and Pattern Recognition Workshop. 49—49.

91.Palisca, C.V. & Moore, B.C.J. Consonance. The New Grove Dictionary of Music and Musicians (Sadie S. ed.) Oxford Univ. Press. 2001/

92.Peretz, I., Blood, A. J., Penhune V. &Zatorre, R. Cortical deafnessto dissonance. Brain vol. 124, 2001, p. 928-940.

93.Petrantonakis, P. and Hadjileontiadis, L. 2010. Emotion recognition from eeg using higher order crossings. IEEE Trans. Inf. Technol. Biomed. 14, 2, 186-197.

94.Pfurtscheller G, Woertz M, Muller G, Wriessnegger S, Pfurtscheller K. Contrasting behavior of beta event-related synchronization and somatosensory evoked potential after median nerve stimulation during finger manipulation in man. Neurosci Lett. 2002 Apr 26; 323(2): 113-6.

95.Pfurtscheller G, Woertz M, Supp G, Lopes da Silva FH. Early onset of post-movement beta electroencephalogram synchronization in the supplementary motor area during self-paced finger movement in man. Neurosci Lett. 2003 Mar 20; 339(2): 111-4.

96.Picard, R. W., Vyzas, E., and Healey, J. 2001. Toward machine emotional intelligence: Analysis of affective physiological state. IEEE Trans. Pattern Anal. Mach. Intell. 23, 10, 1175—1191.

97.Pierce J. R.. Attaining Consonance in Arbitrary Scales. Journal of the Acoustical Society of America. 40, 249, 1966.

98.Plomp R. and W. J. M. Levelt. Tonal Consonance and Critical Bandwidth. Journal of the Acoustical Society of America. 38, 548-560, 1965.

99.Plomp, R. &Levelt, W.J.M. Tonal consonance and critical bandwidth, Acoust. Soc. Am. 38, 1965, p. 548-560.

100. Plutchik, R. 2001. The nature of emotions. Amer. Sci. 89, 344.

101. Roederer, J. G. Introduction to the physics and psychophysics of music. Springer-Verlag New York Inc, 1975.

102. Rosso, O., Blanco, S., Yordanova, J., Kolev, V., Figliola, A., Schiirmann, M., and Baar, E. 2001. Wavelet entropy: a new tool for analysis of short duration brain electrical signals. J. Neurosci. Methods 105, 1,65-75.

103. Russell, J. A. 1980. Acircumplex model of affect. J. Personal. Social Psychol. 39, 6, 1161-1178.

104. Samson, S. &Zatorre, R.J. Contribution of the right temporal lobe to musical timbre discrimination. Neuropsychologia. 1994 Feb; 32(2):231-40.

105. Savran, A., Ciftci, K., Chanel, G., Mota, J. C., Viet, L. H., Sankur, B., Akarun, L., Caplier, A., and Rombaut, M. 2006. Emotion detection in

the loop from brain signals and facial images. In Proceedings of the eNTERFACE 2006 Workshop.

106. Schaaff, K. and Schultz, T. 2009. Towards emotion recognition from electroencephalographic signals. In Proceedings of the International Conference Affective Computing and Intelligent Interaction and Workshops. 1—6.

107. Schellenberg E. G. and Trehub S. E. Frequency ratios and the discrimination of pure tone sequences, Percept. Psychophys. 1994, 56: 472-478.

108. Schellenberg E. G. and Trehub S. E., Children's discrimination of melodic intervals, Dev. Psychol. 1996, 32: 1039-1050.

109. Schellenberg, E.G. &Trehub, S.E. Frequency ratios and the perception of tone patterns. Psychonomic Bulletin & Review 1, 1994, p. 191-201.

110. Schellenberg, E.G. & Trehub, S.E. Natural musical intervals: evidence from infant listeners. Psychological Science, vol.7, 1996, p. 272-277.

111. Schuster, H.G. Deterministic Chaos. VCH Weinheim., 1995.

112. Sebe, N., Cohen, I., Gevers, T., and Huang, T. 2006. Emotion recognition based on joint visual and audio cues. In Proceedings of the 18th International Conference on Pattern Recognition. Vol. 1. IEEE, 1136-1139.

113. Seppaanen M., Hamalainen J., Personen A., Tervamiemi M. Music traning enhances rapid neural plasticity of N1 and P2 source activation for unattended sounds. Front. HumanNeurocsi. 2012. 6, 43, 1-13.

114. Sethares W. A.. Local Consonance and the Relationship Between Timbre and Scale. Journal of the Acoustical Society of America. 41, 236256, 1998.

115. Shannon, C. 2001. A mathematical theory of communication. ACM SIGMOBILE Mob. Comput. Comm. Rev. 5, 1, 3-55.

116. Slaymaker F. H., "Chords from Tones Having Stretched Partials," Journal of the Acoustical Society of America. 47, 1469-1571, 1968.

117. Stone, L. A nonlinear model of consonance and dissonance. Adams Super-Center for Brain Studies, Report, 2000.

118. Sutton, S. and Davidson, R. 1997. Prefrontal brain asymmetry: A biological substrate of the behavioral approach and inhibition systems. Psychol. Sci. 8,3,204-210.

119. Tenney, J.A. History of consonance and dissonance. Excelsior Music Publishing co. NY, 1988.

120. Tramo, M.J., Cariani, P. A., Delgutte, B. &Braida, L.D. 2001 Neurobiological foundations for the theory of harmony in western tonal music. Annals of the New York Academy of Sciences 930, 92-116.

121. Unser, M. 2002. Splines: A perfect fit for signal and image processing. IEEE Signal Process. Mag. 16, 6, 22—38.

122. Ververidis, D. and Kotropoulos, C. 2006. Emotional speech recognition: Resources, features, and methods. Speech Comm. 48, 9, 1162-1181.

123. Wang, J. and Gong, Y. 2008. Recognition of multiple drivers' emotional state. In Proceedings of the International Conference Pattern Recognition. 1--4.

124. Yazdani, A., Lee, J., and Ebrahimi, T. 2009. Implicit emotional tagging of multimedia using eeg signals and brain computer interface. In Proceedings of the 1st SIGMM Workshop on Social Media. ACM, 8188.

125. Yazdani, A., Vesin, J., Izzo, D., Ampatzis, C., and Ebrahimi, T. 2010a. The impact of expertise on brain computer interface based salient image retrieval. In Proceedings of the IEEE Annual International Conference on Engineering in Medicine and Biology Society (EMBC), IEEE, 1646-1649.

126. Yazdani, A., Vesin, J., Izzo, D., Ampatzis, C., and Ebrahimi, T. 2010b. Implicit retrieval of salient images using brain computer interface. In Proceedings of the 17th IEEE International Conference on Image Processing (ICIP). IEEE, 3169-3172.

127. Yeasin, M., Bullot, B., and Sharma, R. 2006. Recognition of facial expressions and measurement of levels of interest from video. IEEE Trans. Multimedia 8, 3, 500-508.

128. Yordanova, J., Kolev, V., Rosso, O., Schiirmann, M., Sakowitz, O., Ozgoren, M., and Basar, E. 2002. Wavelet entropy analysis of event-related potentials indicates modality-independent theta dominance. J. Neurosci. Methods 117, 1, 99-109.

129. Zatorre, R.J., Evans, A.C. & Meyer E. Neural mechanisms underlying melodic perception and memory for pitch. J Neurosci. 1994 Apr; 14(4): 1908-19.

130. Zeng, Z., Pantic, M., Roisman, G. I., and Huang, T. S. 2009. A survey of affect recognition methods: Audio, visual, and spontaneous expressions. IEEE Trans. Pattern Anal. Mach. Intell. 31,1, 39-58.