Модальность системы внимания и синтаксический выбор в английском и русском языках тема диссертации и автореферата по ВАК РФ 19.00.02, кандидат наук Походай Михаил Юрьевич

• Походай Михаил Юрьевич
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Походай Михаил Юрьевич

Оглавление

Введение

Общая характеристика работы Теоретическая новизна Гипотезы

Методы исследования

Выборка

Результаты

Ключевые результаты и выводы Список литературы

15

15

16

16

18

20

24

28

Приложение А Pokhoday M. Y., Shtyrov Y. Y., Myachykov A. Effects of visual priming and event orientation on word order choice in Russian sentence production //Frontiers in Psychology. - 2019. - Т. 10. - С

Приложение Б Pokhoday M., Scheepers C., Shtyrov Y., Myachykov A. Motor (but not auditory) attention affects syntactic choice // Plos One. 2018. P

Приложение В Pokhoday M., Myachykov A. Effects of Auditory and Visual Cueing of Attention on Syntactic Choice in Sentence Production. // Psychology. Journal of the Higher School of Economics. 2018. No. 15(2). P

Введение

Окружающий нас мир находится в постоянном движении. Необходимость описывать происходящие события накладывает определенные требования на нашу речь. К таким требованиям, например, можно отнести выбор подходящей грамматической структуры предложений для корректного отражение реальности. Такой процесс использует т.н. выделенность (ряд параметров, определяющих очередность восприятия объектов, например: размер, одушевленность, цвет и т.д.) описываемого объекта как составной компонент, который приводит к взаимодействию между постоянным автоматическим картированием объектов видимой сцены, структурным положением частей предложения и грамматическими связями между ними. В этом процессе восприятие обрабатывает поступающую информацию для последующего концептуального и лингвистического кодирования. Информация систематически фильтруется, отбирается и передается через взаимодействие между вниманием и его производными в области мозга, отвечающие за речь. В результате речь говорящего обычно правильно отражает концепцию события, а также состояние внимания говорящего, например, направление фокуса внимания.

Разберем пример. Представьте себе изображение, на котором мальчик целует девочку. В английском языке (мы рассматриваем английский язык, так как наибольшее количество исследований процессов порождения речи и их взаимодействия с системой внимания проведены на англоязычных испытуемых) данное событие имеет несколько вариантов описания:

(a) The boy is kissing the girl.

(b) The girl is kissed by the boy.

(c) It's the girl that the boy is kissing.

Эти варианты являются примером трех отдельных структурных сценария:

(a) Активный залог, где the boy выступает в роли субъекта и стартовой точки предложения, а the girl - сказуемого на финальной позиции.

(b) Пассивный залог, где the girl выступает в роли субъекта и стартовой точки предложения, а the boy наречие на финальной позиции.

(c) Предложение, где the girl является комплементарным сказуемым главной фразы, а the boy именная часть изложенного изъяснительного придаточного.

Одним из важных вопросов является процесс выбора между данными структурами и то, какую роль играет система внимания в этом процессе. Для начала стоит определить нулевую гипотезу - внимание не влияет на данный процесс. Далее, я опровергну эту гипотезу, приведя данные об участии внимания в процессе выбора структуры предложения, и рассмотрю, как конкретно это происходит.

Существует несколько вариантов того, как внимание влияет на синтаксический выбор. Возможно внимание подталкивает говорящего назначить на роль подлежащего более "выделенного" объекта или референта. С другой стороны, внимание может влиять на порядок кодирования референтов или объектов на соответствующие позиции в предложении, где более «выделенный» референт кодируется раньше, а соответственно и позиционируется раньше в процессе поэтапного порождения предложения. MacWhinney (1977) предположил, что выделенные референты чаще занимают стартовую позицию в предложении, что, в свою очередь, определяет последующую структуру предложения. В противовес данному позиционному подходу (Irwin, Bock, and Davidson, 2004), Tomlin (1995, 1997) сделал предположение о том, что говорящие применяют различные грамматические стратегии для передачи слушателю информации о наиболее выделенном референте (grammatical role hypothesis). Так, в английском языке наиболее выделенному референту может быть назначена роль подлежащего, а в русском говорящий упомянет этого референта раньше всех остальных.

Рассмотрим экспериментальные доказательства связи системы внимания и языка. Научные исследования приводят структурные, связанные с развитием и

поведенческие примеры взаимодействия механизма порождения речи и системы внимания. Как известно, различные поведенческие процессы и механизмы очень часто используют одни и те же области коры головного мозга. Например, исследования чтения с помощью методов нейровизуализации (fMRI, EEG и т. д.) показали наличие областей мозга отвечающих за объединение букв в слова, ассоциацию букв со звуками и за ввод данных в семантический лексикон. Так, в задней части левой веретенообразной извилины, отвечающей за обработку зрительной информации, происходит преобразование отдельных букв в слова (McCandliss et al. 2003). В то же время те же области в правом полушарии участвуют в восприятии и распознавании лиц (Kanwisher et al. 1997). Считается что эти области группируют визуальные элементы и обрабатывают сложные формы, а также и другие типы информации (Gauthier et al. 1999). Благодаря пластичности мозга зона Брока играет важную роль в некоторых проявлениях неречевой моторной активности (например, Pulvermuller and Fadiga 2010). Исследования структурных вызванных потенциалов (structural ERPs) в процессе лексического поиска зафиксировали большую зону активации в передней поясной извилине (Abdullaev and Posner 1998; Raichle et al. 1994). В то же время эта область активируется при решении конфликтов и участвует в контроле внимания (Fan et al. 2002; Petersen and Posner 2012). Исследование с использованием фМРТ (Newman et al. 2001) показало, что при синтаксических нарушениях происходит сильная активация в верхних частях лобных долей. Эти области также активируются в процессе контроля системы внимания. Кроме этого, исследования вызванных потенциалов (ВП) при синтаксических нарушениях подтверждают существование двух электрофизиологических показателей обработки лингвистической информации: ранней левой передней негативности (early left anterior negativity - eLAN) и/или поздней позитивной волны с пиком на 600мс (P600) (Hagoort et al. 1993). Можно сделать вывод, что мозг обладает определенным инструментарием мыслительных процессов, а не конкретными единицами репрезентаций (лингвистических или нелингвистических).

Связь между вниманием и языком можно проследить и в процессе детского развития (Matthews and Krajewski, 2019). В период раннего языкового развития ребенка взрослые активно используют направление взгляда в процессе обучения. Индивидуальное и совместное направление взора младенцев и взаимодействующих с ними взрослых отражает происходящий процесс обучения (Dominey and Dodane 2004; Estigarribia and Clark 2007). Взаимодействие между вниманием и языком, образующееся в процессе научения является фундаментом для развития более сложной системы картирования семантики на грамматическую структуру. Проявления данной системы встречаются у детей уже в 2-х и 3-х летнем возрасте. Вместе с тем, при прослушивании предложений, дети смотрят на тех референтов, о которых в конкретный момент идет речь (Arunachalam and Waxman 2010; Yuan and Fisher 2009). В целом исходя из влияния внимания на развитие языка, можно предположить наличие взаимосвязи между положением фокуса внимания и структуры предложения в процессе порождения речи.

Перцептивный прайминг

Парадигма перцептивного прайминга — это вариант парадигмы зрительного маркирования внимания Posner (1980). Цель парадигмы -исследование системы внимания и ее компонентов: механизма ориентирования, контроля и поддержания. Данные механизмы тестируются простой задачей на реакцию на зрительный стимул: испытуемый должен нажать на клавишу, как только увидит зрительный стимул в одном из двух квадратов слева и справа от точки фиксации в центре монитора. Независимой переменной в данном случае выступает маркер (прайм или подсказка), направляющий внимание к левому или правому квадрату перед появлением там стимула. Важно, что маркер не всегда точно предсказывает положение стимула. Обычно применяется соотношение 80 конгруэнтно/ 20 не конгруэнтно. Маркеры подразделяются на несколько типов: эксплицитные (осознаваемые) и имплицитные (неосознаваемые до ~75 мс), эндогенные (смещение фокуса внимания происходит после обработки стимула, например, стрелки) или экзогенные (смещение фокуса внимания вызывается извне, например, один из стимулов подсвечивается), информативные (сам маркер несет информацию - например, перед предъявлением клоуна, испытуемому демонстрируется красный нос) или неинформативные (в самом маркере не заложено информации об объекте или событии). Результатом работ Майкла Познера стали данные о процессе смещения фокуса внимания, его скорости, а также о роли разных механизмов внимания.

В экспериментах с использованием перцептивного прайминга участнику предлагается описать изображения событий, происходящих между референтами или объектами. Перед предъявлением события испытуемым предъявляется маркер, в который заложена информация либо о событии в целом (структурный прайминг), либо о положении референта/объекта (перцептивный прайминг). В одном из первых экспериментов с перцептивным праймингом ТотНп (1995) показывал участникам короткий мультфильм (Рис.1), в котором происходило взаимодействие между двумя референтами (рыбками). Две рыбки разных цветов

приближались друг к другу, затем одна из них съедала другую. В момент появления на экране над одной из рыбок (в 50% случаев над рыбкой-агенсом (совершающей действие), в 50% над рыбкой-пациенсом (акцептором действия)) находился эксплицитный маркер - стрелка, направленная на рыбку. Задачей участников было параллельно с развитием данного незамысловатого сюжета описывать его. Результаты показали, что в 100% случаев, когда маркер направлял фокус внимания на агенса, участники использовали активный залог («The white fish ate the grey fish»). В то же время, когда маркер указывал на пациенса участники в более чем 90% случаев использовали пассивный залог («The grey fish was eaten by the white fish»). Tomlin (1995) предположил, что маркирование внимания продвигает назначение роли субъекта маркированному референту в английском языке, тем самым влияя на выбор грамматической структуры предложения.

Рис. 1 Стимульный материал FishFilm

Однако методология данного эксперимента подверглась серьёзной критике

(Bock et al. 2004). Среди основных пунктов были повторяющееся использование

одного и того же стимульного материала, использование эксплицитного маркера,

инструкций обращать внимание на рыбку, на которую направлен маркер, и

параллельное предъявление маркера и референта. Ясно, что в реальности

выделенность референтов не так очевидна. Для более четкого понимания роли

внимания в выборе структуры предложения требовалось применить более

9

имплицитную манипуляцию. Gleitman и коллеги ^1ейтап et а1. 2007) провели исследование, в котором предъявляли статичные картинки транзитивных действий между двумя референтами, с учетом критики работ ТотНп (1995, 1997). Для перцептивный прайминга использовался визуальный маркер (черный квадрат), предъявляемый до стимула на месте маркируемого референта в течение 65 мс. Вследствие имплицитности манипуляции, участники не замечали маркер. Однако маркирование проходило успешно, что подтверждается анализом глазодвигательной активности. Заполняющий материал позволил избежать образования языковых стратегий. В результате в условии маркирования пациенса говорящие на 10% чаще использовали пассивную структуру предложения, что гораздо выше вероятности случайного порождения структуры.

Перцептивный прайминг в языках с другим порядком слов

Исследования, описанные ранее, проводились на англоязычных выборках. Важно отметить, что английский язык - это язык со строгим порядком слов подлежащее-сказуемое(глагол)-объект (SVO). Например, при описании транзитивного события англоговорящему чаще всего на выбор доступны структуры с активным и пассивным залогом. В результате подлежащее в Английском языке очень часто пересекается со стартовой точкой предложения. Этот факт усложняет процесс отделения позиционной гипотезы (Bock and colleagues) от грамматической (Myachykov and Tomlin) на назначение субъекта. Для определения роли строгости порядка слов в языке рассмотрим исследования из языков с отличным от английского каноническим порядком слов.

В трех недавних исследованиях отмечается влияние перцептивного прайминга внимания в русском (Myachykov and Tomlin 2008), финском (Myachykov et al. 2011), и корейском (Hwang and Kaiser 2009) языках на структуру предложений. Эти три языка обладают свободным порядком слов и независимого от положения подлежащего, сказуемого и/или глагола предложения остаются грамматически верными. В русском и финском, как и в английском преобладает порядок слов подлежащее-сказуемое-объект (SVO), но в отличие от английского предложения могут начинаться и со сказуемого, и с объекта, что предполагает большое разнообразие возможных тематических конструкций. В корейском языке превалирует форма подлежащее-объект-сказуемое, где есть вариативность в позиции подлежащего и объекта, а сказуемое всегда идет в конце. Важно отметить, что в этих языках также существует возможность выбора залога, однако эта возможность практически не используется и не так распространена (например, Siewierska 1988; Vilkuna 1989; Zemskaja 1979) как в английском языке (например, Svartvik 1966).

Myachykov and Tomlin (2008) проверили гипотезу о влиянии внимания на синтаксический выбор с использованием изображений транзитивных событий в Русском языке, используя методологию FishFilm (Tomlin, 1997). Они

предположили, что визуально маркированному референту будет назначаться роль субъекта и, что тем самым подтолкнет русскоговорящих испытуемых, как и англоговорящих, делать выбор между активной и пассивной структурой в процессе порождения предложений. С другой стороны, русскоговорящие могли опираться на механизм тематизации, что при условии маркирования пациенса должно приводить к увеличению количества предложений, начинающихся сказуемым. После маркирования пациенса русскоговорящие порождали на 20% больше активных структур, начинающихся сказуемым (плюс порядка 2% пассивных структур). Эти результаты значительно слабее, чем результаты Tomlin (1995), при том, что эксперимент полностью реплицировал работу Tomlin (1995).

В недавней работе Myachykov и коллеги (2011) сравнивали влияние перцептивного прайминга внимания в английском и финском языках. Взяв за основу процедуру Gleitman и коллег (2007), применялся имплицитный (70мс) зрительный маркер. Результаты в целом совпадали с результатами Gleitman и коллег (2007). Было обнаружено влияние позиции маркера - участники порождали 94% предложений с активным залогом, когда маркер смещал внимание на агенса и 74% при маркировании пациенса. Однако стоит учитывать различие пассивных структур в финском и русском. В финском пассивный залог применяется редко и не сопровождается эксплицитной структурной аналога by-фразы из английского языка (Kaiser and Vihman 2006). Таким образом, добиться применения пассивного залога во взаимодействии двух референтов крайне сложно. В то же время тематизация одинаково вероятна и в русском, и в финском языках. Следовательно, можно предположить обнаружение влияния перцептивного прайминга внимания в финском языке в виде тематизации. Однако, значимого эффекта обнаружено не было, при том, что маркирование успешно смещало фокус внимания на маркируемого референта (как показал анализ глазодвигательных данных). Сопоставимые результаты были получены в исследовании корейского языка (Hwang and Kaiser, 2009), где маркер успешно смещал фокус внимания в сторону маркируемого референта, однако это не дало

эффекта прайминга и не оказало влияния на структурный выбор.

12

Вместе вышеописанные результаты предполагают существование специфических языковых различий того, как внимание воздействует на структуру предложения. До сих пор не ясна природа этих различий. Предположительно редкость применения пассивного залога в русском и финском накладывает определенные ограничения на назначение роли подлежащего праймированному референту-пациенсу и порождение соответствующей грамматической структуры. К таким же выводам приходят Hwang и Kaiser о корейском языке, в котором, по их мнению, существует сильная канонизация активного залога, а пассив ярче выделен, чем в английском языке. Важным результатом вышеописанных работ стали данные о том, что применение имплицитного маркирования привело к снижению праймингового эффекта (Gleitman et al. 2007; Tomlin 1995). Такой же эффект обнаружен и в русском языке (Myachykov and Tomlin 2008), однако не настолько ярко выраженный. Следовательно, можно сделать вывод, что в языках со свободным порядком слов эффект перцептивного прайминга слабее, чем в языках со строгим порядком слов. Одним из объяснений может быть работа механизма назначения грамматических ролей и механизм линейного назначения референтов - как уже выяснилось выше, одна из целей этих механизмов -отразить направление фокуса внимания испытуемого. Механизм назначения грамматической роли активируется в первую очередь, тогда как линейное назначение референтов происходит в случае, когда первый механизм по каким-то причинам не срабатывает. В английском данные механизмы активируются одновременно, усиливая эффект маркирования внимания. Однако в русском и финском языках чаще всего работает только механизм линейного назначения референтов, так как использование пассивного залога ограничено особенностями языков. Этим фактом обуславливается слабый эффект прайминга в русском (Myachykov and Tomlin, 2008) и отсутствие эффекта как такового в финском (Myachykov et al. 2009) и корейском (Hwang and Kaiser, 2009) языках.

В итоге можно сделать ряд выводов, о связи внимания и выбора структуры предложений: (1) фокус внимания на референте влияет на назначение этого референта на роль подлежащего, что доказано в языках как со строгим, так и со

13

свободным порядком слов и различной канонической грамматической структурой; (2) маркеры зрительной модальности эффективно смещают фокус внимания испытуемых, что отражается в выборе грамматической структуры предложений в языках; (3) языковые различия играют важную роль в процессе синтаксического выбора.

Введение диссертации (часть автореферата) на тему «Модальность системы внимания и синтаксический выбор в английском и русском языках»

Общая характеристика работы

Теоретическая новизна

Вопрос об универсальности вышеописанных механизмов с точки зрения модальности системы внимания остается открытым. Современные исследования говорят об универсальности системы внимания (например, Spence, 2010; Kostov and Janyan, 2012). Например, Kostov and Janyan (2012) в исследовании возможности взаимодействия с объектами (manipulation affordances) обнаружили, что перцептивный прайминг внимания звуковым маркером создает так называемый аффорданс-эффект (испытуемый быстрее реагирует на положение рукоятки объекта в конгруэнтном условии прайминга, чем не в конгруэнтном). В нашем случае этот результат интересен тем, что он реплицирует результаты исследований возможности взаимодействия с объектами с применением зрительных маркеров. Следовательно, можно сделать вывод, что манипуляцию фокуса внимания можно совершать посредством звуковых маркеров. Результаты экспериментов Spence (2010), в которых рассматривалось влияние уни- и бимодальных зрительных, звуковых и моторных маркеров на смещение фокуса внимания, подтверждают данный вывод. Комбинации маркеров в конгруэнтных условиях также были эффективнее, чем в унимодальные маркеры и неконгруэнтные условия. Исходя из этого, возникает вопрос о том, как себя проявят маркеры разных модальностей в парадигме перцептивного прайминга внимания в языках с разной грамматической структурой и свободой. Данная диссертация ставила перед собой цель определить, как модальность предъявляемого перцептивного эксплицитного маркера влияет на синтаксический выбор при порождении предложений. Задачи:

1. Поиск актуальной проблемы в литературе.

2. Выдвижение и обоснование гипотезы.

3. Построение экспериментов.

4. Сбор данных русско- и англоязычных испытуемых.

5. Анализ полученных данных.

6. Публикация результатов в международных рецензируемых журналах и выступление с результатами на международных конференциях.

7. Написание и защита диссертации.

Гипотезы

В этой работе я проверял гипотезы о том, что:

1. Зрительное внимание влияет на синтаксический выбор;

2. Звуковые и моторные маркеры влияют на синтаксический выбор и что это влияние отражается на грамматической структуре порождаемых предложений;

3. Грамматическая структура языка (свободный/строгий порядок слов) влияет на взаимосвязь между системой внимания и языка;

4. Направление события играет роль при выборе грамматической структуры.

Методы исследования

В экспериментах фокус внимания чаще всего смещается с применением

парадигмы маркирования (Posner, 1980), которая уже описывалась выше. В этой диссертации перцептивный прайминг происходил путем предъявления маркера/ов одной из трех модальностей: зрительной (красный круг 100х100 пикселей, 500мс), звуковой (звуковой «бип» сигнал из левого или правого канала, продолжительность 500мс) или моторной (синий или зеленый круг в центре экрана, предъявляемый до нажатия на соответствующую цвету латерально расположенную клавишу). Для того чтобы избежать дополнительных воздействий на испытуемых во всех экспериментах была сбалансирована направление событий (слева-направо и справа-налево), а в русскоязычных экспериментах направление события использовалась в качестве независимой переменной. Кроме того, контролировался фокус внимания испытуемых до предъявления маркера, с целью избежать предвзятости внимания. Для контроля позиции фокуса внимания использовалась методика айтрекинг (Holmqvist et al 2011). Все эксперименты (кроме первого англоязычного, который был создан в ПО Microsoft Power Point) были созданы в ПО Experiment Builder (ver. 2.1.140 SR Research Ltd., Ottawa,

Canada). Эксперимент проводился на айтрекере Eyelink 1000+. Это стационарный айтрекер с возможностью записи движений глаз до 2000 кадров в секунду, в данном эксперименте запись велась на частоте 1000 кадров. Записывался правый глаз испытуемых. Положение глаз записывалось во время каждого отдельного экспериментального предъявления (Рис.2). Важнейшей метрикой являлась точка фиксации до предъявления маркера. По стандарту это был центр монитора. Маркер предъявлялся только в результате фиксации в центре монитора (на черном фиксационном кресте) в течение 150мс.

Рассмотрим дизайн экспериментов. Всего было проведено 6 экспериментов: три на английских выборках (Эксп.1,2,3) и три на русскоязычных выборках (Эксп.4,5,6). В англоязычных экспериментах зависимой переменной было количество предложении с пассивным залогом. В русскоязычных экспериментах, вследствие редкого использования пассивного залога за зависимую переменную был взят порядок слов (механизм линейного назначение референтов), а именно выдвижение объекта на первую позицию в результате маркирования. Независимыми переменными были выбраны: во всех экспериментах: (1) позиция маркера на агенсе или пациенсе; (2) в англоязычных экспериментах: модальность маркера; (3) в русскоязычных экспериментах: направление события.

Стимульным материалом были выбраны, как и в предыдущих работах в

этой области, транзитивные события, происходящие между двумя референтами -

агенсом (актант) и пациенсом (акцептор). Всего 6 действий: hit, shoot, chase, touch,

17

push, kick в английских экспериментах или бить, стрелять, преследовать, трогать, толкать, пинать между 15-ью референтами (художник, повар, клоун, ковбой, монах, монахиня, пират, полицейский, пловец, балерина, профессор, официантка, вор, боксер и солдат). Пример транзитивного события можно увидеть на Рис.3. В качестве заполняющего материала использовались события с одним одушевленным референтом и одним объектом («Пират держит шляпу»); дитранзитивные события («Официантка дает торт моряку»). Кроме заполняющего материала, для снижения структурной предвзятости каждое событие между двумя референтами предъявлялось испытуемому только в одном условии.

Для каждого из экспериментов была установлена выборка в 24 испытуемых. Валидность данной выборки была подтверждена в предыдущих работах (Myachykov et al, 2012), а также поддержана post hoc анализом силы прайминг эффекта (Mahowald et al, 2016). В 6-ти экспериментах поучаствовало 144 испытуемых - 72 русско- и 72-англоязычных. Испытуемые набирались из числа

Рис. 3. Транзитивное событие «Повар стреляет в монаха»

Выборка

студентов и сотрудников НИУ ВШЭ и университета Нортумбрии, Ньюкасл, Великобритания. Все участники получали денежное вознаграждение за участие в эксперименте (из расчета 250 рублей в час или 5 фунтов в час). Прежде чем принять участие в эксперименте, испытуемые подписывали информированное согласие, объясняющее условия участия в эксперименте. В 144 испытуемых не входят участники, которые: (1) отказались от участия в эксперименте в процессе эксперимента (2 чел.); (2) обладали расстройствами системы внимания или языка (4 чел.); испытуемые, у которых Русский или Английский не был первым языком (7 чел.).

Результаты

На Рис.4 представлены результаты экспериментов 1, 2 и 3. На графиках представлены пропорции пассивного залога в зависимости от положения маркера относительно референта. В Эксперименте 1 (левый график) оценивалось влияние бимодального маркирования внимания. Испытуемым предъявлялись звуковые и зрительные маркеры либо в конгруэнтном (оба маркера на одном референте), либо в неконгруэнтном условиях. Описательная статистика показывает, что влияние на синтаксический выбор происходило только в случае смещения фокуса внимания посредством зрительного маркера. В Эксперименте 2 бимодальное маркир ование происходило путем предъявления моторного и звукового маркера. В очередной раз мы можем видеть на центральном графике, что звуковой маркер не оказал влияние на грамматическую структуру предложения. Эксперимент 3 ставил своей целью оценить, как взаимодействуют зрительные и моторные маркеры. Влияние положения маркеров повлияло на выбор грамматической структуры, однако только в случае со зрительной модальностью (правый график).

ЭржгашшИ п л^шюа Ш1«е1&| К1"» *вуьим4 и шлирмый марюры 40«, ^чпеяншп и чигррвд! ыцогры

Рис. 4. Описательная статистика. Пропорции пассивного залога в зависимости от положения маркера относительно референта.

На Рис.5 приводятся результаты русскоязычных экспериментов. На графиках представлены пропорции пациенс-первых предложений в зависимости от положения маркера относительно референта, а также в зависимости от направления события слева-направо или наоборот. В Эксперименте 4 (левый график) оценивалось влияние зрительного маркера и направления события на упоминание пациенса до агенса в порождаемом предложении. Описательная статистика (левый график) подтвердило влияние на синтаксический выбор зрительного маркера - наибольшее количество пациенс-первых предложений было порождении при условии маркера на пациенсе (35% против 19%). Также можно проследить эффект направления события на выбранную структуру. В Эксперименте 5 предъявлялся звуковой маркер. Стоит отметить, что в англоязычных экспериментах звуковой маркер не влияет на выбор грамматической структуры (центральный график) - разница в порождаемых структурах 1%. Однако стоит выделить влияние направления события на грамматическую структуру, как и в Эксперимент 4 (19% против 35% пациенс -

Агата Пдимнк Лгага Нлшшк Аггш! слгкй Лшп

Рис. 5. Описательная статистика. Пропорции пациенс-первых предложений в зависимости от положения маркера относительно референта. а также в зависимости от направления события.

первых предложений в зависимости от направления события). Эксперимент 6 ставил смотрел на влияние моторного маркера на грамматическую структуру. Интересным результатом стало то, что, как и в английском языке моторный маркер оказал влияние на грамматическую структуру, однако полностью исчез эффект направления события (18% против 19%).

Таб.1 Результаты биномиальных линейных моделей влияния модальности маркера, положения маркера, направления события на синтаксический выбор при порождении предложений в Английском и Русском языках.

Эксперимент № Тип маркера Фактор Статистика

Зрительный Маркер *х2(1) = 4.31, p=.04 Зрительный и звуковой (Аг/Пац)

Звуковой Маркер х2(1) = 306, p=.58 (Аг/Пац)

Взаимодействие х2(1) = 068, p=.79

Положение маркеров *х2(1) = .5.29, p=.02 Моторный и звуковой (Аг/Пац)

Тип маркера (Звук/Мот) х2(1) = 1.401, p=23

Взаимодействие *х2(1) = .4.940, p=.02

Зрительный Маркер *х2(1) = 4.045, p=.04

и Моторный Маркер %2(1) = 1.241, p=.26

Взаимодействие х2(1) = .473, p=.49

Положение маркера *х2(1) = 13.051,p=.001

1 Зрительный (Аг/Пац)

Направление события *х2(1) = 4.404, p=.04

Взаимодействие х2(1) = 2.056, p=. 15

Положение маркера х2(1) = 099, p=.75

(Аг/Пац)

Направление события *х2(1) = 6.86, p=.01

Взаимодействие х2(1) = 146, p=.703

Положение маркера *х2(1) = 4.04, p=.04

3 Моторный (Аг/Пац)

Направление события х2(1) = 0.1, p=.99

Взаимодействие х2(1) = 1.441, p=.20

Рассмотрим результаты статистического анализа (Таб.1). Анализ всех

экспериментов проводился в ПО R studio. Все данные были подвержены

линейному моделированию с использованием пакета lme4. Так как результаты

зависимой переменной кодировались как отсутствие (0) или присутствие (1)

22

1

Англ. Яз —

2

3 Зрительный

моторный

Русс. Яз

2 Звуковой

требуемой синтаксической структуры была выбрана биномиальная линейная модель.

Ключевые результаты и выводы

В данной работе я постарался ответить на ряд вопросов, связанных с определением влияния модальности маркеров внимания, а также ряда других переменных на синтаксический выбор в Русском и Английском языках. В результате нашей работы можно сделать несколько важных выводов:

(1) Звуковой перцептивный прайминг внимания не влияет на синтаксический выбор ни в Русском, ни в Английском языках. Одним из возможных объяснений является то, что звук не ассоциируется с референтом у испытуемого и тем самым не предактивирует внимание к позиции референта.

(2) Моторное маркирование внимания влияет на синтаксический выбор. Испытуемые порождали больше пассивных (в Английском) и больше пациенс-первых (в Русском) предложений после соответствующего маркирования.

(3) Зрительное маркирование влияет на синтаксический выбор. Данные результаты являются репликации результатов работ Myachykov и ТотНп в Английском и Русском языках, что еще раз поддерживает грамматическую гипотезу ТотНп.

(4) Исследование бимодального маркирования в Английском языке не дало значимых результатов. Лишь в зрительно-моторном эксперименте можно увидеть определенную направление в конгруэнтном условии: при условии, что зрительный и моторный маркер направляли фокус внимание на пациенса, было порождено наибольшее количество пассивных предложений в сравнении с другими условиями. Это намекает на то, что возможно на испытуемого влияет самый сильный прайминг, каким в данном случае является зрительный маркер - и в случае с соперничеством между разными модальностями более слабый маркер подавляется.

(5) Направление события является важным фактором при выборе синтаксической структуры, но только в Русском языке. Если посмотреть на

результаты эксперимента со звуковым маркированием, испытуемые не воспринимали маркер, но зато в значительной мере опирались на направление действия при выборе грамматической структуры.

Положения, выносимые на защиту:

1. Звуковое маркирование внимания не оказывает влияния на грамматическую структуру предложения ни в русском, ни в английском языках.

2. Моторное маркирование внимания оказывает влияние на грамматическую структуру предложения ни в русском, ни в английском языках.

3. Направление описываемого события в русском языке является важным фактором при порождении предложений.

Работы, опубликованные автором в журналах, входящих в список рекомендованных журналов НИУ ВШЭ и международные базы данных:

1. Pokhoday M. Y., Shtyrov Y. Y., Myachykov A. Effects of visual priming and event orientation on word order choice in Russian sentence production //Frontiers in Psychology. - 2019. - Т. 10. - С. 1661.

2. Pokhoday M., Myachykov A. Effects of Auditory and Visual Cueing of Attention on Syntactic Choice in Sentence Production. // Psychology. Journal of the Higher School of Economics. 2018. No. 15(2). P. 209-221.

3. Pokhoday M., Scheepers C., Shtyrov Y., Myachykov A. Motor (but not auditory) attention affects syntactic choice // Plos One. 2018. P. 1-12.

Другие работы, опубликованные автором по теме кандидатской диссертации:

4. Походай М. Ю., Мячиков А. В. Роль системы внимания в порождении речи // МЕТОД: Московский ежегодник трудов из обществоведческих дисциплин. 2017. С. 271-295.

5. Myachykov, A., Pokhoday, M., & Tomlin, R. Attention and Structural Choice in Sentence Production. In The Oxford Handbook of Psycholinguistics, 2018.

Доклады:

■ ECP 2019, "PERCEPTUAL PRIMING AND SYNTACTIC CHOICE IN RUSSIAN LANGUAGE: MULTIMODAL EYE-TRACKING STUDY"

Конференции:

9. 25th AMLaP conference, Architectures and Mechanisms of Language Processing 6.09.2019 - 8.09.2019 Москва, Россия

10.24th AMLaP conference, Architectures and Mechanisms of Language Processing 6.09.2018 - 8.09.2018 Германия, Берлин

11.The 8th Scandinavian Workshop on Eye Tracking 23.08.2018 - 24.08.2018 Дания, Копенгаген

12.Night Whites 2018 St. Petersburg Winter Workshop on Experimental Studies of Speech and Language 27.02.2018 - 28.02.2018 Российская Федерация, Санкт-Петербург

13.23rd AMLaP conference, Architectures and Mechanisms of Language Processing 7.09.2017 - 9.09.2017 Великобритания, Lancaster

14.5th Polish Eye Tracking Conference 21.04.2017 - 23.04.2017 Польша, Люблин

15.10-ая Ежегодная международная конференция ESLP 2017 Embodied and Situated Language Processing Conference 10.09.2017 - 12.09.2017 Российская Федерация, Москва

16.7th International Conference on Cognitive Science 20.06.2016 - 24.06.2016 Российская Федерация

17.The 7th Scandinavian Workshop on Eye Tracking 19.06.2016 - 21.06.2016 Финляндия, Турку

18.22nd AMLaP conference, Architectures and Mechanisms for Language Processing 1.09.2016 - 3.09.2016 Испания, Бильбао

19.Cognition, Computation, Communication and Perception (CCCP) Conference 3: "Theoretical and Neurobiological Bases of Higher Cognitive Functions" 28.09.2016 - 29.09.2016 Российская Федерация, Москва

20.Night Whites 2015 The Third St. Petersburg Winter Workshop on Experimental Studies of Speech and Language 18.12.2015 - 19.12.2015 Российская Федерация, Санкт-Петербург

21.Cognition, Computation, Communication and Perception (CCCP) Conference: "Theoretical and Neurobiological Bases of Higher Cognitive Functions" 29.09.2015 - 30.09.2015 Российская Федерация, Москва

22.Cognition, Computation, Communication and Perception (CCCP) Conference 2: "Theoretical and Neurobiological Bases of Higher Cognitive Functions" 29.09.2015 - 30.09.2015 Российская Федерация, Москва

Список литературы

Abdullaev Y. G., Posner M. I. Event-related brain potential imaging of semantic

encoding during processing single words //Neuroimage. - 1998. - Т. 7. - №. 1. - С. 113.

Arunachalam S., Waxman S. R. Meaning from syntax: Evidence from 2-year-olds //Cognition. - 2010. - Т. 114. - №. 3. - С. 442-446.

Bock K., Irwin D. E., Davidson D. J. Putting first things first. - 2004.

Dominey P. F., Dodane C. Indeterminacy in language acquisition: the role of child directed speech and joint attention //Journal of Neurolinguistics. - 2004. - Т. 17. - №. 2-3. - С. 121-145.

Estigarribia B., Clark E. V. Getting and maintaining attention in talk to young children //Journal of child language. - 2007. - Т. 34. - №. 4. - С. 799-814.

Fan J. et al. Testing the efficiency and independence of attentional networks //Journal of cognitive neuroscience. - 2002. - Т. 14. - №. 3. - С. 340-347.

Gauthier I. et al. Activation of the middle fusiform'face area'increases with expertise in recognizing novel objects //Nature neuroscience. - 1999. - Т. 2. - №. 6. - С. 568.

Gleitman L. R. et al. On the give and take between event apprehension and utterance formulation //Journal of memory and language. - 2007. - Т. 57. - №. 4. - С. 544-569.

Hagoort P., Brown C., Groothusen J. The syntactic positive shift (SPS) as an ERP measure of syntactic processing //Language and cognitive processes. - 1993. - Т. 8. -№. 4. - С. 439-483.

Hahne A., Friederici A. D. Electrophysiological evidence for two steps in syntactic analysis: Early automatic and late controlled processes //Journal of cognitive neuroscience. - 1999. - Т. 11. - №. 2. - С. 194-205.

Hwang H., Kaiser E. The effects of lexical vs. perceptual primes on sentence production in Korean: an on-line investigation of event apprehension and sentence formulation

//Talk presented at the 22nd CUNY conference on sentence processing, Davis, CA. -2009.

Kaiser E., Vihman V. A. Invisible arguments: Effects of demotion in Estonian and Finnish //Demoting the agent. - John Benjamins, 2006. - C. 111-141.

Kostov K., Janyan A. The role of attention in the affordance effect: can we afford to ignore it? //Cognitive processing. - 2012. - T. 13. - №. 1. - C. 215-218.

MacWhinney B. Starting points //Language. - 1977. - C. 152-168.

Matthews D., Krajewski G. First language acquisition //Cognitive Linguistics-A Survey of Linguistic Subfields. - 2019. - C. 159.

McCandliss B. D., Cohen L., Dehaene S. The visual word form area: expertise for reading in the fusiform gyrus //Trends in cognitive sciences. - 2003. - T. 7. - №. 7. - C. 293-299.

Myachykov A., Tomlin R. S. Perceptual priming and structural choice in Russian sentence production //Journal of Cognitive Science. - 2008. - T. 6. - №. 1. - C. 31-48.

Myachykov A. et al. Visual attention and structural choice in sentence production across languages //Language and Linguistics Compass. - 2011. - T. 5. - №. 2. - C. 95107.

Myachykov A., Garrod S., Scheepers C. Determinants of structural choice in visually situated sentence production //Acta psychologica. - 2012. - T. 141. - №. 3. - C. 304315.

Newman A. J. et al. An event-related fMRI study of syntactic and semantic violations //Journal of psycholinguistic research. - 2001. - T. 30. - №. 3. - C. 339-364.

Petersen S. E., Posner M. I. The attention system of the human brain: 20 years after //Annual review of neuroscience. - 2012. - T. 35. - C. 73-89.

Posner M. I. Orienting of attention //Quarterly journal of experimental psychology. -1980. - T. 32. - №. 1. - C. 3-25.

Pulvermüller F., Fadiga L. Active perception: sensorimotor circuits as a cortical basis for language //Nature Reviews Neuroscience. - 2010. - T. 11. - №. 5. - C. 351.

Raichle M. E. et al. Practice-related changes in human brain functional anatomy during nonmotor learning //Cerebral cortex. - 1994. - T. 4. - №. 1. - C. 8-26.

Siewierska A. The passive in Slavic //Passive and voice. - 1988. - T. 243. - C. 89.

Spence C. Crossmodal spatial attention //Annals of the New York Academy of Sciences. - 2010. - T. 1191. - №. 1. - C. 182-200.

Svartvik J. On voice in the English verb. - Walter de Gruyter, 2011. - T. 63.

Tomlin R. S. Focal attention, voice, and word order: an experimental, cross-linguistic study //Word order in discourse. - 1995. - T. 30. - C. 517-554.

Tomlin R. S. Mapping conceptual representations into linguistic representations: The role of attention in grammar //Language and conceptualization. - 1997. - C. 162-189.

Vilkuna M. Free word order in Finnish. - 1989.

Yuan S., Fisher C. "Really? She blicked the baby?" Two-year-olds learn combinatorial facts about verbs by listening //Psychological science. - 2009. - T. 20. - №. 5. - C. 619626.

Zemskaja E. A. Russkaja razgovornaja rec: lingvisticeskij analiz i problemy obucenija. - Russkij jazyk, 1979.

Приложение А Pokhoday M. Y., Shtyrov Y. Y., Myachykov A. Effects of visual priming and event orientation on word order choice in Russian sentence production //Frontiers in Psychology. - 2019. - Т. 10. - С. 1661.

Abstract

Existing research shows that distribution of the speaker's attention among event's protagonists affects syntactic choice during sentence production. One of the debated issues concerns the extent of the attentional contribution to syntactic choice in languages that put stronger emphasis on word order arrangement rather than the choice of the overall syntactic frame. To address this, the current study used a sentence production task, in which Russian native speakers were asked to verbally describe visually perceived transitive events. Prior to describing the target event, a visual cue directed the participants' attention to the location of either the agent or the patient of the subsequently presented visual event. In addition, we also manipulated event orientation (agent-left vs. agent-right) as another potential contributor to syntactic choice. The number of patient-initial sentences was the dependent variable compared between conditions. First, the obtained results replicated the effect of visual cueing on the word order in Russian language: more patient-initial sentences in patient cued condition. Second, we registered a novel effect of event orientation: Russian native speakers produced more patient-initial sentences after seeing events developing from right to left as opposed to left-to-right events. Our study provides new evidence about the role of the speaker's attention and event orientation in syntactic choice in language with flexible word order.

Effects of Visual Priming and Event Orientation on Word Order Choice in Russian Sentence Production

k Mikhail Pokhoday -, TYurv Shtyrov ^ and \ ^ndriy Myachykov ^

• 1Centre for Cognition and Decision Making, Institute of Cognitive Neuroscience, National Research University Higher School of Economics, Moscow, Russia

• 2Department of Clinical Medicine, Center of Functionally Integrative Neuroscience, Aarhus University, Aarhus, Denmark

• 3Department of Psychology, Northumbria University, Newcastle upon Tyne, United Kingdom

Existing research shows that distribution of the speaker's attention among event's protagonists affects syntactic choice during sentence production. One of the debated issues concerns the extent of the attentional contribution to syntactic choice in languages that put stronger emphasis on word order arrangement rather than the choice of the overall syntactic frame. To address this, the current study used a sentence production task, in which Russian native speakers were asked to verbally describe visually perceived transitive events. Prior to describing the target event, a visual cue directed the participants' attention to the location of either the agent or the patient of the subsequently presented visual event. In addition, we also manipulated event orientation (agent-left vs. agent-right) as another potential contributor to syntactic choice. The number of patient-initial sentences was the dependent variable compared between conditions. First, the obtained results replicated the effect of visual cueing on the word order in Russian language: more patient-initial sentences in patient cued condition. Second, we registered a novel effect of event orientation: Russian native speakers produced more patient-initial sentences after seeing events developing from right to left as opposed to left-to-right events. Our study provides new evidence about the role of the speaker's attention and event orientation in syntactic choice in language with flexible word order.

Introduction

Every day we effortlessly produce sentences talking about objects, actions, people, and events. Producing sentences about visually perceived events requires several choices to be made by the speaker. Some of these choices refer to the selection of the syntactic structure of the produced sentence. When describing a transitive event for example, a speaker of English can choose between active and passive voice frames. In addition to the choice between structural alternatives, many languages offer their speakers the choice between different word-order options (scrambling; Gell-Mann and Ruhlen, 2011). These two processes relate to the question addressed in this paper: How does the speaker decide which particular frame to choose and how to arrange the constituents in a sentence? Here, we report the results of a sentence production study that investigated how manipulations of visual attention and event orientation affect speakers' choice of word order in Russian - a free-order language that supports scrambling via explicit case marking and explicit constituent agreement.

In a visually situated context, the sentence production process begins with image apprehension. At this stage, input from perceptual modalities (e.g., visual, auditory, and motor) provides initial information for conceptual and linguistic interpretation of the event, with attention acting as a filter modulating and ranking the input according to what is relevant, noticeable, or important. The final product of this filtration process is then coded by the production system and is reflected in a generated sentence. Existing literature provides evidence that the speaker's attentional state is reflected in their choice of syntactic structure (see Myachykov et al., 2018b for a recent review). In one of the earliest studies (Tomlin, 1995), English-speaking participants watched a film depicting one fish (the agent) eating another fish (the patient). Attention of the speaker was manipulated by means of an explicit (i.e., consciously processed) exogenous visual cue - an arrow pointer above either the agent or the patient. The task was to continuously describe the interaction between the two fish including the eating event itself (the target event). Descriptions of the target events were analyzed for their syntactic structure: participants produced more active voice descriptions (e.g., the blue fish eats the red fish) when the cue was on the agent fish. When, however, attention was directed to the patient fish, a passive voice description (e.g., the red fish was eaten by the blue

fish) was more likely. This and similar findings indicate that attention to one of the

33

interacting protagonists is reflected in the sentence production strategies, which include assigning the referents to their constituent roles in the sentence (Gleitman et al., 2007; Myachykov et al., 2011, 2012a,b, 2018a; Coco and Keller, 2012, 2015; Iwabuchi et al., 201.3; Montag and MacDonald, 2014; Rommers et al., 2017; Pokhoday and Myachykov, 2018; Pokhoday et al., 2018).

At the same time, it remains unclear whether the attentional contribution to structural choice is universal across languages. After all, English is a language with a largely restricted word order while other languages (Russian, Finnish, etc.) rely upon a wider degree of word-order flexibility. This question was addressed only in a couple of existing reports (Myachykov et al., 2011; Hwang and Kaiser, 2014). One study (Myachykov and Tomlin, 2008) used a methodology similar to Tomlin (1995) studying Russian native speakers. The results indicated that, unlike their English counterparts, Russian speakers did not assign the subject role to the cued referent; instead, they selected it as the sentential starting point generating patient-initial or agent-initial active-voice word orders in both cueing conditions. One explanation for this difference is a different degree of reliance on syntactic alternations and scrambling strategies in English and Russian: While syntactic alternations (e.g., active/passive) are quite common in English, Russian uses its explicit morphology, making scrambling a more productive and more frequently used mechanism (Kolomackiy, 2009).

While this finding provided initial evidence for the role of the speaker's attentional focus in Russian sentence production, it was confounded by methodological limitations similar to the ones pointed out by Bock et al. (2004). The most critical points were (1) the repetitive use of the event of one fish eating the other in all trials without filler materials, (2) the explicitness of the cueing manipulation - the parallel presentation of the cue and the target. In real-life communication, salience, including visual salience, can be much more subtle; hence, one may need to use equally subtle attention manipulations in order to properly understand the role of attentional focus in structural choice. In English, such modifications have been implemented in studies that successfully replicated the original findings by Tomlin using improved experimental designs (e.g., Gleitman et al., 2007; Myachykov et al., 2012a, 2018a, as well as by authors of this paper in Pokhoday et al., 2018).

However, the same has never been done in studies investigating the role of attention in sentence production in flexible word-order languages.

Another important contributor to the speaker's behavior that rarely features in sentence production studies is the asymmetry of event conceptualization. Naturally, the same event can be perceived from a variety of perspectives that have little to do with the event's salience but rather reflect speakers' top-down biases. Some of these top-down biases have been extensively studied. For example, conceptual accessibility - or "the ease with which the mental representation of some potential referent can be activated in or retrieved from memory" (Bock and Warren, 1985, p. 50) has been shown to bias structural choices in a manner very similar to that of attention - a more accessibly referent tends to be assigned a more prominent grammatical role in a produced sentence. Individual components that were shown to increase conceptual accessibility and bias syntactic choice include referential imageability (Bock and Warren, 1985), givenness (Bock, 1977; Arnold et al., 2000), animacy (Prat-Sala and Branigan, 2000; Christianson and Ferreira, 2005; Altmann and Kemper, 2006; Branigan et al., 2008), definiteness (Grieve and Wales, 197.3), and prototypicality (Kelly et al., 1986).

Yet another top-down feature that biases speakers' conceptualization of the described event has to do with the distribution of the thematic roles among the event protagonists. More specifically, some reports suggest that the event's agent is more likely to be conceptualized ahead of the event's patient and be as signed a more prominent syntactic role, e.g., that of a Subject (Kemmerer, 2012; Cohn and Paczynski, 201.). This so-called "agent advantage" was supported in a recent study by Hafri et al. (2018). In their work they tested how the role of the referent character affects performance of participants in the unrelated tasks (attending to visual features unrelated to the roles). They found that if the target referent switched from agent to patient between trials, the response time increased. These authors concluded that such pattern of results reflects the automaticity and rapidness of referent role extraction during event perception. Overall, "other" and "error" accounted for less than 2% of the total responses (for full data see Supplementary Table S1).

The mental representations of the events tend to reflect the conceptualization

asymmetry described above (Santiago et al., 2010; Tversky, 2011). Santiago et al.

35

(2010), for example, investigated the direction of mental representations of perceived events. They reported results of three experiments, which indicate that participants perceived both video events and static events on a continuum from left to right. Tversky (2011) also discussed the existence of canonical (agent on the left) and non-canonical (agent on the right) event representations. These findings suggest a degree of canonicality in event perception with the establishment of a top-down effect that can be traced in sentence production strategies. In addition, a study by Dobel et al. (2007) tested whether the event orientation effect is a result of a hemispheric specialization or a cultural preference. They compared the drawings of German (left-to-right reading and writing) and Hebrew (right-to-left reading and writing) speakers. Participants heard a sentence in which the position of agent or recipient has been manipulated, then they were to draw the event. Hebrew speakers draw left-to right events positioning the agent on the left about 30% less frequently than German speakers. Dobel et al. (2007) concluded that there exists a bias consistent with a reading direction and thus supported the cultural hypothesis (see also Maass and Russo, 2003). Similarly, a study by Esaulova et al. (2018) had German and Arabic speakers describe visually presented events with the agent positioned on the left or on the right. Arabic speakers preferred to start their descriptions with the agents on the right while their German counterparts demonstrated the opposite preference. Hence, positioning of the referents in visual scenes may be shaped by the characteristics of the particular writing system used in the speakers' language.

Список литературы диссертационного исследования кандидат наук Походай Михаил Юрьевич, 2021 год

Materials.

The experiment consisted of a 247 slide presentation. First 25 slides were instruction and training session slides. Instructions included: information about the experiment, slides introducing characters and their names, training trials. All characters and 4

Figure 2. Example stimulus of transitive event 'Waitress touches clown'. training trials with examples of possible responses were included. Target pictures and

fillers have been drawn from previous psycholinguistic studies (Myachikov et al, 2012a;

Myachikov et al, 2012b). There were 24 experimental trials and 50 filler trials. Each experimental trial consisted of a fixation slide followed by cue slide and a target picture slide (See Figure 2 for an example of a target picture). Participants' attention was manipulated via presentation of visual and auditory cues. Cues have been presented simultaneously prior to the target picture. Visual attention has been driven by a red dot of 1cm in diameter presented for 1 second. To move auditory attention a single 0.5 sec. beep was given to either left or right ear of the participant. Cues were either presented in congruence (on the left or right side) with each other or against each other. Thus, it made 4 different conditions of cues and each target picture was to be shown in all 4 conditions in order to compare the effects of cues.

A review by Myachykov, Tomlin and Posner (2007) discussed that perceptual priming manipulates the structure of transitive events better then intransitive. As that manipulation was crucial in the experiment target pictures depicted 6 simple transitive events between two referents (hit, shoot, chase, touch, push, kick). There were 15 characters (artist, chef, clown, cowboy, monk, nun painter, pirate, policeman, swimmer, professor, waitress, burglar boxer, and soldier). Each event was presented 4 times by different characters and was directed either left to right or right to left. In order for target pictures to be in 4 conditions 4 separate presentations have been designed. Each participant viewed only one presentation, which made it 6 participants in each condition. Randomization has been used throughout target pictures and all targets have been controlled for left and right orientation (12 events each). Filler pictures (4 in the beginning of each list and 2 prior to each target trial) were similar to target pictures. The difference was in that only one cue has been presented and there was a picture of either one or two characters performing transitive or intransitive event or performing no action at all. On filler trials participants had to do the same task as on target trials - describe a picture in one sentence. Fillers have been added to prevent participants applying strategies and to blur the exact purpose of the experiment.

Apparatus.

The experiment was created in Microsoft PowerPoint (2007/2011). An ASUS laptop with 17' Inch display with a refresh rate of 60Hz has been used to run the presentation. All participants' responses have been recorded. To record participant's responses an iPhone with preinstalled application 'Voice Record' was used. All records have been transferred to the laptop for safe storage and analysis using Windows Media Player. Left and right auditory cues were created by silencing one of the sound channels in Cubase 5.1.1 sound editor and making two separate sound files. To deliver sound cues a pair of in-ear Philips headphones has been used.

Procedure.

This research has been proved by the Department of Psychology UG Ethics Committee. Participants have been positioned 60cm away from monitor and asked to put the headphones on. Prior to the start of the experiment a sound level was manipulated to prevent discomfort. At this point the audio recording started. Participants have been verbally instructed to read all the instructions, names of characters and example prompts out loud. Importantly, participants have been instructed to focus their attention on both cues. After reading instructions participants were introduced to characters. Characters were shown with their names written beneath. This was done to familiarize participants with referent's names due to the ambiguity of the drawings. Participants were instructed to try to remember names of characters as they were to be used in session. Secondly, there was a training session. Participants were instructed to focus on the 'plus' in the 'focus' slide, then press spacebar, then on a 'cue' slide they were told to drive their attention to both visual and auditory cue, without pressing or saying anything, finally the participants received a target picture, which they had to describe. A description should have involved an action on the picture and names of all referents presented. The training session involved 4 trials: 2 filler trials and 2 experimental trials. First trial has been followed by example sentences. After finishing with training participants were asked about any questions and if none appeared, they proceeded to experimental session. Experimental session consisted of 24 experimental trials and 50 filler trials. During the session notes about grammatical choice have been done. After the end

75

participants have been debriefed and asked for any questions. All grammatical choices then have been analyzed in order to answer the research question.

Results.

Produced verbal sentences have been coded as either being active voice, passive voice, and patient first. A sentence was coded in Active condition if it had a transitive verb and if subject role has been assigned to an agent (Fig. 2 The waitress touches the clown). To be coded as passive voice, the transitive verb had to be in passive construction and subject role be assigned to a patient (Fig. 1 The clown is touched by the waitress.). To be coded as patient first, the only criteria was the assignment of subject role to a patient (Fig.2 Clown and waitress are holding hands.). However, on most occasions assignment of subject role to a patient was paired with passive voice. In cases when the utterance produced did not fit any criteria it was left blank. Table 1 shows descriptive statistics of percentage of passive voice produced across conditions and Figure 3 visualizes cue interactions.

Table 1. Descriptive statistics of the produced passive voice sentences across conditions

Condition (N=24) Mean SD

Visual Agent/Auditory Agent 13% 15

Visual Agent/Auditory Patient 13% 16

Visual Patient/Auditory Agent 20% 22

Visual Patient/Auditory Patient 19% 19

From the pattern of means it can be judged that only visual cue affected the amount of passive voice - 7% and 6% more passive in Visual Patient condition. Also it can be said that Auditory cue did not affect the amount of passive voice - null difference between VA/AA and VA/AP and 1% difference between VP/AA and VP/AP. Interestingly the predicted VP/AP condition produced less passive then VP/AA condition - 19% and 20% respectively. Further analysis was conducted to measure the significance of the effects. To analyse data IBM SPSS 21 was used. Each participant

produced 4 scores for 4 conditions in each questionnaire. These scores were the amount of passive voice produced for particular conditions in percentages. They were transferred into SPSS for analyses.

To understand whether the position of the cues affected grammatical structure and whether there was an interaction between type of cues the 2x2 Repeated measures ANOVA has been used. The effects of cues on amount of passive voice are summarized in Table 2. It was expected that visual cue would show significant effect on the amount of passive voice produced. However, the results showed no effect of visual cue: F (1,23) = 1.53, p >.23. It is important to mention though that this effect is still stronger than the effect of auditory cue: F (1,23) =.17, p >.68. These results do not support previous findings of the effects of visual cue on grammatical structure. Also, similarly there was no effect of auditory cue on the amount of passive voice produced.

The aim of this experiment was to test how directing attention of the speaker by simultaneous presentation of uninformative visual and auditory location cues to a particular referent effects grammatical structure of the produced descriptive sentence. Secondly, the interactions between visual and auditory modalities have been assessed on the basis of these results. Based on previous research on attention and interaction of attention and language production I studied how focus of speaker's attention is affected by presentation of cues from different attentional modalities and whether grammatical structure is affected by modality type of the cue presented.

Both visual and auditory cues failed to significantly change grammatical choice. No significant difference in the amount of passive voice produced has been achieved

Table 2. ANOVA on the effect of cues on the amount ofpassive voice produced

df F-value p-value

Cue type

Visual cue 1,23 1.53 .23

Auditory cue 1,23 0.17 .68

between conditions. This finding declines the hypothesis of the effects of visual cueing on grammatical structure of the sentences. However, although this interaction is not significant there is still a mentionable difference between conditions. On Fig.3 it is clearly seen that in conditions where visual cue was on the position of the patient there were more passive voice produced. There are several possible explanations to this pattern of results.

Figure 3. Visualization of interaction of visual and auditory cues.

Attentional bias could have vanished before the presence of the target stimuli.

Cue slide have been presented for 1000ms - it is possible that this time was enough for bias caused by cues to disappear. Furthermore, the difference in the timescale between cues might have also affected perception. In Kostov and Janyan (2012) for example auditory cue have been directing attention gradually from centre to side and for 5 seconds. In this experiment the length of the cue (0.5 sec) might have simply be not enough to challenge 1-second visual cue.

It seems from the means that visual cue was more effective in directing attention then the auditory cue. The cross-modal attention hypothesis is then supported. Means of incongruent conditions (VA/AP and VP/AA) are slightly different: more passive is in condition VP/AA. Thus, it seems that when auditory and visual modalities challenges in

driving attention visual dominates. Moreover, it appears that attention have either skipped or inhibited the effect caused by auditory cue. This in turn might lead to a conclusion that in terms of directing attention visual cues are more effective comparing to auditory cues. Means of both visual patient conditions are higher. This interaction further supports evidence of Reisberg (1978) study, which found that adults tend to listen in direction they are looking.

One of the main limitations is that the gap between cues and stimuli picture was obvious. Attention could have changed direction during that gap. This can be eliminated by combining cues and target pictures in one slide. For example, a visual attention can be manipulated via the colour of the referent or by presentation next to the referent or over the referent. Also, the length of both cues has to be the same. As it was said above one of the reasons for the auditory cue being inhibited might have been the fact that visual cue has been presented for longer. Different types of cue presentation should also be tested. In Kostov and Janyan (2012) auditory attention has been guided by a countdown (in voice or in tone) from middle to the side for 5 seconds. Similar manipulation can be tested for visual and auditory cues. Visual cue can change its position from the middle of the visual field to the position of the referent, whilst same will happen with auditory cue. Thus, that type of presentation will clearly define what type of cue will dominate.

Another possible limitation is the stimuli itself. Although target pictures have been taken from previous research (Myachykov et al., 2012a;2012b) which has found significant results with this stimulus there are some issues with it. These cartoon-like pictures presented characters each with some outstanding properties. These properties have not been controlled for. For example, in event 'pirate chases boxer' the pirate has a sword. This is a weapon and thus participant's attention could have locked on it. This is supported by the fact that out of all participants in all conditions the pirate has been always assigned a subject role. Furthermore, it was mentioned by some participants that they thought that they described interaction between 'negative' and 'positive' characters (pirate, burglar vs. nun, doctor etc.). It is possible that participants had a bias towards

characters with 'good' attitude. Consecutive studies should also control for that bias by using only one type of characters (e.g. positive type) or counterbalance them. In addition to the properties of the characters, participants have distinguished that some actions performed by characters were of aggressive character. Out of 6 transitive events used in the study 4 was of aggressive character - hit, kick, push and shoot. This needs to be counterbalanced.

Last but not the least limitation is allowing participants unregulated time to produce a sentence. Although participants have been instructed to produce sentence as soon as they saw the stimuli, they were not limited in the amount of time to watch the picture. This is another reason why manipulation of attention might have not worked well. It is obvious that several seconds is enough for the event to be grasped. Limiting the exposure of the stimuli 1 -3 seconds will allow speaking about the effects of the cues with more confidence. Avoiding these methodological flaws could have provided robust results of modular interaction and effects of this interaction on language production.

Some new directions for future research have developed. Obviously visual stimuli dominated auditory, however this was checked for uninformative types of cues. But will visual module dominate auditory if cues were informative? For example, the word representing the name or the preview of one of the referents appears on the screen whilst the name of the other referent is delivered via auditory channel. The outcome sentence will show which type of the stimuli dominates during informative cueing. These findings will further link cross-modal attention (Driver and Spence, 2004) and language production mechanism (Myachykov, et al. 2011) through developing understanding about perceptual links between auditory and visual modalities. However, this research should avoid limitations of this research that have been discussed.

In conclusion interaction of different attentional modalities has been linked with

language production in this research. Uninformative cues were shown to fail in directing

attention. However, when judged on the type of the cue obviously visual uninformative

cue was more successful in directing attention as the amount of produced passive voice

showed. New questions about modular interactions and effects of this interaction on

80

grammatical structure have risen and require further research. Particularly information delivered by the cue may probably change the pattern of received results.

References

Fritz, J. B., Elhilali, M., David, S. V., & Shamma, S. A. (2007). Auditory attention — focusing the searchlight of sound. Current Opinion in Neurobiology, 17, 437-455. Gleitman, L. R., January, D., Nappa, R., & Trueswell, J. C. (2007). On give and take between event apprehension and utterance formulation. Journal of Memory and Language, 57, 544-569.

Kostov, K., & Janyan, A. (2012). The role of attention in the affordance effect: can we afford to ignore it? Cognitive Processes, 13, 215-218.

Myachykov, A., Ellis, R., Cangelosi, A., & Fischer, M. H. (2013). Visual and linguistic cues to graspable objects. Experimental brain research, 229(4), 545-559. Myachykov, A., Garrod, S., & Scheepers, C. (2012b). Determinants of structural choice in visually situated sentence production. ActaPsychologice, 141, 304-315. Myachykov, A., Posner, M. I., & Tomlin, R. S. (2007). A parallel interface for language and cognition in sentence production: Theory, method, and experimental evidence. The Linguistic Review, 24(4), 457-474.

Myachykov, A., Thompson, D., Garrod, S., & Scheepers, C. (2011). Visual attention and structural choice in sentence production across languages. Language and Linguistics Compass, 5(2), 95-107.

Myachykov, A., Thompson, D., Garrod, S., & Scheepers, C. (2012a). Referential and visual cues to structural choice in visually situated sentence production. Frontiers in Psychology, 2, 1-9.

Posner, M. I. (1980). Orienting of attention. Quarterly Journal of Experimental Psychology, 32, 3-25.

Reisberg, D. (1978). Looking where you listen: visual cues and auditory attention. Acta Psychologica, 42, 331-341.

Shinn-Cunningham, B. G. (2008). Object-based auditory and visual attention. Trends in Cognitive Sciences, 12(5), 182-186.

Spence, C., & Driver, J. (Eds.). (2004). Crossmodal space and crossmodal attention. Oxford University Press.

Tomlin, R. (1995). Focal attention, voice, and word order: an experimental, cross-linguistic study. In P.A. Downing,& M. Noonan (Eds.), Word order in discourse (pp. 517-554).

Tomlin, R. (1997). Mapping conceptual representations into linguistic representations: The role of attention in grammar. In J. Nuyts & E. Rederson (Eds.), Language, culture and cognition (Vol. 1, pp. 162-189). New York: Cambrige University Press.

Mikhail Yu. Pokhoday — research trainee, Centre for Cognition and Decision Making, National Research University Higher School of Economics, MRes. Research area: language production, attention, eyetracking. E-mail: [e-mail]

Andriy V. Myachykov — senior lecturer, Department of Psychology, Northumbria University; leading research fellow, Centre for Cognition and Decision making, National Research University Higher School of Economics, Ph.D. Research area: language production, semantics, cognitive psycholinguistics. E-mail: [e-mail] .uk