Моделирование механизмов понимания поликодовых текстов тема диссертации и автореферата по ВАК РФ 10.02.19, доктор филологических наук Сонин, Александр Геннадиевич

• Сонин, Александр Геннадиевич
• доктор филологических наук
• 2006

Оглавление диссертации доктор филологических наук Сонин, Александр Геннадиевич

ВВЕДЕНИЕ.

ЧАСТЬ ПЕРВАЯ: Теоретические основы моделирования процессов понимания поликодового текста.

Глава 1: Анализ структуры поликодового текста.

1.1. Понятие поликодового текста.

1.2. Анализ структурной специфики поликодовых текстов.

1.2.1. Генезис структуры поликодовых текстов.

1.2.2. Анализ вербальной составляющей поликодового текста.

1.2.3. Взаимодействие гетерогенных составляющих поликодового текста.

1.2.4. Формально-смысловая взаимоадаптация составляющих поликодового текста.

1.3. Выводы по главе.

Глава 2: Формат репрезентации.

2.1. Первые концепции формата ментальной репрезентации.

2.1.1. Концепция ментальных образов А. Пэйвио.

2.1.2. Концепция пропозициональной репрезентации.

2.1.3. Компромиссные концепции.

2.1.4. Гипотеза неопределенности.

2.2. Пропозициональный формат.

2.2.1. Модель семантических составляющих.

2.2.2. Понятие пропозиции в модели У. Кинча.

2.3. Теория ментальных моделей П. Джонсона-Лэрда.

2.4. Классические сетевые модели.

2.4.1. Модели иерархических сетей.

2.4 2. Модели сравнения характеристик.

2.4 3. Модель распространения активации А. Коллинт и Э. Лофис.

2.5. Коннекционистские модели рассредоточенной репрезентации.

2.5.1. Становление коннекционизма.

2.5.2. Преимущества коннекционистских моделей.

2.5.3. Принципиальные различия в методологии когнитивизма и коннекционизма.

2.5.4. Коннекционизм и ментальная репрезентация: на пути от объекта к процессу.

2.6. Типология компонентов рассредоточенного концепта.

2.7. Выводы по главе.

Глава 3: Построение ментальной репрезентации содержания поликодового текста.

3.1. Модели понимания поликодового текста в отечественной и зарубежной науке.

3.1.1. Исследование поликодовых текстов в отечественной лингвистике.

3.1.2. Модели понимания поликодовых текстов в зарубежных исследованиях.

3.2. Первый этап: идентификация гетерогенных составляющих (структурный уровень).

3.2.1. Идентификация изображения.

3.2.2. Идентификация слова на письме.

3.2.3. Обратное влияние семантических процессов на первичную идентификацию текста.

3.3. Дальнейшая обработка информации (лексический и семантический уровни).

3.3.1. Обработка изобразительной информации.

3.3.2. Обработка вербальной информации.

3.4. Взаимодействие между вербальной и изобразительной составляющими поликодового текста.

3.4. Выводы по главе.

ЧАСТЬ ВТОРАЯ: экспериментальная верификация модели.

Глава 4: Экспериментальное исследование поликодовых текстов: основные направления.

4.1. Сравнение иллюстрированной и неиллюстрированной версий.

4.2. Сравнение разных иллюстрированных версий одного текста.

4.3. Выводы по главе.

Глава 5: Анализ ментальной репрезентации содержания комикса и его составляющих.

5.1. Общие положения.

5.2. Гипотезы.

5.3. Описание эксперимента.

5.3.1. Состав участников.

5.3.2. Экспериментальный материал.

5.3.3. Предварительный тест.

5.3.4. Порядок проведения эксперимента.

5.3.5. Независимые и зависимые переменные, план эксперимента.

5.4. Результаты эксперимента.

5.4.1. Формальная интерпретация результатов.

5.4.2. Концептуальная интерпретация.

5.4.3. Категориальная интерпретация.

5.5. Выводы по главе.

Глава 6: Эмоция как фактор связанности гетерогенных составляющих поликодового текста.

6.1. Общие положения.

6.2. Гипотезы.

6.3. Описание эксперимента.

6 3.1. Состав участников.

6.3.2. Экспериментальный материал.

6.3.3 Предварительный анализ материала.

6.3.4. Порядок проведения эксперимента.

6.3.5. Независимые и зависимые переменные, план эксперимента.

6.4. Результаты.

6.4.1. Среднее количество ответов.

6.4.2. Разнообразие ответов.

6.4.3. Гомогенность ответов испытуемых.

6.4.4. Процент совпадений между комиксом и его составляющими.

6.4.5. Процент совпадений между составляющими комикса.

6.5. Выводы по главе.

Глава 7: Понимание и запоминание поликодового текста дидактический материал).

7.1. Общие положения.

7.2. Гипотезы.

7.3. Описание эксперимента.

7.3.1. Состав участников.

7.3.2. Экспериментальный материал.

7.3.3. Порядок проведения эксперимента.

7.3.4. Независимые и зависимые переменные, план эксперимента.

7.4. Результаты.

7.4.1. Сравнение между вербальным и поликодовым текстами.

7.4.2. Сравнения между информацией, представленной вербально и в поликодовой форме.

7.5. Выводы по главе.

Глава 8: Экспериментальное исследование восприятия поликодовых рекламных текстов.

8.1. Гипотезы.

8.2. Описание эксперимента.

8.2.1. Подготовительный этап.

8.2.2. Состав участников.

8.2.3. Экспериментальный материал.

8.2.4. Порядок проведения эксперимента.

8.2.5. Независимые и зависимые переменные, план эксперимента.

8.3. Результаты.

8.3.1. Общие итоги сравнения.

8.3.2. Сравнения между модальностями текста по шкалам.

8.4. Выводы по главе.

Введение диссертации (часть автореферата) на тему «Моделирование механизмов понимания поликодовых текстов»

На протяжении последнего столетия в недрах цивилизации родилось немало специфических поликодовых систем, построенных на соединении текстов различной семиотической природы. Сначала кинематограф, а заi ем и телевидение, быстро превратившееся в важнейшее орудие формирования общественного сознания, стали неотъемлемой частью жизни современного общества. Если к этим средствам массовой коммуникации добавить комикс, рекламу в ее журнальном, наружном или телевизионном вариантах, массовую компьютеризацию, а также все менее виртуальную сеть Интернета, то с большой долей уверенности можно говорить о заметном повышении роли смешанных веросиь-но-изобразительных поликодовых форм в культуре нового тысячелетия

Зрительная информация получает все более широкое распространение в создаваемых и потребляемых человеком текстах, нарушая монопопию печатного слова. Как справедливо замечает П. Вайан, инструкции по эксплуатации все больше напоминают комиксы, настенные правила безопасности - детский альбом-раскраску, панели управления электробытовых приборов нередко содержат только идеограммы [Vaillant, 1999]. Печатное слово сдает свои позиции под натиском телевидения и Интернета, одновременно сами газеты и журналы продолжают увеличивать долю зрительной информации в предлагаемом чиiaie.no материале.

При этом трудно согласиться с теми исследователями, которые говоря i о революционных изменениях, связанных с использованием поликодовых текстов (ПТ). Едва ли стремление к максимальной очевидности и фительнои наглядности означаемого можно отнести к специфическим чертам коммуникации в современном обществе. Во все времена иконографические знаки предпочитались типографическим как на вывеске перед лавкой торговца или мастерской ремесленника, так и на родовом гербе дворянина, а такой важный злемет христианской культуры, как религиозное образование масс в большой сгеиени опиралось на иконы, фрески или витражи храмов. Таким образом, революционными можно считать лишь достижения технического прогресса, открывающие новые возможности структурирования наглядной иконической информации, но не саКю стремление к ее широкому использованию.

Склонность человека к «совершенствованию изобразительной техники при стабильности вербальных средств информации» отмечается российскими исследователями И.Н. Гореловым и К.Ф. Седовым [Горелов, Седов 1997: 50]. Прослеживая историю совершенствования коммуникативных возможностей человека (одна из возможных схематизации приводится на Илл. 1), ученые приходят к выводу, что «для человека естественно увеличивать объем зрительной информации, ее ресурсы и возможности сравнительно с другими видами и средствами коммуникации» (Ibid).

Наскаль- „ . Фотогра

Скульп- Иллюс- , г

Рисунок ная живо- ► ► ► фия, немое

J тура трация ^ пись кино

Рисунок + Иллюст- Звуковое китекст Ритуалы ► Театр ► рирован- ► но, комикс ► IV ► CD DVD ный текст интернет

Текст Устная ► Письмен- ► Печат- ► Радио речь ная речь ный текст

Hi7 1 Эволюция cpeûcme коммуникации

По мнению П. Вайана, для использования письменных вербальных текстов в качестве основного средства коммуникации необходимо выполнение по меньшей мере трех условий:

• использование языка, общего для всего населения рассматриваемой территории,

• всеобщее начальное образование,

• низкий уровень миграции населения за пределы пространства, на котором используется родной язык [Vaillant 1999].

Положение, отвечавшее всем трем условиям, сложилось во mhoihx европейских странах в начале 20-го столетия, что и обусловило роль, отведенную печатному вербальному тексту. Однако уже во второй половине этого столетия в связи с усилением процессов глобализации положение начинает меняться. В значительной степени расширяются процессы интеграции в мировой экономике, а новые средства коммуникации позволяют следить в режиме on-line за событиями в любой точке мира. В создаваемом совместными усилиями планетарном сообществе межкультурная коммуникация перестает зависеть от миграции населения, а вопрос об использовании единого и понятного всем языка вновь становится актуальным. Новые способы социального взаимодействия приводят к появлению новых типов текста: возникает необходимость использовать в вербальных произведениях идеографические и другие изобразительные элементы, что закономерно вызывает изменение социального статуса смешанных, поликодовых средств коммуникации.

Очевидно, что новые тексты предполагают также новые способы чтения, репрезентации и концептуализации их содержания. Можно предположить, что когнитивные механизмы, используемые при постраничном чтении вербального текста на материальном носителе, опыичаются от тех, что задействованы индивидом при чтении гипертекстов в Интернете, а репрезентация содержания поликодового вербально-изобразительного гексм строиi-ся иначе, чем репрезентация содержания вербального текста. В связи с этим перед наукой встают задачи выяснения специфики мотивационных, когнитивных и других механизмов, используемых для понимания порождаемых цивилизацией текстов нового типа, раскрытия особенностей в отношениях между разными перцептивными модальностями и семиотическими системами в рамках одного текста, установления степени эффективности и целесообразности использования таких текстов и многие другие.

В течение долгого времени наука принимала спонтанно возникшее убеждение, что поликодовые произведения должны характеризоваться большей зффектив-ностью в передаче информации по сравнению с близкими по содержанию вербаль ными произведениями за счет одновременного использования разных каналов передачи информации и за счет их более гибкой структуры. Как следствие, на технологические новшества в сфере передачи информации возлагались надежды, которым не суждено было сбыться по причине отсутствия серьезного осмысления форм и методов их использования. Вместе с этим многие экспериментальные исследования показали, что индивид может сталкиваться с серьезными затруднениями, пытаясь усвоить информацию, предлагаемую в поликодовой форме [Plowman 1994]. Даже опытный пользователь нередко теряется в лабиринтах [ипергексга, осуществляя поиск в Интернете, а ученик, использующий мультимедийна обучающую программу, далеко не всегда справляется с постоянными переходами or учебного видеоматериала к дидактическому комментарию и обратно, будучи не в состоянии освоить новые стратегии восприятия. В настоящее время исследователи также ставят вопрос о когнитивных затратах, связанных с симультанным и квазисимультанным восприятием гетерогенных составляющих ПТ [Lin 1994; Merlet 1998]. Одним словом, радужные ожидания технических разработчиков поликодовой продукции постепенно сменяются многочисленными психологическими и психолингвистическими вопросами и проблемами. Ясно лишь одно простое соположение гетерогенных произведений без концептуального осиыыения общих принципов построения ПТ и специфики его понимания вряд ли приведет к революционным изменениям в отношениях человек - текст.

Таким образом, повышение общественной роли поликодовых произведений, предполагающих новые способы чтения, репрезентации и концептуализации, и отмеченные проблемы, связанные с их распространением, определяют актуальность обращения к научному анализу механизмов их воздействия на человека и к установлению степени эффективности и целесообразности использования таких произведений. Не менее очевидна и собственно научная актуальность темы, так как современное языкознание все настойчивей стремится к более глубокому пониманию лингвистических проблем в контекае изучения функционирования вербальных произведений, выяснения специфики моги-вационных, когнитивных и других механизмов, используемых для понимания вербальных и поликодовых текстов. К середине 20 в. было осознано, что «многие понятия лингвистики предстанут в ином свете, если их восстановить в рамках дискурса - языка, присвоенного говорящим, - в условиях интерсубъектно-сти, без которой невозможна коммуникация» [Вепуепи^е 1966. 266]. В результате осознание информативности для лингвиста отношения текст - изображение, приводит к попыткам создания методик анализ в двойном контексте, через экспликацию значимости различных компонентов ситуации общения на основе движения от текста к изображению и обратно.

Сопряжение в одном тексте вербального и изобразительного дает исследователю возможность оценить, насколько те или иные явления языка связаны с внеязыковыми (с кинетической и мимической модальностями речи, другими компонентами, представленными в кадре). Однако в первую очередь вербаль-но-пиктографические произведения представляют интерес для «внешней», в соссюровском понимании, лингвистики: тех областей языкознания, которые изучают язык через призму его функционирования в обществе, как это делает социолингвистика, и в его отношении к психическим процессам, изучаемом психолингвистикой. Для последней текст, функционирующий вместе с невербальными компонентами изобразительного произведения, позволяет сделать еще одну попытку раскрыть механизм работы «черного ящика» мыслительной деятельности уже не на основе анализа восприятия линейного вербального произведения, а с учетом «экстралингвистических» компонентов речевой ситуации. Значительный интерес представляет анализ таких текстов и для когнитивно ориентированной лингвистики. Появление новых технологий, позволяющих комбинировать письменный текст, рисунок, звук, анимацию, вызывает немало теоретических вопросов относительно воздействия на индивида каждой из отдельно взятых составляющих, относительно когнитивных механизмов их объединения, относительно самой способности индивида к их инте! рации и многие другие. Кроме того, по справедливому замечанию Е.Г. Беляевской, при объединении знаний о мире и знаний о языке на основе общности и учения процессов хранения и обработки информации актуализируется вопрос соошошения между собой языковых и неязыковых когнитивных структур [Беляевская 1994].

В целом настоящее сочинение может рассматриваться как психолингвистическое, поскольку именно к таковым в отечественной науке принято относить работы, «в рамках которых рассматривается (теорежчееки и прл1 мличо-ски, в рамках определенного понятийного аппарата) взаимодействие диады "реципиент - текст", причем реципиентом не является сам исследователь. » [Сорокин 1985: 9]. Однако важную роль в его создании сыграли также характерные для когнитивных исследований приемы моделирования метальных процессов и методики верификации полученных этим путем моделей

Объектом диссертационного исследования являются механизмы понимания ПТ, предметом - специфика функционирования вербальной составляющей ПТ и ее роль в понимании произведений этого типа.

Главная цель исследования заключалась в построении модели понимания поликодовых текстов. Для ее достижения в ходе работы решались следующие задачи:

• исследование структурной специфики поликодовых текстов, обусловливающей протекание процессов их понимания, описание их содержательных компонентов и анализ их функционирования в процессе репрезентации смысла;

• анализ постулируемых современной наукой форматов метальной репрезентации и выбор формата, необходимого для построения модели;

• определение механизмов, участвующих в обработке гетерогенных составляющих поликодового текста, и выявление форм взаимодействия межд\ этими механизмами в процессе понимания;

• обобщение мирового опыта экспериментальных исследований поликодовых текстов и проведение собственной эмпирической верификации положений, лежащих в основе модели.

Последовательное решение поставленных задач определило структур) работы, включающей две части: теоретическую и экспериментального. 1еоре-тическая часть направлена на решение трех первых задач и включае! соогве!ственно три главы. Работа над моделью начинается с изучения структурной специфики ПТ (глава 1). Дальнейшее исследование ведется с учетом выявленных на этом этапе специфических черт структуры ПТ. Переход к непосредственной работе над моделью осуществляется на основе анализа различных 1ео-рий ментальной репрезентации и моделей понимания текстов разной природы (глава 2). Творческое развитие теоретических положений, отобранных по заданным структурным критериям, позволяет положить их в основу предла1ае-мой модели понимания ПТ (глава 3). Вторая часть исследования предсмвляс! в четырех главах серию из четырех экспериментов, направленных на верификацию постулатов, лежащих в основе предложенной модели (главы 5-8) Их проведение позволило не только проверить выдвинутые положения о специфике когнитивных механизмов обработки ПТ, но и внести в них необходимые дополнения и коррективы. Представление указанных экспериментов предваряется обзором экспериментальных исследований понимания ПТ в западной когнито-логии и психолингвистике (глава 4). Итоги проделанной работы подвозятся в заключении. Список цитированной литературы насчитывает 258 работ.

Необходимо отметить сложность проблемы, встающей перед исследователем, который работает над моделью понимания ПТ В самом деле, даже исследование механизмов понимания вербального текста, которые амивно ш\-чаются с момента зарождения психолингвистики, до сих пор не привело к созданию общепризнанной модели. Еще более сложная ситуация складывается с моделями понимания изобразительных произведений. Поэтом) изучение механизмов понимания текстов, комбинирующих вербальные и изобразшельные составляющие, сталкивается с серьезными проблемами. Предлагаемая в работе модель - первый в российской науке опыт моделирования ко[ншивны\ процессов, обеспечивающих понимание ПТ В мировой науке такие модели единичны. Поэтому безусловно важным моментом в исследовательской рабо1е является учет как достижений западных исследователей, гак и важнейших идей российских ученых, способствующих решению проблемы По некоторым причинам знакомство зарубежных ученых с достижениями их российских коллег носит в лучшем случае очень поверхностный характер. Вместе с этим сами российские ученые имеют крайне ограниченный доступ к информации о достижениях зарубежной науки. На этом фоне теоретическое моделирование процессов понимания ПТ, которое объединило учение о смысловой доминанте, разработанное в российской психолингвистике, и западные концепции рассредоточенной ментальной репрезентации, носит исключительный характер и определяет научную новизну работы. Материал, включенный автором в обзоры форматов ментальной репрезентации когнитивных моделей понимания текста и экспериментальных исследований поликодового материала, дает российским специалистам исключительную возможность доступа к информации по указанным темам. Наконец, работа демонстрирует новизну способов интерпретации экспериментальных исследований, основанных на принципах ассоциативного эксперимента.

Теоретическая значимость работы заключается в установлении закономерностей формирования полимодальных знаковых систем и в определении своеобразия механизмов их понимания. В работе предложена орш инальная модель понимания ПТ, представляющая собою определенный вклад в общ\ю теорию понимания текста. Выявление закономерностей функционирования компонентов ПТ и обнаружение специфики механизмов их понимания могут быть широко использованы в разработке поликодовых текстов самой разной (дидактической, пропагандистской, информационной и др.) направленности, что обусловливает также практическую ценность работы.

Материалом для анализа послужили франкоязычные комиксы и дидактические тексты, а также реклама из российской периодической печати.

При работе с исследуемым материалом кроме общенаучных логических были использованы следующие методы:

• метод компонентного анализа, предполагающий разложение значения на семантические составляющие на основе данных толкового словаря, ассоциативного словаря и словарей синонимов;

• метод концептуального анализа, использованный при выявлении доминантных смыслов и доминантных эмоций;

• экспериментальные методы когнитивной психологии, позволяющие установить своеобразие когнитивных механизмов, которые лежат в основе понима ния полимодальных текстов;

• статистические методы обработки данных, полученных в ходе экспериментов.

В основу защищаемой модели легли следующие положения:

1. ПТ - специфическое произведение, возникшее на основе взаимодействия в едином графическом и смысловом пространстве гетерогенных составляющих (изобразительной и вербальной).

2. Психолингвистическая модель понимания ПТ призвана эксплицировать механизмы, определяемые взаимодействием этих составляющих.

3. Наиболее адекватный формат ментальной репрезентации, необходимый для построения модели понимания ПТ, - формат рассредоточенной репрезентации, одинаково успешно используемый в коннекционисгских моделях как для распознавания изобразительного текста, так и для имитации высших когнитивных функций.

4. В свете коннекционистских идей и с учетом положений теории смысловой доминанты концепт (как базовая единица моделирования) предстает в качестве приблизительной символической интерпретации сложных процессов, отправляющихся на нейронном уровне функционирования организма.

5. Основа построения концепта - функционально возникающая специфическая конфигурация нейронной сети, ключевые узлы которой устанавливаются на основе регулярности активации сети в схожих ситуациях взаимодействия индивида со средой. Каждое новое взаимодействие связано с дестабилизацией сети и дальнейшим поиском нового относительно стабильного состояния. При этом значимость одних узлов в основе концепта может ослабевать, а шачи-мость других - усиливаться.

6. В качестве компонентов рассредоточенного концепта мог\т рассмафи-ваться хранимые в памяти индивида следы его взаимодействий со средой Символическая интерпретация этих взаимодействий позволяет выделить перцептивные, моторные и эмоциональные следы. Опыт, обогащаемый речевыми взаимодействиями, не имеет специфической нейронной основы, однако значительно повышает возможности взаимодействия между узлами сети (ее гибкость).

7. Контекст, в котором происходит становление концепта, может играть активную роль не только в активации, но и в дезактивации (ингибиции) концептов и их составляющих.

8. Использование сетевого формата рассредоточенной ментальной репрезентации позволяет выделить в процессе понимания ПТ три этапа его когнитивной обработки: первичную структурную обработку, лексическую обработку, семантическую обработку.

9. В соответствии с данными нейропсихологических исследований на > ровне первичной структурной обработки когнитивные механизмы идентификации вербальной и изобразительной составляющих подобны. В обоих случаях воспринимаемая информация сначала разлагается на отдельные черты, обработка которых ведется рассредоточенно, но не обособлено, так как между специфическими нейронами и группами нейронов существуют многочисленные связи. После параллельной и рассредоточенной обработки отдельных черт полученная информация комбинируется в ассоциативных зонах коры больших полушарии. Полученная при этом конфигурация ведет к началу следующего этапа обрабо1-ки, на котором она сравнивается с теми конфигурациями, которые уже знакомы системе на основе предыдущих перцепций.

10. Принципиальные различия в обработке гетерогенных составляющих проявляются на втором этапе понимания ПТ. Активация представлений о форме объекта, связанная с обработкой изобразительного текста, автоматически подключает семантические репрезентации, ассоциируемые с активированной формой. Активация графического образа слова, связанная с обработкой письменного вербального текста, ведет к активации лексических репрезентаций.

11. Распространение активации отличается, таким образом, для разных сосииляющих. При восприятии рисунка обработка проходит по направлению от идентификации к непосредственной активации семантических репрезентаций, а лексические репрезентации задействуются позже. При обработке вербального текста семантические репрезентации, связанные с каждым из слов, активируются уже после того, как в.обработке были задействованы лексические сеги.

12. Указанное различие имеет существенные последствия для когнитивных механизмов построения ментальной репрезентации содержания ПТ Первый этап построения базовой репрезентации поликодового вербально-изобразительного текста характеризуется преимущественным учетом содержания изобразительной составляющей. Именно содержание рисунка определяет структуру семантической сети, которая формируется за счет активации отнич узлов и ингибиции других.

13. С началом семантической обработки вербального текста концепты, совпадающие с базовыми, усиливаются, в то время как не согласующиеся с базовыми концепты преимущественно ингибируются. Поскотьку формирование баювой репрезентации содержания текста начинается еще до начала семантической обработки вербального текста, влияние последнего на ментальную репрезентацию ПТ может рассматриваться как вторичное, модулирующее.

14. Установленная специфика механизмов позволяет рассматривать ПТ как-особую разновидность сложных текстов, которая за счет использования [ рафи-ческих и вербальных компонентов представления смысловой доминанты позволяет строить ментальную репрезентацию, отличающуюся от репрезентации содержания вербального текста определенными преимуществами на уровне когнитивной обработки. Являясь более информативным, чем входящая в его состав изобразительная составляющая, ПТ жестче (по сравнению с вербальным текстом) обусловливает понимание передаваемого содержания, обеспечивая при этом лучшее его запоминание.

Кроме перечисленных теоретических положений, в ходе их эмпирической верификации был выдвинут ряд частных гипотез, фигурирующих в соогвекч-вующих параграфах глав 5, 6, 7 и 8.

Достоверность результатов обеспечивается проведением серии из 4 экспериментов с использованием разных видов поликодовых текстов (комиксо-рого, дидактического и рекламного) и разных экспериментальных методик (установление смысловой доминанты, сравнение понимания и запоминания, метод семантического дифференциала). Кроме того, изложение эмпирических данных, полученных автором, сопровождается обзором экспериментальных исследований в западной когнитологии и психолингвистике.

Результаты работы апробированы в докладах на международной научно-практической конференции «Человек - коммуникация - текст» (Алтайский ю-сударственный университет, 1998 г.), на краевой научно-практической конференции, посвященной памяти проф. И.А. Воробьевой (Алтайский государственный университет, 1998 г.), на международной научно-практической конференции «Языковая картина мира: лингвистические и культурологические аспекты» (Бийский государственный педагогический институт, 1998 г ), первой международной конференции «Россия и Китай: интеграция в сфере экономики, науки и образования» (Биробиджан, 1998 г), на всероссийской научно-практической конференции «Культура. Образование. Духовность» (Бийскии государственный педагогический институт, 1999 г.), на 13-ом международном симпозиуме по психолингвистике и теории коммуникации'(Москва, 2000 г), на межвузовской научно-практической конференции «Современное лингвистическое образование: Мир изучаемого языка» (Барнаульский государственный педагогический университет, 2000 г.), в ходе работы школы-семинара «Лингвоси-нергетика- проблемы и перспективы» (Барнаул, 2000 г. и 2001 г.), на 100-ом конгрессе Французского психологического общества (Париж, 2001 г ), на международной научно-практической конференции «Язык Культура Коммуникация» (Барнаульский государственный педагогический университет, 2002 г), на международной конференции памяти Ф М. Березина (Москва, 2004 г), на научно-практической конференции «Современные проблемы подготовки переводчиков» (Москва, 2005).

ЧАСТЬ ПЕРВАЯ: ТЕОРЕТИЧЕСКИЕ ОСНОВЫ МОДЕЛИРОВАНИЯ ПРОЦЕССОВ ПОНИМАНИЯ ПОЛИКОДОВОГО ТЕКСТА

Глава 7

АНАЛИЗ СТРУКТУРЫ ПОЛИКОДОВОГО ТЕКСТА

Заключение диссертации по теме «Теория языка», Сонин, Александр Геннадиевич

8.4. Выводы по главе

Эксперимент, представленный в этой главе, был направлен на выявление специфики восприятия поликодового РТ, а также его гетерогенных составляющих (вербальной и изобразительной). Для получения экспериментальных данных использовался метод семантического дифференциала - испытуемые оценивали тексты по 25 однополюсным шкалам, представляющим самые разные сферы субъективной оценки текстов. Это позволило охарактеризовать использованный в эксперименте материал с точки зрения производимого на реципиента эмоционального воздействия («навязчивый», «привлекательный», «приятный»), в связи с анализом его рациональных построений («логичный», «понятный»), на основе выявления его эстетической ценности («оригинальный», «стильный», «удачный»), в связи с формальными особенностями его восприятия («яркий»), по его воздействию на чувственную сферу личности реципиента («сексуальный»).

Отбор материала и составление анкет проводились с учетом выдвинутых гипотез, которые касались восприятия гетерогенных составляющих РТ, их влияния на восприятие целого текста, а также когнитивных механизмов, лежащих в основе этих процессов.

Анализ данных (11 750 ответов, полученных в ходе опроса 94 информантов) проводился на основе сравнения средних показателей между разными видами текстов (РТ, вербальная составляющая, изобразительная составляющая) и между разными шкалами.

В ходе эксперимента не была подтверждена гипотеза, касавшаяся свойств поликодового РТ. Поскольку такой текст соединяет в едином графическом пространстве гетерогенные составляющие, предполагалось, что он должен иметь в связи с этим преимущество перед монокодовыми произведениями. В частности, ожидалось, что в проводимом эксперименте оценки по шкалам, связанным с положительной эмоциональной оценкой текста, при демонстрации полного РТ будут выше, чем при демонстрации отдельных составляющих. Сравнение проводилось по 13 соответствующим шкалам. Эксперимент показал, что наиболее заметно отличие в оценках РТ от его вербальной составляющей: оценки по РТ выше в 7 сравнениях из 13 («красивый», «оригинальный», «привлекательный», «приятный», «сексуальный», «стильный», «яркий»). Однако всего в двух случаях оценки РТ выше, чем соответствующие оценки изобразительной составляющей («возвышенный» и «добрый»). Не обнаружено никаких значимых отличий по шкалам «интересный», «радостный», «светлый» и «удачный». Таким образом, предполагаемое преимущество РТ проявилось главным образом по отношению к вербальной составляющей и только в очень незначительной степени по отношению к изображению.

Этот результат не подтверждает гипотезу об «идеальном» РТ, однако полностью согласуется с защищаемой моделью. В соответствии с ее положениями создание положительной мотивации по отношению к рекламируемому продукту осуществляется главным образом за счет изобразительной составляющей, которая выступает основой для понимания поликодового произведения. По шкалам «оригинальный», «привлекательный», «приятный», «стильный», «удачный» и «яркий» оценки РТ близки к оценкам его изобразительной составляющей, в то время как различия между РТ и вербальной составляющей по всем этим шкалам значимы.

Результаты, полученные по всем шкалам независимо от их «коннотации», вполне сопоставимы с уже представленными. Оценки изобразительной составляющей совпадают с оценками РТ чаще, чем оценки вербальной составляющей (19 из 21 уб. 13 из 21). Корреляция между оценками изображения и РТ статистически более значима. Это позволяет говорить о большей близости в восприятии РТ и его изобразительной составляющей по сравнению с вербальным текстом. На этом основании можно утверждать, что оченно изображение закладывает основу для понимания поликодового рекламного произведения, что вполне согласуется с результатами, полученными на материале комиксово-го текста [Зошпе 2003], и свидетельствует в пользу существования единого механизма, лежащего в основе понимания рекламного и комиксового текстов. Немаловажно отметить и то, что в аналогичном эксперименте, проведенном на ином рекламном материале и с иным набором шкал П.Н. Махниным, получены близкие результаты [Сонин, Махнин 2004].

Интересные результаты дало сравнение между самими гетерогенными составляющими РТ. По большинству категорий между ними обнаруживается смысловой изоморфизм (16 шкал из 21). В оставшихся пяти случаях оценки изобразительной составляющей четырежды выше соответствующих оценок вербальной составляющей. Это категории «красивый», «сексуальный», «стильный», «яркий». По категории «логичный» выше оценивается вербальный текст. Эти результаты подтверждают гипотезу о разнохарактерном воздействии гетерогенных составляющих. Как и предполагалось, изобразительная составляющая обладает большим потенциалом для привлечения непроизвольного внимания реципиента и создания у него положительного эмоционального отношения к рекламе с первых секунд ее восприятия. В вербальном тексте важней его логичность.

Что же касается категории «понятный», которая соотносилась с логичностью и предположительно в большей степени должна была проявиться в вербальной составляющей, то какой бы материал ни использовался в экспериментах, какие бы виды текста ни предлагались их участникам, последние неизменно высоко оценивают воспринимаемые тексты по шкале «понятный». Это полностью подтверждает одно из основополагающих положений российской пси-хологингвистики, согласно которой «всякое восприятие имеет значение» [Выготский 1982: 165], а субъект осмысляет даже «объективно» бессмысленное. Понимание реципиентом воспринимаемого текста связано, таким образом, не с «вычерпыванием» из него заложенных автором смыслов, а с активным процессом порождения собственных смыслов на основе воспринятого.

Одним из интересных продолжений описанного эксперимента может стать более обстоятельное изучение соотношения выраженности некоторых характеристик в РТ по сравнению с его составляющими. Некоторые результаты позволили уточнить по отношению к РТ распространенное суждение о том, что целое «не есть простая сумма его составляющих». Так, например, было обнаружено, что для категории «красивый» воздействие составляющих как бы суммируется, усиливаясь при их соединении в полном рекламном тексте. Вместе с этим было отмечено несколько категорий, которые характеризовались как «невыраженные» при демонстрации составляющих, но обнаруживались испытуемыми в самом рекламном тексте (категории «возвышенный», «добрый», «радостный» и «таинственный»). Наконец, в некоторых случаях (не) представленность определенных категорий в рекламе обусловлена только одной из составляющих (например, «сексуальный» и «стильный» были выявлены только в изобразительной составляющей).

Если в специальном исследовании проанализировать закономерность реализации категориями их «аддитивности», «эмерджентности» или «привязанности», это могло бы не только послужить развитию теоретического осмысления восприятия РТ, но и сформулировать конкретные практические предложения для специалистов по рекламе.

ЗАКЛЮЧЕНИЕ

Основные итоги проделанной работы

Главная цель настоящего исследования заключалась в построении теоретической модели понимания ПТ и ее экспериментальной верификации. Работа над моделью начиналась с изучения структурной специфики указанного средства коммуникации (глава 1). Дальнейшее исследование велось с учетом выявленных на этом этапе специфических черт структуры ПТ. Переход к непосредственной работе над моделью был осуществлен на основе анализа различных теорий ментальной репрезентации и моделей понимания текстов разной природы (глава 2). Развитие теоретических положений, отобранных по заданным структурным критериям, позволило положить их в основу предлагаемой модели понимания ПТ (глава 3). Для получения эмпирических данных, верифицирующих основные положения модели, было проведено 4 эксперимента (главы 5-8). Они позволили не только проверить выдвинутые положения о специфике речемыслительных механизмов обработки ПТ, но и внести в них необходимые дополнения и коррективы. Представление указанных экспериментов предваряется обзором экспериментальных исследований понимания ПТ в западной ког-нитологии и психолингвистике (глава 4).

Ниже анализируются основные моменты проведенной работы.

Структурная специфика поликодового текста

Анализ, направленный на установление тех структурных особенностей ПТ, которые могли бы обусловливать когнитивные механизмы его понимания, проводился по двум направлениям1 в историческом аспекте и в синхронном срезе. В ходе анализа были выявлены две центральные характеристики такого текста:

• сопряжение в нем гетерогенных составляющих (изобразительной и вербальной);

• взаимная адаптация этих составляющих с порождением знаков смешанного типа.

Проведенный анализ позволяет заключить, что специфика ПТ обусловлена взаимодействием его составляющих в большей степени, чем структурными особенностями каждой из них. Те свойства вербально-изобразительного текста, которые отличают его как от вербального текста, так и от рисунка появляются в процессе его становления на основе взаимной адаптации составляющих в едином графическом пространстве. В результате происходит формирование специфического поликодового произведения, в котором вербальный текст начинает выполнять повествовательную функцию своей графической формой, а изображение благодаря специфической структурации читается, как вербальный текст.

С одной стороны, это заключение не позволяет принять точку зрения сторонников уподобления механизмов понимания ПТ тем, что используются индивидом при чтении вербального произведения [Toussaint 1976]. С другой стороны, оно дает основание не согласиться с мнением о второстепенности роли последнего [Groensteen 1996, 1999]. Для обоснования позиции, в равной мере противостоящей каждой из приведенных точек зрения, был проведен анализ основных форматов ментальной репрезентации, используемых современной психолингвистикой. Главной целью этого анализа был поиск формата, в наибольшей степени подходящего для объяснения механизмов, лежащих в основе понимания ПТ.

Формат репрезентации

Традиционно в качестве двух основных форматов ментальной репрезентации рассматриваются пропозициональный [Kintsch 1974 и другие], используемый главным образом для анализа репрезентации содержания вербальных текстов, и образный (аналогический) [Paivio 1986 и другие], рассматриваемый как более приспособленный для объяснения специфики когнитивной обработки аналогически представленной информации. Несмотря на то, что сторонники пропозиционального формата неоднократно предпринимали попытки объяснить механизмы обработки изобразительной информации [Kintsch 1998], а адепты образной репрезентации (число которых неуклонно снижается) исследуют образный потенциал вербального произведения (см. обзор в [Denis 1989]), в большинстве исследований постулируемый формат репрезентации совпадает с форматом изучаемого текста. В изучении ПТ использование сложившейся традиции затруднено самой структурой этих произведений. С одной стороны, явно недостаточным представляется применение пропозиционального анализа к вербальной составляющей, которая участвует в смыслопорождении формой букв и своим положением в графическом пространстве текста. С другой стороны, невозможно ограничиться объяснением роли изобразительной составляющей на основе образного формата, если эта составляющая «текстуализирована» и включена в более общую структуру (комбинация текст - изображение).

Наиболее популярна у исследователей ПТ теория ментальных моделей П. Джонсона-Лэрда [Johnson-Laird 1983]. Ее привлекательность объясняется центральным постулатом, который допускает возможность трансформации первичных репрезентаций пропозиционального типа, формально близких «поверхностной структуре текста», в аналогическую образную репрезентацию на более высоких уровнях обработки информации. С позиций сторонников этой теории, рисунок, схема и другие тексты, включающие аналогические элементы, облегчают построение ментальной модели за счет формального изоморфизма с изображаемым фрагментом внешнего мира и, как следствие, с самой ментальной моделью [Gyse-linck 1996]. Однако, как бы привлекательно ни звучали основные положения этой теории, они не описывают конкретных когнитивных механизмов трансформации пропозициональных единиц в аналогическую ментальную модель. Остается неясным и то, каким образом происходит переход от аналогических элементов текста к аналогической их репрезентации.

Принципиально иное решение проблемы - именно оно использовано в работе - предложено авторами моделей в форме рассредоточенных ассоциативных сетей [Rumelhart 1989; Smolensky 1988 и другие]. Одно из существенных преимуществ таких моделей заключается в использовании при их построении современных данных о нейрофизиологических основах речемыслительной деятельности, что позволяет предлагать на их основе детальные механизмы построения ментальной репрезентации. Другое неоспоримое преимущество рассредоточенных моделей состоит в использовании единых псевдонейронных сетей для моделирования ментальной репрезентации текста любого типа - вербального, изобразительного, поликодового. Каждый концепт, входящий в ментальную репрезентацию, не является неделимой единицей (более того, с точки зрения создателей рассредоточенных сетей, речь в данном случае должна идти не о реально существующих единицах репрезентации, а о теоретических конструктах, порождаемых символьной интерпретацией физических процессов). Концепт может рассматриваться как набор элементарных компонентов - оставшихся в нейронной сети следов взаимодействия индивида с внешним миром. Совокупность таких следов составляет перцептивный, моторный, эмоциональный опыт индивида. Как следствие, активация части опыта, традиционно интерпретируемая как построение ментальной репрезентации, может осуществляться на основе как изобразительного, так и вербального текста, поскольку и тот и другой обращены к этому опыту. В связи с вышеизложенным использование рассредоточенного формата представляется наиболее адекватным для моделирования механизмов понимания ПТ.

Когнитивные механизмы понимания поликодового текста

Как уже отмечалось, предлагаемые механизмы понимания ПТ выводились с учетом его основных структурных особенностей. В частности, при построении модели учитывалось то, что ПТ включает изобразительные и вербальные компоненты. В связи с этим некоторые авторы подчеркивают исключительную важность временного интервала между квазисимультанным восприятием изобразительной составляющей и линейно-градуальным восприятием вербального текста [Пойманова 1997; Baetens & Lefevre 1993; Masson, 1985].

Когнитивная интерпретация этой специфической черты рассматривалась как приоритетная задача при построении модели понимания ПТ. Для этого постулировалось три этапа когнитивной обработки: первичная структурная обработка (идентификация), лексическая обработка и семантическая обработка. Созданная модель не относится ни к пошаговым, ни к параллельным моделям, это. - модель каскадного типа. С одной стороны, обработка включает три последовательных этапа. Операции на каждом последующем уровне не производятся, пока не начнется обработка на уровне предыдущем. С другой стороны, механизмы, запускаемые на каждом этапе обработки, могут функционировать параллельно. Полное окончание обработки на одном уровне не является необходимым условием начала обработки на другом. Кроме того, большое количество межуровневых связей позволяет операциям на последующих этапах оказывать влияние на протекание первичной обработки.

По свидетельству многих исследователей в области нейропсихологии [Damasio 1989; Hubel & Wiesel 1962], на первом этапе обработки информации существенных отличий между механизмами идентификации гетерогенных составляющих не обнаруживается. Первичная обработка текста - будь то письменный вербальный текст или изображение - состоит в разложении поступающей информации на мельчайшие компоненты, обработка которых ведется параллельно в разных участках головного мозга специализированными нейронами и группами нейронов. После первичной обработки информация комбинируется в соответствующих центрах и полученный узор активации запускает механизмы следующего этапа. Именно на втором этапе появляются различия в обработке гетерогенных составляющих. Обработка изобразительной составляющей приводит к активации семантических репрезентаций, связанных с идентифицированными формами, активируя лексические репрезентации лишь в силу инерции распространения активации либо при необходимости вербальной интерпретации увиденного [Riddoch & Humphreys 1987; Vitkovitch, Humphreys & Lloyd-Jones 1993]. Обработка вербального текста активирует в первую очередь лексические репрезентации, и лишь затем начинаются операции на семантическом уровне [ХЗегпзЬасЬег 1990; КлтсЬ 1988]. Таким образом, эволюция активаций, связанных с разными составляющими, различна.

Констатация этого отличия принципиальна для предлагаемой модели. Она позволяет заключить, что первый этап построения базовой репрезентации содержания вербально-изобразительного текста связан с семантической обработкой содержания изобразительной составляющей. Этот процесс сопровождается активацией некоторых фрагментов сети и ингибированием других. В тот момент, когда начинается семантическая обработка вербальной составляющей, незначительно сдвинутая во времени по сравнению с обработкой составляющей изобразительной, базовая структура уже установлена. Информация, содержащаяся в вербальном тексте, усваивается в зависимости от конфигурации сети, обусловленной изображением. Как следствие, предлагаемая модель признает за последним определяющую роль в понимании ПТ. Именно изображение задает исходную базовую структуру ментальной репрезентации его содержания. Вербальная составляющая лишь модулирует запущенные механизмы понимания.

Для верификации предложений, лежащих в основе модели, была проведена серия экспериментов, ключевыми в которой стали эксперименты, посвященные изучению ментальной репрезентации содержания комикса и рекламного текста. Два других эксперимента дополняли их, уточняя роль эмоциональных компонентов концепта в понимании содержания ПТ и сравнивая понимание и запоминание разных версий (вербальной и поликодовой) дидактического текста.

Интерпретация экспериментальных результатов

Первый эксперимент был направлен на подтверждение основных положений модели, сформулированных в теоретической части работы. Выдвинутые гипотезы, операционализирующие постулаты о механизмах обработки гетерогенных составляющих ПТ, касались:

• протяженности лексической и семантической сетей, формируемых при обработке содержания кадра и его составляющих,

• силы активации концептов,

• участия каждой из составляющих в построении ментальной репрезентации содержания кадра,

• * роли кадра как базовой содержательной единицы повествования, организующей понимание комикса.

Многие данные, полученные в ходе эксперимента, подтверждают выдвинутые гипотезы. Так, количество слов, использованных испытуемыми для определения содержания кадра (или его составляющих), а также лексическое разнообразие ответов значимо ниже в той группе, где испытуемым демонстрировалась изобразительная составляющая. Эти данные могут свидетельствовать о том, что при демонстрации рисунка активируется менее протяженная лексическая сеть - факт, полностью согласующийся с положением модели о непосредственном переходе от идентификации изобразительной составляющей к ее семантической обработке без промежуточной активации лексических сетей. При обработке вербальной составляющей, напротив, первоначальной активации подвергается лексическая сеть с последующей активацией всех соответствующих концептов, дискриминация которых происходит лишь после семантической обработки [ОегпзЬасКег 1990; КлтБсИ 1988]. Значение упомянутых показателей, полученных при демонстрации кадров комикса, выше, чем в группе, где демонстрировался рисунок, но ниже, чем в группе, реагировавшей на вербальный текст. Это также согласуется с предположениями, выдвинутыми на основе модели. Изобразительная составляющая выполняет стабилизирующую функцию по отношению к составляющей вербальной, а та в свою очередь обогащает информацию, полученную на основе изображения. Таким образом, комикс как разновидность ПТ предстает средством коммуникации, подающим информацию более целенаправленно, чем вербальный текст, и в то же время характеризуется большей информативностью, чем отдельно взятый рисунок.

Эти заключения подтверждаются анализом гомогенности сетей. Концептуальное ядро ментальной репрезентации (совокупность ее доминантных концептов) наиболее четко выражено в реакциях на изобразительную составляющую. При демонстрации вербальной составляющей формируемое концептуальное ядро значимо меньше, а периферийных концептов больше. Демонстрация комикса ведет к созданию специфических сетей, в которых вес доминантных концептов ниже, чем в сетях, формируемых после демонстрации изобразительной составляющей, но значимо выше по сравнению с вербальной составляющей. Другими словами, в полном соответствии с положениями предлагаемой модели обработка изобразительной составляющей ведет к построению относительно ограниченной сети с доминированием нескольких центральных концептов. Последующая семантическая обработка вербальной составляющей расширяет исходную сеть, ослабляя активацию доминантных узлов.

Важный для валидации модели результат получен при анализе количества совпадений между концептами, выделенными участниками при демонстрации комикса, и концептами, названными при демонстрации каждой из составляющих. На основе сопоставления показателей было установлено, что совпадений между кадром комикса и его изобразительной составляющей значимо больше, чем между кадром и вербальной составляющей. Иначе говоря, влияние рисунка на конечную репрезентацию содержания кадра сильней, чем влияние вербального текста. Такой результат полностью согласуется с положениями модели о том, что семантический анализ изображения опережает анализ вербального текста и формирует концептуальную базу для построения ментальной репрезентации всего кадра.

Несмотря на многочисленные результаты, согласующиеся с выдвинутыми гипотезами и подтверждающие обоснованность модели, необходимо признать, что некоторые важные вопросы, поставленные в ходе подготовки эксперимента, остались без ответа. Так, число совпадений между концептами вербальной и изобразительной составляющих крайне низко (в среднем около 20% доминантных концептов). Такой результат не может быть объяснен недостатками организации эксперимента или субъективностью, проявленной при объединении слов в смысловые группы, поскольку сходные данные были получены в экспериментах М. Корнюэжоль [Cornuéjols 2001] при сравнении ассоциаций на слова и рисунки. Опираясь на эти результаты, автор постулирует отдельное существование ассоциативных сетей, связанных с обработкой вербальной информации, и ассоциативных сетей для изобразительной информации. Такая интерпретация противоречит коннекционистским постулатам, которые были использованы для создания нашей модели и, по сути, использует для объяснения полученных данных теорию двойного кодирования [Paivio 1986; Clark & Paivio 1991]. Между тем, начиная со знаменитой статьи 3. Пилишина и по сей день, эта теория является объектом серьезной критики, опирающейся как на теоретические доводы, так и на экспериментальные данные. Не вдаваясь в долгие перечисления, можно отметить, что многочисленные результаты, полученные М. Хегарти и М. Джастом [Hegarty & Just 1993], доказали, что при чтении иллюстрированного текста читатель строит не две независимые репрезентации, а единую репрезентацию, которая включает в себя информацию, исходящую из двух гетерогенных источников. Авторы также подчеркивают, что интеграция осуществляется немедленно, на локальном уровне. Наконец, интерпретация, основанная на постулате о существовании двух типов ассоциативных сетей (вербальной и образной), не позволяет ответить на ключевой вопрос, поставленный в ходе анализа результатов проведенного эксперимента: на какой основе происходит взаимодействие между составляющими при построении ментальной репрезентации содержания ПТ комикса, если концепты, представленные рисунком и вербальным текстом, имеют столь мало общего. В самом деле, эксперимент показал, что сеть, активируемая при демонстрации комикса, имеет меньшую протяженность и более сильное концептуальное ядро, чем сеть, создаваемая при восприятии отдельно взятой вербальной составляющей. Если концептуальная общность между составляющими низка, то такой результат выглядит более чем парадоксально.

Возможное объяснение этого парадокса было подсказано результатами категориального анализа, показавшего, что в отличие or других категорий компонентов концепта, эмоциональный компонент в равной мере представлен обеими составляющими, а частотность эмоциональных реакций на комикс значимо выше, чем число таких реакций на составляющие. Другими словами, важнейшим фактором связности гетерогенных составляющих ПТ может быть признана выражаемая ими эмоция. Экспериментальное исследование было продолжено в этом направлении.

Организационно второй эксперимент был подобен первому, однако новое экспериментальное задание предлагало участникам определить не содержание кадра, а выражаемую в нем эмоцию. Согласно центральной гипотезе, одновременное использование двух составляющих для выражения доминантной эмоции должно позволить комиксу выражать эту эмоцию более целенаправленно по сравнению с его отдельными компонентами. Для интерпретации результатов второго эксперимента было использовано пять разных процедур, направленных на верификацию четырех частных предположений, вытекающих из основной гипотезы. Для установления значения первых трех показателей подсчитывалось и анализировалось количество ответов, полученных в каждой группе. Еще два показателя вычислялись на основе сравнения ответов участников разных групп

Полученные результаты вполне согласуются с экспериментальными ожиданиями. В частности, на этот раз наименьшее количество слов, приходящихся на ответ, и наименьшее лексическое разнообразие ответов характеризуют реакции, полученные на демонстрацию кадров комикса. Это дает основания заключить, что ПТ, позволяющий определить доминантную эмоцию, используя наименьшее количество слов, передает эту эмоцию недвусмысленно, более целенаправленно, чем его составляющие. Кроме того, показатель гомогенности ответов испытуемых более высок, чем тот же показатель в группах, где демонстрировалась одна из составляющих. Все три показателя подтверждают центральную гипотезу, указывая на то, что доминантная эмоция задана в комиксе более жестко, чем в его отдельно взятых составляющих. Эти результаты согласуются с результатами, полученными Р. Спиро, А. Крисмором и Т, Тернером [Spiro, Crismore & Turner 1982], которые обнаружили, что использование эмоционально окрашенных иллюстраций служит дополнительным источником внутритекстовой связности, вводя определенную эмоциональную точку отсчета для интерпретации всей информации, представленной в тексте.

К важным результатам эксперимента может быть отнесено значение показателя совпадений между ответами участников, которым предлагались отдельно взятые составляющие. Уровень совпадений между эмоцией, выраженной в тексте, и эмоцией, представленной в рисунке, колеблется от 86,8% до 96,4%. При этом в первом эксперименте, в ходе которого испытуемые определяли содержание кадра, значение соответствующего показателя в среднем не превышало 20% ответов. Это позволяет заключить, что доминантная эмоция, выраженная в каждой из составляющих комикса, - важнейший фактор их связности и основа построения ментальной репрезентации содержания ПТ. Таким образом, объяснение, выдвинутое на основе результатов первого эксперимента, подтверждено.

Обнаруженные особенности ментальной репрезентации, формируемой при восприятии ПТ, должны были проявиться в третьем эксперименте, который был направлен на сравнение понимания и запоминания вербальной и поликодовой версий одного дидактического текста. В соответствии с предложенной моделью и на основе результатов первого эксперимента, подтверждающих ее положения, была сформулирована гипотеза, согласно которой ментальная репрезентация содержания ПТ должна представлять определенные преимущества с точки зрения связанных с ней когнитивных операций по сравнению с ментальной репрезентацией, полученной на основе прочтения вербального текста.

Для проверки этого предположения было создано две версии рецепта приготовления миндального печенья. Результаты проведенных сравнений их понимания и запоминания можно считать вполне удовлетворительными. Количество правильных ответов, которые дали испытуемые, ознакомленные с поликодовой формой рецепта, превосходит количество правильных ответов, данных испытуемыми, читавшими вербальный текст. Еще один существенный результат был получен при внутригрупповом сравнении ответов участников, читавших ПТ. Было установлено, что ответы на вопросы, которые касались содержания, представленного в поликодовой форме (рисунок + текст), более точны, чем ответы на вопросы, относящиеся исключительно к вербальной информации. Это не только подтверждает положения защищаемой модели, но и опровергает гипотезы, основанные на теории ментальных моделей. Согласно этим гипотезам, демонстрация рисунка должна упрощать построение ментальной модели изображаемого фрагмента действительности и, как следствие, облегчать доступ к любой информации, связанной с этим фрагментом, включая информацию, не представленную эксплицитно на рисунке [Johnson-Laird 1983; Gyselinck 1995, 1996]. Однако эксперимент показал, что лучше усваивается именно та информация, которая представлена в поликодовой форме.

Последний из четырех экспериментов проводился с использованием в качестве материала рекламных текстов, а также с опорой на метод семантического дифференциала - испытуемые оценивали тексты по 25 однополюсным шкалам, представляющим самые разные сферы субъективной оценки текстов. Суть выдвинутых гипотез вновь сводилась к ожиданию большей корреляции между полной версией поликодового (рекламного) текста с его изобразительной составляющей, нежели с вербальным текстом. Результаты эксперимента показали, что в полном соответствии с положениями выдвигаемой модели создание положительной мотивации по отношению к рекламируемому продукту осуществляется главным образом за счет изобразительной составляющей, которая выступает основой для понимания поликодового произведения. По шкалам «оригинальный», «привлекательный», «приятный», «стильный», «удачный» и «яркий» оценки рекламного текста близки к оценкам его изобразительной составляющей, в то время как различия между рекламой и её вербальной составляющей по всем этим шкалам значимы. Кроме того, по совокупности всех шкал независимо от их «коннотации» корреляция между оценками изображения и рекламного текста статистически более значима. Это позволяет говорить о большей близости в восприятии рекламы и его изобразительной составляющей по сравнению с вербальным текстом. Таким образом, последний эксперимент подтвердил результаты предыдущих на новом материале и с опорой на новую методику.

Перспективы исследования

Среди перспективных направлений развития представленного исследования центральное место должно быть отведено изучению роли кадра и влияния покадрового расчленения повествования на понимание ПТ. Результаты эксперимента, представленного в главе 5, оказались противоречивыми в части исследования роли кадра и не позволили сделать окончательных выводов по этой проблеме. Поэтому указанный эксперимент должен быть дополнен с учетом методологических проблем, которые были выявлены в ходе его проведения (С/, выводы по главе 5). Кроме того, серьезно повысить валидность результатов эксперимента могли бы измерения времени реакции испытуемых. Несомненно, этот фактор помог бы выяснить, насколько покадровая разбивка оптимизирует действие когнитивных механизмов, лежащих в основе понимания текста

Другое направление исследования связано с развитием методики эксперимента, представленного в главе 6. Первым шагом в этом направлении мог бы стать сравнительный анализ разных ПТ, устанавливающий степень эмоционального изоморфизма изобразительной и вербальной составляющих. Эга работа может осуществляться на основе уже предложенного эксперимента из главы 6. Затем проанализированный материал может использоваться в эксперименте, определяющем степень понимания и запоминания содержания текстов, по аналогии с экспериментом, описанном в главе 7 Такой эксперимент позволит судить о зависимости протекания когнитивных механизмов понимания 01 степени эмоциональной связности между составляющими.

Эксперимент, направленный на сравнение понимания и запоминания вербальной и поликодовой версий дидактического текста, может получить развитие за счет углубления исследований целесообразности использования ПТ в качестве дидактического инструмента, рекламного инструмента или инструмента пропаганды. Проведенный анализ экспериментальных сравнений эффективности вербальных и поликодовых текстов показывает, что результаты, полученные разными исследователями, нередко противоречивы и не позволяют окончательно заключить ни о более высокой эффективности ПТ [ЯоЬЫпб 1983; Кетиет 1990; von Hoff & Wilson 1984], ни об отсутствии их преимуществ перед текстом вербальным [Duchastel 1981; Reid & Beveridge 1986; Zalud 1985]. По-видимому, полученные результаты могут зависеть от многих факторов: тип текста, возраст испытуемых, уровень их знаний по теме, освещаемой в ПТ, уровень их навыков в работе с ПТ и других. Таким образом, углубление может производиться на основе введения значительно большего количества факторов в экспериментальный план, а также на основе контроля времени ответов испытуемых.

Наконец, интересным вариантом развития эксперимента с рекламой, в котором был использован метод семантического дифференциала, может стать уточнение влияния гетерогенных составляющих на представление о рекламном тексте по каждой отдельной категории. При этом особого внимания заслуживают те случаи их взаимодействия, когда категория характеризует ПТ, но не отмечается реципиентами в его отдельно взятых составляющих.

В целом проделанная работа позволяет представить ПТ как специфическое средство коммуникации, требующее для его понимания формирования особых когнитивных механизмов. Построение модели, которая могла бы отразить функционирование этих механизмов, определило как содержание, так и структуру работы. На основе теоретического анализа, состоявшего в изучении структурной специфики ПТ, в исследовании проблемы формата ментальной репрезентации, а также в ознакомлении с современными моделями понимания текста, были намечены основные постулаты, положенные в основу оригинальной модели понимания ПТ. Дальнейшая верификация этих постулатов проводилась при помощи четырех экспериментальных исследований, в которых использовались разные виды ПТ (развлекательный комиксовый, дидактический и рекламный) и разные экспериментальные методики (установление смысловой доминанты, сравнение понимания и запоминания, метод семантическою дифференциала). Очевидно, что эти исследования лишь обозначили некоторые возможные направления в изучении проблемы понимания ПТ. Даже если многие из изложенных результатов сопоставимы с результатами, полученными другими исследователями, они, конечно же, недостаточны и не позволяют сделать окончательных выводов относительно когнитивных механизмов, постулируемых предложенной моделью. Однако разнообразие предложенных путей исследований позволяет автору выразить определенный оптимизм в отношении их перспектив.

Список литературы диссертационного исследования доктор филологических наук Сонин, Александр Геннадиевич, 2006 год

1. Анисимова Е.Е. Лингвистика текста и межкультурная коммуникация: на материале креолизованных текстов: учебное пособие. М.: Академия, 2003.

2. Бабенко Л.Г. Лексические средства обозначения эмоций в русском языке. Свердловск: Изд-во Урал, ун-та, 1989.

3. Беляевская Е.Г. Когнитивные основания изучения семантики слова // Структуры представления знаний в языке. М., 1994. С. 87-110.

4. Бехтерева Н.П., Гоголицын Ю.Л., Кропотов Ю Д., Медведев C.B. Нейрофизиологические механизмы мышления. Л., 1985.

5. Выготский Л.С. Проблема сознания. Собрание сочинений: В 6-ти т. Т. 1. Проблемы общей психологии/Под ред. В.В. Давыдова М.: Педагогика, 1982.

6. Выготский Л.С. Собр. соч. в 6-и т. Т.З. - Проблемы развития психики. - М.: Педагогика, 1983.

7. Герман И. А., Пищальникова В.А. Введение в лингвосинергетику. Барнаул, 1999.

8. Головина Л.В. Взаимовлияние иконических и вербальных знаков при смысловом восприятии текстов. Дисс. . канд. филол. наук. М., 1986.

9. Горелов И.Н. Проблема функционального базиса речи в онтогенезе. -Челябинск, 1974.

10. Горелов И.Н. Невербальные компоненты коммуникации. М.: Наука, 1980.

11. Горелов И.Н., Седов К.Ф. Основы психолингвистики. М.: Лабиринт, 1997.

12. Залевская A.A. Понимание текста: психолингвистический подход. Калинин: Калининградский гос. ун-т, 1988.

13. Кинцель A.B. Психолингвистическое исследование эмоционально-смысловой доминанты как текстообразующего фактора: Монография. Барнаул: Изд-во Алт. Ун-та, 2000.

14. Кромптон А. Мастерская рекламного текста. М.: Издат. дом «Довгань», 1998

15. Кэмпбелл Д. Модели экспериментов в социальной психологии и прикладных исследованиях. М.: Прогресс, 1980. С. 34-48.

16. Лабунская В.А. Невербальное поведение (социально-перцептивный подход). Ростов-на-Дону: Изд-во Ростовского университета, 1986.

17. Леви Ю.Э. Вербальные и невербальные средства воздейственности рекламного текста. Дисс. . канд. филол. наук. М., 2003.

18. Леонтьев A.A. Язык, речь, речевая деятельность. М., 1969.

19. Леонтьев А.Н. Деятельность. Сознание. Личность/Избранные психологические произведения: В 2-х т. Т. 2 М.: Педагогика, 1983. с. 94-231.

20. Мохамед Н.В. Психолингвистическое исследование процессов понимания текста. Автореферат дисс. . д-ра филол. наук. Уфа, 2000.

21. Музыкант В.Л. Рекламный текст и эмоции человека//Психология и психоанализ рекламы личностно-ориентированный подход: учебное пособие для факультетов психологии, социологии, экономики и журналистики. Редактор-составитель Д.А. Райгородский, Самара, 2001

22. Мягкова Е.Ю. Эмоциональная нагрузка слова. Опыт психолингвистического исследования. Воронеж, 1990.

23. Ожегов С.И., Шведова Н.Ю. Толковый словарь русского языка. М.: АЗЪ, 1992.

24. Петренко В.Ф. Основы психосемантики. М., 1997

25. Петренко В.Ф. Психосемантика сознания. М,: МГУ, 1988.

26. Петренко В.Ф., Кучеренко В.В. Взаимосвязь эмоций и цвета// Вестник МГУ -Серия 14: Психология, 1988 N 3, с. 70-81.

27. Пиз А. Язык телодвижений: Как читать мысли других по их жестам. СПб: Издат. дом Гутенберг, 1996.

28. Пищальникова, В.А. Общее языкознание: Учебное пособие. Барнаул- Изд-во Алт ун-та, 2001.

29. Пищальникова В.А. Психопоэтика. Барнаул: Изд-во Алт ун-та, 1999.

30. Плужников М.С., Рязанцев C.B. Среди запахов и звуков. М,: Молодая гвардия, 1991.

31. Пойманова О.В. Семантическое пространство видеовербального текста Дисс. . канд. филол. наук. М., 1997.

32. Портнов А.Н. Язык и сознание: основные парадигмы исследования проблемы в философии XIX XX вв. - Иваново, 1994.

33. Русский ассоциативный словарь. Книга 1. 4.1. / Ю.Н.Караулов, Ю.А.Сорокин, Е.Ф.Тарасов, Н.В.Уфимцева, Г.А.Черкасова. М.: Помовский и партнеры, 1994.

34. Русский ассоциативный словарь. Книга 3 4 2./ Ю.Н.Караулов, Ю А Сорокин, Е.Ф.Тарасов, Н.В.Уфимцева, Г.А.Черкасова. М.: «ИРЯ РАН», 1996

35. Сазонов В.В., Шошников К.В. О соотношении вербальной и визуальной информации в прессе. М.: Изд-во МГУ, 1975.

36. Соколов Е.Н. Нейронные механизмы памяти и обучения. М., 1981

37. Соломоник А. Семиотика и лингвистика. М.: Молодая гвардия, 1995.

38. Сонин А.Г. Комикс: психолингвистический анализ: Монография / Под ред В.А.Пищальниковой. Барнаул: Изд-во Алт. ун-та, 1999.

39. Сонин А.Г. Когнитивная лингвистика: становление парадигмы: Монография. -Барнаул, Изд-во Алт. ун-та, 2002.

40. Сонин А.Г., Махнин П.Н. Экспериментальное исследование восприятия изобразительно-вербальных рекламных текстов//Вопросыпсихолингвистики. Москва, 2004. № 2. С. 77-91.

41. Сорокин Ю.А. Психолингвистические аспекты изучения текста: Монография. М.: Наука, 1985.

42. Сорокин Ю.А., Тарасов Е.Ф. Креолизованные тексты и их коммуникативная функция// Оптимизация речевого воздействия. М.: Наука, 1990.

43. Сыроваткин С.Н., Гарифулин Л.Б. Введение в современную лингвистик>. Челябинск, 1973.

44. Уэллс У., Бернет Дж., Мориарти С. Реклама: принципы и практика: Пер с англ -СПб.: «Питер», 1999.

45. Щекин Г.В. Визуальная психодиагностика и ее методы. 4.1 Киев: ВЗУУП, 1992.

46. Щекин Г.В. Визуальная психодиагностика и ее методы. 4.2. Киев: ВЗУУП, 1992.

47. Anderson, J. R. (1978). Arguments concerning representations for mental imagery, Psychological Review, 85, 249-277.

48. Anderson, J. R. (1983). The Architecture of Cognition Harvard University Press, Cambridge.

49. Anderson, J. R., & Bower, G. H. (1973). Human associative memory, Washington, ОС, Winston.

50. Anderson, J. R., & Paulson, R. (1978). Interference in memory for pictorial information, Cognitive Psychology, 10, 178-202.

51. Anglin, G. J., & Stevens, J. T. (1986). Prose-relevant pictures and recall from science text. Perceptual and Motor Skills, 63, 1 143-1148.

52. Baddeley, A. (1992). Working memory. Science, 255, 556-559.

53. Baddeley, A. (1998). Human memory Boston, MA: Allyn and Bacon.

54. Baetens, J., & Lefèvre, P. (1993). Pour une lecture moderne de la bande dessinée Amsterdam Bruxelles: Sherpa - CBBD.

55. Baird, J. C. (1970). Psychophysical analysis of visual space. New York: Pergamon Press

56. Barclay, J. R., Bransford, J. D., Franks, J. J, McCarrell, N. S., & Nitsch, K. (1974). Comprehension and semantic flexibility. Journal of Verbal Learning and Verbal Behavior, 13,471-481.

57. Bechtel, W. and Abrahamsen, A. (1990). Connectionism and the Mind: An Introduction to Parallel Processing in Networks, Cambridge, Mass : Blackwell

58. Bechtel, W., & Abrahamsen, A. (1993). Le connexionisme et l'esprit Innoduaion au traitement parallèle par réseaux. Paris : Editions de la découverte.

59. Benveniste, E. (1966). Problèmes de linguistique générale, I, Paris, Gallimard.

60. Bernard, R. M., Petersen, C. H., & Ally, M. (1981). Can images provide contextual support for prose? Educational Communication and Technology Journal, 29 (2), 101-108.

61. Blanc, N. & Tapiero, I. (2002). Construire une représentation mentale à partir d'un texte : le rôle des illustrations et de la connotation des informations. Bulletin de Psychologie, 55 (5), 525-535.

62. Block, N. (1986). Advertisement for a Semantics for Psychology. In P.A. French, T.E. Uehling, & H.K. Wettstein (Eds), Midwest Studies in Philosophy (pp 615678), Vol X, Minneapolis: University of Minnesota Press.

63. Boghossian, P.A. (1995). Content. In J. Kim, & E. Sosa (Eds), A Companion to Metaphysics (pp 94-96), Oxford: Blackwell Publishers Ltd.

64. Bower, G. H. (1981). Mood and memory. American Psychologist, 36, 129-148

65. Bower, G. H., Gilligan, S. G., & Monteiro, K. P. (1981). Selectivity of learning caused by affective states. Journal of Experimental Psychology, 110 (4), 451-473.

66. Bower, G.H., & Cohen, P.R. (1982). « Emotional influences in memory and thinking-data and theory ». In M.S. Clark & S T. Fiske (Eds.), Ajject and Cognition, (pp. 291-332). Hillsdale, NJ: Lawrence Erlbaum.

67. Bower, G.H., Monteiro, K.P., & Gilligan, S.G. (1978). Emotional mood as a context for learning and recall. Journal of Verbal Learning and Verbal Behavior, 17, 573585.

68. Bransford, J. D., & Johnson, M. K. (1972). Contextual prerequisites for understanding: some investigations of comprehension and recall. Journal of Verbal Learning and Verbal Behavior, 4 (2), 717-726.

69. Bruner, J. S. (1964). The course of cognitive growth, American Psychologist, 19, 115.

70. Cavazza, M. (1993). Modèles mentaux et sciences cognitives, In M.-F. Ehrlich, H. Tardieu, M. Cavazza (Eds). Les modèles mentaux approche cognitive des représentations (pp. 121-141). Paris : Masson.

71. Chalmers, D. (1993). Connectionism and compositionality: why Fodor and Pylyshyn were wrong, Philosophical Psychology, 6, 305-319.

72. Chandler, P., & Sweller, J. (1991). Cognitive load theory and the format of instruction. Cognition and Instruction, 8, 293-332

73. Changeux, J.-P. (1983). L'homme neuronal Paris: Fayard.

74. Channouf, A. & Rouan, G. (Eds). (2002). Emotions et cognitions. Bruxelles : De Boeck Université.

75. Chase, W. G., & Clark, H. H. (1972), Mental operations in the comparison of sentences and pictures. In L. W. Gregg (Ed.), Cognition in learning and memory (p. 205-232), New York, Wiley.

76. Clark, J. M., & Paivio, A. (1991). Dual coding theory and education. Educational Psychology Review, 3 (3), 149-210.

77. Collins, A. M., & Loftus, E. F. (1975). A spreading activation theory of semantic processing. Psychological Review, 82 (6), 407-428.

78. Collins, A. M., & Quillian, M. R. (1969). Retrieval time from semantic memory Journal of Verbal Learning and Verbal Behavior, 8 (2), 240-247.

79. Cornuéjols, M. (2001). Sens du mot, sens de l'image. Paris : L'Harmattan.

80. Corson, Y. (1991). Processus d'activation sémantique rôle des concepts et des contextes. Thèse de Doctorat d'Etat. Université de Paris 8.

81. Cox, R., & Brna, P. (1995). Supporting the use of external representations in problem solving: the need for flexible learning environments. Journal oj Artificial Intelligence in Education, 6 (2/3), 239-302

82. Damasio, A. R. (1989). Time-locked multiregional retroactivation: A systems-level proposal for the neural substrates of recall and recognition. Cognition, 33, 25-62.

83. Damasio A. R., & Tranel, D. (1992). Knowledge systems. Current Opinion m Neurobiology, 2, 186-190.

84. Dean, R. S., & Enemoh, P. A. C. (1983). Pictorial organization in prose learning. Contemporary Educational Psychology, 8, 20-27.

85. Dean, R. S., & Kulhavy, R. W. (1981). Influence of spatial organization in prose learning. Journal of Educational Psychology, 73 ( 1 ), 57-64.

86. Delesse, C. (1994). Image, texte, métaopération Thèse de doctorat. Université de Paris 3.

87. Denhière, G. (1975). Mémoire sémantique, conceptuelle ou lexicale ? Langages, 40, 41-73.

88. Denhière, G., & Baudet, S. (1992). Lecture, compréhension de textes et science cognitive Paris: Presses Universitaires de France.

89. Denis, M. (1989). Image et cognition Paris: Presses Universitaires de France.

90. Dretske, F. (1981). Knowledge and the Flow of Information, Cambridge, Massachusetts: MIT Press.

91. Duchastel, P. C. (1981). Illustrations in text: a retentional role. Programmed Learning and Educational Technology, 18(1), 11-15.

92. Dwyer, F.M. (1970). Exploratory studies in the effectiveness of visual illustrations. Communication Review, 18,235-249.

93. Dwyer, F.M. (1978). Strategies for Improving Visual Learning. State College, Pennsylvania: Learning Services.

94. Ekman, P. (1994). Strong evidence for universals in facial expressions: A reply to Russell's mistaken critique. Psychological Bulletin, 115, 268-287

95. Falkenhainer, B., Forbus, K. D., & Gentner, D. (1989). The structure-mapping engine-algorithm and examples. Artificial Intelligence, 41, 1-63.

96. Feyereisen, P. & Lannoy, J.-D de. (1985). Psychologie du geste Biuxelles. Mardaga.

97. Fodor, J A. (1975). The Language of thought Cambridge, Massachusetts: Harvard University Press

98. Fodor, J.A. (1987). Psychosemantics. The Problem of Meaning in the Philosophy of Mind, MIT Press, Cambridge, Mass.

99. Fodor J. A., & Pylyshyn Z. W. (1988). Connectionism and cognitive architecture : a critical analysis, Cognition, 28, 3-71.

100. Forgas, J. P. (1995). Mood and judgement : the Affect Infusion Model (AIM). Psychological Bulletin, 117, 1-28.

101. Forgas, J.P. (1999). « Network Theory and Beyond ». In T. Dalgleish & M. Power (Eds.), Handbook of Cognition and Emotion. Chap. 28, (pp. 591-611). Chichester Wiley.

102. Fraisse, P. (1974). Mémoire de dessins et de phrases en fonction de la durée de présentation. L'Année psychologique, 74, 145-156.

103. Fresnault-Deruelle, P. (1971). Aux frontières de la langue: les onomatopées dans la BD. In Les cahiers de lexicologie, (pp. 79-88). Larousse.

104. Friedman, A., & Bouffie, L. E., Jr. (1976). Encoding the levels of information in pictures and words, Journal of Experimental Psychology: General, 105, 169-190.

105. Gernsbacher, M. A. (1990). Language comprehension as structure building. Hillsdale, N. J.: Lawrence Erlbaum.

106. Gernsbacher, M. A. (1996). «The structure-building framework: What it is, what it might also be, and why ». In B. K. Britton & A. C. Graesser (Eds.), Models of understanding text, (pp. 289-311). Hillsdale, N. J. : Lawrence Erlbaum.

107. Gernsbacher, M. A., & Faust, M. (1990). Fine-tuning in the activation of lexical representations during comprehension. In G. B. Simpson (Ed.), Comprehending word and sentence. Amsterdam: North Holland.

108. Gernsbacher, M. A., & Faust, M. (1991). The mechanism of suppression, a component of general comprehension skill. Journal of Experimental Psychology Learning, Memory and Cognition, 17, 245-262.

109. Glenberg, A. M., & Langston, W. E. (1992). Comprehension of illustrated text : Pictures help to build mental models, Journal of Memory and Language, 31, 129151.

110. Greimas, A.G. (1986). Sémantique structurale. Paris: Presses Universitaires de France. (Collection «Formes sémiotiques»).

111. Grevisse, M. (1993). Le bon usage Grammaire française avec des remarques sur la langue française d'aujourd'hui. Paris : Duculot.

112. Groensteen, T. (1996). Système de la bande dessinée. Thèse de doctorat. Université de Toulouse 2.

113. Groensteen, T. (1999). Système de la bande dessinée. Paris : Presses Universitaires de France.

114. Gyselinck, V. (1995). Les modèles mentaux dans la compréhension de textes■ le rôle des illustrations. Thèse de doctorat. Université de Paris 5.

115. Gyselinck, V. (1996). Illustrations et modèles mentaux dans la compréhension de textes. L'Année Psychologique, 96, 495-516.

116. Hayes, D.S., & Birnbaum D.W. (1980). Preschooler's retention of televised events: Is a picture worth a thousand words? Developmental Psychology, 16 (5), 410-416.

117. Hebb, D. 0. (1949). The organization of behavior, a neuropsychological theory New York : Wiley.

118. Hegarty, M., & Just, M.A. (1993). Constructing mental models of machines from text and diagrams. Journal of Memory and Language, 32, 717-742.

119. Hinton, G. (Ed.) (1991). Connectionist Symbol Processing, Cambridge, Mass : MIT Press

120. Hollan, J. (1975). Features and semantic memory : Set theoretic or network model9 Psychological Review, 82, 154-155.

121. Hubel, D. H., & Wiesel, T. N. (1962). Receptive fields, binocular interaction and functional architecture in the cat's visual cortex. Journal of Physiology, 160, 10654.

122. Jackendoff, R. (1983). Semantics and Cognition Cambridge : MIT Press.

123. Johnson-Laird, P. N. (1980). Mental models in cognitive science. Cognitive Science, 4,71-115.

124. Johnson-Laird, P. N. (1983). Mental Models Cambridge: Cambridge University Press.

125. Johnson-Laird, P.N. (1993). « La théorie des modèles mentaux ». In M.-F. Ehrlich, H. Tardieu, M. Cavazza (Eds.). Les modèles mentaux approche cognitive des représentations, (pp. 1 -22). Paris : Masson.

126. Just, M. A. & Carpenter, P. A. (1987). The psychology of reading and language comprehension. Boston, MA: Allyn and Bacon, Inc.

127. Just, M. A., & Carpenter, P. A. (1992). A capacity theory of comprehension: Individual differences in working memory. Psychological Review, 99 (1), 122-149.

128. Kapra, F. (1996). The Web of Life: A New Scientific Understanding of Living Systems. Anchor Books Ed.

129. Katz J. J. (1972). La philosophie du langage, Paris, Payot.

130. Katz, J.J., & Fodor, J. A. (1963). Structure of a semantic theory, Language, 38, pp. 170-210.

131. Kintsch, W. (1974). The representation of meaning in memory Hillsdale, N.J.: Erlbaum.

132. Kintsch, W. (1986). Learning from text, Cognition and Instruction, 3, 87-102.

133. Kintsch, W. (1988). The role of knowledge in discourse comprehension: A construction-integration model. Psychological Review, 95 (2), 163-182.

134. Kintsch, W. (1998). Comprehension A paradigm for cognition Cambridge : Cambridge University Press.

135. Kintsch, W., & van Dijk, T. A. (1978). Toward a model of text comprehension and production. Psychological Review, 85 (5), 363-394.

136. Kolp, M. (1992). Le langage cinématographique en BD. Paris: Ed. de l'Université de Bruxelles.

137. Kosslyn, S. M. (1975). Information representation in visual images. Cognitive Psychology, 7, 341-370.

138. Kosslyn, S. M. (1994). Image and brain The resolution or the imagery debate Cambridge, MA : MIT Press.

139. Doux, J.E. (1995). Emotion : Clues from the Brain. Annual Review oj Psychology, 46, 209-235.

140. Ny, J.-F. (1979). La Sémantique Psychologique. Paris : Presses Universitaires de France.

141. Marr, D. (1982). Vision. San Francisco: Freeman

142. Marschark, M., Richman, C. L., Yuille, J. C"., & Hunt, R. R. (1987) The role of imagery in memory : On shared and distinctive information, Psychological Bulletin, 102,28-41.

143. Marshall, J. C., & Newcombe, F. (1973). Patterns of paralexia: A psycholinguistic approach. Journal of Psycholinguistic Research, 2 (3), 175-199.

144. Martins, D. (1993). Les facteurs affectifs dam la compréhension et la mémorisation des textes. Paris : PUF, coll. « Le psychologue ».

145. Masson, P. (1989). B.D. et critique (Autour de la relation texte-image). Europe, 720, 47-53.

146. Maturana, H.R. (1978). «Biology of Language: The Epistemology of Reality ». In G.A. Miller & E. Lenneberg (Eds.), Psychology and Biology oj Language and Thought, (pp. 27-63). New York: Academic Press.

147. Maturana, H.R., Mpodozis, J., & Letelier, J. C. (1995). Brain, Language and the Origin of Human Mental Functions. Biological Research, 28, 15-26

148. Mayer, R. E. (1997). Multimedia learning: Are we asking the right questions? Educational Psychologist, 32, 1-19.

149. Mayer, R.E. (2001). Multimedia learning New York: Cambridge University Press.

150. Mayer, R.E. (2003). The promise of multimedia learning: using the same instructional design methods across different media. Learning and Instruction, 13, 125139.

151. McClelland, J. L., & Rumelhart, D. E. (1981). An interactive activation model of context effects in letter perception: Part 1. An account of basic findings Psychological Review, 88, 375-407.

152. McCulloch, W., et Pitts, W., 1943, A Logical Calculus of the Ideas Immanent in Nervous Activity, Bulletin of Mathematical Biophysics, 5, pp. 115-133.

153. Minsky, M., & Papert, S. (1969). Perceptrons. Cambridge, Massachusetts: The MIT Press.

154. Moran, L. J., & Swartz, J. D. (1970). Longitudinal study of cognitive dictionaries from ages nine to seventeen. Developmental Psychology, 3(1), 21-28.

155. Morris, D., Dubois, Y., & Mauvais, Y. (1978). La clé des gestes. Paris : B. Grasset.

156. Morton, J. (1969). Interaction of information in word recognition. Psychological Review, 76 (2), 165-178.

157. Mowrer, O. H. (1960), Learning theory and the symbolic processes, New York, John Wiley & Sons.

158. Neisser, U. (1967). Cognitive psychology New York, Appleton-Century-Crofts

159. Nelson, D. L., Reed, V. S., & McEvoy, C. L. (1977). Learning to order pictures and words : A model of sensory and semantic encoding, Journal of Experimental Psychology : Human Learning and Memory, 3, 485-497.

160. Newell, A. (1990) Unified theories of cognition. Cambridge, MA, Harvard University Press.

161. Niedenthal, P., Dalle, N. & Rohmann, A. (2002). « Emotion et cognition sociale ». In A. Channouf & G. Rouan (Eds), Emotions et cognitions, (pp. 141-166). Bruxelles : Editions De Boeck Université.

162. Nissen, M. J., Ross, J. L., Willingham, D. B., Mackenzie, T. B., & Schacter, A. (1988). Memory and awareness in a patient with multiple personality disorder. Brain & Cognition. 8 (1), 117-134.

163. Norman, D. A., & Rumelhart, D. E. (1975). Explorations in cognition San Francisco, W. H. Freeman.

164. O'Keefe E.J., & Solman, R.T. (1987). The influence of illustrations on children's comprehension of written stories. Journal of Reading Behavior, 19 (4), 353-377.

165. Paivio, A. (1966), Latency of verbal associations and imagery to noun stimuli as a function of abstractness and generality, Canadian Journal of Psychology, 20, 378387.

166. Paivio, A. (1971). Imagery and verbal processes New York: Wiley.

167. Paivio, A. (1975). Neomentalism, Canadian Journal of Psychology, 29, 263-291.

168. Paivio, A. (1986). Mental representations A dual-coding approach. New York: Oxford University Press.

169. Paivio, A., & Csapo, K. (1973). Picture superiority in free recall: Imagery or dual coding ? Cognitive Psychology, 5, 176-206.

170. Peek, J. (1994). « The perspective-inducing function of text illustrations ». In H. van Oostendorp & R. A. Zwaan (Eds.), Naturalistic text comprehension, (pp. 135148). Norwood, N.J, Ablex.

171. Peeters, B. (1993). La bande dessinée • un exposé pour comprendre, un essai pour réfléchir. Paris : Flammarion.

172. Pennacchioini, I. (1982). La nostalgie en images (une sociologie du récit dessiné), préfacé de P. Naville. Paris : Librairie des Méridiens.

173. Penney, C.G. (1989). Modality effect and the structure of short-term memory. Memory and cognition, 17, 389 422.

174. Perrig, W., & Kintsch, W. (1985). Prepositional and situational representations of text, Journal of Memory and Language, 24, 503-518.

175. Piaget, J., & Inhelder, B. (1966). L'image mentale chez l'enfant, Paris, PUF

176. Pichert, J W., & Anderson R.C. (1977). Taking different perspectives on a story. Journal of educational psychology, 69, 309-315.

177. Pierre, M. (1976). La bande dessinée Paris: Larousse.

178. Plowman L. (1994). The Primitive Mode of Representation and the evolution of interactive multimedia. Journal of Educational Multimedia and Hypet media, 3 (3/4), 275-293.

179. Potter, M. С. (1979). Mundane symbolism : The relations among objects, names, and ideas. In N. R. Smith & M. B. Franklin (Eds.), Symbolic functioning in childhood (p. 41-65), Hillsdale, N., Lawrence Erlbaum Associates.

180. Prigogine, I. & Stengers, I. (1984). Order out of Chaos Man's new dialogue with nature, New York : Bantam.

181. Pylyshyn, Z. W. (1973). What the mind's eye tells the mind's brain : A critique of mental imagery, Psychological Bulletin, 80, 1-24.

182. Quillian, M.R. (1968). Semantic memory. In M. Minsky (Edit.), Semantic information processing, Cambridge (MA), MIT Press, 216-270.

183. Rastier, F. (1991). Sémantique et recherches cognitives. Paris: Presses Universitaires de France.

184. Reed, S.K. (1999). Cognition Théories et applications. Bruxelles: De Boeck Université.

185. Reicher, G. M. (1969). Perceptual recognition as a function of meaningfulness of stimulus material. Journal of Experimental Psychology, 81 (2), 275-280.

186. Reid, D. J., & Beveridge, M. (1986). Effects of text illustration on children's learning of a school science topic. British Journal of Educational Psychology, 56, 294-303.

187. Reinwein, J. (1993). L'effet de la mise en page d'un livre sur l'appariement texte -illustration en lecture. Revue de l'Association canadienne de linguistique appliquée, 15(l),41-58.

188. Reinwein, J. (1998). L'illustration et le texte revue analytique des recherches expérimentales. Diffusion restreinte, 799 pages (web-версия доступна с октября 1999 по адресу: http://www.unites.uqam.ca:lireimage).

189. Rey, А. (1978). Les Spectres de la bande. Essai sur la B.D. Paris, Editions de Minuit, coll. «Critique».

190. Reynolds, R. I. (1985). The role of object-hypothesis in the organisation of fragmented figures. Perception, 14, 49-52.

191. Riddoch, M. J., & Humphreys, G. W. (1987). « Picture naming». In G. W. Humphreys, M. J. Riddoch (Eds), Visual object processing• A cognitive neuropsychological approach, (pp. 107-143). Hillsdale, N. J.: Lawrence Erlbaum.

192. Robbins, N. L. (1983). The effects of signed text on the reading comprehension of hearing-impaired children. American Annals of the Deaf 128 (1), 40-44.

193. Rosch, E., & Mervis, C. B. (1975). Family resemblances : Studies in the internal structure of categories. Cognitive Psychology, 1 (4), 573-605.

194. Rosch, E. (1975). Cognitive Representations of Semantic Categories. Journal oj Experimental Psychology, 104, pp. 192-233.

195. Rosenblatt, E. (1962). Principles of Neurodynamics : Perceptrons and the Theory of Brain Dynamics, New York : Spartan Books.

196. Rouayranc, C. (1988). Recherches sur le langage populaire et argotique. Thèse de doctorat d'Etat. Université de Paris 3.

197. Rumelhart, D. E. (1989). The architecture of mind : A connectionist approach. In M. I. Posner (Ed.), Foundations of cognitive science Cambridige, MA . MIT Press.

198. Rumelhart, D. E., McClelland, J. L., & PDP Research Group (Eds.). (1986). Parallel distributed processing : Foundations Cambridge, MA: MIT Press.

199. Rumelhart, D.E., Lindsay, P. H., & Norman, D. A. (1972). A process model for long-term memory, in Tulving, E., Donaldson W. (Eds). Organization of Memory, New York, Academic Press, pp. 197-246.

200. Ryle, G. (1949). The Concept of Mind. London : Hutchinson.

201. Sanford A.J. & Garrod, S.C. (1981). Understanding written language New York: John Wiley and Sons.

202. Schare, M. L., Lisman, S. A., & Spear, N. E. (1984). The effects of mood variation on state dependent retention. Cognitive Therapy and Research, 8 (4), 387-407.

203. Schnotz, W. (1993). On the relation between dual coding and mental models in graphics comprehension. Learning and Instruction, 3, 247-249.

204. Schnotz, W., & Bannert, M. (2003). Construction and interference in learning from multiple representation. Learning and Instruction, IS, 141-156.

205. Schródinger, E. (1986). Qu'est-ce que la vie ? Paris : Christian Bourgeois

206. Schubert, L., Goebel, G., & Cercone, N. (1979). The structure and organization of a semantic net for comprehension and inference, in Findler, N. (Ed.). Associative Networks (122-178), New York, Academic Press.

207. Searle, J. R. (1983). Intentionality. Cambridge : Cambridge University Press

208. Sedgwick, H. A. (1986). «Space perception». In K. R. Boff, L. Kaufman & J.-P Thomas (Eds), Handbook of perception and human performance Vol I Sen.soi \ processes and perception, (pp. 21.1-21.57). New York : Wiley.

209. Selfridge, 0. G. (1959). « Pandemonium: A paradigm for learning ». In D. V. Blake & A. M. Uttley (Eds.), Proceedings of the Symposium on Mechanization of Thought Processes (pp. 511-529). London: H. M. Stationery Office.

210. Smith, E. E. (1978). « Theories of semantic memories ». In W.K. Estes (Ed.), Handbook of Learning and Cognitive Processes. Vol. 6. Lawrence Erlbaum Associates.

211. Smith, E. E., Shoben, E. I., & Rips, L. I. (1974). Structure and process in semantic memory : A featural model for semantic decisions. Psychological Review, 81 (3), 214-241.

212. Smolensky, P. (1988). On the proper treatment of connectionism. Behavioral and Brain Sciences, 11, 1-74.

213. Smolensky, P. (1989). Connectionism, Constituency, and the Language of Thought, manuscript

214. Snyder, M., & White, P. (1982). Moods and memories : elation, depression and the remembering of the events of one's life. Journal of Personality, 50, 149-167.

215. Sonine, A.G. (2003). Compréhension des textes multimodaux: exemple de la bande dessinée. Thèse de doctorat. Université de Nantes.

216. Spiro, R. J, Crismore, A., & Turner, T. J (1982). On the role of pervasive experiential coloration in memory, Text, 2, 253-262.

217. Stein, N. L., & Trabasso, T. (1989). «Children's understanding of changing emotional states ». In P. Harris & C. Saarni (Eds.), The development of emotional understanding, (pp. 45-73). Cambridge : Cambridge University Press.

218. Tabossi, P., & Johnson-Laird, P. N. (1980). Linguistic context and the priming of semantic information, Quarterly Journal of Experimental Psychology, 32, 595603.

219. Toussaint, B. (1976). L'idéographie et bande dessinée. Communications, 24, 84-93.

220. Traité de psychologie cognitive. 2. (Le traitement de l'information symbolique) (1993). Paris: Bordas.

221. Tversky, A. (1977). Features of similarity. Psvchological Review, 84 (4), 327-352.

222. Van Gelder, T. (1990). Compositionality: A connectionist variation on a theme. Cognitive Science, 14: 355-384.van Someren, M. W., Reimann, P., Boshuizen, H. P. A., & DeJong, T. (Eds.). (1998). Learning with multiple representations Oxford: Elsevier.

223. Varela, F. J. (1989). Autonomie et connaissance Essai sur le Vivant. Pans : Editions du Seuil.

224. Varela, F., & Thompson, E., & Rosch, E. (1993) L'inscription corporelle de l'esprit. Paris: Seuil.

225. Vegliante, J.-Ch. (Ed.). (1990). Lecture du geste. Paris : Presses de la Sorbonne nouvelle.

226. Vitkovitch, M., & Humphreys, G. W. (1991). Persévérant responding in speeded naming of pictures: It's in the links. Journal of Experimental Psychology Learning, Memory, & Cognition, 17 (4), 664-680.

227. Weisstein, N., & Harris, C. S. (1974). Visual detection of the line segments . An object-superiority effect. Science, 186, 752-755.

228. Winn, W. D. (1994). Contributions of perceptual and cognitive processes to the comprehension of graphics. In W. Schnotz, & R. Kulhavy (Eds.), Comprehension of graphics (pp. 3-27). Amsterdam: Elsevier.

229. Wittrock, M. C. (1989). Generative processes of comprehension Educational Pwcholo-gist, 24, 345-376.

230. Zalud, G.G. (1985). The effects of textually redundant illustrations on second giade pupils' comprehension of mam ideas, details, and relations University of Georgia.

231. Zeki, S., Watson, J. D. G., Lueck, C. J., Friston, K. J., Kennard, C., & Franckowiak, R. S. J. (1991). A direct demonstration of functional specialization in human visual cortex. The Journal ofNeuroscience, 11, 641-649.