Оценка вклада онтологической информации в распознавание кореферентных связей на материале русского языка тема диссертации и автореферата по ВАК РФ 10.02.21, кандидат наук Азеркович Илья Леонидович

• Азеркович Илья Леонидович
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Азеркович Илья Леонидович

Введение

Глава 1, Теоретические положения

1.1 Введение

1.2 Философские концепции референции

1.3 Классификации референциальных выражений

1.4 Анафора и кореферентность

1.5 Виды анафорических явлений

1.6 Выбор номинации объекта

1.7 Заключение

Глава 2. Основные алгоритмы и системы автоматического разрешения кореферентности

2.1 Введение

2.2 Ранние системы разрешения анафоры

2.3 Эвристические системы

2.4 Системы, основанные на статистических методах

2.5 Системы, основанные на методах глубокого обучения

2.6 Заключение

Глава 3. Группы признаков, использующиеся для автоматического анализа

3.1 Введение

3.2 Ограничения

3.3 Предпочтения

3.4 Заключение

Глава 4, Использование семантической информации при разрешении кореферентности

4.1 Извлечение морфологических признаков

4.2 Извлечение семантических признаков

4.3 Источники лексической и энциклопедической информации

4.4 Заключение

Глава 5. Основные способы извлечения и представления семантической информации

5.1 Общие представление о структуре тезаурусов типа WordNet

5.2 Использование семантической информации для определения рода

5.3 Использование семантической информации для установления семантической связи

5.4 Меры семантической близости

Глава 6, Разработка семантически мотивированной классификации кореферентных отношений

6.1 Введение

6.2 Существующие классификации

6.3 Классификация кореферентных отношений

6.4 Использование созданной классификации на корпусном материале

6.5 Заключение

Глава 7. Предварительный эксперимент по использованию онтологической информации

7.1 Введение

7.2 Организация и материалы эксперимента

7.3 Ход эксперимента и обсуждение результатов

7.4 Результаты

7.5 Дальнейшие шаги

Эксперименты по использованию метрик семантической близости в системах разрешения кореферентности

8.1 Введение

8.2 Выбор оптимального представления

8.3 Интеграция онтологической информации в алгоритм статистического анализа

8.4 Использование онтологической информации в нейронной сети

8.5 Результаты

Заключение

Список таблиц

Список иллюстраций

Список литературы

Введение диссертации (часть автореферата) на тему «Оценка вклада онтологической информации в распознавание кореферентных связей на материале русского языка»

Введение

Автоматическая обработка текстов на естественном языке (АОТ) является одной из основных проблем, которыми занимается прикладная лингвистика. Одним из активно развивающихся в настоящее время направлений АОТ является извлечение информации. В рамках задачи извлечения информации о разных событиях и их участниках необходимо отслеживать упоминания одной и той же сущности в тексте, выделять их и группировать вместе. Решение этой задачиактуально в том числе для таких направлений, как машинный перевод, разработка диалоговых систем, суммаризация текста. Рассмотрим пример того, как одна и та же сущность может быть описана разными языковыми средствами, и введем основные термины, которые будут далее использоваться в данной работе: (1) [Facebookji уже несколько лет делает ставку на видео. [Компания] i наращивает объем роликов в лентах пользователей и нанимает людей, которые могут двигать это направление. К февралю 2017 года наконец стало понятно, насколько амбициозны планы [компании], — [она]i хочет заменить собой телевизор.

В примере (1) одна и та же сущность реального мира, которую можно упрощенно определить как 'компания Facebook Inc.', называется несколькими различными способами. Два из них представляют собой именные группы: имя собственное „Facebook" и имя нарицательное „компания", и один — личное местоимение „она". Далее для выражений, относящиеся к некоторому объекту реального мира, в данной работе будет использоваться термин референциальные выражения. Референциальные выражения, относящиеся к одному и тому же объекту, подобно „Facebook", „компания " и „ она "в примере (1), будут называться кореферентными, а отношение между ними — кореферентной связью или кореферентностью (кореференцией, англ. coreference). Задача обнаружения кореферентных выражений в тексте будет называться распознаванием (разрешением) кореферентности (кореферентных связей) (англ. coreference

resolution). Более подробно явления референции и кореферентности будут описаны в Главе 1 настоящей работы.

Интерес к проблемам референции в языке проявляли многие философы ХХ века, начиная с Б. Рассела [7] (тж. [10] и др.) Наравне с лингвистическими вопросами референции, начиная с разработки первых систем искусственного интеллекта, исследователями обсуждались и практические задачи, включая разрешение кореферентности (см. работы T. Winograd [203], E. Charniak [44], J. Hobbs [91], О. Богуславской и И. Муравьевой [2], Д. Селезнева [9], R. Mitkov [130; 132], А. Кибрика [8; 105; 106], M. Poesio [146] и др.) К настоящему моменту в данной области достигнуты значительные успехи, в частности, теоретически и экспериментально выделен ряд ключевых признаков, позволяющих установить наличие или отсутствие кореферентного отношения между двумя референциальными выражениями в тексте, и на их основе создано большое количество автоматических систем различной архитектуры, позволяющих осуществлять автоматический анализ текстов.

Однако основной массив работ, посвященных распознаванию кореферентности, создан на материале нескольких крупных языков: английского, арабского и китайского, в то время как для других языков, в частности русского, многие из описанных в них достижений на момент начала работы над данной диссертацией не были реализованы. Это видно, например, при сравнении диапазона работ, представленных на соревнованиях автоматических систем распознавания кореферентных связей CoNLL-2012 [52] (английский, китайский и арабский языки) и Ru-Eval-2014 [163] (русский язык).

Большая часть автоматических систем, участвовавших в соревновании Ru-Eval-2014, использовала исключительно морфологические и синтаксические признаки для распознавания кореферентных связей ([20; 100; 109]). В то же время, результаты значительного количества исследований ([84; 123; 150; 153] и др.) позволяют предположить, что использование семантических признаков позволяет повысить качество их работы. Похожая тенденция наблюдается и среди участников следующего такого соревнования, Ru-Eval-2019 [164]: в статьях описаны не все из

систем-участников соревнования по разрешению кореферентности, но на использование семантических признаков не указывает ни один из них.

Отсутствие как русскоязычных систем автоматического распознавания кореферентных связей, опирающихся на семантические признаки, так и работ, оценивающих эффективность данного класса признаков на материале русского языка, обуславливает актуальность данной работы. До сих пор основные системы распознавания кореференции основывались на формальных, морфологических и синтаксических признаках. Разумеется, во многих системах учитывались и семантические признаки: в частности, в качестве признаков при распознавании кореференции использовались векторные представления языковых единиц, входящих в референциальные выражения. С другой стороны, в ряде теоретических исследований по кореференции рассматривались различные типы семантических отношений (гиперонимия, метафорические переносы и т. п.). Однако до сих пор не было проведено систематического корпусного исследования, которое бы показало, какую долю составляют кореферентные пары, в которых референциальные выражения находятся в некоторых нетривиальных семантических отношениях (например, стартап-компания, Москва-Россия (в значении 'правительство России')). Именно такие отношения хуже всего распознаются в традиционных кореферентных системах. В этой связи чрезвычайно актуальным оказывается вопрос о том, в какой степени тезаурусная информация может повлиять на улучшение качества распознавания кореференции, и каким образом ее следует учитывать. Настоящая работа призвана заполнить лакуны как в корпусных исследованиях, так и в исследованиях в рамках АОТ относительно роли тезаурусной информации в построении и распознавании кореферентных цепочек, что и определяет новизну настоящей работы.

Объектом работы являются кореферентные отношения между именными группами в русских текстах, а предметом - распознавание кореферентных отношений с использованием онтологической информации из внешних источников.

Цель работы заключалась в разработке эффективного метода интегрирования онтологической информации из открытых источников в систему распознавания

кореферентных отношений. Для этого предполагалось исследовать различные источники онтологической информации и различные методы оценки семантической близости двух именных групп.

Для достижения поставленной цели мной были решены следующие задачи:

1. Рассмотреть существующие теоретические и практические подходы к анализу анафоры и кореферентности.

2. Изучить наиболее распространенные алгоритмы и основные системы для автоматического распознавания кореферентности.

3. Изучить различные способы извлечения и представления онтологической информации из источников.

4. Выявить, классифицировать и исследовать распределение в тексте различных отношений между кореферентными именными группами, требующих обращения к семантической и онтологической информации для распознавания.

5. Исследовать меры семантической близости как способ представления семантической информации для автоматического анализа.

6. Создать рабочие прототипы систем автоматического распознавания кореферентности и оценить влияние использования различных типов онтологических отношений на качество их работы.

На защиту выносятся следующие положения:

1. Онтологическая и семантическая информация являются одним из важных факторов для успешного осуществления референции и установления анафорических и кореферентных связей.

2. Связи между именными группами в кореферентных цепочках могут определяться тезаурусными отношениями и энциклопедической информацией. Количество таких групп значительно и может влиять на качество работы систем разрешения кореферентности.

3. Меры семантической близости могут быть полезны для верного объединения именных групп в кореферентные цепочки при автоматическом анализе.

4. Использование мер семантической близости в системах автоматического разрешения кореферентных связей позволяет заметно повысить качество их работы.

Теоретическая и практическая значимость работы определяется тем, что в работе предложен подробный корпусный и экспериментальный анализ языковых явлений, связанных как с кореференцией, так и с семантическими отношениями между именными группами. Во-первых, в работе на материале корпуса с кореферентной разметкой системно исследуются различные типы семантических отношений между кореферентными именными группами. Опора на корпусную разметку позволяет не только выделить основные типы семантических отношений (этим отношениям посвящено немало теоретических работ, см., например, ([1; 3; 12]), но и определить их релевантность для механизма кореферентности и их реальное распределение в связанном тексте. Этим определяется вклад настоящей работы в теорию кореференции в русском языке. Во-вторых, в работе предлагается анализ различных метрик семантической близости с использованием разных источников как экспертных источников типа WordNet, энциклопедических знаний С^к1реё1а), так и данных, полученных методами дистрибутивной семантики. В работе предложен анализ соотношений между этими источниками и различными метриками, что определяет теоретический вклад работы в области компьютерной лексикографии. В-третьих, в рамках настоящего исследования был проведен ряд экспериментов, в ходе которых были выявлены наиболее эффективные источники и методы измерения онтологической информации, влияющей на качество выделения кореферентных отношений, был детально исследован вклад такой информации в работу корефенсера. Этим определяется вклад работы в теорию автоматической обработки текста на уровне дискурса. Наконец, в результате работы были созданы и изучены несколько рабочих прототипов автоматических систем распознавания кореферентности. Также было проведено сравнение актуальных архитектур системы распознавания кореферентности: с использованием методов машинного обучения и с использованием нейронных

сетей, и оценено качество предлагаемого ими анализа. Это составляет вклад данной работы в сферу автоматической обработки естественного языка.

В процессе проведения исследования использовались следующие методы: количественного анализа для анализа дистрибуции кореферентных отношений в корпусе, качественного анализа для оценки пригодности мер семантической близости к использованию в автоматических системах, а также метод эксперимента при создании и оценке качества работы систем автоматического распознавания кореферентности.

Содержание работы отражено в следующих публикациях:

1. Азеркович И. Использование мер семантической близости для распознавания кореференции в русском языке / И. Азеркович // Вестник Новосибирского государственного университета. Серия: Лингвистика и межкультурная коммуникация. - 2019. - Т. 17. - № 1. - С. 65-77.

2. Azerkovich I. Employing wikipedia data for coreference resolution in Russian / I. Azerkovich // Artificial Intelligence and Natural Language. AINL 2017. Communications in Computer and Information Science. - Springer, Cham, 2018. - Vol. 789. - P. 107-112.

3. Azerkovich I. Using Semantic Information for Coreference Resolution with Neural Networks in Russian / I. Azerkovich // Analysis of Images, Social Networks and Texts. AIST 2019. Communications in Computer and Information Science / eds. W.M.P. van der Aalst [et al.]. - Cham: Springer International Publishing, 2020. -Vol. 1086. - P. 85-93.

Работа имеет следующую структуру: введение, 8 глав, заключение, список литературы, приложения: список рисунков и список таблиц. В Главе 1 обсуждаются теоретические обоснования исследования. В ней объясняются понятия референции и кореферентности, поясняются различия и связь между понятиями анафоры и кореферентности, ограничивается круг кореферентных явлений, входящих в область интересов прикладной лингвистики и, следовательно, данной работы, рассматриваются различные классификации номинаций, виды информации, которые могут в них содержаться, а также теоретические подходы к

построению номинаций. В Главе 2 последовательно описывается развитие подходов к автоматическому анализу кореферентности: системы, использовавшиеся в первых моделях искусственного интеллекта и основанные на шаблонах, эвристические системы, основанные на правилах, статистические подходы и разработки последних лет, использующие алгоритмы машинного обучения и нейронные сети для глубокого обучения. В Главе 3 более подробно описаны основные группы признаков, используемых в системах автоматического анализа кореферентности, и признаки, входящие в эти группы. Глава 4 посвящена использованию семантической информации для извлечения различных классов признаков в автоматическом разрешении кореферентности и ее наиболее часто используемым источникам, а Глава 5 - основным способам представления и извлечения семантической информации для задач автоматической обработки текстов. Главы с 6 по 8 посвящены описанию исследований, проведенных в рамках данной работы. Глава 6 описывает разработку классификации кореферентных отношений, Глава 7 - эксперимент по использованию онтологической информации из Википедии, Глава 8 - эксперимент по использованию мер семантической близости как способа представления данных. Каждая глава снабжена промежуточными выводами. Заключение содержит общие итоги работы и ее результаты, а также перспективы дальнейших исследований. В текст диссертации также включено 12 таблиц и 6 рисунков.

Глава 1. Теоретические положения 1.1 Введение

В связанном тексте, посвященном некоторой сущности (в частности, какому-то объекту реального мира), эта сущность может быть названа по-разному. Рассмотрим текст из примера (1). В нем к одному и тому же объекту реального мира относятся выражения 'ТасеЬоок", "компания" и "она". В таких случаях говорят о механизме референции и о том, что все три данных выражения имеют одинаковый референт. Проблема того, каким образом и за счет чего может успешно осуществляться референция, является важным философским вопросом, занимавшим многих логиков. Также вопросы референции принципиальны и для лингвистики как с теоретической, так и с прикладной точек зрения. В теоретической лингвистике они рассматриваются в семантике в рамках теории значения, а также с ними тесно связаны темы, которые рассматривает прагматика. В практическом же приложении задачи, связанные с референцией вообще и анафорой и кореферентностью в частности, очень актуальны практически во всех областях использования автоматического анализа текстов: автоматический перевод, реферирование и генерация текста, извлечение сущностей.

В данной главе далее будут рассмотрены основные философские взгляды на проблему референции, что позволит очертить круг проблем, которые будут рассматриваться в данной работе далее, а также приведены наиболее распространенные классификации референциальных выражений, чтобы указать на явления, которые будут рассматриваться далее. Далее описаны основные виды кореферентных явлений, входящих в сферу задач данной работы. Наконец, будут введены понятия дискурсивной модели и референциального выбора, изложены их теоретические основы и объяснена важность для решения прикладных задач.

1.2 Философские концепции референции

Одним из первых философов, чьи работы легли в основу теории референции, был Бертран Рассел. В работе «Введение в математическую философию» [7; 166] он излагает теорию дескрипций и формулирует определение понятия «дескрипция» (букв. «описание»). Б. Рассел выделяет следующие классы референциальных выражений: неопределенные дескрипции, определенные дескрипции и имена. В частности, утверждается, что имя соотносится с некоторым понятием (интенсионал имени), а также некоторые объектом действительности (денотат). Также утверждается, что определенные дескрипции содержат в себе утверждение о единственности, что приводит к ложности утверждений о несуществующих объектах.

Корректировка исключительно логического подхода к референции в сторону более когнитивной интерпретации была предложена в философских работах П.Ф. Стросона (см. [10; 181]). Он предлагает различать 1) само выражение или предложение, 2) его употребление и 3) его воспроизведение. Также он утверждает, что само по себе предложение не может быть истинным или ложным, а такой характеристикой может обладать только его конкретное употребление. Для обозначения акта употребления выражения с целью упоминания, Стросон впервые использует термин «референция», вошедший в широкое употребление. Взгляды Стросона были частично поддержаны У.О. Куайном [4; 152], в чьих работах рассматривались проблемы референции к несуществующим объектам и случаи нарушения тождественности референции - невозможности заменить одно наименование объекта на другое.

Таким образом, в рамках теории референции были определены основные классы референциальных выражений, а также обращено внимание на важность контекста для установления референции. Это позволяет рассмотреть и лингвистически-ориентированные классификации выражений, учитывающие в том числе и связь выражения с предшествующим текстом.

1.3 Классификации референциальных выражений

Для того, чтобы обозначить некоторый референт в связном тексте, говорящий располагает достаточно большим арсеналом различных языковых средств. Описание этого репертуара средств, а также характера их связи с референтом позволит очертить круг тех выражений, работа с которыми стала основой для данной диссертации.

Обычно выделяются следующие классы референциальных выражений: первый класс, собственные имена, не имеет концепта в языке, и не приписывает обозначаемому объекту никаких отдельных свойств, поэтому референция для него возможна только с опорой на внеязыковые знания. Второй класс, дейктических (указательных) слов, изначально обладает неопределенным референциальным статусом, и приобретает значение только в рамках конкретного речевого акта, поскольку непосредственно связан с самим актом коммуникации, его участниками либо внеязыковой ситуацией. Референциальный статус класса дескрипций (именных групп, включающих общие имена) зависит от свойств общих имен и дейктических слов, входящих в его состав. Наконец, слова класса общих имен не обладают референциальным статусом сами по себе, а приобретают его в составе дескрипций, но, в отличие от других классов, обладают экстенсионалом -множеством объектов реального мира, являющихся потенциально возможными референтами (см., например, [1; 3; 6; 12; 146]). В своей работе я буду опираться на классификацию, предложенную Е.В. Падучевой в своей работе [6].

Среди употреблений именных групп выделяется две основные категории: субстантивные употребления, в которых имена являются референтными, и предикатные, в которых они только выражают свойство и не соотносятся со своим экстенсионалом. Поскольку во втором случае связь с объектом отсутствует, предикативные употребления в данной работе не рассматриваются. Референтные группы далее разделяются по признакам сильной определенности (для говорящего

и слушающего) и слабой определенности (только для говорящего) на определенные, слабо определенные и неопределенные.

В англоязычной литературе традиционно (см., например, [131; 141], ср. [166]) сходным образом выделяются четыре класса выражений, которые могут участвовать в кореферентных отношениях: собственные имена (names), определенные именные группы (definite noun phrases, definite descriptions), неопределенные именные группы (indefinite noun phrases, indefinites) и местоимения (pronouns).

Несколько особняком стоит классификация, предлагаемая в книге М. Поэзио[146]. Сначала в ней предлагается деление именных групп по семантической функции на следующие классы: референтные выражения (referring) (служащие для введения новых сущностей в дискурс или связанных с уже введенными), квантифицирующие (quantificational) - обозначающие отношение между множеством объектов и его подмножеством, определенным в предикате, предикативные (predicative) - выражающие свойства объектов, а не сами объекты, и эксплетивные (expletive) - употребляемые для заполнения валентности подлежащего. Среди референтных выражений далее предлагается на синтаксических основаниях выделять различные классы местоимений (возвратные, определенные (личные), неопределенные, указательные), номинации (nominals) -именные группы с вершиной-существительным, и собственные имена. Кроме того, приводится параллельная группировка референциальных выражений в зависимости от их дискурсивного статуса: на неопределенные (indefinite), определенные номинации (definite nominals), местоимения (pronouns) и так же имена собственные (proper names).

На основе приведенных выше классификаций можно очертить круг выражений и способов их употребления, который будет рассматриваться далее на протяжении работы. В него входят следующие референциальные выражения: собственные имена, местоимения, а также не предикативные употребления именных групп, как определенных, так и неопределенных.

1.4 Анафора и кореферентность

Перед тем, как описать круг явлений, рассматриваемых далее в работе, необходимо описать и разграничить явления анафоры и кореферентности. Понятия анафоры и кореферентности зачастую употребляются вместе, и их объем и соотношение могут различаться у разных исследователей в зависимости от конкретной задачи исследования и теории, в рамках которой оно создавалось, поэтому необходимо определить, как они будут пониматься и использоваться в данной работе.

1.4.1 Анафора

Традиционно под анафорой или анафорической связью понимается «отношение, возникающее между словами во фразе и тексте, когда смысл одного слова или выражения содержит отсылку к другому, при отсутствии синтаксической связи между ними» [6, с. 134]. Именная группа, которая содержит отсылку к предыдущей, называется анафором, именная группа, на которую осуществляется отсылка - антецедентом.

1.4.2 Кореферентность

В отличие от анафорического отношения, устанавливаемого между двумя словами или фразами текста, отношение кореферентности, во-первых, существует только между именными группами и, во-вторых, характеризует именные группы относительно их связи с внеязыковыми сущностями. Е. В. Падучева дает следующее определение кореферентности: «отношение между такими именными группами, которые обозначают один и тот же объект, т. е. имеют один и тот же референт» [там же]. Далее будут рассмотрены понятия дискурсивной модели -принципов формирования и изменения репрезентации сущностей в дискурсе, и факторы референциального выбора - употребления конкретного языкового средства референции.

1.4.3 Сочетание анафоры и кореферентности

Часто анафорическим отношением связаны две кореферентные именные группы, однако эти явления не обязательно возникают одновременно. Существуют случаи, когда между именными группами существуют анафорические отношения, но отсутствуют кореферентные. Например, в примере (2) местоимение one, являясь анафором слова t-shirt, не кореферентно ему, поскольку означает не ту же самую футболку, а другую.

(2) Kim bought a t-shirti, so Robin decided to buy onei as well.

Часто кореферентные отношения устанавливаются между именными группами, которые не представляют собой анафорические выражения, например, в случае упоминания одной и той же сущности в разных диалоговых ситуациях или разных документах (cross-document coreference [131; 146]).

Этот факт вместе с различиями в приведенных выше определениях демонстрирует, что анафора и кореферентность - явления разной природы, которые не должны смешиваться. Такое смешение было допущено, например, в формулировках заданий по автоматическому разрешению кореферентных отношений на соревнованиях MUC-6 и MUC-7, в которых случаи связанной анафоры (см. ниже), а также предикативные употребления именных групп рассматриваются как случаи кореференции. Подробнее см. разбор формулировок задания и рекомендации в [59].

Необходимость более четких формулировок для решения практических задач привела к тому, что объем обоих понятий в работах по прикладной лингвистике постепенно изменялся. В классическом учебнике по обработке языка и речи Д. Журафского и Дж. Мартина [99] описываются две задачи разрешения референции: разрешение местоименной анафоры и разрешение кореферентности. Под первой понимается нахождение антецедентов местоимений, под второй -объединение всех упоминаний одного референта в один набор, т. н. кореферентную цепочку. Основная часть моделей, создававшихся в середине и третьей четверти ХХ века, решали проблему автоматического разрешения анафорических связей, более же общая проблема автоматического разрешения кореферентности начала

ставиться исследователями после того, как она была впервые сформулирована на конференции МиС-6 1995 года [186].

В практической части данной работы будет использоваться терминология, опирающаяся на термины прикладной лингвистики, описанные выше. Термины кореферентность и разрешение кореферентности будут использоваться как общий термин, обозначающий разрешение кореферентности и разрешение местоименной анафоры, термины анафора и разрешение анафоры - как синоним термина разрешение местоименной анафоры.

1.5 Виды анафорических явлений

Разграничив понятия анафоры и кореферентности, мы можем перейти к описанию различных анафорических и кореферентных явлений. Круг таких явлений тоже довольно обширен, и не все из них рассматриваются с прикладной точки зрения, в том числе в данной работе. Ниже будут рассмотрены основные виды отношений, возникающих внутри текста между именными группами или между именной группой и местоимением, и отдельно отмечены те из них, которые входят в нашу область интересов.

Список литературы диссертационного исследования кандидат наук Азеркович Илья Леонидович, 2021 год

Список литературы

1. Арутюнова Н.Д. Номинация и текст / Н.Д. Арутюнова // Языковая номинация. Виды наименований / ред. Б.А. Серебренников, A.A. Уфимцева. -Москва: Наука, 1977. - С. 304-355.

2. Богуславская О.Ю. Механизмы анафорической номинации / О.Ю. Богуславская, И.А. Муравьева // Моделирование языковой деятельности в интеллектуальных системах. - Москва: Наука, 1987. - С. 78-128.

3. Кибрик А.А. Анализ дискурса в когнитивной перспективе / А.А. Кибрик. - Институт языкознания РАН, 2003. - 90 с.

4. Куайн У.О. Референция и модальность: пер. с англ. Е.В. Падучевой / У.О. Куайн // Новое в зарубежной лингвистике. - 1982. - № 13. - С. 87-108.

5. Лукашевич Н.В. Тезаурусы в задачах информационного поиска / Н.В. Лукашевич. - Москва: Издательский Дом МГУ, 2011. - 512 с.

6. Падучева Е.В. Высказывание и его соотнесенность с действительностью / Е.В. Падучева. - М: Рипол Классик, 1985. - 270 с.

7. Рассел Б. Дескрипции: пер. с англ. Н.Д. Арутюновой / Б. Рассел // Новое в зарубежной лингвистике. - 1982. - № 13. - С. 41-54.

8. Референциальный выбор как многофакторный вероятностный процесс / А.А. Кибрик [и др.] // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог 2010». - Москва, 2010.

9. Селезнев Д.Л. Референция и номинация / Д.Л. Селезнев // Моделирование языковой деятельности в интеллектуальных системах. - Москва: Наука, 1987. - С. 64-77.

10. Стросон П.Ф. О референции: пер. с англ. Л.Б. Лебедевой / П.Ф. Стросон // Новое в зарубежной лингвистике. - 1982. - № 13. - С. 55-86.

11. Тестелец Я.Г. Введение в общий синтаксис / Я.Г. Тестелец. - Москва: Издательство РГГУ, 2001. - 798 с.

12. Толдова С.Ю. Структура дискурса и механизм фокусирования как важные факторы выбора номинации объекта в тексте / С.Ю. Толдова. - МГУ им. М.В. Ломоносова, 1994.

13. A mention-synchronous coreference resolution algorithm based on the bell tree / X. Luo [et al.] // Proceedings of the 42nd Annual Meeting of the Association for Computational Linguistics (ACL-04). - 2004.

14. A Model-Theoretic Coreference Scoring Scheme / M. Vilain [et al.] // Proceedings of the 6th Message Understanding Conference (MUC-6). - 1995. - P. 45-52.

15. A multi-pass sieve for coreference resolution / K. Raghunathan [et al.] // Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing. - Association for Computational Linguistics, 2010. - P. 492-501.

16. A Multigraph Model for Coreference Resolution / S. Martschat [et al.] // Joint Conference on EMNLP and CoNLL - Shared Task : CoNLL '12. - Stroudsburg, PA, USA: Association for Computational Linguistics, 2012. - P. 100-106.

17. ACE 2005 Multilingual Training Corpus / C. Walker [et al.]. - 2006.

18. An Entity-Mention Model for Coreference Resolution with Inductive Logic Programming / X. Yang [et al.] // Proceedings of ACL-08: HLT. - 2008. - № June. -P. 843-851.

19. An NP-cluster based approach to coreference resolution / X. Yang [et al.] // Proceedings of the 20th international conference on Computational Linguistics -COLING '04. - 2004. - P. 226-es.

20. Anaphora analysis based on ABBYY Compreno linguistic technologies / A. V. Bogdanov [et al.] // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции "Диалог" (Бекасово, 4-8 июня 2014 г.). - 2014. - Vol. 13. - P. 89-102.

21. Aone C. Evaluating Automated and Manual Acquisition of Anaphora Resolution / C. Aone, S. Bennett // Proceedings of the 33rd annual meeting on Association for Computational Linguistics. - Association for Computational Linguistics, 1995. -P. 122-129.

22. Azerkovich I. Semantic Classification of Russian Heteronominative Noun

Phrases on the Material of RuCor Corpus [Электронный ресурс]. - URL: http://www.dialog-21 .ru/media/3967/azerkovichil.pdf.

23. Azerkovich I. Using Semantic Information for Coreference Resolution with Neural Networks in Russian / I. Azerkovich // Analysis of Images, Social Networks and Texts. AIST 2019. Communications in Computer and Information Science / eds. W.M.P. van der Aalst [et al.]. - Cham: Springer International Publishing, 2020. - Vol. 1086. -P. 85-93.

24. Baldwin B. CogNIAC: High Precision Coreference with Limited Knowledge and Linguistic Resources Abstract / B. Baldwin // Proceedings of a Workshop on Operational Factors in Practical, Robust Anaphora Resolution for Unrestricted Texts. - 1997. - P. 38-45.

25. Baldwin B. Algorithms for Scoring Coreference Chains / B. Baldwin, A. Bagga // The First International Conference on Language Resources and Evaluation Workshop on Linguistics Coreference. - 1998. - P. 563-566.

26. Banerjee S. Extended Gloss Overlaps as a Measure of Semantic Relatedness / S. Banerjee, T. Pedersen // Proceedings of the Eighteenth International Joint Conference on Artificial Intelligence. - 2003. - P. 805--810.

27. Bean D. Unsupervised Learning of Contextual Role Knowledge for Coreference Resolution / D. Bean, E. Riloff // NAACL2004. - 2004. - P. 297-304.

28. Bengtson E. Understanding the Value of Features for Coreference Resolution / E. Bengtson, D. Roth // Proceedings of the Conference on Empirical Methods in Natural Language Processing. - Honolulu, Hawaii: Association for Computational Linguistics, 2008. - P. 294-303.

29. Bergsma S. Automatic acquisition of gender information for anaphora resolution / S. Bergsma // Advances in Artificial Intelligence. - 2005. - P. 342-353.

30. Bergsma S. Bootstrapping path-based pronoun resolution / S. Bergsma, D. Lin // Proceedings of the 21st International Conference on Computational Linguistics and the 44th annual meeting of the Association for Computational Linguistics. - 2006. -P. 33-40.

31. Berland M. Finding parts in very large corpora / M. Berland, E. Charniak //

Proceedings of the 37th annual meeting of the Association for Computational Linguistics on Computational Linguistics. - 1999. - P. 57-64.

32. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding / J. Devlin [et al.] // CoRR. - 2018. - Vol. abs/1810.0.

33. BERT for Coreference Resolution: Baselines and Analysis / M. Joshi [et al.] // Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP). - Hong Kong, China: Association for Computational Linguistics, 2019. - P. 5803-5808.

34. Bjorkelund A. Data-driven multilingual coreference resolution using resolver stacking / A. Bjorkelund, R. Farkas // Joint Conference on EMNLP and CoNLL-Shared Task. - 2012. - P. 49-55.

35. Bobrow D.G. A question-answering system for high school algebra word problems / D.G. Bobrow // Proceedings of the October 27-29, 1964, fall joint computer conference, part I on XX - AFIPS '64 (Fall, part I). - 1964. - P. 591.

36. Bollegala D. Measuring semantic similarity between words using web search engines / D. Bollegala, Y. Matsuo, M. Ishizuka // Proceedings of the 16th international conference on World Wide Web - WWW '07. - 2007. - P. 757-766.

37. Brennan S.E. A centering approach to pronouns / S.E. Brennan, M.W. Friedman, C.J. Pollard // Proceedings of the 25th annual meeting on Association for Computational Linguistics. - 1987. - P. 155-162.

38. Budanitsky A. Evaluating wordnet-based measures of lexical semantic relatedness / A. Budanitsky, G. Hirst // Computational Linguistics. - 2006. - Vol. 32. -№ 1. - P. 13-47.

39. Bunescu R.C. Using Encyclopedic Knowledge for Named Entity Disambiguation / R.C. Bunescu, M.P. Pasca // Proceedings of the 11th Conference of the European Chapter of the Association for Computational Linguistics (EACL-06). - 2006. - P. 9-16.

40. Byron D.K. A flexible architecture for reference resolution / D.K. Byron, J.R. Tetreault // Proceedings of the ninth conference on European chapter of the

Association for Computational Linguistics. - 1999. - P. 229.

41. Carbonell J.G. Anaphora resolution: a multi-strategy approach / J.G. Carbonell, R.D. Brown // Proceedings of the 12th conference on Computational linguistics-Volume 1. - Association for Computational Linguistics, 1988. - P. 96-101.

42. Carter D.M. Common sense inference in a focus-guided anaphor resolver / D.M. Carter // Journal of Semantics. - 1985. - Vol. 4. - № 3. - P. 237-246.

43. Chafe W. Discourse, Consciousness, and Time. The flow and displacement of conscious experience in speaking and writing / W. Chafe. - 1994. - 392 p.

44. Charniak E. Toward a model of children's story comprehension. / E. Charniak. - 1972.

45. Chen C. Combining the Best of Two Worlds: A Hybrid Approach to Multilingual Coreference Resolution / C. Chen, V. Ng // Joint Conference on EMNLP and CoNLL-Shared Task. - 2012. - P. 56-63.

46. Chinchor N.A. Overview of MUC-7 / MET-2 / N.A. Chinchor // Proceedings of the Seventh Message Understanding Conference. - 1998.

47. Chomsky N. Lectures on Government and Binding / N. Chomsky. - 1993.

48. Cilibrasi R.L. The Google similarity distance / R.L. Cilibrasi, P.M.B. Vitanyi // IEEE Transactions on Knowledge and Data Engineering. - 2007. - Vol. 19. -№ 3. - P. 370-383.

49. Clark H.H. Bridging / H.H. Clark // Theoretical issues in natural language processing. - 1975.

50. Clark K. Improving Coreference Resolution by Learning Entity-Level Distributed Representations / K. Clark, C.D. Manning // Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers). -2016. - P. 643-653.

51. Computational modeling of referential choice: major and minor referential options / N. V. Loukachevitch [et al.] // Proceedings of the PRE-CogSci 2011 workshop on production of referring expressions: bridging the gap between computational, empirical & theoretical approaches. - 2011.

52. CoNLL-2012 shared task: Modeling multilingual unrestricted coreference in

OntoNotes / S. Pradhan [et al.] // Joint Conference on EMNLP and CoNLL - Shared Task.

- 2012. - P. 1-40.

53. Connolly D. A machine learning approach to anaphoric reference / D. Connolly, J.D. Burger, D.S. Day // New methods in language processing. - Manchester, U.K, 1997. - P. 133-144.

54. Coreference resolution using competition learning approach / X. Yang [et al.] // Proceedings of the 41st Annual Meeting on Association for Computational Linguistics - ACL '03. - 2003. - Vol. 1. - P. 176-183.

55. Coreference systems based on kernels methods / Y. Versley [et al.] // Proceedings of the 22nd International Conference on Computational Linguistics-Volume 1. - 2008. - P. 961-968.

56. Dagan I. Automatic processing of large corpora for the resolution of anaphora references / I. Dagan, A. Itai // Proceedings of the 13th conference on Computational linguistics-Volume 3. - Association for Computational Linguistics, 1990.

- P. 330-332.

57. Daumé III H. A Large-scale Exploration of Effective Global Features for a Joint Entity Detection and Tracking Model / H. Daumé III, D. Marcu // Proceedings of the Conference on Human Language Technology and Empirical Methods in Natural Language Processing : HLT '05. - Stroudsburg, PA, USA: Association for Computational Linguistics, 2005. - P. 97-104.

58. DBpedia: A nucleus for a Web of open data / S. Auer [et al.] // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2007. - Vol. 4825 LNCS. - P. 722-735.

59. Deemter K. van. On Coreferring: Coreference in MUC and Related Annotation Schemes / K. van Deemter, R. Kibble // Computational Linguistics. - 2000.

- Vol. 26. - № 4. - P. 629-637.

60. Deep Contextualized Word Representations / M. Peters [et al.] // Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long Papers).

- New Orleans, Louisiana: Association for Computational Linguistics, 2018. - P. 2227-

2237.

61. Denis P. A ranking approach to pronoun resolution / P. Denis, J. Baldridge // IJCAI International Joint Conference on Artificial Intelligence. - 2007. - P. 1588-1593.

62. Denis P. Specialized models and ranking for coreference resolution / P. Denis, J. Baldridge // 2008 Conference on Empirical Methods in Natural Language Processing. - 2008. - P. 660-669.

63. Deterministic Coreference Resolution Based on Entity-Centric, Precision-Ranked Rules / H. Lee [et al.] // Computational Linguistics. - 2013. - Vol. 39. - № 4. -P. 885-916.

64. Development and Application of a Metric on Semantic Nets / R. Rada [et al.] // IEEE Transactions on Systems, Man and Cybernetics. - 1989. - Vol. 19. - № 1. -P. 17-30.

65. Distributed Representations of Words and Phrases and their Compositionality / T. Mikolov [et al.] // Advances in Neural Information Processing Systems 26 / eds. C.J.C. Burges [et al.]. - Curran Associates, Inc., 2013. - P. 3111-3119.

66. Does discourse-new detection help definite description resolution / M. Poesio [et al.] // Proceedings of the 6th International Workshop on Computational Semantics. - 2005. - P. 236-246.

67. Durrett G. Easy victories and uphill battles in coreference resolution / G. Durrett, D. Klein // Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. - 2013. - P. 1971-1982.

68. Efficient Estimation of Word Representations in Vector Space / T. Mikolov [et al.] // CoRR. - 2013. - Vol. abs/1301.3.

69. End-to-end Neural Coreference Resolution / K. Lee [et al.] // Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. -Copenhagen, Denmark: Association for Computational Linguistics, 2017. - P. 188-197.

70. Error analysis for anaphora resolution in Russian: new challenging issues for anaphora resolution task in a morphologically rich language / S. Toldova [et al.] // Proceedings of the Workshop on Coreference Resolution Beyond OntoNotes (CORBON 2016). - Stroudsburg, PA, USA: Association for Computational Linguistics,

2016. - P. 74-83.

71. FactRuEval 2016: Evaluation of named entity recognition and fact extraction systems for Russian / A.S. Starostin [et al.] // Komp'juternaja Lingvistika i Intellektual'nye Tehnologii. - 2016.

72. Fellbaum C. WordNet and wordnets. Encyclopedia of Language and Linguistics. / C. Fellbaum // Encyclopedia of Language and Linguistics. - Oxford: Elsevier, 2005. - P. 665-670.

73. Fernandes E.R. Latent Structure Perceptron with Feature Induction for Unrestricted Coreference Resolution / E.R. Fernandes, C.N. dos Santos, R.L. Milidiu // Proceedings of the Joint Conference on EMNLP and CoNLL: Shared Task. - 2012. -P. 41-48.

74. Fleischman M. Offline strategies for online question answering / M. Fleischman, E. Hovy, A. Echihabi // Proceedings of the 41st Annual Meeting on Association for Computational Linguistics - ACL '03. - 2003. - Vol. 1. - P. 1-7.

75. Frank E. The WEKA workbench / E. Frank, M.A. Hall, I.H. Witten. - Fourth Edi. - Morgan Kaufmann, 2016.

76. Freebase: a collaboratively created graph database for structuring human knowledge / K. Bollacker [et al.] // SIGMOD 2008. - 2008. - P. 1247-1250.

77. Gabrilovich E. Computing semantic relatedness using wikipedia-based explicit semantic analysis / E. Gabrilovich, S. Markovitch // IJCAI International Joint Conference on Artificial Intelligence. - 2007. - P. 1606-1611.

78. Gordon P.C. Pronouns, names, and the centering of attention in discourse / P.C. Gordon, B.J. Grosz, L.A. Gilliom // Cognitive Science. - 1993. - Vol. 17. - № 3. -P. 311-347.

79. Graph-based word clustering using a web search engine / Y. Matsuo [et al.] // Proceedings of the 2006 Conference on Empirical Methods in Natural Language Processing - EMNLP '06. - 2006. - P. 542.

80. Grosz B.J. The representation and use of focus in a system for understanding dialogs / B.J. Grosz // Proceedings of the Fifth International Joint Conference on Artificial Intelligence. - 1977.

81. Grosz B.J. Attention, intentions, and the structure of discourse / B.J. Grosz, C.L. Sidner // Computational Linguistics. - 1986. - Vol. 12. - № 3. - P. 175-204.

82. Grosz B.J. Centering: A framework for modeling the local coherence of discourse / B.J. Grosz, S. Weinstein, A. Joshi // Computational Linguistics. - 1995. -Vol. 21. - № 2. - P. 203-225.

83. Haghighi A. Simple Coreference Resolution with Rich Syntactic and Semantic Features / A. Haghighi, D. Klein // Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing: Volume 3 - Volume 3 : EMNLP '09.

- Stroudsburg, PA, USA: Association for Computational Linguistics, 2009. - P. 11521161.

84. Harabagiu S.M. Text and knowledge mining for coreference resolution / S.M. Harabagiu, R.C. Bunescu, S.J. Maiorano // 2nd Meeting of the North American Chapter of the Association for Computational Linguistics, Proceedings of the Conference.

- The Association for Computational Linguistics, 2001. - P. 55-62.

85. Harris Z.S. Distributional Structure / Z.S. Harris // WORD. - 1954. - Vol. 10.

- № 2-3. - P. 146-162.

86. Haveliwala T.H. Topic-sensitive pagerank / T.H. Haveliwala // Proceedings of the 11th international conference on World Wide Web. - 2002. - P. 517-526.

87. Hearst M. Automated discovery of wordnet relations / M. Hearst // WordNet: an electronic lexical database. - 1998. - P. 131-152.

88. Heim I.R. The semantics of definite and indefinite noun phrases / I.R. Heim.

- 1982.

89. Hirst G. Anaphora in Natural Language Understanding: A Survey / G. Hirst.

- 1981.

90. Hirst G. Lexical chains as representations of context for the detection and correction of malapropisms / G. Hirst, D. St-Onge // WordNet: An electronic lexical database. - 1998. - P. 305-332.

91. Hobbs J. Resolving pronoun references / J. Hobbs // Lingua. - 1978. -Vol. 44. - P. 311-338.

92. Hoste V. Optimization Issues in Machine Learning of Coreference

Resolution / V. Hoste. - 2005. - 258 p.

93. Hoste V. A modular approach to learning Dutch co-reference / V. Hoste, A. Van Den Bosch // Proceedings from the First Bergen Workshop on Anaphora Resolution (WAR I). - 2008. - P. 51-75.

94. Hughes T. Lexical Semantic Relatedness with Random Graph Walks / T. Hughes, D. Ramage // Proceedings of the 2007 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. - Prague, 2007. - P. 581-589.

95. Incorporating Contextual Cues in Trainable Models for Coreference Resolution / R. Iida [et al.] // Proceedings of the EACL Workshop on The Computational Treatment of Anaphora. - 2003. - P. 23-30.

96. Indexing by latent semantic analysis / S. Deerwester [et al.] // Journal of the American Society for Information Science. - 1990. - Vol. 41. - № 6. - P. 391-407.

97. Jarmasz M. Roget's thesaurus and semantic similarity / M. Jarmasz, S. Szpakowicz // Proceedings of the RANLP-2003. - 2003. - P. 212-219.

98. Jiang J. Semantic similarity based on corpus statistics and lexical taxonomy / J. Jiang, D. Conrath // Proceedings of the 10th Research on Computational Linguistics International Conference. - 1997. - P. 19-33.

99. Jurafsky D. Speech and language processing: an introduction to natural language processing, computational linguistics, and speech recognition / D. Jurafsky, J.H. Martin. - Pearson Prentice Hall, 2009. - 988 p.

100. Kamenskaya M.A. Data driven methods for anaphora resolution of Russian texts / M.A. Kamenskaya, I.V. Khramoin, I.. Smirnov // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции "Диалог" (Бекасово, 4-8 июня 2014 г.). - 2014. - Vol. 13. - № 20. -P. 241-250.

101. Kameyama M. Recognizing Referential Links: An Information Extraction Perspective / M. Kameyama // Proceedings of ACL/EACL workshop on Operational factors in practical, robust anaphora resolution. - 1997. - P. 46-53.

102. Kamp H. A theory of truth and semantic representation / H. Kamp // Formal

semantics: the essential readings. - 2002. - P. 189-222.

103. Karttunen L. Discourse Referents / L. Karttunen // Proceedings of the 1969 Conference on Computational Linguistics : COLING '69. - Association for Computational Linguistics, 1969. - P. 1-38.

104. Kennedy C. Anaphora for Everyone: Pronominal Anaphora Resolution without a Parser / C. Kennedy, B. Boguraev // Proceedings of the 16th Conference on Computational linguistics (COLING '96). - 1996. - P. 113-118.

105. Kibrik A.A. A Cognitive Calculative Approach towards Discourse Anaphora / A.A. Kibrik // Proceedings of the Discourse anaphora and anaphor resolution conference (DAARC2000). - 2000.

106. Kibrik A.A. Cognitive inferences from discourse observations: Reference and working memory / A.A. Kibrik // Discourse studies in cognitive linguistics. Proceedings of the 5th International cognitive linguistics conference. - 1999. - P. 29-52.

107. Kibrik A.A. Modelling Referential Choice in Discourse: A Cognitive Calculative Approach and a Neural Networks Approach / A.A. Kibrik, A. Grüning // Anaphora Processing: Linguistic, Cognitive and Computational Modelling. - 2005. -P. 163-198.

108. Kozima H. Similarity between words computed by spreading activation on an English dictionary / H. Kozima, T. Furugori // Proceedings of the sixth conference on European chapter of the Association for Computational Linguistics. - Morristown, NJ, USA: Association for Computational Linguistics, 1993. - P. 232.

109. Kutuzov A.B. The impact of morphology processing quality on automated anaphora resolution for Russian / A.B. Kutuzov, M. Ionov // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции "Диалог" (Бекасово, 4-8 июня 2014 г.). - 2014. -Vol. 13. - № 20. - P. 232-240.

110. Kuzmenko E. Morphological analysis for Russian: Integration and comparison of taggers / E. Kuzmenko // Analysis of Images, Social Networks and Texts. AIST 2016 / eds. D.I. Ignatov [et al.]. - Springer, Cham, 2017. - Vol. 661. - P. 162-171.

111. Lappin S. An Algorithm for Pronominal Anaphora Resolution / S. Lappin,

H. Leass // Computational linguistics. - 1994. - Vol. 20. - № 4. - P. 535-561.

112. Leacock C. Combining local context with wordnet similarity for word sense identification / C. Leacock, M. Chodorow // WordNet: an electronic lexical database. -MIT Press, 1998. - P. 265-283.

113. Learning Anaphoricity and Antecedent Ranking Features for Coreference Resolution / S. Wiseman [et al.] // Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing (Volume 1: Long Papers). - 2015. - P. 1416-1426.

114. Lee J.H. Information retrieval based on conceptual distance in is-a hierarchies / J.H. Lee, M.H. Kim, Y.J. Lee. - 1993.

115. Lesk M. Automatic Sense Disambiguation: How to Tell a Pine Cone from an Ice Scream Cone / M. Lesk // Proceedings of the 1986 SIGDOC Conference. - 24-26: ACM, 1986. - P. 24-26.

116. Levesque H. The Winograd Schema Challenge / H. Levesque, E. Davis, L. Morgenstern // Thirteenth International Conference on the Principles of Knowledge Representation and Reasoning. - 2012.

117. Levy O. Improving Distributional Similarity with Lessons Learned from Word Embeddings. Vol. 3 / O. Levy, Y. Goldberg, I. Dagan. - 2015. - 211-225 p.

118. Lin D. An information-theoretic definition of similarity / D. Lin // Icml. -1998. - Vol. 98. - P. 296-304.

119. Lin D. Automatic Retrieval and Clustering of Similar Words / D. Lin // Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and 17th International Conference on Computational Linguistics - Volume 2 : ACL '98/COLING '98. - Stroudsburg, PA, USA: Association for Computational Linguistics, 1998. - P. 768-774.

120. Linde C. Focus of Attention and the Choice of Pronouns in Discourse / C. Linde // Syntax and Semantics. - 1979. - Vol. 12. - P. 26.

121. Luo X. On coreference resolution performance metrics / X. Luo // Proceedings of the conference on Human Language Technology and Empirical Methods in Natural Language Processing - HLT '05. - Morristown, NJ, USA: Association for

Computational Linguistics, 2005. - P. 25-32.

122. Mann W.C. Rhetorical Structure Theory: Toward a functional theory of text organization / W.C. Mann, S.A. Thompson // Text. - 1988.

123. Markert K. Comparing knowledge sources for nominal anaphora resolution / K. Markert, M. Nissim // Computational Linguistics. - 2005. - Vol. 31. - №№ 3. - P. 367401.

124. Martschat S. Latent Structures for Coreference Resolution / S. Martschat, M. Strube // Transactions of the Association of Computational Linguistics. - 2015. - Vol. 3.

- № 1. - P. 405-418.

125. McCallum A. Conditional models of identity uncertainty with application to noun coreference / A. McCallum, B. Wellner // Advances in neural information processing systems. - 2005. - P. 905-912.

126. McCarthy J. A trainable approach to coreference resolution for information extraction / J. McCarthy, W. Lehnert. - University of Massachusetts at Amherst, 1996.

127. Miller G. WordNet: An electronic lexical database. WordNet: An electronic lexical database / G. Miller. - MIT Press, 1998.

128. Milne D. An Effective , Low-Cost Measure of Semantic Relatedness Obtained from Wikipedia Links / D. Milne, I.H. Witten // Proceedings of the first AAAI Workshop on Wikipedia and Artificial Intelligence WIKIAI08. - 2007. - Vol. pp. -P. 25-30.

129. Miltsakaki E. Toward an aposynthesis of topic continuity and intrasentential anaphora / E. Miltsakaki // Computational Linguistics. - 2002. - Vol. 28. - №2 3. - P. 319355.

130. Mitkov R. An integrated model for anaphora resolution / R. Mitkov // Proceedings of the 15th conference on Computational linguistics-Volume 2. -Association for Computational Linguistics, 1994. - P. 1170-1176.

131. Mitkov R. Anaphora Resolution / R. Mitkov. - 2002. - 220 p.

132. Mitkov R. Robust pronoun resolution with limited knowledge / R. Mitkov // Proceedings of the 36th annual meeting on Association for Computational Linguistics -.

- 1998. - Vol. 2. - P. 869-875.

133. Morris J. Non-classical lexical semantic relations / J. Morris, G. Hirst // Proceedings of the HLT-NAACL Workshop on Computational Lexical Semantics. -Boston, Massachusetts: Association for Computational Linguistics, 2004. - P. 46-51.

134. Muskens R. Combining Montague semantics and discourse representation / R. Muskens // Linguistics and philosophy. - 1996. - Vol. 19. - № 2. - P. 143-186.

135. Nedoluzhko A. Extended coreferential relations and bridging anaphora in the Prague Dependency Treebank / A. Nedoluzhko, J. Mirovsky, R. Ocelak // Proceedings of the 7th Discourse Anaphora and Anaphor Resolution Colloquium (DAARC 2009). -Goa, India, 2009. - P. 1-16.

136. Newman M.E.J. Fast algorithm for detecting community structure in networks / M.E.J. Newman // Physical Review E. - 2004. - Vol. 69. - № 6. - P. 066133.

137. Ng V. Machine Learning for Entity Coreference Resolution: A Retrospective Look at Two Decades of Research / V. Ng // Proceedings of the 31th Conference on Artificial Intelligence (AAAI 2017). - 2017. - Vol. 6. - P. 4877-4884.

138. Ng V. Supervised Noun Phrase Coreference Research: The First Fifteen Years / V. Ng // Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics. - 2010. - P. 1396-1411.

139. Ng V. Supervised Ranking for Pronoun Resolution: Some Recent Improvements / V. Ng // Proceedings of the 20th National Conference on Artificial Intelligence. - 2005. - P. 1081-1086.

140. Ng V. Combining sample selection and error-driven pruning for machine learning of coreference rules / V. Ng, C. Cardie // Proceedings of the ACL-02 conference on Empirical methods in natural language processing - EMNLP '02. - 2002. - Vol. 10. -P. 55-62.

141. Ng V. Identifying anaphoric and non-anaphoric noun phrases to improve coreference resolution / V. Ng, C. Cardie // Proceedings of the 19th international conference on Computational linguistics -. - 2002. - Vol. 1. - № 1987. - P. 1-7.

142. Ng V. Improving machine learning approaches to coreference resolution / V. Ng, C. Cardie // Proceedings of the 40th Annual Meeting on Association for Computational Linguistics - ACL '02. - 2002. - P. 104-111.

143. OntoNotes: A Unified Relational Semantic Representation / S.S. Pradhan [et al.] // International Conference on Semantic Computing (ICSC 2007). - IEEE, 2007. -P. 517-526.

144. Orasan C. La uva de la discordia Revista Qué Pasa / C. Orasan, R. Evans // Journal of Artificial Intelligence Research. - 2007. - Vol. 29. - P. 79-103.

145. Patwardhan S. Using WordNet-based Context Vectors to Estimate the Semantic Relatedness of Concepts / S. Patwardhan, T. Pedersen // Proceedings of the Workshop on Making Sense of Sense: Bringing Psycholinguistics and Computational Linguistics Together. - 2006.

146. Poesio M. Anaphora resolution : algorithms, resources, and applications / M. Poesio, R. Stuckardt, Y. Versley. - Springer, 2016. - 508 p.

147. Poesio M. An Empirically Based System for Processing Definite Descriptions / M. Poesio, R. Vieira // Computational Linguistics. - 2000. - Vol. 26. -№ 4. - P. 539-593.

148. Poesio M. Poesio, Vieira, Teufel - Resolving Bridging References in Unrestricted Text / M. Poesio, R. Vieira, S. Teufel // Proceedings of a Workshop on Operational Factors in Practical, Robust Anaphora Resolution for Unrestricted Texts. -Association for Computational Linguistics, 1997. - P. 1-6.

149. Polish coreference corpus / M. Ogrodniczuk [et al.] // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2016. - Vol. 9561 LNCS. - P. 215-226.

150. Ponzetto S.P. Exploiting semantic role labeling, WordNet and Wikipedia for coreference resolution / S.P. Ponzetto, M. Strube // Proceedings of the main conference on Human Language Technology Conference of the North American Chapter of the Association of Computational Linguistics. - Association for Computational Linguistics, 2006. - Vol. 33. - P. 192-199.

151. Prince E.F. Toward a taxonomy of given-new information / E.F. Prince // Radical Pragmatics. - 1981. - P. 223-255.

152. Quine W.V.O. Reference and modality / W.V.O. Quine // From a logical point of view: 9 logico-philosophical essays. - Cambridge, Mass: Harvard University

Press, 1953.

153. Rahman A. Coreference resolution with world knowledge / A. Rahman, V. Ng // Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies-Volume 1. - The Association for Computer Linguistics, 2011. - P. 814-824.

154. Rahman A. Resolving Complex Cases of Definite Pronouns: The Winograd Schema Challenge / A. Rahman, V. Ng // Proceedings of the 2012 Joint Conference on Empirical Methods in Natural Language Processing and Computational Natural Language Learning. - Association for Computational Linguistics, 2012. - P. 777-789.

155. Rahman A. Supervised models for coreference resolution / A. Rahman, V. Ng // Proceedings of the 2009 Conference on Empirical Methods in Natural Language Processing Volume 2 - EMNLP '09. - 2009. - Vol. 2. - P. 968-977.

156. Recasens M. A deeper look into features for coreference resolution / M. Recasens, E. Hovy // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2009. - P. 29-42.

157. Recasens M. A Typology of Near-Identity Relations for Coreference ( NIDENT ) / M. Recasens, E. Hovy, M. Ant // Information Sciences. - 2009. - P. 149156.

158. Recasens M. Identity, non-identity, and near-identity: Addressing the complexity of coreference / M. Recasens, E. Hovy, M.A. Marti // Lingua. - 2011. -Vol. 121. - № 6. - P. 1138-1152.

159. Recent Trends in Deep Learning Based Natural Language Processing [Review Article] / T. Young [et al.] // IEEE Computational Intelligence Magazine. - 2018. - Vol. 13. - № 3. - P. 55-75.

160. Reinhart T. The syntactic domain of anaphora / T. Reinhart. - 1976. -Massachusetts Institute of Technology p.

161. Resnik P. Using Information Content to Evaluate Semantic Similarity in a Taxonomy / P. Resnik // IJCAI. - 1995. - P. 448-453.

162. Roitberg A. Bridging Corpus for Russian in comparison with Czech / A. Roitberg, A. Nedoluzhko // Proceedings of the Workshop on Coreference Resolution

Beyond OntoNotes (CORBON 2016). - 2016. - P. 59-66.

163. RU-EVAL-2014: Evaluating anaphora and coreference resolution for Russian / S. Toldova [et al.] // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции "Диалог" (Бекасово, 4-8 июня 2014 г.). - 2014. - Vol. 13. - P. 681-694.

164. Ru-Eval-2019: Evaluating anaphora and coreference resolution for Russian / E.A. Budnikov [et al.] // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference "Dialogue" (2019). - 2019. - № 18. -P. 2-13.

165. Russe: the First Workshop on Russian Semantic Similarity / A. Panchenko [et al.] // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной международной конференции "Диалог" (Москва, 27 — 30 мая 2015 г.). - 2015.

166. Russell B. Descriptions / B. Russell // Introduction to Mathematical Philosophy. - London, 1920. - P. 167-180.

167. Russian Coreference Corpus / S. Toldova [et al.] // Input a word, analyze the world: selected approaches to corpus linguistics / eds. F.A. Almeida [et al.]. - Cambridge Scholars Publishing, 2016. - P. 107-124.

168. RuThes Thesaurus in Detecting Russian Paraphrases / N. V. Loukachevitch [et al.] // Artificial Intelligence and Natural Language. - Springer, Cham, 2018. - P. 242256.

169. Schmid H. Improvements in Part-of-Speech Tagging with an Application to German / H. Schmid // Proceedings of the ACL SIGDAT-Workshop. - Dublin, Ireland, 1995.

170. Schmid H. Probabilistic part-of-speech tagging using decision trees / H. Schmid // Proceedings of the international conference on new methods in language processing. - 1994. - P. 44-49.

171. Schuler K.K. VerbNet: A broad-coverage, comprehensive verb lexicon / K.K. Schuler. - 2005.

172. SciPy: Open source scientific tools for Python / E. Jones [et al.] [Online;

accessed ]. - 2001.

173. Seco N. An Intrinsic Information Content Metric for Semantic Similarity inWordNet / N. Seco, T. Veale, J. Hayes // ECAI. - IOS Press, 2004. - P. 1089-1090.

174. Semantic Specialisation of Distributional Word Vector Spaces using Monolingual and Cross-Lingual Constraints / N. Mrksic [et al.] // Transactions of the Association of Computational Linguistics. - 2017. - Vol. 5. - № 1. - P. 309-324.

175. Sentence Level Representation and Language Models in The Task of Coreference Resolution for Russian / T.A. Le [et al.] // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference "Dialogue" (2019). - 2019. - P. 341-350.

176. Sharoff S. The proper place of men and machines in language technology: Processing Russian without any linguistic knowledge / S. Sharoff, J. Nivre // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции "Диалог" (Бекасово, 25 - 29 мая 2011 г.). - 2011. - Vol. 10. - P. 591-605.

177. Sidner C.L. Toward a computational theory of definite anaphora comprehension in English / C.L. Sidner. - 1979.

178. Singhal A. Introducing the Knowledge Graph: things, not strings [Электронный ресурс]. - URL: https://www.blog.google/products/search/introducing-knowledge-graph-things-not/ (дата обращения: 12.02.2019).

179. Soon W.M. A machine learning approach to coreference resolution of noun phrases / W.M. Soon, D.C.Y. Lim, H.T. Ng // Computational Linguistics. - 2001. -Vol. 27. - № 4. - P. 521-544.

180. Stanford's multi-pass sieve coreference resolution system at the CoNLL-2011 shared task / H. Lee [et al.] // Proceedings of the fifteenth conference on computational natural language learning: Shared task. - Association for Computational Linguistics, 2011. - P. 28-34.

181. Strawson P.F. On referring / P.F. Strawson // Mind. - 1950. - Vol. 59. -№ 235. - P. 320-344.

182. Strube M. Functional centering: Grounding referential coherence in

information structure / M. Strube, U. Hahn // Computational linguistics. - 1999. - Vol. 25. - № 3. - P. 309-344.

183. Strube M. WikiRelate! Computing Semantic Relatedness Using Wikipedia / M. Strube, S.P. Ponzetto // American Association for Artificial Intelligence. - 2006. -Vol. 6. - P. 1419-1424.

184. Strube M. The Influence of Minimum Edit Distance on Reference Resolution / M. Strube, S. Rapp, C. Müller // Proceedings of the Conference on Empirical Methods in Natural Language Processing. - 2002. - P. 312-319.

185. Suchanek F. Yago: a core of semantic knowledge / F. Suchanek, G. Kasneci, G. Weikum // Proceedings of the 16th international conference on World Wide Web. -ACM, 2007. - P. 697-706.

186. Sundheim B.M. Overview of results of the MUC-6 evaluation / B.M. Sundheim // MUC6 '95: Proceedings of the 6th conference on Message understanding. -1995. - P. 13-31.

187. Suri L. RAFT/RAPR and centering: a comparison and discussion of problems related to preceding complex sentences / L. Suri, K. McCoy // Computational Linguistics. - 1994. - Vol. 20. - № 2. - P. 301-317.

188. Sussna M.J. Text Retrieval Using Inference in Semantic Metanetworks / M.J. Sussna. - University of California, San Diego., 1997.

189. Sussna M.J. Word sense disambiguation using a massive of computer for free-text semantic indexing network / M.J. Sussna // CIKM '93 Proceedings of the second international conference on Information and knowledge management. - 1993.

190. Tetreault J.R. A corpus-based evaluation of centering and pronoun resolution / J.R. Tetreault // Computational Linguistics. - 2001. - Vol. 27. - № 4. -P. 507-520.

191. The (Non) Utility of Predicate-Argument Frequencies for Pronoun Interpretation / A. Kehler [et al.] // Proceedings of the 2004 Human Language Technology Conference of the North American Chapter of the Association for Computational Linguistics. - 2004.

192. The Implementation of the Mention-Ranking Approach to Coreference

Resolution in Russian / A. Kupriianova [et al.] // R. Piotrowski's Readings in Language Engineering and Applied Linguistics. - Saint Petersburg, Russia, 2017.

193. Toldova S. Coreference Resolution for Russian: The Impact of Semantic Features / S. Toldova, M. Ionov // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной международной конференции "Диалог" (Москва, 31 мая — 3 июня 2017 г.). - 2017. - Vol. 16. - P. 339-348.

194. Toldova S.Y. Mention Detection for Improving Coreference Resolution in Russian Texts: A Machine Learning Approach / S.Y. Toldova, M.I. Ionov // Computación y Sistemas. - 2016. - Vol. 20. - № 4. - P. 681-696.

195. Turdakov D. Semantic Relatedness Metric for Wikipedia Concepts Based on Link Analysis and its Application to Word Sense Disambiguation / D. Turdakov, P. Velikhov // Proceedings of the Spring Young Researcher's Colloquium On Database and Information Systems (CEUR workshop proceedings). - Saint Petersburg, Russia, 2008.

196. Turney P.D. From frequency to meaning: Vector space models of semantics / P.D. Turney, P. Pantel // Journal of Artificial Intelligence Research. - 2010. - Vol. 37.

- P. 141-188.

197. Uryupina O. Coreference resolution with and without linguistic knowledge / O. Uryupina // Proceedings of the 5th International Conference on Language Resources and Evaluation (LREC~2006). - 2006. - P. 893-898.

198. Uryupina O. Linguistically Motivated Sample Selection for Coreference Resolution / O. Uryupina // Proceedings of DAARC-2004. - 2004.

199. Vulic I. Specialising Word Vectors for Lexical Entailment / I. Vulic, N. Mrksic // Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. - 2018. -P. 1134-1145.

200. Walker M.A. Evaluating discourse processing algorithms / M.A. Walker // Proceedings of the 27th Annual Meeting of the Association for Computational Linguistics.

- 1989. - P. 251-261.

201. Webber B. A Formal Approach to Discourse Anaphora / B. Webber. -Harvard University, 1978. - 204 p.

202. WikiWalk: random walks on Wikipedia for semantic relatedness / E. Yeh [et al.] // Proceedings of the 2009 workshop on graph-based methods for natural language processing. - Association for Computational Linguistics, 2009. - P. 41-49.

203. Winograd T. Understanding natural language / T. Winograd // Cognitive Psychology. - 1972. - Vol. 3. - № 1. - P. 1-191.

204. Wiseman S. Learning Global Features for Coreference Resolution / S. Wiseman, A.M. Rush, S.M. Shieber // Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies. - 2016. - P. 994-1004.

205. Wu Z. Verb Semantics and Lexical Selection / Z. Wu, M. Palmer // ACL. -1994. - P. 133-138.

206. Yang X. A Twin-Candidate Model for Learning-Based Anaphora Resolution / X. Yang, J. Su, C.L. Tan // Computational Linguistics. - 2008. - Vol. 34. -№ 3. - P. 327-356.

207. Yang X. Improving pronoun resolution using statistics-based semantic compatibility information / X. Yang, J. Su, C.L. Tan // Proceedings of the 43rd Annual Meeting on .... - 2005. - № June. - P. 165-172.

208. Zesch T. Comparing wikipedia and german wordnet by evaluating semantic relatedness on multiple datasets / T. Zesch, I. Gurevych, M. Muhlhauser // Human Language Technologies 2007: The Conference of the North American Chapter of the Association for Computational Linguistics; Companion Volume, Short Papers. -Association for Computational Linguistics, 2007. - P. 205-208.

209. Zhang Z. Recent advances in methods of lexical semantic relatedness - A survey / Z. Zhang, A.L. Gentile, F. Ciravegna // Natural Language Engineering. - 2013. - Vol. 19. - № 4. - P. 411-479.