Методология интеллектуального анализа мнений при обработке текстовой информации на основе правдоподобного вывода тема диссертации и автореферата по ВАК РФ 05.13.17, доктор наук Котельников Евгений Вячеславович

• Котельников Евгений Вячеславович
• доктор наук
• 2019

Оглавление диссертации доктор наук Котельников Евгений Вячеславович

ВВЕДЕНИЕ

ГЛАВА 1. ЗАДАЧА АНАЛИЗА МНЕНИЙ В ТЕКСТАХ, ПОДХОДЫ К ЕЁ РЕШЕНИЮ И ДСМ-МЕТОД

1.1. Задача анализа мнений в текстах

1.1.1. Основные понятия и определения

1.1.2. Области применения систем анализа мнений

1.1.3. Формальная постановка задачи

1.2. Подходы к решению задачи анализа мнений

1.2.1. Метрики оценки качества классификации

1.2.2. Основные подходы

1.2.3. Методы машинного обучения

1.2.4. Модели представления текста

1.3. ДСМ-метод автоматизированной поддержки научных исследований

1.3.1. Введение в ДСМ-метод

1.3.2. Основные понятия и термины

1.3.3. Основные процедуры ДСМ-метода

1.3.4. Алгоритм и стратегии ДСМ-метода

1.3.5. Условия применимости ДСМ-метода

1.3.6. Подходы к решению проблемы высокой вычислительной сложности ДСМ-метода

1.3.7. Применение ДСМ-метода при автоматической обработке естественного языка

1.4. Выводы по главе

ГЛАВА 2. МЕТОДЫ ПРАВДОПОДОБНОГО ВЫВОДА

2.1. Индуктивный вывод

2.1.1. Цель и задачи индуктивного вывода

2.1.2. Алгоритмы поиска общих фрагментов

2.1.3. Совместная кластеризация слов и документов

2.1.4. Метод параллельного индуктивного вывода

2.2. Вывод по аналогии

2.2.1. Цель и задачи вывода по аналогии

2.2.2. Обзор функций оценки информативности гипотез

2.2.3. Сравнительный анализ функций информативности

2.2.4. Разработка функции оценки информативности для анализа текстов

2.2.5. Метод вывода по аналогии

2.3. Абдуктивный вывод

2.3.1. Цель и задачи абдуктивного вывода

2.3.2. Алгоритм ранжирования гипотез

2.3.3. Алгоритм коррекции обучающих данных

2.3.4. Процедура перекрестной проверки

2.3.5. Метод абдуктивного вывода

2.3.6. Экспериментальное исследования метода абдуктивного вывода

2.4. Выводы по главе

ГЛАВА 3. МЕТОДОЛОГИЯ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА МНЕНИЙ В ТЕКСТАХ

3.1. Предварительная обработка данных

3.1.1. Цель предварительной обработки данных

3.1.2. Уровни анализа текста

3.1.3. Первичный анализ текста

3.1.4. Морфологический анализ

3.1.5. Словари оценочной лексики

3.1.6. Модель представления текстовой информации для методов правдоподобного вывода

3.1.7. Метод предварительной обработки текстов

3.2. Методология анализа мнений в текстах ТехШМ

3.2.1. Цель и задачи методологии Твхи^Ы

3.2.2. Решение предсказательных задач в методологии Твхи^Ы

3.2.3. Решение описательных задач в методологии Твхи^Ы

3.2.4. Пример анализа мнений в тексте

3.2.5. Анализ временной сложности

3.2.6. Настройка параметров

3.2.7. Параллельная реализация

3.2.8. Многоклассовый вариант Техи^Ы

3.3. Выводы по главе

ГЛАВА 4. АРХИТЕКТУРА И ПРОГРАММНАЯ РЕАЛИЗАЦИЯ СИСТЕМЫ ИНТЕЛЛЕКТУАЛЬНОГО АНАЛИЗА МНЕНИЙ В ТЕКСТАХ

4.1. Архитектура системы анализа мнений на основе методологии ТехШМ

4.1.1. Требования к системе

4.1.2. Описание архитектуры

4.1.3. Режимы работы

4.2. Программная реализация системы анализа мнений

4.2.1. Выбор средств разработки

4.2.2. Диаграмма классов

4.2.3. Структура данных для представления документов и гипотез

4.3. Пользовательский интерфейс

4.4. Выводы по главе

ГЛАВА 5. ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ

5.1. Процедура экспериментального исследования

5.2. Текстовые корпуса

5.2.1. Семинар РОМИП

5.2.2. Отзывы о фильмах

5.2.3. Отзывы о книгах

5.2.4. Отзывы о фотокамерах

5.3. Словари оценочной лексики

5.4. Экспериментальное исследование качества классификации

5.4.1. Результаты применения методологии Техи^Ы

5.4.2. Результаты других методов машинного обучения

5.4.3. Результаты участников семинаров РОМИП

5.4.4. Сравнение результатов

5.5. Экспериментальное исследование качества распараллеливания

5.6. Внедрение и перспективные варианты использования результатов диссертации

5.7. Выводы по главе

ЗАКЛЮЧЕНИЕ

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЯ

Приложение 1. Пример совместной кластеризации Диллона

Приложение 2. Множества гипотез с наибольшей объясняющей способностью

для отзывов о фильмах

Приложение 3. Копии свидетельств о государственной регистрации программ

для ЭВМ

Приложение 4. Копии документов, подтверждающих внедрение результатов диссертационного исследования

Введение диссертации (часть автореферата) на тему «Методология интеллектуального анализа мнений при обработке текстовой информации на основе правдоподобного вывода»

ВВЕДЕНИЕ

Актуальность темы исследования. Широкое распространение Интернета, содержащего специальные ресурсы для публикации мнений пользователей по значительному спектру тематик (блоги, форумы, сайты отзывов и т. п.), а также развитие мощных методов машинного обучения, привело к возникновению в начале 2000-х гг. новой области исследований в компьютерной лингвистике, которая получила название анализ мнений (opinion mining) или анализ тональности (sentiment analysis)1. Под тональностью понимают выраженную в тексте степень эмоциональности отношения к некоторому объекту [326]. Тональность представляется в виде значения на определенной шкале, которая может быть бинарной (позитивное - негативное отношение), тернарной (добавляется нейтральное или противоречивое) или n-арной.

Анализ мнений является актуальной научно-практической задачей -опубликованы тысячи статей по данной проблематике, а соответствующие секции включаются в программы крупнейших международных конференций по компьютерной лингвистике. Практический интерес обусловлен широким диапазоном приложений, в том числе в социологических и политологических исследованиях, в маркетинге, в рекомендательных и мониторинговых системах, человеко-машинных интерфейсах и т. п.

Важный вклад в область анализа тональности внесли такие российские и зарубежные ученые, как П. И. Браславский, В. В. Иванов, Н. В. Лукашевич, П. В. Паничева, Ю. В. Рубцова, Д. Ю. Турдаков, Е. В. Тутубалина, И. И. Четверкин, A. Agarwal, A. Kennedy, L. Lee, B. Liu, S. Mohammad, B. Pang, R. Socher, M. Taboada, M. Thelwall, P. Turney и многие другие.

Для анализа мнений в настоящее время, как правило, применяются два ключевых подхода - машинное обучение и словарный подход [325]. В первом из этих подходов классификатор строится на основе корпуса размеченных

1 Англоязычные термины opinion mining и sentiment analysis в настоящее время взаимозаменяемы, см. [349].

обучающих текстов, каждый из которых отнесен к одному из значений на шкале тональности. Преимуществом машинного обучения является высокая точность анализа, однако при этом необходима трудоемкая работа по составлению корпуса обучающих текстов, а построенный классификатор часто не учитывает контекст и его сложно интерпретировать и переносить в другие предметные области.

В словарном подходе вместо размеченных текстов используются другие лингвистические ресурсы, обычно словари оценочной лексики, позволяющие определить тональность лексических единиц текста и на этой основе принять решение о тональности текста в целом. Такой подход позволяет легко интерпретировать процесс классификации, а необходимость в разметке обучающих текстов отсутствует. Однако точность часто оказывается ниже, чем в машинном обучении, а процедура анализа имеет слабое обоснование. Ещё одним недостатком является необходимость наличия качественных словарей оценочной лексики.

Таким образом, современные подходы не позволяют выполнять анализ тональности текстов с высокой точностью, строгой обоснованностью и учетом контекста, результаты которого легко интерпретируются. Поэтому в диссертации предлагается использовать интеллектуальный анализ мнений в текстовой информации на основе правдоподобного вывода, а именно на базе концепции ДСМ-метода автоматизированной поддержки научных исследований1, предложенного В. К. Финном [140]. Методы правдоподобного вывода исследовались в работах многих российских и зарубежных исследователей:

B. Н. Вагина, Т. А. Гавриловой, А. С. Нариньяни, Д. А. Поспелова, В. К. Финна, P. Flach, M. Gabbay, A. Kakas, S. McIlraith, P. Smets и др. Кроме автора ДСМ-метода, В. К. Финна, существенный вклад в его развитие внесли такие ученые как О. М. Аншаков, В. Г. Блинова, Д. В. Виноградов, А. Ю. Волкова,

C. М. Гусакова, Д. А. Добрынин, М. И. Забежайло, С. О. Кузнецов, М. В. Максин, М. А. Михеенкова, Е. С. Панкратова и др.

1 ДСМ-метод назван в честь английского философа и логика Джона Стюарта Милля (1806-1873).

ДСМ-метод представляет собой класс правдоподобных рассуждений, формализующий синтез трех познавательных процедур - индукции, аналогии и абдукции - и позволяющий с единых позиций решать предсказательные и описательные задачи анализа данных. Процедура индукции служит для порождения гипотез о возможных причинах интересующих свойств исследуемых объектов на основе установления сходства их структуры. При выполнении процедуры аналогии осуществляется предсказание свойств неопределенных объектов путем применения к ним порожденных гипотез. Процедура абдукции необходима для проверки того, объясняют ли порожденные гипотезы исходные данные.

Применение ДСМ-метода автоматизированной поддержки научных исследований для задачи анализа мнений в текстах обеспечивает следующие преимущества: во-первых, высокое качество классификации, поскольку порождаемые гипотезы представимы в виде дизъюнктивных нормальных форм, что теоретически позволяет достигать максимальной выразительной силы [199, р. 131]; во-вторых, интерпретируемость классификатора за счет того, что результаты работы основаны на гипотезах простого вида; в-третьих, возможность модификации классификатора, в том числе добавления экспертных правил; в-четвертых, учет контекста за счет принципа индуктивного порождения гипотез; наконец, в-пятых, корректность процедур вывода на основе строгого логического обоснования.

Однако на современном этапе развития ДСМ-метода не существует моделей, методов и средств анализа больших массивов многомерных данных, таких как текстовые корпуса, вследствие высокой вычислительной сложности процесса порождения гипотез и трудности автоматической обработки неструктурированных текстов на естественном языке с их неоднозначностью.

Таким образом, актуальными являются исследования, направленные на решение проблемы разработки теоретических основ создания систем анализа мнений в текстах на основе правдоподобного вывода, позволяющих обрабатывать

текстовые корпуса с высокой точностью, приемлемой скоростью и хорошей интерпретируемостью результатов анализа.

Целью диссертационной работы является повышение точности и интерпретируемости результатов при исследовании мнений в текстах за счёт разработки методологии интеллектуального анализа мнений на основе правдоподобного вывода.

Для достижения поставленной цели в диссертации были решены следующие задачи:

1. Разработка методологии интеллектуального анализа мнений в текстах на основе правдоподобного вывода.

2. Разработка методов правдоподобного вывода для анализа текста -индуктивного вывода, осуществляющего порождение гипотез о свойствах объектов; вывода по аналогии, позволяющего предсказывать свойства новых объектов; абдуктивного вывода, служащего для принятия гипотез.

3. Разработка модели представления текстовой информации для применения методов правдоподобного вывода.

4. Разработка метода предварительной обработки для преобразования текстовых документов во внутреннее представление, соответствующее предложенной модели и методам вывода.

5. Реализация разработанных методологии, методов и алгоритмов интеллектуального анализа мнений в текстах.

6. Проведение экспериментального исследования эффективности разработанных методов и системы анализа мнений в текстах.

Объектом исследования являются системы автоматического анализа мнений при обработке текстовой информации.

Предметом исследования являются методы и алгоритмы на основе правдоподобного вывода, предназначенные для создания программных систем автоматического анализа мнений в тексте.

Область исследования соответствует пунктам 5-8 и 14 паспорта специальности 05.13.17 - «Теоретические основы информатики»: разработка и

исследование моделей и алгоритмов анализа данных, обнаружения закономерностей в данных; разработка и исследование методов и алгоритмов анализа текста; разработка принципов и методов извлечения данных из текстов на естественном языке; моделирование формирования эмпирического знания; исследование и когнитивное моделирование интеллекта, включая моделирование рассуждений различных типов; разработка теоретических основ создания программных систем для новых информационных технологий.

Методы исследования. В диссертации использованы методы интеллектуального анализа данных и правдоподобного вывода, в частности ДСМ-метод автоматизированной поддержки научных исследований, а также методы компьютерной лингвистики, машинного обучения, информационного поиска, теории множеств, теории вероятностей и математической статистики, кластерного анализа, теории графов, теории алгоритмов.

При разработке системы интеллектуального анализа мнений использованы методы и технологии процедурного и объектно-ориентированного проектирования и программирования, унифицированный язык моделирования ЦМЪ.

Научная новизна. В диссертационной работе решена проблема разработки теоретических основ создания интеллектуальных систем анализа мнений в текстах на основе правдоподобного вывода. При этом получены следующие научные результаты:

1. Разработана методология интеллектуального анализа мнений в текстах ТехиБЫ, основанная на концепции ДСМ-рассуждений и отличающаяся от существующих учетом лингвистических особенностей текстов на естественном языке, возможностью включения экспертных знаний и параллельной организацией процесса обработки текстовой информации. Разработанная методология позволяет с единых позиций решать предсказательные и описательные задачи анализа неструктурированных текстовых документов с применением высокопроизводительных вычислительных платформ и обеспечивает высокую точность, быстродействие и интерпретируемость такого анализа.

2. Разработан метод параллельного индуктивного вывода, основанный на алгоритме совместной кластеризации слов и документов, а также на алгоритме поиска общих фрагментов текстовых объектов, отличающийся от существующих способом распараллеливания вычислений по кластерам, содержащим одновременно слова и текстовые документы.

3. Разработан метод вывода по аналогии, предназначенный для классификации текстов по тональности, основанный на правилах правдоподобного вывода II рода ДСМ-метода и отличающийся от известных функцией оценки информативности гипотез, учитывающей степень соответствия гипотезы и конкретного анализируемого документа.

4. Разработан метод абдуктивного вывода, основанный на предложенных алгоритмах ранжирования гипотез и коррекции обучающих данных, отличающийся от существующих введением степени объясняющей способности гипотез, степени значимости обучающих объектов, а также использованием процедуры перекрестной проверки с целью снижения вероятности переобучения.

5. Разработана модель представления текстовой информации, основанная на результатах морфологического анализа, отличающаяся от существующих использованием упорядоченных списков предложений и индексов слов.

6. Разработан метод предварительной обработки текстов, основанный на процедурах первичного, морфологического и постморфологического анализа, отличающийся от существующих применением модифицированной релевантной частоты для отбора атрибутов текстовых документов и способом разметки документов с использованием словарей оценочной лексики.

Теоретическая значимость результатов диссертационного исследования заключается в разработке методологии интеллектуального анализа мнений в текстах, включающей предложенные методы правдоподобного вывода и предварительной обработки текстов, позволяющей с единых позиций решать предсказательные и описательные задачи анализа больших массивов неструктурированной текстовой информации.

Практическая значимость и внедрение. На основе предложенных в диссертационном исследовании модели, методов и алгоритмов разработаны архитектура и программная реализация системы анализа мнений в текстах, позволяющей в автоматическом режиме предсказывать тональность ранее неизвестных документов и выявлять закономерности в текстах предметной области с целью объяснения исходных данных. Программная система допускает параллельную реализацию и может быть использована как самостоятельно для интеллектуального анализа текстовой информации, так и в качестве модуля информационно-поисковых систем.

Проведено экспериментальное исследование характеристик разработанной методологии Техи^Ы и программной системы на её основе с использованием метрик качества анализа тональности и эффективности параллельной реализации на базе общедоступных текстовых корпусов. Показано, что методология Техи^Ы позволяет получить качество анализа тональности текстов, сопоставимое или превышающее качество современных методов машинного обучения при высоком уровне эффективности параллельной реализации.

Теоретические и практические результаты диссертации использованы в следующих научно-исследовательских работах:

- НИР «Разработка и исследование словарей оценочной лексики для анализа тональности текстов» (государственное задание Минобрнауки РФ, № 34.2092.2017/4.6, руководитель, 2017-2019 гг.);

- НИР «Разработка и исследование аннотированного русскоязычного текстового корпуса для анализа аргументации» (государственное задание Минобрнауки РФ, № 2.12728.2018/12.2, руководитель, 2018 г.);

- НИР «Разработка и исследование интеллектуальной системы информационного поиска и анализа тональности текстовых и речевых документов» (грант РФФИ, проект № 16-07-00342а, руководитель, 2016-2018 гг.);

- НИР «Разработка и исследование системы автоматического анализа мнений в текстовых документах» (государственное задание Минобрнауки РФ, №2 2014/330, исполнитель, 2014-2016 гг.);

- НИР «Модели, методы и программные средства автоматического распознавания эмоциональной составляющей в текстах» (государственное задание Минобрнауки РФ, № 8.1118.2011, исполнитель, 2012-2013 гг.);

- НИР «Программная система интеллектуального анализа текстов для социально-гуманитарных исследований» (тематический план ВятГГУ, исполнитель, 2011-2012 гг.);

- НИР «Разработка параллельной системы автоматической текстовой классификации» (грант РФФИ, проект № 12-07-97000-р_поволжье_а, руководитель, 2012 г.);

- НИР «Автоматическая классификация текстов» (договор № Н-04-10 от 25.06.2010 г. с ВятГГУ, руководитель, 2010 г.);

- НИР «Разработка математических методов и алгоритмов тематической классификации текстовых документов» (договор №2 8/2008 от 16.01.2008 г. с ФГУП «Научно-исследовательский институт средств вычислительной техники», руководитель, 2008 г.);

- НИР «Адаптивные системы логического вывода» (грант РФФИ, проект № 06-01-00089-а, исполнитель, 2006 г.).

Диссертационное исследование поддержано стипендией Президента РФ молодым ученым и аспирантам в рамках темы «Интеллектуальный анализ мнений в текстах на основе ДСМ-метода автоматического порождения гипотез» (20132014 гг.).

Разработанные в рамках исследования девять программных реализаций зарегистрированы в Реестре программ для ЭВМ. Теоретические результаты работы и программные реализации методов, алгоритмов и системы анализа мнений внедрены в практическую деятельность Научно-исследовательского вычислительного центра Московского государственного университета имени М.В. Ломоносова (г. Москва), АО «Научно-исследовательский институт средств вычислительной техники» (г. Киров), ООО «МФИ Софт» (г. Нижний Новгород), ООО «Акселот-ИТ» (г. Москва), Вятского государственного университета (г. Киров) для автоматической классификации текстов и интеллектуального

анализа мнений в социальных медиа и онлайн СМИ; а также используются в учебном процессе Вятского государственного университета и Нижегородского государственного технического университета имени Р.Е. Алексеева при подготовке бакалавров, магистров и аспирантов по направлениям «Прикладная математика и информатика», «Фундаментальная информатика и информационные технологии», «Информатика и вычислительная техника», «Информационные системы и технологии».

Достоверность и обоснованность результатов, полученных в диссертационной работе, обеспечиваются применением надежных и адекватных методов исследования, корректностью использования математического аппарата и подтверждаются опытом внедрения результатов исследования в практическую и научно-исследовательскую деятельность ряда организаций, а также апробацией и обсуждением результатов диссертации на международных и всероссийских научных конференциях.

Основные положения, выносимые на защиту:

1. Методология интеллектуального анализа мнений в текстах Техи^Ы, обеспечивающая решение предсказательных и описательных задач обработки больших массивов неструктурированной текстовой информации.

2. Модель представления текстовой информации, позволяющая учитывать грамматические признаки и обеспечивающая применение методов правдоподобного вывода.

3. Метод параллельного индуктивного вывода, обеспечивающий генерацию гипотез на основе множества размеченных текстовых объектов с возможностью применения параллельных вычислений.

4. Метод вывода по аналогии, предназначенный для классификации по тональности ранее неизвестных текстов на уровне предложений и документов с применением множества индуктивно порожденных гипотез.

5. Метод абдуктивного вывода, позволяющий анализировать и принимать гипотезы о закономерностях предметной области на основе объяснения исходных данных.

6. Метод предварительной обработки текстов, позволяющий на основе входного текстового корпуса формировать множество размеченных текстовых объектов, предназначенных для использования в методах правдоподобного вывода.

7. Архитектура, реализующая предложенные методы и алгоритмы, позволяющая создавать программные системы для интеллектуального анализа мнений в текстах с использованием многопроцессорных вычислительных платформ.

Апробация работы. Основные положения и результаты работы докладывались и обсуждались на следующих международных и всероссийских конференциях:

- 17th IEEE International Conference on Cognitive Informatics & Cognitive Computing - ICCI*CC 2018 (Berkley, USA, 2018);

- 15th International Conference on Condition Monitoring and Machinery Failure Prevention Technologies - CM2018/MFPT2018 (Nottingham, UK, 2018);

- The International Conference «Information Technologies in Business and Industry» - ITBI-2018 (Томск, 2018);

- XVI Всероссийская научная конференция «Нейрокомпьютеры и их применение» (Москва, 2018);

- 6th, 7th conferences on Artificial Intelligence and Natural Language - AINL-2017, AINL-2018 (Санкт-Петербург, 2017, 2018);

- 6th conference on Analysis of Images, Social Networks, and Texts - AIST-2017 (Москва, 2017);

- 2nd International Conference on Software, Multimedia and Communication Engineering - SMCE-2017 (Shanghai, 2017);

- XXIII международная научно-техническая конференция «Информационные системы и технологии» - ИСТ-2017 (Нижний Новгород, 2017);

- VII Международная социологическая Грушинская конференция «Навстречу будущему. Прогнозирование в социологических исследованиях» (Москва, 2017);

- Первая научно-практическая Открытая конференция ИСП РАН (Москва, 2016);

- 13-я, 14-я и 15-я Национальные конференции по искусственному интеллекту с международным участием - КИИ (Белгород, 2012; Казань, 2014; Смоленск, 2016);

- Международные конференции по компьютерной лингвистике «Диалог» (Бекасово, 2012, 2013, 2014; Москва, 2015, 2016);

- 8th, 9th International Workshop on Semantic Evaluation - SemEval (Dublin, 2014; San Diego, 2016);

- 12-я, 13-я, 14-я, 15-я, 16-я, 18-я и 19-я Международные конференции «Информатика: проблемы, методология, технологии» (Воронеж, 2012, 2013, 2014, 2015, 2016, 2018, 2019);

- 5th Biennial International Workshop on Balto-Slavic Natural Language Processing - BSNLP (Hissar, 2015);

- 3rd International Conference on Science and Technology (London, 2013);

- 14-я Всероссийская научная конференция «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» - RCDL (Переславль-Залесский, 2012);

- Международная научная конференция «Параллельные вычислительные технологии» - ПаВТ (Москва, 2011).

Также результаты диссертации обсуждались на семинарах в Нижегородском государственном техническом университете им. Р.Е. Алексеева, Высшей школе экономики и Вятском государственном университете.

Под руководством автора диссертации (совместно с д.ф.-м.н., проф. О. М. Аншаковым) Т. А. Пескишевой успешно защищена диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.17 Теоретические основы информатики на тему «Параллельная система тематической текстовой классификации на основе метода опорных векторов» (19 марта 2012 г., диссертационный совет Д.212.198.13 при РГГУ). Также под руководством автора диссертации П.Д. Блиновым успешно защищена диссертация на соискание ученой

степени кандидата технических наук по специальности 05.13.17 Теоретические основы информатики на тему «Метод, алгоритмы и программная система аспектно-эмоционального анализа текстов» (26 мая 2016 г., диссертационный совет Д.212.147.03 при МГУП).

Личный вклад. В диссертации представлены результаты исследований, выполненных самим автором или под его непосредственным руководством. Личный вклад автора состоит в теоретической и практической разработке предложенных методов и алгоритмов, организации и проведении экспериментальных работ и расчетов, создании программ для ЭВМ.

Публикации. Основные результаты диссертации опубликованы в 52 печатных работах, в том числе 21 - в рецензируемых журналах, входящих в Перечень ВАК, 13 - в изданиях, индексируемых международными базами данных Web of Science и Scopus, 18 - в материалах международных и всероссийских конференций. Получены 9 свидетельств о государственной регистрации программ для ЭВМ.

Структура и объем работы. Диссертационная работа состоит из введения, пяти глав, заключения, библиографического списка и четырех приложений. Основное содержание работы изложено на 365 страницах и включает 59 рисунков и 25 таблиц. Библиографический список содержит 350 наименований.

ГЛАВА 1. ЗАДАЧА АНАЛИЗА МНЕНИЙ В ТЕКСТАХ, ПОДХОДЫ К ЕЁ РЕШЕНИЮ И ДСМ-МЕТОД

1.1. Задача анализа мнений в текстах

1.1.1. Основные понятия и определения

Анализ мнений в текстах - это область компьютерной лингвистики, предметом исследования которой являются модели, методы, алгоритмы и программные средства автоматического распознавания мнений, выраженных в текстах на естественном языке.

Формальное определение понятия «мнение» будет дано в подпараграфе 1.1.3, а в первом приближении мнение можно определить как «суждение, выражающее оценку чего-нибудь, отношение к кому-чему-нибудь» [109]. Степень эмоциональности такого отношения называется тональностью и представляется на определенной шкале, имеющей не менее двух значений. Наиболее распространенными шкалами являются двухзначная (позитивная тональность -негативная тональность), два варианта трехзначной (добавляется нейтральная или противоречивая тональность), а также четырехзначная (в которую входят все указанные значения тональности). Менее часто используют другие виды шкал, например, пятизначную или десятизначную. В диссертации в основном рассматривается двузначная (бинарная) шкала, но, как показано в подпараграфе 3.2.8, все результаты могут быть обобщены на n-значные шкалы.

Анализ мнений часто называется анализом тональности или классификацией по тональности. Соответствующие англоязычные термины - sentiment analysis, opinion mining и sentiment classification - в настоящее время практически взаимозаменяемы [275, p. 7; 349]. В дальнейшем изложении термины анализ мнений и анализ тональности будут использоваться в качестве синонимов.

Активные исследования по автоматическому анализу мнений в текстах начались за рубежом сравнительно недавно - в 2000-х гг. Это связано, во-первых, с широким распространением Интернета, в котором существуют специальные ресурсы для публикации мнений пользователей по различным вопросам (блоги, форумы, сайты отзывов и т. п.) и, во-вторых, с появлением мощных компьютерных инструментов анализа данных, таких как машины опорных векторов и деревья решений. Подробные актуальные обзоры работ по анализу тональности можно найти в [62, 233, 325, 330, 343, 349].

В России на развитие данной научной области сильное влияние оказала международная конференция по компьютерной лингвистике «Диалог», на которой с 2012 г. одной из основных тем стала оценка тональности текстов [50], а также Российский семинар по оценке методов информационного поиска (РОМИП). В рамках «Диалога» и РОМИП в 2011-2016 гг. проводились соревнования систем анализа тональности [184, 185, 277].

Несмотря на огромное количество публикаций по тематике анализа мнений (например, в марте 2019 г. известная электронная библиотека научных публикаций CiteSeerX1 по запросу «Sentiment analysis» выдавала более 108 тысяч ссылок на статьи, а по запросу «Opinion mining» - более 185 тысяч), данная задача ещё далека от окончательного решения. Сложность анализа тональности определяется следующими причинами [293, p. 18-22; 275, p. 12-13]:

1) выражение эмоций сильно зависит от контекста и предметной области («иду читать книгу» - положительный пример для обзора книг, но, возможно, отрицательный для обзора фильмов);

2) расположение слов, возможно, более важно, чем их частота (например, в тексте много положительных слов, но в конце отрицательный вывод);

3) в одном и том же фрагменте текста может идти речь о нескольких объектах, так что сложно определить, по отношению к какому из объектов выражено мнение;

1 CiteSeerX: scientific literature digital library. URL: http ://citeseerx. ist.psu. edu.

4) не всегда эмоционально окрашенные слова выражают соответствующую тональность всего текста (например, в вопросительных предложениях вида «какая из этих машин самая лучшая?» или в условных предложениях «если я найду хорошую книгу, я куплю её»);

Список литературы диссертационного исследования доктор наук Котельников Евгений Вячеславович, 2019 год

СПИСОК ЛИТЕРАТУРЫ

1. Абрамов Н. Словарь русских синонимов и сходных по смыслу выражений. -М.: Русские словари, 1999. - 431 с.

2. Автоматическое порождение гипотез в интеллектуальных системах / сост. Е. С. Панкратова, В. К. Финн; под общ. ред. В. К. Финна. - М.: Книжный дом «ЛИБРОКОМ», 2009. - 528 с.

3. Аншаков О. М. ДСМ-метод: теоретико-множественное объяснение // НТИ. Сер. 2. Информационные процессы и системы. 2012. № 9. - С. 1-19.

4. Аншаков О. М. Об одной интерпретации ДСМ-метода автоматического порождения гипотез // НТИ. Сер. 2. Информационные процессы и системы. 1999. № 1-2. - С. 45-53.

5. Аркадьев А. Г., Браверман Э. М. Обучение машины классификации объектов.

- М.: Наука, 1971. - 192 с.

6. Арлоу Д., Нейштадт А. ЦМЬ 2 и Унифицированный процесс. Практический объектно-ориентированный анализ и проектирование. - 2-е изд. - СПб.: Символ-Плюс, 2007. - 624 с.

7. Арский Ю. М., Финн В. К. Принципы конструирования интеллектуальных систем // Информационные технологии и вычислительные системы. 2008. №2 4.

- С. 4-37.

8. Биркгоф Г. Теория решеток. - М.: Наука, 1984. - 568 с.

9. Блинов П. Д. Метод, алгоритмы и программная система аспектно-эмоционального анализа текстов: дис. ... канд. техн. наук: 05.13.17; МГУП им. Ивана Фёдорова. - М.: МГУП, 2016. - 141 с.

10. Блинов П.Д., Котельников Е.В. Метод определения тональности аспектных терминов // В мире научных открытий. 2014. № 12.1(60). - С. 333-351.

11. Бобылева Н. В., Ивашко В. Г., Краснова В. М., Финн В. К. Применение ДСМ-систем в задачах технической диагностики // САФИД: тез. докл. и сообщ. Всесоюз. школы-семинара, Боржоми-88. - М.: ВИНИТИ, 1988. -С. 178-182.

12. Большакова Е. И., Воронцов К. В., Ефремова Н. Э., Клышинский Э. С., Лукашевич Н. В., Сапин А. С. Автоматическая обработка текстов на естественном языке и компьютерная лингвистика. - М.: МИЭМ, 2011. - 272 с.

13. Буч Г., Максимчук Р. А., Энгл М. У., Янг Б. Д., Коналлен Д., Хьюстон К. А. Объектно-ориентированный анализ и проектирование с примерами приложений. - 3-е изд. - М.: ООО «И. Д. Вильямс», 2008. - 720 с.

14. Буч Г., Рамбо Д., Якобсон И. Язык ЦМЬ. Руководство пользователя. - 2-е изд. - М.: ДМК Пресс, 2006. - 496 с.

15. Вагин В. Н., Головина Е. Ю., Загорянская А. А., Фомина М. В. Достоверный и правдоподобный вывод в интеллектуальных системах / под ред. В. Н. Вагина, Д. А. Поспелова. - 2-е изд., испр. и доп. - М.: ФИЗМАТЛИТ, 2008. - 712 с.

16. Вайнцвайг М. Н. Алгоритм обучения распознаванию образов «Кора» // Алгоритмы обучения распознаванию образов / под ред. В. Н. Вапника. - М.: Сов. радио, 1973. - С. 110-116.

17. Валгина Н. С., Розенталь Д. Э., Фомина М. И. Современный русский язык / под ред. Н. С. Валгиной. - 6-е изд., перераб. и доп. - М.: Логос, 2002. - 528 с.

18. Вапник В. Н. Восстановление зависимостей по эмпирическим данным. - М.: Наука, 1979. - 448 с.

19. Васильев В. Г., Худякова М. В., Давыдов С. Классификация отзывов пользователей с использованием фрагментных правил // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной междунар. конф. «Диалог». 2012. Вып. 11(18). Т. 2. - М.: Изд-во РГГУ, 2012. -С. 66-76.

20. Виноградов Д. В. Вероятностное порождение гипотез в ДСМ-методе с помощью простейших цепей Маркова // НТИ. Сер. 2. Информационные процессы и системы. 2012. № 9. - С. 20-27.

21. Виноградов Д. В. ВКФ-метод интеллектуального анализа данных: обзор результатов и открытых проблем // Искусственный интеллект и принятие решений. 2017. - № 2. - С. 9-16.

22. Виноградов Д. В. ВКФ-метод порождения гипотез: программная реализация // Труды Четырнадцатой национальной конференции по искусственному интеллекту с международным участием КИИ-2014 (24-27 октября 2014 г., г. Казань). Т. 2. - Казань: Изд-во РИЦ «Школа», 2014. - С. 252-258.

23. Воеводин В. В., Воеводин Вл. В. Параллельные вычисления. - СПб.: БХВ-Петербург, 2002. - 608 с.

24. Волкова А. Ю. Разработка алгоритмических и программных средств для реализации стратегии ДСМ-метода автоматического порождения гипотез: автореф. дис. ... канд. техн. наук / РГГУ, 05.13.17. - М.: РГГУ, 2014. - 32 с.

25. Воронцов К. В. Машинное обучение. Курс лекций. 2018. URL: http: //www. тасЫпе1еагшп§.гаМ1к1/тёех^р?ййе=Машинное_обучение_(курс _лекций%2С_К.В.Воронцов).

26. Вычегжанин С. В., Котельников Е. В. Анализ влияния моделей представления текстов на качество классификации отзывов по тональности // Фундаментальные исследования. - 2015. - № 11(2). - С. 247-251.

27. Вычегжанин С. В., Котельников Е. В. Исследование влияния компонентов ДСМ-метода на качество анализа тональности текстов // XIV Международная конференция «Информатика: проблемы, методология, технологии», Воронеж, 6-8 февраля 2014 г. Т. 3. - Воронеж, 2014. - С. 259-262.

28. Вычегжанин С. В., Котельников Е. В. Исследование влияния способов взвешивания терминов на качество анализа тональности текстов с использованием ДСМ-метода // XV Международная конференция «Информатика: проблемы, методология, технологии», Воронеж, 12-13 февраля 2015 г. - Т. 3. - С. 236-241.

29. Гмурман В. Е. Теория вероятностей и математическая статистика. - 9-е изд. -М.: Высш. шк., 2003. - 479 с.

30. Голуб Дж., Ван Лоун Ч. Матричные вычисления. - М.: Мир, 1999. - 548 с.

31. Гриффитс И. Программирование на C# 5.0. - М.: ЭКСМО, 2014. - 1136 с.

32. Гусакова С. М. Подход к решению задач атрибуции исторических источников с помощью ДСМ-метода // Новости искусственного интеллекта. 2004. № 3. -С. 42-48.

33. Гусакова С. М., Комаров А. С., Устинов В. В., Федорович В. Ю. Применение ДСМ-метода к решению задач почерковедческой экспертизы // Десятая национальная конференция по искусственному интеллекту с межд. участием (КИИ-2006). Обнинск, 25-28 сентября 2006 г. Т. 1. - С. 276-283.

34. Гусакова С. М., Михеенкова М. А., Финн В. К. О логических средствах автоматизированного анализа мнений // НТИ. Сер. 2. Информационные процессы и системы. 2001. № 5. - С. 4-24.

35. Гэри М., Джонсон Д. Вычислительные машины и труднорешаемые задачи. -М.: Мир, 1982. - 416 с.

36. Добрынин Д. А., Карпов В. Э. Моделирование некоторых форм адаптивного поведения интеллектуальных роботов // Новости искусственного интеллекта. 2006. № 6. - С. 45-54.

37. Ефремова Т. Ф. Новый словарь русского языка. Толково-словообразовательный. - М.: Русский язык, 2000.

38. Журавлёв Ю. И. Об алгебраическом подходе к решению задач распознавания или классификации // Проблемы кибернетики. 1978. Т. 33. - С. 5-68.

39. Журавлёв Ю. И. Экстремальные задачи, возникающие при обосновании эвристических процедур // Проблемы прикладной математики и механики. -М.: Наука, 1971. - С. 67-74.

40. Журавлёв Ю. И., Никифоров В. В. Алгоритмы распознавания, основанные на вычислении оценок // Кибернетика. 1971. № 3.

41. Забежайло М. И. О некоторых возможностях управления перебором в ДСМ-методе // Искусственный интеллект и принятие решений. 2014. - № 2. -С. 3-18 (Ч. I); № 3. - С. 3-20 (Ч. II).

42. Забежайло М. И. О характеристиках переборных задач, возникающих при автоматическом порождении гипотез ДСМ-методом // НТИ. Сер. 2. Информационные процессы и системы. 1988. № 1. - С. 28-31.

43. Зализняк А. А. Грамматический словарь русского языка. - 3-е изд. - М.: Рус. яз., 1987.

44. Ильвовский Д. А. Методы и алгоритмы обработки текстовых данных на основе графовых дискурсивных моделей: дис. ... канд. техн. наук: 05.13.18; Федеральный исследовательский центр «Информатика и управление» Российской академии наук. - М., 2017. - 250 с.

45. Карпов В. Е. Введение в распараллеливание алгоритмов и программ // Компьютерные исследования и моделирование. 2010. № 3. Т. 2. - С. 231-272.

46. Клековкина М. В., Котельников Е. В. Автоматический анализ мнений в текстах на основе методов машинного обучения // Труды XII международной конференции «Информатика: проблемы, методология, технологии» (г. Воронеж, 9-10 февраля 2012 г.). - С. 175-176.

47. Клековкина М. В., Котельников Е. В. Снижение трудозатрат эксперта в алгоритме формирования словаря оценочной лексики // Научно-технический вестник Поволжья. 2014. № 3. - С. 133-136.

48. Кнут Д. Искусство программирования. Т. 3. Сортировка и поиск. - М.: ООО «И. Д. Вильямс», 2002. - 800 с.

49. Кожунова О. С. Технология разработки семантического словаря системы информационного мониторинга: автореф. дис. ... канд. техн. наук / ИПИ РАН, 05.13.17. - М.: ИПИ РАН, 2009. - 21 с.

50. Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной Международной конференции «Диалог» (2012). Вып. 11(18). - М.: Изд-во РГГУ, 2012.

51. Кормен Т. Х., Лейзерсон Ч. И., Ривест Р. Л., Штайн К. Алгоритмы: построение и анализ. - 3-е изд. - М.: ООО «И. Д. Вильямс», 2013. - 1328 с.

52. Котельников Е. В. Абдуктивный логический вывод для анализа тональности текстов на основе ДСМ-метода // Фундаментальные исследования. 2015. № 2(13). - С. 2801-2805.

53. Котельников Е. В. Абдуктивный логический вывод для объяснения исходных текстовых данных. РОСПАТЕНТ. Свидетельство № 2017619518 от 25.08.2017 г.

54. Котельников Е. В. Выбор структуры данных для представления гипотез в варианте ДСМ-метода анализа текстов // Фундаментальные исследования. 2016. № 10(2). С. 301-305.

55. Котельников Е. В. Индуктивный логический вывод для порождения гипотез на основе текстового корпуса. РОСПАТЕНТ. Свидетельство №2 2017611341 от 01.02.2017 г.

56. Котельников Е. В. Интеллектуальный анализ тональности текстов TextJSM. РОСПАТЕНТ. Свидетельство № 2015614277 от 13.04.2015 г.

57. Котельников Е. В. Классификация отзывов о фильмах с использованием ДСМ-метода // В мире научных открытий. 2013. № 6.1(42). - С. 225-242.

58. Котельников Е. В. Классификация текстов по тональности на основе ДСМ-метода и синтаксического анализа // Пятнадцатая национальная конференция по искусственному интеллекту с международным участием (КИИ-2016). г. Смоленск, 3-7 октября 2016 г. Т. 2. - С. 63-71.

59. Котельников Е. В. Комбинированный метод автоматического определения тональности текста // Программные продукты и системы. 2012. № 3. - С. 189195.

60. Котельников Е. В. Конечный автомат для первичного анализа текста в задаче распознавания тональности // XVI Международная конференция «Информатика: проблемы, методология, технологии», Воронеж, 11-12 февраля 2016 г. Т. 4. - С. 208-211.

61. Котельников Е. В. Метод анализа тональности текстов TextJSM // Научно-техническая информация. Сер. 2. 2018. № 2. - С. 8-20.

62. Котельников Е. В. Обзор подходов к анализу тональности текстов / Е.В. Котельников: Вятский государственный университет. - Киров, 2016. -69 с.: - Библиогр. 151 назв. - Рус. - Деп. в ВИНИТИ 21.10.2016. № 142-В2016.

63. Котельников Е. В. Опыт применения ДСМ-метода для определения тональности текста // XIII Национальной конференции по искусственному интеллекту с международным участием (КИИ-2012), Белгород, 16-20 октября 2012 г. Т. 1. - Белгород: Изд-во БГТУ, 2012. - С. 135-142.

64. Котельников Е. В. Параллельный ДСМ-метод анализа тональности текстов. РОСПАТЕНТ. Свидетельство № 2017619857 от 08.09.2017 г.

65. Котельников Е. В. Повышение быстродействия ДСМ-метода в задачах обработки текстовой информации // Труды Четырнадцатой национальной конференции по искусственному интеллекту с международным участием КИИ-2014 (24-27 октября 2014 года, г. Казань). Т. 2. - Казань: Изд-во РИЦ «Школа», 2014. - С. 274-282.

66. Котельников Е. В. Разработка модуля формирования знаний в интеллектуальных системах на основе абдуктивного метода модификации посылок : дис. .канд. техн. наук: 05.13.01; Вятский гос. ун-т. - Киров, 2006. - 203 с.

67. Котельников Е. В. Структура интеллектуальной ДСМ-системы для анализа тональности текстов // Научно-технический вестник Поволжья. 2013. № 6. -С. 344-346.

68. Котельников Е. В. Функция оценки информативности гипотез для анализа тональности текстов на основе ДСМ-метода // Фундаментальные исследования. 2014. № 11(10). - С. 2150-2154.

69. Котельников Е. В., Клековкина М. В. Автоматический анализ тональности текстов на основе методов машинного обучения // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной междунар. конф. «Диалог». Вып. 11(18). Т. 2. - М.: Изд-во РГГУ, 2012. - С. 27-36.

70. Котельников Е. В., Клековкина М. В. Метод классификации текстов по тональности с применением генетического алгоритма // Материалы XIII международной научно-методической конференции «Информатика: проблемы, методология, технологии» (г. Воронеж, 7-8 февраля 2013 г.). Т. 2 -С. 125-129.

71. Котельников Е. В., Клековкина М. В. Определение весов оценочных слов на основе генетического алгоритма в задаче анализа тональности текстов // Программные продукты и системы. 2013. № 4. - С. 296-300.

72. Котельников Е. В., Козвонина А. В. Параллельная реализация машины опорных векторов с использованием методов кластеризации // Труды международной научной конференции «Параллельные вычислительные технологии - 2008» (ПаВТ'2008) (Санкт-Петербург, 28 января - 1 февраля 2008 г.). - Челябинск: Изд-во ЮУрГУ, 2008. - С. 417-422.

73. Котельников Е. В., Котельникова А. В. Компьютерная поддержка экспертной разметки оценочной лексики. РОСПАТЕНТ. Свидетельство № 2018661391 от 07.09.2018 г.

74. Котельников Е. В., Милов В. Р. Интеллектуальная ДСМ-система анализа тональности мнений пользователей социальных медиа // XVI Всероссийская научная конференция «Нейрокомпьютеры и их применение». Москва, 13 марта 2018 года. - С. 58-60.

75. Котельников Е. В., Милов В. Р. Исследование сообщений пользователей социальных медиа на основе анализа реляционных понятий // Нейрокомпьютеры: разработка, применение. 2017. № 7. - С. 58-65.

76. Котельников Е. В., Милов В. Р. Программный комплекс анализа тональности текстов // Материалы XXIII международной научно-технической конференции «Информационные системы и технологии» (ИСТ-2017). -Н. Новгород: НГТУ, 2017. С. 117-120.

77. Котельников Е. В., Митягина Е. В. Анализ тональности текстов в социальных медиа. РОСПАТЕНТ. Свидетельство № 2017619673 от 01.09.2017 г.

78. Котельников Е. В., Митягина Е. В., Блинов П. Д. Программа социологического анализа на основе интеллектуальной обработки текстов. РОСПАТЕНТ. Свидетельство № 2011613114 от 20.04.2011 г.

79. Котельников Е. В., Пескишева Т. А. Параллельная система автоматической текстовой классификации // Программные продукты и системы. 2012. № 1. -С. 31-36.

80. Котельников Е. В., Пескишева Т. А. Параллельный метод тематической классификации текстовых коллекций // В мире научных открытий. 2012. № 8(32). - С. 85-107.

81. Котельников Е. В., Пескишева Т. А., Пестов О. А. Параллельный выбор параметров классификатора для анализа тональности текстов // Вопросы современной науки и практики. Университет им. В.И. Вернадского. 2012. № 4 (42). - С. 67-74.

82. Котельников Е. В., Плетнева М. В. Анализ тональности текстов на основе генетического алгоритма и совместной кластеризации слов и документов // Известия РАН. Теория и системы управления. 2016. № 1. - С. 115-123.

83. Котельников Е. В., Прозоров Д. Е., Татаринова А. Г. Информационный поиск и анализ тональности текстовых и речевых документов. РОСПАТЕНТ. Свидетельство № 2019610471 от 10.01.2019 г.

84. Котельников Е. В., Прозоров Д. Е., Татаринова А. Г. Структура интеллектуальной системы информационного поиска и анализа тональности текстовых и речевых документов // Научно-технический вестник Поволжья. -2018. № 12. - С. 239-241.

85. Котельников Е. В., Страбыкин Д. А. Абдуктивный метод модификации посылок в исчислении высказываний // Десятая национальная конференция по искусственному интеллекту с международным участием КИИ-2006: труды конф.: в 3 т. Т. 1. - М.: Физматлит, 2006. - С. 312-320.

86. Котельников Е. В., Страбыкин Д. А. Адаптивная машина логического вывода // Десятая национальная конференция по искусственному интеллекту с международным участием КИИ-2006: труды конф.: в 3 т. Т. 1. - М.: Физматлит, 2006. - С. 357-364.

87. Котельникова А. В., Котельников Е. В. Анализ отзывов интернет-пользователей для разных предметных областей // XVIII Международная конференция «Информатика: проблемы, методология, технологии» (1РМТ-2018), Воронеж, 8-9 февраля 2018 г. Т. 6. - С. 25-29.

88. Котов В. Е. Сети Петри. - М.: Наука, 1984. - 160 с.

89. Кристофидес Н. Теория графов. Алгоритмический подход. - М.: Мир, 1978. -432 с.

90. Кузнецов С. О. Быстрый алгоритм построения всех пересечений объектов из конечной полурешетки // НТИ. Сер. 2. Информационные процессы и системы. 1993. № 1. - С. 17-20.

91. Кузнецов С. О. ДСМ-метод как система автоматического обучения // Итоги науки и техники. Сер. «Информатика». 1991. Т. 15. - С. 17-53.

92. Кузнецов С. О. ДСМ-метод на языке соответствий Галуа // НТИ. Сер. 2. Информационные процессы и системы. 2006. № 12. - С. 1-7.

93. Кузнецов С. О. Интерпретация на графах и сложностные характеристики задач поиска закономерностей определенного вида // НТИ. Сер. 2. Информационные процессы и системы. 1989. № 1. - С. 23-28.

94. Лбов Г. С. Методы обработки разнотипных экспериментальных данных. -Новосибирск: Наука, 1981.

95. Леонтьева Н. Н. Автоматическое понимание текстов: системы, модели, ресурсы. - М.: Академия, 2006. - 304 с.

96. Лукашевич Н. В. Тезаурусы в задачах информационного поиска. - М.: Изд-во Моск. ун-та, 2011. - 512 с.

97. Лыфенко Н. Д. Об одном подходе к классификации текстовых данных, основанном на идеях Д.С. Милля // НТИ. Сер. 2. - 2015. - № 11. - С. 12-23.

98. Львов М. Р. Словарь антонимов русского языка. - 9-е изд., стер. - М.: АСТ-Пресс Книга, 2008. - 592 с.

99. Мазуров В. Д. Комитеты системы неравенств и задача распознавания // Кибернетика. 1971. № 3.

100. Маннинг К. Д., Рагхаван П., Шютце Х. Введение в информационный поиск. -М.: ООО «И. Д. Вильямс», 2011. - 528 с.

101. Машкин Д. О., Котельников Е. В. Извлечение аспектных терминов на основе условных случайных полей и векторных представлений слов // Труды Института системного программирования РАН. 2016. Т. 28(6). - С. 223-240.

102. Мерков А. Б. Распознавание образов: Введение в методы статистического обучения. - М.: URSS, 2011. - 256 с.

103. Милль Д. С. Система логики силлогистической и индуктивной: Изложение принципов доказательства в связи с методами научного исследования / пер. с англ. - Изд. 5-е, испр. и доп. - М.: ЛЕНАНД, 2011. - 832 с.

104. Михайлова И. Н., Панкратова Е. С., Добрынин Д. А., Самойленко И. В., Решетникова В. В., Шелепова В. М., Демидов Л. В., Барышников А. Ю., Финн В. К. О применении интеллектуальной компьютерной системы для анализа клинических данных больных меланомой // Российский биотерапевтический журнал. 2010. № 2. Т. 9. - С. 54.

105. Михеенкова М. А. Принципы и логические средства интеллектуального анализа социологических данных: автореф. дис. ... д-ра техн. наук / РГГУ, 05.13.17. - М.: ВИНИТИ РАН, 2012. - 51 с.

106. Нейгел К. Ивьен Б., Глинн Д., Уотсон К., Скиннер М. C# 5.0 и платформа .NET 4.5 для профессионалов. - М.: «Диалектика», 2013. - 1440 с.

107. Николаев И. С., Митренина О. В., Ландо Т. М. (ред.) Прикладная и компьютерная лингвистика. М.: Ленанд, 2016. - 316 с.

108. Объедков С. А. Алгоритмы и методы теории решеток и их применение в машинном обучении: дис. ... канд. техн. наук. - М., 2003. - 157 с.

109. Ожегов С. И., Шведова Н. Ю. Толковый словарь русского языка: 80 000 слов и фразеологических выражений / РАН. Ин-т рус. яз. им. В. В. Виноградова. -4-е изд., доп. - М.: Азбуковник, 1999. - 944 с.

110. Окулов С. М., Котельников Е. В., Клековкина М. В. Программа анализа тональности текстов на основе словаря эмоциональной лексики. РОСПАТЕНТ. Свидетельство № 2013613211 от 28.03.2013 г.

111. Ольшанский Д. Л. Подбор алгоритма для параллельной реализации метода сходства в интеллектуальных ДСМ-системах // НТИ. Сер. 2. 2015. - № 7. -С. 1-12.

112. Осипов Г.С. Методы искусственного интеллекта. - М.: ФИЗМАТЛИТ, 2015. -295 с.

113. Панкратов Д. В. Логические и программные средства качественного анализа социологических данных: дис. ... канд. техн. наук: 05.13.17; ВИНИТИ. - М.: ВИНИТИ, 2001. - 115 с.

114. Панкратова Е. С., Добрынин Д. А., Цапенко И. В., Зуева М. В. Интеллектуальная ДСМ-система для диагностики заболеваний органа зрения на примере дегенеративных и наследственных форм ретиношизиса // НТИ. Сер. 2. Информационные процессы и системы. 2007. № 3.

115. Пескишева Т. А., Котельников Е. В. Параллельная реализация алгоритма обучения системы текстовой классификации // Вестник Уфимского государственного авиационного технического университета. 2011. Т. 15. № 5(45). - С. 130-136.

116. Пескишева Т. А., Котельников Е. В. Параллельная реализация алгоритма обучения системы текстовой классификации // Труды международной научной конференции «Параллельные вычислительные технологии - 2011» (ПаВТ'2011) (Москва, 28 марта - 1 апреля 2011 г.). - Челябинск: Изд-во ЮУрГУ, 2011. - С. 597-606.

117. Пескишева Т. А., Котельников Е. В., Пестов О. А. Параллельный алгоритм обучения текстового классификатора для многопроцессорной системы с иерархической архитектурой // Вопросы современной науки и практики. Университет им. В. И. Вернадского. 2011. № 3(34). - С. 105-112.

118. Пойа Д. Математика и правдоподобные рассуждения. - 2-е изд., испр. - М.: Наука, 1975. - 464 с.

119. Поляков П. Ю., Калинина М. В., Плешко В. В. Исследование применимости методов тематической классификации в задаче классификации отзывов о книгах // Компьютерная лингвистика и интеллектуальные технологии: по материалам ежегодной междунар. конф. «Диалог». Вып. 11(18). Т. 2. - М.: Изд-во РГГУ, 2012. - С. 51-59.

120. Порус В. Н. Аналогия // Новая философская энциклопедия: в 4 т. / под ред. В. С. Стёпина. - М.: Мысль, 2001.

121. Поспелов Д. А. Моделирование рассуждений. Опыт анализа мыслительных актов. - М.: Радио и связь, 1989. - 184 с.

122. Путрин А. В. Описание программной реализации ДСМ-систем для прогнозирования химической канцерогенности // НТИ. Сер. 2. Информационные процессы и системы. 1999. № 12. - С. 34-39.

123. Разова Е. В., Котельников Е. В., Котельникова А. В. Процедура проверки гипотезы о неравномерности распределения оценочной лексики в векторном пространстве слов // Научно-технический вестник Поволжья. 2017. № 6. -С. 217-219.

124. Скворцов Д. П. О некоторых способах построения логических языков с кванторами по кортежам // Семиотика и информатика. 1983. Вып. 20. - С. 102126.

125. Смирнов И. В. Исследование методов установления значений синтаксических единиц естественных языков на основе интеллектуального анализа данных: автореф. дис. ... канд. физ.-мат. наук / ИСА РАН, 05.13.01. - М.: ИСА РАН, 2008.

126. Сокирко А. В. Морфологические модули на сайте www.aot.ru // Труды ежегодной междунар. конф. «Диалог». - М.: Наука, 2004. - С. 559-564.

127. Толчеев В. О. Систематизация, разработка методов и коллективов решающих правил классификации библиографических текстовых документов: автореф. дис. ... д-ра техн. наук / МЭИ (ТУ), 05.13.01. - М.: МЭИ (ТУ), 2009.

128. Троелсен Э. Язык программирования C# 5.0 и платформа .NET 4.5. - М.: ООО «И. Д. Вильямс», 2013. - 1312 с.

129. Ту Дж., Гонсалес Р. Принципы распознавания образов. - М.: Мир, 1978. -413 с.

130. Финн В. К. Абдукция // Новая философская энциклопедия: в 4 т. / под ред. В. С. Стёпина. - М.: Мысль, 2001.

131. Финн В. К. Базы данных с неполной информацией и новый метод автоматического порождения гипотез // Диалоговые и фактографические системы информационного обеспечения. - М., 1981. - С. 153-156.

132. Финн В. К. Индуктивные методы Д. С. Милля в системах искусственного интеллекта. Ч. I // Искусственный интеллект и принятие решений. 2010. № 3.

- С. 3-21.

133. Финн В. К. Индуктивные методы Д. С. Милля в системах искусственного интеллекта. Ч. II // Искусственный интеллект и принятие решений. 2010. № 4.

- С. 14-40.

134. Финн В. К. Индукция // Новая философская энциклопедия: в 4 т. / под ред. В. С. Стёпина. - М.: Мысль, 2001.

135. Финн В. К. О возможностях формализации правдоподобных рассуждений средствами многозначных логик // Всесоюз. симпозиум по логике и методологии науки. - Киев: Наук. думка, 1976. - С. 82-83.

136. Финн В. К. О машинно-ориентированной формализации правдоподобных рассуждений в стиле Ф. Бэкона - Д. С. Милля // Семиотика и информатика. 1983. Вып. 20. - С. 35-101.

137. Финн В. К. Правдоподобные выводы и правдоподобные рассуждения // Итоги науки и техники. Сер. Теория вероятностей. Математическая статистика. Теоретическая кибернетика. 1988. Т. 28. - С. 3-84.

138. Финн В. К. Правдоподобные рассуждения в интеллектуальных системах типа ДСМ // Итоги науки и техники. Сер. Информатика. Т. 15. - М.: ВИНИТИ, 1991.

- С. 54-101.

139. Финн В. К. Синтез познавательных процедур и проблема индукции // НТИ. Сер. 2. Информационные процессы и системы. № 1-2. 1999. - С. 8-45.

140. Финн В. К. Эпистемологические основания ДСМ-метода. Ч. I // НТИ. Сер. 2. Информационные процессы и системы. 2013. № 9. - С. 1-29.

141. Финн В. К. Эпистемологические основания ДСМ-метода. Часть II // НТИ. Сер. 2. Информационные процессы и системы. 2013. № 12. - С. 1-26.

142. Шашкин Л. О. Приближенные средства установления сходств для ДСМ-метода автоматического порождения гипотез: автореф. дис. ... канд. техн. наук / ВИНИТИ РАН, 05.13.17. - М.: ВИНИТИ РАН, 2010. - 26 с.

143. Abbas O. A. Comparison between Data Clustering Algorithms // The International Arab Journal of Information Technology. 2008. Vol. 5. No. 3. - P. 320-325.

144. Agarwal A., Xie B., Vovsha I., Rambow O., Passonneau R. Sentiment Analysis of Twitter Data // Proceedings of the Workshop on Language in Social Media (LSM 2011). 2011. - P. 30-38.

145. Agrawal R., Mannila H., Srikant R., Toivonen H., Verkamo A. I. Fast Discovery of Association Rules // Advances in Knowledge Discovery and Data Mining. 1996. -P. 307-328.

146. Alashri S., Kandala S. S., Bajaj V., Ravi R., Smith K. L., Desouza K. C. An analysis of sentiments on Facebook during the 2016 U.S. presidential election // IEEE/ACM International Conference on Advances in Social Networks Analysis and Mining (ASONAM), San Francisco, CA, 2016. - P. 795-802.

147. Alfaro C., Cano-Montero J., Gómez J., Moguerza J. M., Ortega F. A multi-stage method for content classification and opinion mining on weblog comments // Annals of Operations Research. 2016. Vol. 236(1). - P. 197-213.

148. Alm C. O., Roth D., Sproat R. Emotions from Text: Machine Learning for Text-Based Emotion Prediction // Proceedings of the Human Language Technology Conference and the Conference on Empirical Methods in Natural Language Processing, 2005. - P. 579-586.

149. Andrews S. In-Close, a Fast Algorithm for Computing Formal Concepts // In: Rudolph S., Dau F., Kuznetsov S. O. (eds.) ICCS 2009. CEUR WS. 2009. Vol. 483.

150. Andrews S. In-Close2, a High Performance Formal Concept Miner // In: Andrews S., Polovina S., Hill R., Akhgar B. (eds.) ICCS-ConceptStruct 2011. LNCS. Vol. 6828. Springer, Heidelberg. - P. 50-62.

151. Andrews S. Making use of empty intersections to improve the performance of CbO-type algorithms // Proceedings of the 14th International Conference on Formal Concept Analysis, Springer, 2017. - P. 56-71.

152. Arnoldi W. E. The principle of minimized iteration in the solution of the matrix eigenvalue problem // Quarterly of Applied Mathematics. 1951. Vol. 9. - P. 17-29.

153. Attia M., Samih Y., Elkahky A., Kallmeyer L. Multilingual Multi-class Sentiment Classification Using Convolutional Neural Networks // 11th edition of the Language Resources and Evaluation Conference, 7-12 May 2018, Miyazaki, Japan.

154. Bahmani B., Moseley B., Vattani A., Kumar R., Vassilvitskii S. Scalable k-means++ // Proceedings of the Very Large Databases Endowment. 2012. Vol. 5(7). - P. 622-633.

155. Bank M., Franke J. Social Networks as Data Source for Recommendation Systems // E-Commerce and Web Technologies. 2010. Vol. 61. - P. 49-60.

156. Basti E., Kuzey C., Delen D. Analyzing initial public offerings' short-term performance using decision trees and SVMs // Decision Support Systems. Vol. 73. - P. 15-27.

157. Bergstra J., Bengio Y. Random Search for Hyper-Parameter Optimization // Journal of Machine Learning Research. 2012. Vol. 13. - P. 281-305.

158. Bethard S., Yu H., Thornton A., Hatzivassiloglou V., Jurafsky D. Automatic extraction of opinion propositions and their holders // Proceedings of the AAAI Spring Symposium on Exploring Attitude and Affect in Text. 2004.

159. Bhowmick P. K., Basu A., Mitra P. Classifying Emotion in News Sentences: When Machine Classification Meets Human Classification // International Journal on Computer Science and Engineering. 2010. Vol. 2(1). - P. 98-108.

160. Bilal M, Israr H, Shahid M, Khan A Sentiment classification of Roman-Urdu opinions using Naïve Bayesian, decision tree and KNN classification techniques // Journal of King Saud University - Computer and Information Sciences. 2016. Vol. 28(3). - P. 330-344.

161. Bishop C. M. Pattern Recognition and Machine Learning. Springer, 2006.

162. Blinov P. D., Kotelnikov E. V. Distributed Representations for Aspect-Based Sentiment Analysis at SemEval 2014 // Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval 2014). Dublin, Ireland, August 23-24, 2014. - P. 140-144.

163. Blinov P. D., Kotelnikov E. V. Semantic Similarity for Aspect-based Sentiment Analysis // Computational Linguistics and Intellectual Technologies: Papers from

the Annual International Conference «Dialogue», 27-31 May 2015. Issue 14 (21). Vol. 2. - P. 25-34.

164. Blinov P. D., Kotelnikov E. V. Using Distributed Representations for Aspect-Based Sentiment Analysis // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference "Dialogue", Bekasovo, 4-8 June 2014. Issue 13 (20). - P. 68-79.

165. Blinov P., Klekovkina M., Kotelnikov E., Pestov O. Research of Lexical Approach and Machine Learning Methods for Sentiment Analysis // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue», Bekasovo. 2013. Issue 12. Vol. 2. - P. 51-61.

166. Bloom B. H. Space/Time Trade-offs in Hash Coding with Allowable Errors // Communications of the ACM. 1970. Vol. 13(7). - P. 422-426.

167. Bocharov V., Granovsky D., Bichineva S., Ostapuk N., Stepanova M. Quality Assurance Tools in the OpenCorpora Project // Proceedings of Dialogue-2011. -P. 109-114.

168. Bollen J., Mao H., Zeng X.-J. Twitter mood predicts the stock market // Journal of Computational Science. 2011. Vol. 2(1). - P. 1-8.

169. Bordat J. P. Calcul pratique du treillis de Galois d'une correspondance // Mathématiques et Sciences Humaines. 1986. Vol. 96. - P. 31-47.

170. Bouazizi M., Ohtsuki T. A Pattern-Based Approach for Multi-Class Sentiment Analysis in Twitter // IEEE Access. 2017. Vol. 5. - P. 20617-20639.

171. Boucher J. D., Osgood Ch. E. The Pollyanna Hypothesis // Journal of Verbal Learning and Verbal Behavior. 1969. No. 8. - P. 1-8.

172. Breiman L. Bagging predictors // Machine Learning. 1996. Vol. 24(2). - P. 123140.

173. Breiman L. Random forests // Machine Learning. 2001. Vol. 45(1). - P. 5-32.

174. Breiman L., Friedman J. H., Olshen R., Stone C. Classification and Regression Trees. Pacific Grove: Wadsworth & Brooks, 1984.

175. Burges C. A Tutorial on Support Vector Machines for Pattern Recognition // Data Mining and Knowledge Discovery. 1998. Vol. 2(2). - P. 121-167.

176. Burmeister P. Formal concept analysis with ConImp: Introduction to the basic features // Technical report, TU Darmstadt, Darmstadt, Germany, 1996.

177. Buzmakov A., Kuznetsov S. O., Napoli A. Sofia: how to make FCA polynomial? // Proceedings of the 4th International Conference on What Can FCA Do for Artificial Intelligence? Vol. 1430. Aachen, Germany, 2015. - P. 27-34.

178. Chaovalit P., Zhou L. Movie review mining: A comparison between supervised and unsupervised classification approaches // Proceedings of the Hawaii International Conference on System Sciences (HICSS). 2005.

179. Chapelle O., Scholkopf B., Zien A. Semi-supervised learning. Cambridge, Mass.: MIT Press, 2006.

180. Chelaru S., Altingovde I. S., Siersdorfer S., Nejdl W. Analyzing, Detecting, and Exploiting Sentiment in Web Queries // ACM Transactions on the Web. 2013. Vol. 8(1). - P. 1-28.

181. Chen T., Guestrin C. XGBoost: A Scalable Tree Boosting System // 22nd SIGKDD Conference on Knowledge Discovery and Data Mining, 2016.

182. Chen Y., Zhang Z. Research on text sentiment analysis based on CNNs and SVM // 13th IEEE Conference on Industrial Electronics and Applications (ICIEA), Wuhan, 2018. - P. 2731-2734.

183. Chetviorkin I. Testing the sentiment classification approach in various domains -ROMIP 2011 // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue». 2012. No. 11(18). Vol. 2. -P. 15-26.

184. Chetviorkin I., Braslavskiy P., Loukachevitch N. Sentiment Analysis Track at ROMIP 2011 // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue». 2012. No. 11(18). Vol. 2. -P. 1-14.

185. Chetviorkin I., Loukachevitch N. Sentiment Analysis Track at ROMIP 2012 // Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference "Dialog 2013", Bekasovo. 2013. No. 12(19). Vol. 2. -P. 40-50.

186. Cheung K., Vogel D. Complexity reduction in lattice-based information retrieval // Information Retrieval. 2005, Vol. 8 (2). P. 285-299.

187. Clarizia F., Colace F., De Santo M., Lombardi M., Pascale F., Pietrosanto A. E-learning and sentiment analysis: a case study // Proceedings of the 6th International Conference on Information and Education Technology (ICIET '18). 2018. ACM, New York, NY, USA. - P. 111-118.

188. Cover T. M., Hart P. E. Nearest Neighbor Pattern Classification // IEEE Transactions on Information Theory. 1967. Vol. 13(1). - P. 21-27.

189. Danisman T., Alpkocak A. Feeler: Emotion Classification of Text using Vector Space Model // AISB 2008 Convention Communication, Interaction and Social Intelligence. 2008. Vol. 1. - P. 53-59.

190. Dave K., Lawrence S., Pennock D. M. Mining the peanut gallery: Opinion extraction and semantic classification of product reviews // Proceedings of International Conference on World Wide Web (WWW-2003). 2003. - P. 519-528.

191. Dhillon I. S. Co-clustering Documents and Words using Bipartite Spectral Graph Partitioning // Proceedings of the 7th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD-2001). 2001. - P. 269-274.

192. Dodds P. S., Danforth C. M. Measuring the Happiness of Large-Scale Written Expression: Songs, Blogs, and Presidents // Journal of Happiness Studies. 2010.

193. Dong R., O'Mahony M. P., Schaal M., McCarthy K., Smyth B. Combining similarity and sentiment in opinion mining for product recommendation // Journal of Intelligent Information Systems. 2016. Vol. 46(2). - P. 285-312.

194. Fayyad U., Piatetsky-Shapiro G., Smyth P. From Data Mining to Knowledge Discovery: An Overview // AI Magazine. 1996. Vol. 17(3). - P. 37-54.

195. Fellbaum C. WordNet: An Electronic Lexical Database. Cambridge, MA: MIT Press, 1998.

196. Ferrara E., Wang W. Q., Varol O., Flammini A., Galstyan A. Predicting Online Extremism, Content Adopters, and Interaction Reciprocity // Social Informatics (SocInfo). 2016. Lecture Notes in Computer Science. Vol. 10047. - P. 22-39.

197. Ferré S. Incremental Concept Formation Made More Efficient by the Use of Associative Concepts // INRIA Research Report no. 4569. 2002.

198. Finn V. K., Zabezhailo M. I. Intelligent data analysis and machine learning: are they really equivalent concepts? // 2017 Second Russia and Pacific Conference on Computer Technology and Applications (RPC), Vladivostok, 2017. - P. 59-63.

199. Flach P. Machine Learning. The Art and Science of Algorithms that Make Sense of Data. Cambridge University Press, 2012.

200. Flach P. The Geometry of ROC Space: Understanding Machine Learning Metrics through ROC Isometrics // Proceedings of the Twentieth International Conference on Machine Learning (ICML-2003), Washington DC, 2003. - P. 194-201.

201. Fredkin E. Trie Memory // Communications of the ACM. September 1960. Vol. 3(9). - P. 490-499.

202. Freund Y., Schapire R. Experiments with a New Boosting Algorithm // Proceedings of the Thirteenth International Conference on Machine Learning (ICML'96). 1996. - P. 148-156.

203. Freund Y., Schapire R. E. A Decision-Theoretic Generalization of On-line Learning and an Application to Boosting // European Conference on Computational Learning Theory. 1995. - P. 23-37.

204. Friedman J.H. Greedy function approximation: A gradient boosting machine // The Annals of Statistics. 2001. Vol. 29. No. 5. P. 1189-1232.

205. Fürnkranz J. Decision Tree // In Encyclopedia of Machine Learning, C. Sammut, G. I. Webb (eds.), Springer, 2012. - P. 263-267.

206. Fürnkranz J. Separate-and-Conquer Rule Learning // Artificial Intelligence Review. 1999. Vol. 13. - P. 3-54.

207. Fürnkranz J., Flach P. A. ROC 'n' Rule Learning-Towards a Better Understanding of Covering Algorithms // Machine Learning. 2005. Vol. 58(1). - P. 39-77.

208. Fürnkranz J., Gamberger D., Lavrac N. Foundations of Rule Learning. Springer, 2012.

209. Galitsky B. A., Ilvovsky D. A., Kuznetsov S. O. Detecting logical argumentation in text via communicative discourse tree // Journal of Experimental and Theoretical Artificial Intelligence. 2018. Vol. 30. No. 5. - P. 637-663.

210. Galitsky B. A., Ilvovsky D. A., Kuznetsov S. O. Text Classification into Abstract Classes Based on Discourse Structure // Proceedings of the Recent Advances in Natural Language Processing (RANLP 2015). Hissar, Bulgaria. - P. 201-207.

211. Galitsky B. A., Kuznetsov S. O., Usikov D. Parse Thicket Representation for Multi-sentence Search // Proceedings of the 20th International Conference on Conceptual Structures (ICCS-2013), Mumbai, India. - P. 153-172.

212. Ganter B. Two Basic Algorithms in Concept Analysis // FB4-Preprint No. 831, TH Darmstadt, 1984.

213. Ganter B., Wille R. Formal Concept Analysis: Mathematical Foundations. Berlin, Springer-Verlag, 1999.

214. Gerani S., Mehdad Y., Carenini G., Ng R. Aspect Oriented Opinion Summarization // 3rd Pacific Northwest Regional NLP Workshop (NW-NLP). 2014.

215. Godbole N. Srinivasaiah M., Skiena S. Large-Scale Sentiment Analysis for News and Blogs // Proceedings of the International Conference on Weblogs and Social Media (ICWSM). 2007.

216. Goldschmidt O., Hochbaum D. S. A polynomial algorithm for the k-cut problem for fixed k // Mathematics of operations research. 1988. Vol. 19(1). - P. 24-37.

217. Golub G. H., Kahan W. Calculating the singular values and pseudo-inverse of a matrix // Journal of the Society for Industrial and Applied Mathematics: Series B, Numerical Analysis. 1965. Vol. 2(2). - P. 205-224.

218. Goyal A., Gupta V., Kumar M. Recent Named Entity Recognition and Classification techniques: A systematic review // Computer Science Review. 2018. Vol. 29. P. 2143.

219. Grama A., Gupta A., Karypis G., Kumar V. Introduction to Parallel Computing. 2nd ed. Addison-Wesley, 2003.

220. Gu M., Eisenstat S. C. A divide-and-conquer algorithm for the bidiagonal SVD // SIAM Journal on Matrix Analysis and Applications. 1995. Vol. 16. - P. 79-92.

221. Gupta R., Sahu S., Espy-Wilson C., Narayanan S. Semi-Supervised and Transfer Learning Approaches for Low Resource Sentiment Classification // IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), Calgary, AB, 2018. - P. 5109-5113.

222. Habernal I., Ptácek T., Steinberger J. 2014. Supervised sentiment analysis in Czech social media // Information Processing and Management. 2014. Vol. 50(5). - P. 693707.

223. Hájek P., Havel I., Chytil M. The GUHA Method of Automatic Hypotheses Determination // Computing. 1966. Vol. 1. - P. 293-308.

224. Hájek P., Holeña M., Rauch J. The GUHA Method and its Meaning for Data Mining // Journal of Computer and System Sciences. 2010. Vol. 76. - P. 34-48.

225. Han J., Cheng H., Xin D., Yan X. Frequent Pattern Mining: Current Status and Future Directions // Data Mining and Knowledge Discovery. 2007. Vol. 15(1). -P. 55-86.

226. Hardy M. Pareto's Law // Mathematical Intelligencer. 2010. Vol. 32(3). - P. 38-43.

227. Hartigan J. A. Direct clustering of a data matrix // Journal of the American Statistical Association, 1972. Vol. 67(337). - P. 123-129.

228. Haselmayer M., Jenny M. Sentiment analysis of political communication: combining a dictionary approach with crowdcoding // Quality & quantity. 2016. Vol. 51(6). - P. 2623-2646.

229. Hastie T., Tibshirani R., Friedman J. The Elements of Statistical Learning. Data Mining, Inference, and Prediction. 2nd ed. Springer, 2009. - 745 p.

230. Hatzivassiloglou V., Wiebe J. Effects of adjective orientation and gradability on sentence subjectivity // Proceedings of the International Conference on Computational Linguistics (COLING). 2000.

231. Haykin S. Neural Networks and Learning Machines. 3rd ed. Prentice Hall, 2009.

232. He Y. Incorporating Sentiment Prior Knowledge for Weakly Supervised Sentiment Analysis // ACM Transactions on Asian Language Information Processing. 2012. Vol. 11(2).

233. Hemmatian F., Sohrabi M. K. A survey on classification techniques for opinion mining and sentiment analysis // Artificial Intelligence Review. 2017. - P. 1-51.

234. Henriques R., Madeira S. C. Triclustering Algorithms for Three-Dimensional Data Analysis: A Comprehensive Survey // ACM Computing Surveys. 2019. Vol. 51(5), No. 95.

235. Hu M., Liu B. Mining and Summarizing Customer Reviews // Proceedings of ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD-2004), Seattle. 2004. - P. 168-177.

236. Hullermeier E. Case-Based Approximate Reasoning. Springer, 2007.

237. Ignatov D. I., Gnatyshak D. V., Kuznetsov S. O., Mirkin B. G. Triadic formal concept analysis and triclustering: searching for optimal patterns // Machine Learning. 2015. Vol. 101 (1-3). - P. 271-302.

238. Inkpen D., Keshtkar F., Ghazi D. Analysis and generation of emotion in texts // International Conference on Knowledge Engineering Principles and Techniques. 2009.

239. Inoue K., Sakama C. Abductive framework for nonmonotonic theory change // Proceedings of the 14th International Joint Conference on Artificial Intelligence. 1995. - P. 204-210.

240. J^drzejewski K., Zamorski M. Performance of K-Nearest Neighbors Algorithm in Opinion Classification // Foundations of Computing and Decision Sciences. 2013. Vol. 38(2). - P. 97-110.

241. Jongejan B., Dalianis H. Automatic training of lemmatization rules that handle morphological changes in pre-, in- and suffixes alike // Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNL, vol. 1, 2009. P. 145-153.

242. Joulin A., Grave E., Bojanowski P., Mikolov T. Bag of Tricks for Efficient Text Classification // Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics. 2017. Vol. 2. P. 427-431.

243. Kechaou Z., Ben Ammar M., Alimi A. M. Improving e-learning with sentiment analysis of users' opinions // Proceedings of Global Engineering Education Conference (EDUCON). 2011.

244. Kennedy A., Inkpen D. Sentiment classification of movie reviews using contextual valence shifters // Computational Intelligence. 2006. Vol. 22. - P. 110-125.

245. Khan F. H., Qamar U., Bashir S. A semi-supervised approach to sentiment analysis using revised sentiment strength based on SentiWordNet // Knowledge and Information Systems. 2017. Vol. 51(3). - P. 851-872.

246. Khozyainov I., Pyshkin E., Klyuev V. Spelling out opinions: Difficult cases of sentiment analysis // International Joint Conference on Awareness Science and Technology & Ubi-Media Computing (iCAST 2013 & UMEDIA 2013), Aizu-Wakamatsu, Japan, 2013. - P. 231-237.

247. Kim H. D., Ganesan K., Sondhi P., Zhau C. Comprehensive Review of Opinion Summarization // Illinois Environment for Access to Learning and Scholarship. Tech. Rep., 2011.

248. Kim S.-M., Hovy E. Identifying and analyzing judgment opinions // Proceedings of the Joint Human Language Technology/North American Chapter of the ACL Conference (HLT-NAACL). 2006.

249. Kirchberg M., Leonardi E., Tan Y.S., Link S., Ko R. K. L., Lee B.S. Formal Concept Discovery in Semantic Web Data // Proc. 10th International Conference, ICFCA 2012, Leuven, Belgium, May 7-10, 2012. - P. 164-179.

250. Klekovkina M. V., Kotelnikov E. V. The automatic sentiment text classification method based on emotional vocabulary // 14th All-Russian Scientific Conference «Digital Libraries 2012: Advanced Methods and Technologies, Digital Collections» (RCDL 2012). Pereslavl-Zalessky, 15-18 October 2012. - P. 118-123.

251. Kohavi R. A Study of Cross-Validation and Bootstrap for Accuracy Estimation and Model Selection // Proceedings of the Fourteenth International Joint Conference on Artificial Intelligence. 1995. No. 2(12). - P. 1137-1143.

252. Korobov M. Morphological Analyzer and Generator for Russian and Ukrainian Languages // Proceedings of 4th International Conference on Analysis of Images, Social Networks and Texts (AIST-2015). 2015. - P. 320-332.

253. Kotelnikov E. V. Using JSM method for sentiment analysis // 3rd International Conference on Science and Technology, London, 17-18 June 2013. - P. 56-66.

254. Kotelnikov E. V., Bushmeleva N. A., Razova E. V., Peskisheva T. A., Pletneva M. V. Manually Created Sentiment Lexicons: Research and Development // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference "Dialogue", 01-04 June 2016. Issue 15 (22). - P. 281-295.

255. Kotelnikov E. V., Milov V. R. A logical reasoning approach for failure data analysis // 15th International Conference on Condition Monitoring and Machinery Failure Prevention Technologies (CM2018/MFPT2018). September 10-12, 2018. Nottingham, UK. - P. 569-577.

256. Kotelnikov E. V., Milov V. R. Comparison of rule induction, decision trees and formal concept analysis approaches for classification // Journal of Physics: Conf. Series. 2018. Vol. 1015.

257. Kotelnikov E. V., Mitiagina E. V. Using of Text Sentiment Analysis Models and Methods in the Sociological Studies // 2nd International Conference on Software, Multimedia and Communication Engineering (SMCE2017), April 23-24, 2017, Shanghai, China. - P. 101-107.

258. Kotelnikov E. V., Peskisheva T. A., Kotelnikova A. V., Razova E. V. A comparative study of publicly available Russian sentiment lexicons // 7th conference on Artificial Intelligence and Natural Language (AINL-2018). - P. 139-151.

259. Kotelnikov E. V., Razova E. V., Fishcheva I. N. A close look at Russian morphological parsers: which one is the best? // In: Filchenkov A., Pivovarova L., Zizka J. (eds.) Artificial Intelligence and Natural Language. AINL 2017. Communications in Computer and Information Science, vol. 789. Springer. 2018. -P. 131-142.

260. Kouloumpis E., Wilson T., Moore J. Twitter Sentiment Analysis: The Good the Bad and the OMG! // Proceedings of the Fifth International AAAI Conference on Weblogs and Social Media (ICWSM-2011). 2011.

261. Kozareva Z., Navarro B., Vazquez S., Montoyo A. UA-ZBSA: A headline emotion classification through web information. In: Proceedings of the Fourth International Workshop on Semantic Evaluations (SemEval-2007), Prague, Czech Republic, Association for Computational Linguistics. 2007. - P. 334-337.

262. Krajca P., Outrata J., Vychodil V. Advances in algorithms based on CbO // Proceedings of the 8th International Conference on Concept Lattices and Their Applications (CLA), 2010. Vol. 672. - P. 325-337.

263. Krajca P., Outrata J., Vychodil V. Parallel Recursive Algorithm for FCA // Proceedings of International Conference on Concept Lattices and Their Applications (CLA-2008). 2008. - P. 71-82.

264. Kumar K. L. S., Desai J., Majumdar J. Opinion mining and sentiment analysis on online customer review // IEEE International Conference on Computational Intelligence and Computing Research (ICCIC), Chennai, 2016. - P. 1-4.

265. Kuncheva L. I. Combining pattern classifiers: Methods and Algorithms. - New York: Wiley, 2004.

266. Kuznetsov S. O. Fitting Pattern Structures to Knowledge Discovery in Big Data // Proceedings of the 11th International Conference on Formal Concept Analysis (ICFCA 2013). Lecture Notes in Artificial Intelligence (Springer). Vol. 7880, 2013. - P. 254-266.

267. Kuznetsov S. O. Scalable Knowledge Discovery in Complex Data with Pattern Structures // Proceedings of the 5th International Conference Pattern Recognition and Machine Intelligence (PReMI'2013). Lecture Notes in Computer Science (Springer). Vol. 8251, 2013. - P. 30-41.

268. Kuznetsov S. O., Makhalova T. On interestingness measures of formal concepts // Information Sciences. 2018. Vol. 442-443. - P. 202-219.

269. Kuznetsov S. O., Ob'edkov S. A. Comparing Performance of Algorithms for Generating Concept Lattices // Journal of Experimental and Theoretical Artificial Intelligence. 2002. Vol. 14. - P. 189-216.

270. Kyriakopoulou A., Kalamboukis T. Using clustering to enhance text classification // Proceedings of the 30th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval, 2007. - P. 805-806.

271. Lan M., Tan C. L., Su J., Lu Y. Supervised and Traditional Term Weighting Methods for Automatic Text Categorization // IEEE Transactions on Pattern Analysis and Machine Intelligence. 2009. Vol. 31. No. 4. - P. 721-735.

272. Le Gall F. Powers of Tensors and Fast Matrix Multiplication // Proceedings of the 39th International Symposium on Symbolic and Algebraic Computation (ISSAC 2014). 2014. - P. 296-303.

273. Li S., Wang Z., Zhou G., Lee S. Semi-Supervised Learning for Imbalanced Sentiment Classification // Proceedings of International Joint Conference on Artificial Intelligence (IJCAI-2011). 2011. - P. 1826-1831.

274. Liao C., Feng C., Yang S., Huang H. A hybrid method of domain lexicon construction for opinion targets extraction using syntax and semantics // Journal of Computer Science and Technology. 2016. Vol. 31(3). - P. 595-603.

275. Liu B. Sentiment Analysis and Opinion Mining // Synthesis Lectures on Human Language Technologies. 2012. Vol. 5(1).

276. Liu Q., Liu B., Zhang Y., Kim D. S., GaoImproving Z. Opinion Aspect Extraction Using Semantic Similarity and Aspect Associations // Proceedings of the 13 th AAAI Conference on Artificial Intelligence (AAAI-16), Phoenix, Arizona, USA. 2016. -P. 2986-2992.

277. Loukashevitch N. V., Blinov P. D., Kotelnikov E. V., Rubtsova Y. V., Ivanov V. V., Tutubalina E. V. SentiRuEval: Testing Object-Oriented Sentiment Analysis Systems in Russian // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference "Dialogue", 27-31 May 2015. Issue 14 (21). Vol. 2. - P. 2-13.

278. Loukashevitch N. V., Kotelnikov E. V., Blinov P. D. Types of Aspect Terms in Aspect-Oriented Sentiment Labeling // 5th Biennial International Workshop on Balto-Slavic Natural Language Processing (BSNLP-2015), Hissar, Bulgaria, September 10-11 2015. - P. 90-95.

279. Lyashevskaya O., Astafeva I., Bonch-Osmolovskaya A., Garejshina A., Grishina Ju., D'jachkov V., Ionov M., Koroleva A., Kudrinsky M., Lityagina A., Luchina E., Sidorova E., Toldova S., Savchuk S., Koval' S. NLP evaluation: Russian morphological parsers // Proceedings of Dialogue-2010. - P. 318-326.

280. Maqsud U. Synthetic Text Generation for Sentiment Analysis // Proceedings of the 6th Workshop on Computational Approaches to Subjectivity, Sentiment and Social Media Analysis (WASSA 2015), Lisbon, Portugal. - P. 156-161.

281. Mavljutov R. R., Ostapuk N. A. Using Basic Syntactic Relations for Sentiment Analysis // Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference "Dialog 2013", Bekasovo. 2013. No. 12(19). Vol. 2. -P. 91-100.

282. Merwe D., Obiedkov S., Kourie D. AddIntent: A New Incremental Algorithm for Constructing Concept Lattices // Proceedings of Second International Conference on Formal Concept Analysis, ICFCA 2004 Sydney, Australia, February 23-26. 2004. -P. 205-206.

283. Michalski R. S. Synthesis of Optimal and Quasi-Optimal Variable-Valued Logic Formulas // Proceedings of the International Symposium on Multiple-Valued Logic, 1975. - P. 76-87.

284. Mihaylov T., Balchev D., Kiprov Y., Koychev I., Nakov P. Large-Scale Goodness Polarity Lexicons for Community Question Answering // Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '17). 2017. ACM, New York, NY, USA. - P. 1185-1188.

285. Mirkin B. Mathematical Classification and Clustering. - Kluwer Academic Publishers, 1996.

286. Mishne G. Experiments with mood classification in blog posts // 1st Workshop on Stylistic Analysis of Text for Information Access. 2005.

287. Moghaddam S. Beyond Sentiment Analysis: Mining Defects and Improvements from Customer Feedback // Proceedings of European Conference on Information Retrieval (ECIR). Lecture Notes in Computer Science. 2015. Vol. 9022. P. 400-410.

288. Mohammad S., Yang T. Tracking Sentiment in Mail: How Genders Differ on Emotional Axes // Proceedings of the ACL Workshop on ACL 2011 Workshop on Computational Approaches to Subjectivity and Sentiment Analysis (WASSA-2011). 2011.

289. Mukherjee A., Liu B. Aspect Extraction through Semi-Supervised Modeling // Proceedings of 50th Annual Meeting of Association for Computational Linguistics (ACL-2012). 2012.

290. Norris E. M. An Algorithm for Computing the Maximal Rectangles in a Binary Relation // Revue Roumaine de Mathématiques Pures et Appliquées. 1978. No. 23(2). - P. 243-250.

291. Padro L., Stanilovsky E. FreeLing 3.0: Towards Wider Multilinguality // Proceedings of the Language Resources and Evaluation Conference (LREC'2012), ELRA, Istanbul, Turkey. May 2012.

292. Pak A., Paroubek P. Language independent approach to sentiment analysis (LIMSI Participation in ROMIP'11) // Computational Linguistics and Intellectual Technologies: Papers from the Annual International Conference «Dialogue». 2012. No. 11(18). - P. 37-50.

293. Pang B., Lee L. Opinion Mining and Sentiment Analysis // Foundations and Trends® in Information Retrieval. 2008. No. 2.

294. Pang B., Lee L., Vaithyanathan S. Thumbs up? Sentiment Classification using Machine Learning Techniques // Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP). 2002. - P. 79-86.

295. Panicheva P. V. ATEX: a rule-based sentiment analysis system processing texts in various topics // Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference "Dialog 2013", Bekasovo. 2013. No. 12(19). Vol. 2. - P. 101-113.

296. Pedregosa F., Varoquaux G., Gramfort A., Michel V., Thirion B., Grisel O., Blondel M., Prettenhofer P., Weiss R., Dubourg V., Vanderplas J., Passos A., Cournapeau D., Brucher M., Perrot M., Duchesnay É. Scikit-learn: Machine Learning in Python // Journal of Machine Learning Research. 2011. Vol. 12. -P. 2825-2830.

297. Peirce C. S. Philosophical writings / Ed. J. Buchler. N. Y: Dover Publ. Co., 1955.

298. Pennebaker J. W., Francis M. E., Booth R. J. Linguistic Inquiry and Word Count. Mahwah, NJ: Erlbaum Publishers, 2001.

299. Plassman G. E. A Survey of Singular Value Decomposition Methods and Performance Comparison of Some Available Serial Codes // NASA CR-2005-213500, July 2005.

300. Poecze F., Ebster C., Strauss C. Social media metrics and sentiment analysis to evaluate the effectiveness of social media posts // Procedia Computer Science. 2018. Vol. 130. - P. 660-666.

301. Pontiki M., Galanis D., Papageorgiou H., Androutsopoulos I., Manandhar S., Al-Smadi M., Al-Ayyoub M., Zhao Y., Qin B., De Clercq O., Hoste V., Apidianaki M., Tannier X., Loukachevitch N., Kotelnikov E., Bel N., Jiménez-Zafra S.M., Eryigit G. SemEval-2016 Task 5: Aspect Based Sentiment Analysis // Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval-2016), San Diego, California, June 16-17, 2016. - P. 19-30.

302. Poria A., Cambria E., Gelbukh A. Aspect extraction for opinion mining with a deep convolutional neural network // Knowledge-Based Systems. 2016. Vol. 108. -P. 42-49.

303. Poria S., Peng H., Hussan A., Howard N., Cambria E. Ensemble application of convolutional neural networks and multiple kernel learning for multimodal sentiment analysis // Neurocomputing. 2017. Vol. 261. - P. 217-230.

304. Powers D. M. W. Applications and Explanations of Zipfs Law // Joint Conference on New Methods in Language Processing and Computational Natural Language Learning. Association for Computational Linguistics. 1998. - P. 151-160.

305. Priss U. FCA algorithms. 2009. http://www.upriss.org.uk/fca/fcaalgorithms.html.

306. Quinlan J. R. C4.5: Programs for Machine Learning. Morgan Kaufmann. 1993.

307. Quinlan J. R. Induction of Decision Trees // Machine Learning. 1986. Vol. 1(1). -P. 81-106.

308. Rajput I. S., Kumar B., Singh T. Performance Comparison of Sequential Quick Sort and Parallel Quick Sort Algorithms // International Journal of Computer Applications. 2012. Vol. 57. No. 9. - P. 14-22.

309. Razova E.V., Kotelnikov E.V. Arrangement of sentiment lexica in the space of distributed word representations // 17th IEEE International Conference on Cognitive Informatics & Cognitive Computing (ICCI*CC 2018), Berkley, USA, July 16-18, 2018. - P. 240-245.

310. Razova E.V., Kotelnikov E.V. Concentration Areas of Sentiment Lexica in the Word Embedding Space // International Journal of Cognitive Informatics and Natural Intelligence. 2019. Vol. 13(2). - P. 48-62.

311. Rosser J. B., Turquette A. R. Many-valued logics. Amsterdam: North-Holland, 1952.

312. Saif H., He Y., Alani H. Alleviating Data Sparsity for Twitter Sentiment Analysis // The 2nd Workshop on Making Sense of Microposts (#MSM2012): Big things come in small packages at World Wide Web (WWW) Lyon, France. 2012.

313. Saif H., He Y., Fernandez M., Alani H. Contextual semantics for sentiment analysis of Twitter // Information Processing & Management. 2016. Vol. 52(1). - P. 5-19.

314. Schapire R. E. The Strength of Weak Learnability // Machine Learning. 1990. Vol. 5. - P. 197-227.

315. Schmid H. Probabilistic Part-of-Speech Tagging Using Decision Trees // Proceedings of International Conference on New Methods in Language Processing, Manchester, UK, 1994. - P. 44-49.

316. Sebastiani F. Machine Learning in Automated Text Categorization // ACM Computing Surveys. 2002. Vol. 34. - P. 1-47.

317. Segalovich I. A fast morphological algorithm with unknown word guessing induced by a dictionary for a web search engine // International Conference on Machine Learning: Models, Technologies and Applications (MLMTA-2003). - P. 273-280.

318. Sharma A., Dey S. An Artificial Neural Network based Approach for Sentiment Analysis of Opinionated Text // Proceedings of the ACM Research in Applied Computation Symposium. 2012. - P. 37-42.

319. Sharma R., Gupta M., Agarwal A., Bhattacharyya P. Adjective Intensity and Sentiment Analysis // Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing, Lisbon, Portugal, 2015. - P. 2520-2526.

320. Sharoff S., Nivre J. The proper place of men and machines in language technology: Processing Russian without any linguistic knowledge // Proceedings of Dialogue-2011. - P. 657-670.

321. Silva N. F., Hruschka E. R., Hruschka Jr. E. R. Biocom_Usp: Tweet Sentiment Analysis with Adaptive Boosting Ensemble // Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval), Dublin, Ireland, 2014. - P. 129-134.

322. Socher R., Perelygin A., Wu J., Chuang J., Manning C., Ng A., Potts C. Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank // Conference on Empirical Methods in Natural Language Processing (EMNLP 2013). 2013.

323. Steinley D., Brusco M. Initializing K-means Batch Clustering: A Critical Evaluation of Several Techniques // Journal of Classification. 2007. Vol. 24. - P. 99-121.

324. Strok F., Neznanov A. Comparing and Analyzing the Computational Complexity of FCA algorithms // Proceedings of the 2010 Annual Research Conference of the South African Institute of Computer Scientists and Information Technologists. 2010. - p. 417-420.

325. Sun S., Luo C., Chen J. A review of natural language processing techniques for opinion mining systems // Information Fusion. 2017. Vol. 36. - P. 10-25.

326. Taboada M. Sentiment Analysis: An Overview from Linguistics // Annual Review of Linguistics. 2016. Vol. 2. - P. 325-347.

327. Taboada M., Brooke J., Tofiloski M., Voll K., Stede M. Lexicon-Based Methods for Sentiment Analysis // Computational Linguistics. 2011. Vol. 37(2). - P. 267-307.

328. Tan S., Wang Y., Cheng X. Combining Learn-Based and Lexicon-Based Techniques for Sentiment Detection without using Labeled Examples // Proceedings

of the 31st Annual International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR). 2008. - P. 743-744.

329. Tripathy A., Agrawal A., Rath S. K. Classification of sentiment reviews using n-gram machine learning approach // Expert Systems with Application. 2016. Vol. 57. - P. 117-126.

330. Tsirakis N., Poulopoulos V., Tsantilas P., Varlamis I. Large scale opinion mining for social, news and blog data // Journal of Systems and Software. 2017. Vol. 127. -P. 237-248.

331. Turney P. Thumbs up or Thumbs down?: Semantic Orientation Applied to Unsupervised Classification of Reviews // Proceedings of Annual Meeting of the Association for Computational Linguistics (ACL-2002). 2002. - P. 417-424.

332. Turney P. D., Pantel P. From Frequency to Meaning: Vector Space Models of Semantics // Journal of Artificial Intelligence Research. 2010. Vol. 37. - P. 141188.

333. Valiant L. J. The Complexity of Computing the Permanent // Theoretical Computer Science. 1979. Vol. 8(2). - P. 189-201.

334. Van Rijsbergen C. J. Information Retrieval. Butterworths, London, 1979.

335. Vapnik V. N. An Overview of Statistical Learning Theory // IEEE Transactions on Neural Networks. 1999. Vol. 10. No. 5. - P. 988-999.

336. Vapnik V. N. The Nature of Statistical Learning Theory. 2nd ed. Springer, 2000.

337. Vyas V., Uma V. An Extensive study of Sentiment Analysis tools and Binary Classification of tweets using Rapid Miner // Procedia Computer Science. 2018. Vol. 125. - P. 329-335.

338. Vychegzhanin S.V., Kotelnikov E.V. Stance Detection in Russian: a Feature Selection and Machine Learning Based Approach // Supplementary proceedings of the 6th conference on Analysis of Images, Social Networks, and Texts. Moscow, July 27-29, 2017. - P. 166-177

339. Wakade S., Shekar C., Liszka K. J., Chan C.-C. Text Mining for Sentiment Analysis of Twitter Data // Proceedings of the 2012 World Congress in Computer Science, Computer Engineering and Applied Computing. 2012.

340. Whitelaw C., Garg N., Argamon S. Using appraisal groups for sentiment analysis // Proceedings of the ACM SIGIR Conference on Information and Knowledge Management (CIKM). 2005. - P. 625-631.

341. Witten I. H., Frank E., Hall M. A., Pal C.J. Data Mining. Practical Machine Learning Tools and Techniques. 4 ed. Elsevier, 2017. 621 p.

342. Yadav V., Bethard S. A Survey on Recent Advances in Named Entity Recognition from Deep Learning models // Proceedings of the 27th International Conference on Computational Linguistics. 2018. P. 2145-2158.

343. Yadollahi A., Shahraki A. G., Zaiane O. R. Current State of Text Sentiment Analysis from Opinion to Emotion Mining // ACM Computing Surveys. 2017. Vol. 50(2). - P. 1-33.

344. Yan J. Text Representation // In: Liu L., Ozsu M.T. (eds.) Encyclopedia of Database Systems. Springer, Boston, MA.

345. Yang B., Cardie C. Context-aware learning for sentence-level sentiment analysis with posterior regularization // ACL, 2014. No 1. - P. 325-335.

346. Yang K., Cai Y., Huang D., Li J., Zhou Z., Lei X. An effective hybrid model for opinion mining and sentiment analysis // IEEE International Conference on Big Data and Smart Computing (BigComp), Jeju, 2017. - P. 465-466.

347. Zezula P., Amato G., Dohnal V., Batko M. Similarity Search - The Metric Space Approach. Springer, 2006.

348. Zha H., He X., Ding C., Simon H., Gu M. Bipartite graph partitioning and data clustering // Proceedings of the 10th International Conference on Information and Knowledge Management (CIKM-2001), 2001.

349. Zhang L., Liu B. Sentiment Analysis and Opinion Mining // In: C. Sammut, G.I. Webb (eds.) Encyclopedia of Machine Learning and Data Mining. Springer Science, New York, 2016.

350. Zhu X., Goldberg A. B. Introduction to Semi-Supervised Learning. Morgan & Claypool, 2009.

ПРИЛОЖЕНИЯ

Приложение 1. Пример совместной кластеризации Диллона

Рассмотрим пример работы алгоритма совместной кластеризации (см. подпараграф 2.1.3). Пусть даны девять текстов: «Сходили на хороший фильм». й2: «Посмотрели хороший фильм».

«Фильм оказался хорош». й4: «О фильме сложилось прекрасное впечатление». «Впечатление, в целом, прекрасное». «Произвел прекрасное впечатление». «Комедия, а смотреть скучно». й8: «Комедия оказалась скучной». «Скучноватая комедия».

В результате морфологического анализа данных предложений (см. подпараграф 3.1.4) создается словарь, включающий 12 слов в нормальной форме:

шг: Ходить. ш2: Хороший. ш3: Фильм. ш4: Складываться. ш5: Прекрасное. ш6: Впечатление.

Ш7: Целое. ш8: Производить. ш9: Смотреть. Шю: Оказаться. шгг: Комедия. шГ2: Скучный.

Тексты и слова могут быть представлены в виде двудольного графа (рисунок П.1.1).

(щ}-. Ходить ^^ (ш2: Хоро

О**

)шии

Фильм

(ш4\ Складываться

(ш5. Прекрасное (щ6. Впечатление

(Щ

щ7. Целое

(ш8. Производить^ (шэ. Смотреть

(щю-.

Оказаться

Комедия

СкучныИ

Текст d1

Текст d4

Текст d5

Текст d6

Текст d7

Текст d8

Текст dq

э

Текст^^^} ^екст^з^^^

)

э

)

э

)

э

Рисунок П.1.1 - Представление текстов и документов в виде двудольного графа

Матрица инцидентности «слово-документ» А, соответствующая графу на рисунке П.1.1, представлена на рисунке П.1.2.

А =

d1 d2 dз d4 d5 dб d7 d8 d9