Методы и алгоритмы обработки математического контента на основе технологий семантического веба тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Николаев Константин Сергеевич

• Николаев Константин Сергеевич
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Николаев Константин Сергеевич

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

Глава 1. Современные методы и технологии обработки и хранения математического контента

1.1 Современные семантические технологии

1.2 Проект Semantic Web и открытые связанные данные

1.3 Основные принципы обработки математического контента

1.4 Особенности структуры математических документов

1.5 Способы представления математических понятий в документах

1.6 Математические библиотеки и проект WDML

1.7 Выводы по главе

Глава 2. Методы автоматического извлечения, хранения, обработки и использования математического контента

2.1. Экосистема OntoMathEdu

2.1.1 Компоненты экосистемы, их применение

2.1.2 Онтология OntoMathEdu, её структура, понятия и отношения

2.2 Метод автоматического аннотирования математических понятий в образовательных математических текстах на основе онтологии математического знания

2.2.1 Формат обрабатываемых данных

2.2.2 Алгоритм выделения математических понятий

2.3 Метод полуавтоматической оценки структурной полноты горизонтальных связей онтологии

2.4 Метод автоматического извлечения и семантического аннотирования математических формул в PDF документах

2

2.5 Алгоритм визуализации подграфов семантических сетей

2.6 Применение онтологии OntoMathEdu к задачам генерации математических тестов

2.7 Алгоритм генерации тестовых заданий и заданий с вводом ответа на основе понятий и отношений онтологии OntoMathEdu

2.8 Выводы по главе

Глава 3. Реализация сервисов и эксперименты

3.1 Сервис выделения математических понятий в документах

3.2 Сервис обогащения онтологии

3.3 Сервис семантического аннотирования формул в PDF документах

3.4 Сервис визуализации подграфов семантических сетей

3.5 Сервис генерации тестовых заданий по математике на основе понятий из онтологии OntoMathEdu

3.6 Выводы по главе

ЗАКЛЮЧЕНИЕ

Публикации автора

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

Список использованной литературы

Приложение 1. Фрагмент иерархии понятий, входящих в раздел «Теория алгебры»

Приложение 2. Фрагмент иерархии понятий, входящих в раздел «Теория математического анализа»

Приложение 3. Полнота, точность и F-мера для алгоритма автоматической разметки

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы обработки математического контента на основе технологий семантического веба»

ВВЕДЕНИЕ

Актуальность темы исследования. Автоматическая обработка цифрового контента является востребованной задачей в реалиях современного мира, особенно в задачах поиска информации, обогащения семантики и интерпретации данных. Сфера применения цифрового математического контента весьма широка: в первую очередь электронные научные журналы и математические коллекции научных статей [25, 51, 44, 17, 103], научные поисковые системы [2, 87], также различные системы дистанционного математического образования [39, 40, 118]. Обработка математического контента позволяет структурировать и определить семантику математических документов (как научных, так и образовательных), улучшить процесс поиска релевантных документов для исследователей, расширить возможности по управлению математическим контентом в системах дистанционного образования.

Технологии Semantic Web являются основным стеком технологий для представления связанных данных во Всемирной сети и открывают доступ к чётко структурированной информации для любых приложений, независимо от платформы и независимо от языков программирования. В стек технологий Semantic Web входят онтологии, а также приложения и пользовательские интерфейсы.

Технологии Semantic Web часто используются при визуализации,

связывании и представления математических документов. Под

математическими документами здесь понимаются не только большие тексты,

содержащие математическую информацию, но и отдельные формульные

фрагменты. Основным подходом к формированию семантически

обогащенных математических документов является выделение в них объектов

и семантических связей. Для этого применяются технологии, основанные на

Resource Description Framework (далее - RDF) - расширяемой модели

отношений между объектами, разработанной для внедрения информации

(семантики) в Всемирную сеть. RDF можно представить в виде направленного

4

графа, содержащего элементы, содержащие информацию о понятиях и ребра (в терминологии семантических технологий - «отношения»). Тройки «объект1; отношение; объект2» являются классической формой хранения RDF-графа.

Математические данные по своей природе сложны для категоризации без дополнительной информации. Эта проблема свойственна многим видам данных в сети, поэтому был разработан стандарт Web Ontology Language (далее - OWL), позволяющий категоризировать данные в сети в определенные классы и подклассы. OWL позволяет соотнести данные с онтологическими значениями: другими словами, сформировать множественные математические иерархии, подходящие по требованиям различных проектов и задач.

Дополнительно возникает задача соотнесения специфических типов схемы XML [18, 113] и численных типов данных, включенных в MathML [22]. Эта задача решается введением в схему XML пользовательских типов данных. Кроме того, схема XML и MathML отличаются в плане различий изначальных задач: схема XML оперирует структурными ограничениями, а MathML оперирует определениями математических объектов.

Помимо задач визуализации и хранения математического контента, важными являются задачи автоматического выполнения и манипуляции математическими формулами в Сети. Так как Всемирная сеть оперирует унифицированными идентификаторами ресурса (далее - URI), возникает проблема создания новых URI в рамках конкретного документа/сервера/проекта, что приводит к изоляции кластеров математических данных в сети. В [53] приведен текущий каталог математических функций и операторов, стандартизированных в схеме XML. Стандарт XML Query [100] поддерживает простой поиск и извлечение данных из структуры документа, что делает схему XML более предпочтительной для представления простых математических документов. Но для представления данных со сложной структурой и использующих высокоуровневые и редкие

математические отношения такой подход не оправдан, так как конвертация из RDF в XML пройдет с потерями важной информации.

Именно здесь возникает задача поиска математических документов по заданным понятиям и формулам, так как понятия и формулы высшей математики оптимальнее хранить именно в формате RDF и онтологиях. Задача поиска математических документов по понятиям и формулам, и задача поиска научных статей, в частности, заметно отличается от задачи классического полнотекстового поиска [82, 57], так как научные статьи содержат формулы, поиск по которым часто улучшает поисковую выдачу [43]. Существуют работы, опирающиеся на анализ структуры математических формул в формате MathML и производящие поиск по заданной структуре формулы [67, 65]. Данный подход хорош своей универсальностью, но не учитывает семантику документов, поэтому не подходит для поиска математических документов по названиям объектов и формул. Проблема в том, что формулы, как правило, не содержат явной семантической разметки её компонентов, что усложняет определение названия и смысла формулы в контексте статьи, в которой она находится. Именно поэтому требуются алгоритмы, способные с некоторой степенью точности определить название формулы, ее тип и, если это возможно, ее компоненты и их расположение в тексте.

Семантические технологии также применимы к образовательным задачам, а именно в генерации, визуализации тестовых заданий. Интеллектуализация систем дистанционного образования особенно актуальна в наше время в связи с заметным увеличением доли цифрового обучения в российской системе образования. Классическая (офлайн) методология проектирования учебных программ слабо применима к специфике дистанционных образовательных технологий [93, 45, 66]. По этой причине необходима разработка новых образовательных методик, в которых используются технологии искусственного интеллекта, прежде всего семантические технологии, что позволяет решать задачу персонализации процесса обучения.

Разработанные методы и алгоритмы способствуют как повышению качества онтологий, так и формированию и представлению в технологиях Semantic Web документов для применения в образовательных и научных задачах.

Предмет и объект исследования

Объектом исследования являются методы обработки математического контента. Предметом исследования является разработка семантических научных и образовательных сервисов для автоматической обработки математических документов и применение разработанных сервисов в научных и образовательных целях.

Цели и задачи исследования. Целью работы является разработка методов и алгоритмов извлечения, хранения и обработки математического контента, для разработки комплекса сервисов, применяемых в образовательных и научных задачах.

Основная задача, решаемая в данной работе, заключается в создании комплекса сервисов на основе разработанных методов и алгоритмов анализа математического контента. Данная задача разбивается на следующее множество подзадач:

1. Провести исследование современного состояния семантических методов обработки математического контента.

2. Разработать архитектуру экосистемы OntoMathEdu, которая направлена на применение семантических технологий в решении научных и научно-образовательных задач, и включает взаимосвязанные сервисы для обработки математических документов (сервис выделения математических понятий, сервис обогащения онтологии, сервис семантического аннотирования формул в PDF документах, сервис генерации тестовых заданий, сервис визуализации подграфов семантических сетей). Разработать методы и алгоритмы для извлечения, хранения и обработки математического контента и их реализацию в форме сервисов на основе семантических

технологий и специализированных математических ресурсов.

7

3. Разработать метод автоматического аннотирования математических понятий в образовательных математических текстах на основе онтологии математического знания, в котором учитываются структурные свойства образовательных документов и применяются встроенные в онтологию дидактические отношения.

4. Разработать метод полуавтоматической оценки структурной полноты горизонтальных связей онтологии на основе анализа структурных свойств графа классов онтологии, включающий этап формирования рекомендаций для эксперта и последующую экспертную оценку по принятию рекомендаций о внедрении новых отношений между концептами онтологии, позволяющий повысить качество онтологии путем улучшения её горизонтальной связности.

5. Разработать метод автоматического извлечения и семантического аннотирования математических формул в PDF документах, в котором учитываются структурные свойства научных математических документов, производится связывание компонентов формул с математическими понятиями в тексте с целью формирования семантического представления формулы.

6. Разработать алгоритмы для визуализации и генерации образовательного контента, включая алгоритм визуализации подграфов семантических сетей для обеспечения совместной работы с методом аннотирования математических понятий в образовательных математических текстах, и алгоритм генерации тестовых заданий и заданий с вводом ответа на основе понятий и отношений онтологии OntoMathEdu.

7. Разработать прототип комплекса семантических сервисов для обработки математического контента на основе разработанных методов и алгоритмов.

8. Реализовать встраивание и адаптацию разработанного комплекса семантических сервисов в дистанционный курс общеобразовательной геометрии на платформе дистанционного образования КФУ.

9. Провести экспериментальные исследования эффективности

разработанных методов семантической обработки математического контента

8

учебного курса и сформулировать рекомендации по дальнейшим исследованиям.

Научная новизна работы заключается в разработке основанных на семантических технологиях методов обработки и использования научного математического контента в решении прикладных задач в науке и образовании.

1. Впервые представлена структура экосистемы OntoMathEdu, направленной на применение семантических технологий в задачах математического образования.

2. Разработан новый метод автоматического аннотирования математических понятий в образовательных математических текстах, в котором учитываются дидактические отношения между понятиями, встроенные в онтологию OntoMathEdu (пререквизиты, образовательные уровни, образовательные системы), и производится разметка понятий в соответствии с объемом изучаемых понятий образовательного уровня.

3. Впервые разработан метод полуавтоматической оценки структурной полноты горизонтальных связей онтологии, который позволяет определить качество онтологии на уровне связанности понятий, используя данные методических заданий по решению задач в предметной области.

4. Разработан новый метод автоматического извлечения и семантического аннотирования математических формул в PDF документах, в котором производится связывание компонентов формул с математическими понятиями в тексте с целью формирования семантического представления формулы для дальнейшего применения в семантическом поисковике, в отличие от методов выделения формул в тексте, основанных на известных математических нотациях (TeX, LaTeX, MathML).

Разработанные методы работы с математическим контентом применяются при разработке учебных курсов по математике в системе дистанционного образования, а также в поисковых сервисах электронных математических библиотек.

Основные положения, выносимые на защиту:

1. Предложена структура экосистемы OntoMathEdu, которая включает в своем составе онтологию общеобразовательной математики OntoMathEdu и взаимосвязанные сервисы для обработки математического научно-образовательного контента, разработанные на основе семантических технологий и специализированных математических ресурсов, что позволяет использовать преимущества семантических и онтологических технологий в обучении математике.

2. Предложен новый метод автоматического аннотирования математических понятий в образовательных математических текстах на основе онтологии математического знания, в котором учитываются структурные свойства образовательных документов и применяются встроенные в онтологию дидактические отношения, позволяющий обогатить образовательные документы ссылками на результаты работы алгоритма визуализации подграфов семантических сетей.

3. Предложен новый метод полуавтоматической оценки структурной полноты горизонтальных связей онтологии, включающий этап автоматического формирования рекомендаций для эксперта и последующую экспертную оценку по принятию рекомендаций о внедрении новых отношений между концептами онтологии, позволяющий повысить качество онтологии путем улучшения её горизонтальной связности.

4. Предложен новый метод автоматического извлечения и семантического аннотирования математических формул в PDF документах, в котором учитываются структурные свойства научных математических документов, производится связывание компонентов формул с математическими понятиями в тексте с целью формирования семантического представления формулы, позволяющий сформировать размеченную коллекцию формул для семантического поиска документов.

Теоретическая и практическая значимость работы. В данной работе

разработан прототип комплекса сервисов по автоматической обработке

10

математических документов с использованием семантических технологий. Разработанный комплекс сервисов может быть использован в качестве модулей в составе научных библиотечных систем, а также в системах дистанционного обучения. В данный момент сервис визуализации подграфов семантических сетей и сервис автоматической разметки математических документов активно используются при подготовке цифровых образовательных ресурсов по школьной геометрии. Исследования, отраженные в диссертационной работе, проведены в рамках научно-исследовательских работ при поддержке Российского научного фонда (РНФ): проект №21-11-00105 «Lobachevskii-DML как составляющая Всемирной цифровой математической библиотеки» (Николаев К.С. - основной исполнитель) и в рамках государственного задания по теме FNEF-2022-0014.

Методология и методы исследования. При выполнении работы использовались семантические методы и технологии онтологического моделирования, методы и технологии обработки естественного языка, вычислительные алгоритмы на графах, многочисленные библиотеки языка Python (regex, rdflib, pymorphy2, nltk, BeautifulSoup и другие). Для реализации прототипов сервисов использованы современные программные технологии и библиотеки .NET Framework. Также применялась система управления базами данных Microsoft SQL Server Management Studio. Для визуализации веб-контента применялся микрофреймворк flask, использующий подход MVC (Model-View-Controller) для организации веб-приложений. Для хранения данных, генерируемых скриптами на языке python, применялись библиотеки pickle и compress-pickle (для больших объемов данных). Для передачи данных между python и C# использовалась сериализация в формате json.

Эксперименты по обработке математического контента для

образовательных приложений проводились на основе разработанных лекций

по предметам математического цикла Института математики и механики

Казанского (Приволжского) федерального университета, с применением

математических онтологий: онтологии профессиональной математики

11

OntoMathPro и онтологии школьной математики OntoMathEdu, а также коллекции научных статей журнала «Известия высших учебных заведений. Математика».

Достоверность. Степень достоверности полученных в работе результатов обеспечивается строгостью постановки задач и методов их решения, соответствием разработанных программных средств установленным требованиям, использованием системного подхода к построению программного комплекса, оценками верификации разработанных программных продуктов и проведенными экспериментами. Исследования, отраженные в диссертационной работе, проведены в рамках научно-исследовательских работ при поддержке Российского научного фонда (РНФ): проект №21-11-00105 «Lobachevskп-DML как составляющая Всемирной цифровой математической библиотеки» (Николаев К.С. - основной исполнитель) и в рамках государственного задания по теме FNEF-2022-0014.

Соответствие паспорту специальности. Работа выполнена в рамках направлений области исследований «Техническое обеспечение информационных систем и процессов, в том числе новые технические средства сбора, хранения, передачи и представления информации. Комплексы технических средств, обеспечивающих функционирование информационных систем и процессов, накопления и оптимального использования информационных ресурсов» и «Лингвистическое обеспечение информационных систем и процессов. Методы и средства проектирования словарей данных, словарей индексирования и поиска информации, тезаурусов и иных лексических комплексов. Методы семантического, синтаксического и прагматического анализа текстовой информации для представления в базах данных и организации интерфейсов информационных систем с пользователями» паспорта специальности 2.3.8 — Информатика и информационные процессы.

Апробация результатов работы. Основные результаты работы

докладывались на следующих международных конференциях в период с 2018

12

по 2023 гг.:: Международная научная конференция «Электронная Казань» (Казань, 2018, 2019); Data Analytics and Management in Data Intensive Domains (DAMDID/RCDL) (Москва, 2018, Казань, 2019, Воронеж, 2020, Москва 2023); Международный форум по математическому образованию - IFME (Казань, 2021, 2022); International Technology, Education and Development Conference (Валенсия, 2020, 2021); International Symposium on Computer Science, Digital Economy and Intelligent Systems (Москва, 2019); XIV Международная научно-практическая конференция «Современные информационные технологии и ИТ-образование» (Москва, 2019).

Список публикаций

Основные результаты по теме работы изложены в 14 печатных изданиях, 6 - в журналах, индексируемых Scopus, 8 — в прочих изданиях, и получено 2 свидетельства о государственной регистрации программы для ЭВМ.

Объем и структура работы. Работа состоит из введения, 3 глав, заключения и приложения. Полный объем работы составляет 118 страниц, включая 38 рисунков, 13 таблиц, 3 приложения.

Первая глава посвящена обзору существующих методов и технологий обработки математического контента. Дано описание проекта Semantic Web и открытых связанных данных. Представлены основные принципы обработки математических документов. Описаны особенности структуры математических документов, способы отражения структуры научных документов в онтологии. Описаны языки представления математических знаний (MathML, OpenMath, OMDoc, MathLang).

Вторая глава посвящена разработке набора научных и образовательных

методов для автоматического извлечения, обработки, хранения и

использования математических понятий. Дано описание экосистемы

OntoMathEdu, в рамках которой производится разработка методов. Описан

метод автоматического аннотирования математических понятий в

образовательных математических текста. Представлен метод

полуавтоматической оценки структурной полноты горизонтальных связей

13

онтологии. Представлен метод автоматического извлечения и семантического аннотирования математических формул в PDF документах. Представлены алгоритмы для визуализации и генерации образовательного контента, включая алгоритм визуализации подграфов семантических сетей для обеспечения совместной работы с методом аннотирования математических понятий в образовательных математических текстах, и алгоритм генерации тестовых заданий на основе математической онтологии и коллекции размеченных математических формул. В конце третьей главы получены выводы по полученным результатам.

В третьей главе описана разработка прототипов программных сервисов, реализующих методы, представленные в предыдущей главе. Разработана программная реализация сервиса выделения математических понятий в документах, с возможностью генерации веб-документа со ссылками на результаты работы метода визуализации подграфов семантических сетей. Разработана программная реализация сервиса обогащения онтологии. Разработан сервис семантического аннотирования формул в PDF документах. Разработан сервис визуализации подграфов семантических сетей с возможностью встраивания в существующие веб-документы для расширения семантического наполнения учебных материалов. Реализован сервис генерации тестовых заданий на основе понятий и отношений между понятиями в онтологии.

В приложении представлены оценки точности и полноты метода семантической разметки математических документов, метода разметки PDF-документов, а также количественные характеристики проведенных экспериментов.

ГЛАВА 1. СОВРЕМЕННЫЕ МЕТОДЫ И ТЕХНОЛОГИИ ОБРАБОТКИ И ХРАНЕНИЯ МАТЕМАТИЧЕСКОГО КОНТЕНТА

1.1 Современные семантические технологии

По объемам данных Всемирная сеть и множество других систем передачи данных в сети Интернет является самым большим хранилищем данных за всю историю человечества. Накопление данных происходило в течение нескольких десятилетий в ходе развития науки, технологий и социальных взаимосвязей человечества. Изначальная идея Всемирной сети (передача веб-документов между любыми двумя устройствами в сети) быстро эволюционировала в нечто большее, а именно идею разделения Сети на относительно крупные кластеры информации, обслуживающие многочисленных пользователей. Так как информацию в Сеть может добавлять любой желающий (при наличии технических возможностей и уникального IP-адреса), неизбежно возникает дублирование информации и в целом слабая связь данных, представленных в документах из разных кластеров Сети.

Кроме того, сам факт наличия огромного количества слабо структурированной информации дал ученым и бизнесу повод исследовать пути машинного анализа и построения зависимостей в данных. Для упрощения задачи связывания кластеров информации между собой и ускорения машинной обработки информации была сформирована идея Семантической сети - надстройки над существующей Всемирной сети. Информация, доступная в сети, пригодна для чтения человеком, но для машинной обработки необходима дополнительная информация о смысле объектов в веб-документе. Машинная обработка стала возможной благодаря двум семантическим технологиям: URI и семантическим сетям (в частности, онтологиям).

URI (унифицированный идентификатор ресурса) - уникальный адрес

ресурса в сети Интернет, используется для именования объектов. В

соответствии с концепцией Web 2.0 (основным подходом к анализу

Всемирной сети до 2007 года), количество пользовательских документов в

15

Сети возросло с невероятной скоростью, при этом значимость содержимого документов для машин ограничивалось в основном гиперссылками на другие документы. Очевидно, для полноценной машинной обработки необходимо расширить информацию о текстовом содержимом документа. Именно здесь приходит на помощь URI, позволяющий внедрять ссылки на объекты реального мира и даже на абстрактные понятия. Благодаря уникальности URI одни и те же объекты будут иметь одинаковое название в разных частях Семантической сети.

Использование семантический сетей и онтологий. Чаще всего, данные во Всемирной паутине представлены в виде текста на естественном языке. Для выделения понятий в текстах на естественном языке применяют частотный анализ [74, 30], лексический анализ текста [3], и методы, основанные на машинном обучении и нейросетях [70, 80].

Для машинного чтения данных в семантических сетях был разработан язык RDF (см. с. 5). Элементы языка RDF - триплеты - отображаются на XML-документы предопределенной структуры, а также в другие форматы (например, Turtle). Пример объекта на языке RDF и в нотации Turtle приведены на Рис. 1 и Рис.2.

<rdfs:subClassOf rdf:re sou гее = "http://webprotege.Stanford.edu/ <ome: belorigsToEducatiorial Level rdf: re sou г с e=" http: //ontomathpro .org/ <ome:eduRefRus rdf:resource="https://www.webmath.ru/poleznoe/formules_17_5.

Рис. 1. Пример понятия «Выпуклый угол» на языке RDF.

### http://ontomathpro.Org/ontomathedu#RCDCxd506epRRjboB2uPzKq ome:RCDCxd506epRRjboB2uPzKq rdf:type owl:Class ;

rdfs:subClassOf <http://webprotege.Stanford.edu/ R91MyAYbMeEYN0OdD7cbwZ6> ;

ome:belongsToEducationalLevel ome:grade-ru-d ; orne:eduRefRus <https://www.webmath.ru/poleznoe/ formules_17_5.php> ; rdfs¡label "Convex angle"@en , "Ángulo oblicuo"i3es "Выпуклый угол"@ги j

"Кабарынкы no4MaK"@tt .

Рис.2. Пример понятия «Выпуклый угол» в нотации Turtle.

Для возможности выполнения запросов на данных, представленных в Семантической сети, возник набор структурированных данных, связанных с другими скоплениями данных, называемый Linked Data. Наличие отношений между объектами в Linked Data позволяет выделять подмножества объектов, подходящих под некоторый шаблон, переданный в запросе на языке SPARQL [15]. Основными принципами Linked Data, предложенными Тимом Бернерс-Ли, являются следующие правила:

a) Унифицированные идентификаторы ресурсов (URI) должны использоваться для наименования и идентификации отдельных объектов.

b) HTTP URI следует использовать для того, чтобы эти вещи можно было искать, интерпретировать и впоследствии "разыменовывать".

c) Полезная информация о том, что определяет имя, должна предоставляться с помощью открытых стандартов, таких как RDF, SPARQL и т.д.

d) При публикации данных в Интернете на другие объекты следует ссылаться, используя их имена на основе HTTP URI.

На Рис.3 приведен обзор текущего состояния Linked Open Data Cloud. Наиболее связанным с другими блоком является DBPedia, содержащая информацию из Википедии.

Рис.3. Текущее состояние Linked Open Data Cloud Онтологии и логические правила. Одной из задачей Семантических сетей является не только связывание знаний из разных источников, но и автоматическое разрешение логических конструкций. Для этого необходим ввод типов данных и логических отношений между ними. Способом решения данных задач выступают онтологии. Онтологии содержат в себе понятия и отношения между ними, в том числе и отношения типа «SubClassof» и «sameAs». Язык OWL позволяет описывать новые типы данных, в том числе и в терминах уже существующих типов (например, определять тип, являющийся пересечением или объединением двух существующих). Кроме того, онтологии позволяют устанавливать идентичность между классами или отдельными

Список литературы диссертационного исследования кандидат наук Николаев Константин Сергеевич, 2024 год

СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ

1. Биряльцев Е.В., Елизаров А.М., Жильцов HX., Липачёв Е.К., Невзорова О.А., Соловьев В.Д. Методы анализа семантических данных математических электронных коллекций // Научно-техническая информация. Серия 2: Информационные процессы и системы. - 2014. - № 4. - С. 12-17

2. Еременко Г., Кокарев К. eLibrary.ru and Russian Science Citation Index in the information infrastructure of russian science: conversation with Gennadiy Yeremenko, Director General, eLibrary.ru // Полис. Политические исследования (Polis. Political Studies). - 2014. - Vol. 1. - P. 146-154. DOI:10.17976/jpps/2014.01.10.

3. Математическая лингвистика и автоматическая обработка текстов: учеб. пособие / Т. В. Батура; Новосиб. гос. ун-т. - Новосибирск: РИЦ НГУ. - 2016. - 166 с.

4. Мельничук М.В. Самоактуализация в процессе обучения иностранному языку в нелингвистическом вузе // Pedagogical Journal. - 2016. -No. 5A. - Vol. 6. - P. 151-160.

5. Невзорова О.А., Биряльцев Е.В., Жильцов Н.Г. Коллекции математических текстов: аннотирование и применение в поисковых задачах // Искусственный интеллект и принятие решений. - 2012. - № 3. - С. 51-62.

6. (uni)quationalpha math expression search engine [Электронный ресурс]. - URL: http://uniquation.com/en/ (дата обращения: 15.06.2022).

7. Aberer K., Boyarsky A. ScienceWISE: a Web-based Interactive Semantic Platform for scientific collaboration // ISWC. - 2011.

8. Adida B., Birbeck M., McCarron S., Herman I. RDFa Core 1.1. Syntax and processing rules for embedding RDF through attributes. W3C Working Draft, World Wide Web Consortium (W3C), March 2011 [Электронный ресурс]. - URL: http://www.w3.org/TR/2011/WD-rdfa-core-20110331/ (дата обращения: 15.06.2022).

9. Afzal N. Automatic Generation of Multiple Choice Questions using Surface-based Semantic Relations // Naveed Afzal International Journal of Computational Linguistics (IJCL). - 2015. - No. 6. - P. 26.

10. Agarwal M., Mannem P. Automatic Gap-fill question generation from text books // Proceedings of the 6th Workshop on Innovative Use of NLP for Building Educational Applications, BEA 2011 at the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies, ACL-HLT 2011. - 2011. - P. 56-64.

11. Al-Hunaiyyan A., Bimba A.T., Idris N., and Al-Sharhan S. A Cognitive Knowledge-Based Framework for Social and Metacognitive Support in Mobile Learning // Interdisciplinary J. of Information, Knowledge, and Management. -2017. - Vol. 12. - P. 75-98.

12. Alsubait T.M. Ontology-based Multiple-Choice Question Generation: kand. diss. / University of Manchester. - 2015.

13. Araki J., Rajagopal D., Sankaranarayanan S., Holm S., Yamakawa Y., Mitamura T. Generating questions and multiple-choice answers using semantic analysis of texts // COLING 2016 - 26th International Conference on Computational Linguistics, Proceedings of COLING 2016: Technical Papers. - 2016. - P. 11251136.

14. Ausbrooks R., Buswell S., Carlisle D., Chavchanidze G., Dalmas S., Devitt S., Diaz A., Dooley S., Hunter R., Ion P., Kohlhase M., Lazrek A., Libbrecht P., Miller B., Miner R., Sargent M., Smith B., Soiffer N., Sutor R., Watt S. Mathematical Markup Language (MathML) version 3.0. W3C Recommendation, World Wide Web Consortium (W3C), 2010 [Электронный ресурс]. - URL http://www.w3. org/TR/MathML3 (дата обращения: 15.06.2022).

15. Banerjee D., Nair P.A., Kaur J.N., Usbeck R., Biemann C. Modern Baselines for SPARQL Semantic Parsing // Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2022. P. 2260-2265. D0I:10.1145/3477495.3531841.

16. Bespalko V.P. The terms of pedagogical technology // Pedagogic. - P.

17. Bhattacharyya S. SXC-JMS: A WEB -Based Journal Management System // Computer Science Conference Proceedings. - 2012. - Vol. 4. - P. 417427. DOI:10.5121/csit.2012.2138

18. Biron P., Malhotra A. XML Schema Part 2: Datatypes [Электронный ресурс]. - 2004. - URL: https://www.w3.org/TR/xmlschema-2/ (дата обращения: 15.06.2022).

19. Bizer C., Kobilarov G., Lehmann J., Ives Z. DBpedia : A Nucleus for a Web of Open Data. - 2007. - P. 722-735.

20. Bloom B.S., Krathwohl D.R. Taxonomy of Educational Objectives: The Classification of Educational Goals // Handbook I: Cognitive Domain. - 1956.

21. Bouche T. Digital Mathematics Libraries: The good, the bad, the ugly // Mathematics in Computer Science. — 2010. — No 3. — P. 227-241.

22. Carlisle D., Ion P., Milner R., Poppelier N. Mathematical Markup Language (MathML) Version 2.0 // World Wide Web Consortium Recommendation [Электронный ресурс]. - 2001. - URL: http://www.w3.org/TR/MathML2 (дата обращения: 15.06.2022).

23. Caroll J. OWL 2 Web Ontology Language RDF-Based Semantics (Second Edition) [Электронный ресурс]. - 2012. - URL: https://www.w3.org/TR/owl-rdf-based-semantics/ (дата обращения: 15.06.2022).

24. Ch D.R., Saha S.K. Automatic Multiple Choice Question Generation from Text: A Survey // IEEE Transactions on Learning Technologies. - 2020. - No. 1. - Vol. 13. - P. 14-25. DOI: 10.1109/TLT.2018.2889100.

25. Chang H., Kong H. J. A new online journal management system // Healthcare Informatics Research. - 2018. - Vol. 24. - No 1. - P. 1-2.

26. Chebukov D.E., Izaak A.D., Misyurina O.G., Pupyrev Yu.A., and Zhizhchenko A.B. Math-Net.Ru as a Digital Archive of the Russian Mathematical Knowledge from the XIX Century to Today. Intelligent Computer Mathematics //

Carette J., Aspinall D., Lange C., Sojka P., Windsteiger W. (eds) Intelligent Computer Mathematics. CICM 2013. Lecture Notes in Computer Science. Springer, Berlin, Heidelberg. — 2013. — Vol. 7961. — P. 344-348.

27. Cheniti Belcadhi L. Personalized feedback for self assessment in lifelong learning environments based on semantic web // Computers in Human Behavior. - 2016. - Vol. 55. - P. 562-570. D01:10.1016/j.chb.2015.07.042.

28. Chiarcos C., McCrae J., Cimiano P., Fellbaum C. Towards Open Data for Linguistics: Linguistic Linked Data // New Trends of Research in Ontologies and Lexical Resources. - 2013. - P. 7-25.

29. Chiarcos C., Sukhareva M. OLiA - Ontologies of Linguistic Annotation // Semantic Web. - 2015. - No. 4. - Vol. 6. - P. 379-386. DOI:10.3233/SW-140167.

30. Christian H., Agus M.P., Suhartono D. Single Document Automatic Text Summarization using Term Frequency-Inverse Document Frequency (TF-IDF) // ComTech: Computer, Mathematics and Engineering Applications. - 2016. - No. 4. - Vol. 7. - P. 285. DOI : 10.21512/comtech. v7i4.3746.

31. D'Aquin M. On the Use of Linked Open Data in Education: Current and Future Practices // In: Mouromtsev D. and D'Aquin M. (Eds.). Open Data for Education. Lecture Notes in Computer Science. - 2016. - Vol. 9500. - P. 3-15. https://doi.org/10.1007/978-3-319-30493-9_1

32. D'Aquin M., Alessandro Adamou A., Dietze S., and Fetahu B. The LinkedUp Data Catalogue: A Meta-Dataset of Linked Datasets in the Education Domain //Semantic Web - Interoperability, Usability, Applicability. - 2014. - URL: http: //www. semantic-web-j ournal. net/content/linkedup-data-cataloguemeta-dataset-linked-datasets-education-domain

33. Da Nobrega G.M., De Araujo G.G., Cruz F.W. Towards collaborative ontology construction for learning computer science in education // Proceedings -IEEE 21st International Conference on Advanced Learning Technologies, ICALT 2021. - 2021. - P. 305-307. DOI:10.1109/ICALT52272.2021.00098.

34. Davenport J.H., Kohlhase M. Unifying math ontologies: A tale of two

standards // Lecture Notes in Computer Science (including subseries Lecture Notes

104

in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2009. - Vol. 5625. P. 263-278. DOI: 10.1007/978-3-642-02614-0_23.

35. David C., Kohlhase M., Lange C., Rabe F., Zhiltsov N., Zholudev V. Publishing math lecture notes as linked data // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2010. - Vol. 6089. - P. 370-375. DOI:10.1007/978-3-642-13489-0_26.

36. Developing a 21st century global library for mathematics research // Washington, The National Academies Press. - 2014. - P. 1-131. DOI:10.17226/18619.

37. Digital Mathematics Library : A Vision for the Future // International Mathematical Union. - 2006.

38. Dockendorff M., and Solar H. ICT Integration in Mathematics Initial Teacher Training and its Impact on Visualization: Thecase of GeoGebra // Int. J. of Mathematical Education in Science and Technology. - 2017. - P. 1-19.

39. Drijvers P. Digital Technology in Mathematics Education: Why It Works (Or Doesn't) // Selected Regular Lectures from the 12th International Congress on Mathematical Education. Cham: Springer International Publishing. -2015. - P. 135-151.

40. Drijvers P., Godino J., Font V., Trouche L. One episode, two lenses A reflective analysis of student learning with computer algebra from instrumental and onto-semiotic perspectives // Educational Studies in Mathematics. - 2013. - Vol. 82. - P. 23-49. DOI: 10.2307/23434838.

41. Ehrmann M., Cecconi F., Vannella D., McCrae J., Cimiano P., Navigli R. Representing multilingual data as linked data: The case of BabelNet 2.0 // Proceedings of the 9th International Conference on Language Resources and Evaluation, LREC 2014. - 2014. - P. 401-408.

42. Elizarov A., Kirillovich A., Lipachev E., Nevzorova O. Digital ecosystem ontomath: Mathematical knowledge analytics and management //

Communications in Computer and Information Science. - 2017. - Vol. 706. - С. 33-46

43. Elizarov A.M., Lipachev E.K., Nevzorova O.A., Solov'ev V.D. Methods and means for semantic structuring of electronic mathematical documents // Doklady Mathematics. - 2014. - No. 1. - Vol. 90. - P. 521-524. DOI:10.1134/S1064562414050275.

44. Elizarov A.M., Zuev D.S., Lipachev E.K. Electronic scientific journalmanagement systems // Scientific and Technical Information Processing. - 2014. -No. 1. - Vol. 41. - P. 66-72. DOI:10.3103/S0147688214010109.

45. Enrique Hinostroza J. New Challenges for ICT in Education Policies in Developing Countries: The Need to Account for the Widespread Use of ICT for Teaching and Learning Outside the School // ICT-Supported Innovations in Small Countries and Developing Regions. - 2018. - P. 99-119. DOI:10.1007/978-3-319-67657-9_5.

46. Galieva A., Kirillovich A., Khakimov B., Suleymanov D., Nevzorova O., Loukachevitch N. Toward Domain-Specific Russian-Tatar Thesaurus Construction // ACM International Conference Proceeding Series. - 2017. - P. 120124. DOI:10.1145/3143699.3143716.

47. Giceva J., Lange C., Rabe F. Integrating web services into active mathematical documents // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). -2009. Vol. 5625. - P. 279-293. DOI:10.1007/978-3-642-02614-0_24.

48. Grosso P., Maler E., Marsh J., Walsh N. W3C XPointer framework. W3C Recommendation, World Wide Web Consortium (W3C), March 2003 [Электронный ресурс]. - URL http://www.w3.org/TR/2003/REC-xptr-framework-20030325/ (дата обращения: 15.06.2022).

49. Guizzardi G. Ontological Foundations for Structural Conceptual Models // CTIT. - 2005.

50. Guy M., D'Aquin M., Dietze S., Drachsler H., Herder E. and Parodi E. Linkedup: Linking Open Data for Education // Ariadne. - 2014. - Vol. 72. URL: http://www.ariadne.ac.uk/issue72/guy-et-al

51. Imogore J. DESIGN AND IMPLEMENTATION OF AN ONLINE JOURNAL MANAGEMENT SYSTEM (A CASE STUDY OF MINNA INTERNATIONAL JOURNAL OF COUNSELLING PSYCHOLOGY). 2018.

52. Kamareddine F., Wells J., Zengler C., Barendregt H. Computerising Mathematical Text // Handbook of the History of Logic. 2014. - No. C. - Vol. 9. -P. 343-396. DOI: 10.1016/B978-0-444-51624-4.50008-3.

53. Kay M. XPath and XQuery Functions and Operators 3.1 [Электронный ресурс]. - 2017. - URL: https://www.w3.org/TR/2017/REC-xpath-functions-31-20170321/ (дата обращения: 15.06.2022).

54. Ke W., Su Z. Dimensionally guided synthesis of mathematicalword problems // IJCAI International Joint Conference on Artificial Intelligence. - 2016. - Vol. 2016-January. - P. 2661-2668.

55. Khalili A., Auer S., Tarasowa D., and Ermilov I. Slidewiki: elicitation and sharing of corporate knowledge using presentations. In: ten Teije A., Volker J., Handschuh S., Stuckenschmidt H., d'Acquin M., Nikolov A., Aussenac-Gilles N., Hernandez N. (eds.) EKAW 2012. Lecture Notes in Computer Science. - 2012. -Vol. 7603. - P. 302-316.

56. Khodeir N.A., Elazhary H., Wanas N. Generating story problems via controlled parameters in a web-based intelligent tutoring system // International Journal of Information and Learning Technology. - 2018. - No. 3. - Vol. 35. - P. 199-216. DOI:10.1108/IJILT-09-2017-0085.

57. Khodiakova H. V., Khodiakova N. V., Pozdeev V.A. Full Text Search Setup on a Website // Control Systems and Computers. - 2021. - No. 5-6. - P. 5560. DOI:10.15407/csc.2021.05-06.055.

58. Kirillovich A, Nevzorova O., Falileeva M., Lipachev E., Shakirova L.

// Benzmüller C. and Miller B. (Eds.). Proceedings of the 13th International

Conference on Intelligent Computer Mathematics (CICM 2020), Bertinoro, Italy,

107

July 26-31, 2020. Lecture Notes in Computer Science. - 2020. - Vol. 12236. - P. 157-172.

59. Kirillovich A. h gp. OntomathEdu: A linguistically grounded educational mathematical ontology // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2020. - P. 157-172.

60. Kirillovich A. h gp. Towards an Educational Mathematical Ontology // INTED2019 Proceedings. - 2019. - P. 6823-6829.

61. Kirillovich A., Nevzorova O., Falileeva M., Lipachev E., Shakirova L. OntoMathEdu: Towards an educational mathematical ontology // CEUR Workshop Proceedings. - 2019. - Vol. 2634.

62. Kirillovich A., Nevzorova O., Gimadiev E., Loukachevitch N. RuThes cloud: Towards a multilevel linguistic linked open data resource for Russian // Communications in Computer and Information Science. - 2017. - Vol. 786. - P. 3852.

63. Kirillovich A., Nevzorova O., Nikolaev K., Galiaskarova K. Towards a Parallel Informal/Formal Corpus of Educational Mathematical Texts in Russian // Advances in Intelligent Systems and Computing. - 2020. - Vol. 1127. - P. 325-334. DOI:10.1007/978-3-030-39216-1_29.

64. Kohlhase M. OMDoc - An Open Markup format for methematical documents // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2006. - Vol. 4180. - p. 1-447.

65. Kohlhase M., Matican B.A., Prodescu C.C. MathWebSearch 0.5: Scaling an open formula search engine // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). (7362 LNAI). - 2012. - P. 342-357.

66. Kozma R.B. Comparative Analysis of Policies for ICT in Education // International Handbook of Information Technology in Primary and Secondary

Education. - 2008. - P. 1083-1096. DOI:10.1007/978-0-387-73315-9_68.

108

67. Kühnemund A. The role of applications within the reviewing service zbMATH // Pamm. - 2016. - No. 1. - Vol. 16. - P. 961-962. D01:10.1002/pamm.201610459.

68. Kumar G., Banchs R.E., D'Haro L.F. Automatic fill-the-blank question generator for student self-assessment // Proceedings - Frontiers in Education Conference, FIE. - 2015. D01:10.1109/FIE.2015.7344291.

69. Kurdi G., Leo J., Parsia B., Sattler U., Al-Emari S. A Systematic Review of Automatic Question Generation for Educational Purposes // International Journal of Artificial Intelligence in Education. - 2020. - No. 1. - Vol. 30. P. 121204. DOI: 10.1007/s40593-019-00186-y.

70. Lample G., Ballesteros M., Subramanian S., Kawakami K., Dyer C. Neural architectures for named entity recognition // 2016 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, NAACL HLT 2016 - Proceedings of the Conference. -2016. - P. 260-270. D0I:10.18653/v1/n16-1030.

71. Lange C. Enabling collaboration on semiformal mathematical knowledge by semantic web integration: kand. diss. / Jacobs University Bremen. -2011. - P. 1-592.

72. Lange C., Kohlhase M. A mathematical approach to ontology authoring and documentation // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). -2009. - Vol. 5625. - P. 389-404. D0I:10.1007/978-3-642-02614-0_31.

73. LaTeX Search Beta [Электронный ресурс]. - URL: http://latexsearch.com/ (дата обращения: 15.06.2022).

74. Lavin M.J. Analyzing Documents with TF-IDF // Programming Historian. - 2019. - No. 8. D0I:10.46430/phen0082.

75. Letcher T.M., Scott J.L. Notices of the AMS2012. - No. 10. - Vol. 59. P. 791.

76. LILE2015 - Learning & Education with the Web of Data. Collocated with WWW2015, 19 May, Florence, Italy. - 2015. - URL: http://lile.linkededucation.org/2015.

77. LILE2016 - Learning & Education with the Web of Data - collocated with WWW2016, 11 April, Montreal, Canada. - 2016. - URL: http://lile.linkededucation.org/2016.

78. LILE2018 - Learning & Education with Web Data. - 2018. - URL: http://lile.linkededucation.org/2018.

79. LTSN Maths Stats & OR Network. V., Higher Education Academy (Great Britain). MSOR connections. // MSOR Connections. - 2000. - No. 1. - Vol. 14. P. 28-38.

80. Ma X., Hovy E. End-to-end sequence labeling via bi-directional LSTM-CNNs-CRF // 54th Annual Meeting of the Association for Computational Linguistics, ACL 2016 - Long Papers. - 2016. - Vol. 2.. - P. 1064-1074. DOI:10.18653/v1/p16-1101.

81. Marsh J., Veillard D., Walsh N. xml:id version 1.0. W3C Recommendation, World Wide Web Consortium (W3C) [Электронный ресурс]. -URL: http://www.w3.org/TR/2005/REC-xml-id-20050909/ (дата обращения: 15.06.2022).

82. Matsui Y., Hinami R., Shin'Ichi S. Reconfigurable inverted index // MM 2018 - Proceedings of the 2018 ACM Multimedia Conference. - 2018. - P. 1715-1723. DOI: 10.1145/3240508.3240630.

83. McCrae J., Fellbaum C., Cimiano P. Publishing and Linking WordNet using lemon and RDF // Proceedings of the 3rd Workshop on Linked Data in Linguistics. - 2014. - P. 1-4.

84. McCrae J., Spohr D., Cimiano P. Linking lexical resources and ontologies on the semantic web with lemon // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2011. - Vol. 6643. - P. 245-259.

85. McCrae J.P., Bosque-Gil J., Gracia J., Buitelaar P., Cimiano P. The OntoLex-Lemon Model: Development and Applications // Electronic lexicography in the 21st century. Proc. of eLex 2017 conference, in Leiden, Netherlands. - 2017.

- P. 587-597.

86. McCrae J.P., Chiarcos C., Bond F., Cimiano P., Declerck T., De Melo G., Gracia J., Hellmann S., Klimek B., Moran S., Osenova P., Pareja-Lora A., Pool J. The open linguistics working group: Developing the linguistic linked open data cloud // Proceedings of the 10th International Conference on Language Resources and Evaluation, LREC 2016. - 2016. - P. 2435-2441.

87. Mikhailov O. V. Russian science citation index // Herald of the Russian Academy of Sciences. 2013. - No. 3. - Vol. 83. - P. 292-296. DOI: 10.1134/S101933161303012X.

88. Moiasova A., Pocsova J. Automatic test generator for analytic geometry // Proceedings of the 2019 20th International Carpathian Control Conference, ICCC 2019. - 2019. - P. 1-6. DOI: 10.1109/CarpathianCC.2019.8765961.

89. Müller C. Adaptation of Mathematical Documents: kand. diss / Jacobs University Bremen. - 2010.

90. Obeid C., Lahoud I., El Khoury H., Champin P.A. Ontology-based Recommender System in Higher Education // The Web Conference 2018 -Companion of the World Wide Web Conference, WWW 2018. - 2018. - P. 10311034. DOI:10.1145/3184558.3191533.

91. Olver P.J. The world digital mathematics library: Report of a panel discussion // Proceeding of the International Congress of Mathematicans, ICM 2014.

- 2014. - Vol. 1. - P. 773-785.

92. OMDoc. [Электронный ресурс]. - URL: http://omdoc.org (дата обращения: 15.06.2022).

93. Pagani L., Argentin G., Gui M., Stanca L. The impact of digital skills on educational outcomes: evidence from performance tests // Educational Studies. 2016. - No. 2. - Vol. 42. - P. 137-162. DOI:10.1080/03055698.2016.1148588.

94. Polozov O., O'Rourke E., Smith A.M., Zettlemoyer L., Gulwani S., Popovic Z. Personalized mathematical word problem generation // IJCAI International Joint Conference on Artificial Intelligence. - 2015. - Vol. 2015-January. - P. 381-388.

95. Proceedings of Linked Learning 2011: The 1st Int. Workshop on eLearning Approaches for the Linked Data Age, Heraklion, Greece, May 29, 2011.

- CEURWS. - 2011. - URL: http://ceur-ws.org/Vol-717/.

96. Proceedings of the 2nd Int. Workshop on Learning and Education with the Web of Data (LiLe-2012 at WWW-2012), Lyon, France, April 17, 2012. -CEUR-WS. - 2012. - URL: http://ceur-ws.org/Vol-840/.

97. Proceedings of the IW3C2 WWW 2013 Conference, May 13-17, 2013, Rio de Janeiro, Brazil. - IW3C2. - 2013.

98. Proceedings of the Linked Learning meets LinkedUp Workshop: Learning and Education with the Web of Data (LILE 2014), Riva del Garda, Italy, October 20, 2014. - CEUR-WS. - 2011. - URL: http://ceur-ws.org/Vol-1254/.

99. Radovic M., Petrovic N., Tosic M. An Ontology-Driven Learning Assessment Using the Script Concordance Test // Applied Sciences (Switzerland).

- 2022. - No. 3. - Vol. 12. D0I:10.3390/app12031472.

100. Robie J. XQuery 3.1: An XML Query Language [Электронный ресурс]. - 2017. - URL: https://www.w3.org/TR/2017/REC-xquery-31-20170321/ (дата обращения: 15.06.2022).

101. Sakaguchi K., Arase Y., Komachi M. Discriminative approach to fill-in-The-blank quiz generation for language learners // ACL 2013 - 51st Annual Meeting of the Association for Computational Linguistics, Proceedings of the Conference. - 2013. - Vol. 2. - P. 238-242.

102. Satria A.Y., Tokunaga T. Automatic generation of english reference question by utilising nonrestrictive relative clause // CSEDU 2017 - Proceedings of the 9th International Conference on Computer Supported Education. - 2017. - Vol. 1. P. 379-386. DOI: 10.5220/0006320203790386.

103. Siddiqui F., Rahman M., Rahman M. A Time Saving MVC-based Automated Journal Management System for Academia and Industry. 2019.

104. Singhal R., Henz M., Goyal S. A framework for automated generation of questions based on First-Order logic // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). - 2015. - Vol. 9112. - P. 776-780.

105. Singhal R., Henz M., McGee K. Automated generation of geometry questions for high school mathematics // CSEDU 2014 - Proceedings of the 6th International Conference on Computer Supported Education. - 2014. - Vol. 2. - P. 14-25. DOI: 10.5220/0004795300140025.

106. Soonklang T., Pongpinigpinyo S., Muangon W., Kaewjamnong S. Automatic question generation system for English exercise for secondary students // Proceedings of the 25th International Conference on Computers in Education, ICCE 2017 - Main Conference Proceedings. - 2017. - P. 890-895.

107. Stephen Buswell, Olga Caprotti, David P. Carlisle, Michael C. Dewar, Marc Gaëtano, and Michael Kohlhase. The OpenMath Standard Version 2.0 Revision 2. Technical report, The OpenMath Society, 2004. [Электронный ресурс]. - URL: https://openmath.org/standard/om20-2019-07-01/ (дата обращения: 15.06.2022).

108. Susanti Y., Iida R., Tokunaga T. Automatic generation of english vocabulary tests // CSEDU 2015 - 7th International Conference on Computer Supported Education, Proceedings. - 2015. - Vol. 1. - P. 77-87. DOI: 10.5220/0005437200770087.

109. Sylwestrzak W., Borbinha J., Bouche T., Nowinski A., and Sojka P. EuDML - Towards the European Digital Mathematics Library. // Sojka, P. (ed.) Towards a Digital Mathematics Library, Paris: Masaryk University Press. - 2010. -P. 11-26.

110. Taibi D., Fulantelli G., Dietze S., and Fetahu B. Educational Linked

Data on the Web - Exploring and Analysing the Scope and Coverage // In:

Mouromtsev D. and D'Aquin M. (Eds.). Open Data for Education. Lecture Notes in

113

Computer Science. - 2016. - Vol. 9500. - P. 16-37. https://doi.org/10.1007/978-3-319- 30493-9_2

111. Tanwar S., Kumar Malik S. Towards Blending Semantics with an Education Based Ontology Using Protege 5.2.0 A Revisit // Proceedings of the 8th International Conference Confluence 2018 on Cloud Computing, Data Science and Engineering, Confluence 2018. - 2018. - P. 733-738. D0I:10.1109/C0NFLUENCE.2018. 8442831.

112. The Wolfram Functions Site [Электронный ресурс]. - URL: http://functions.wolfram.com/ (дата обращения: 15.06.2022).

113. Thompsom H. XML Schema Part 1: Structures Second Edition [Электронный ресурс]. - 2004. - URL: https://www.w3.org/TR/xmlschema-1/ (дата обращения: 15.06.2022).

114. Tomás A.P., Leal J.P. Automatic generation and delivery of multiple-choice math quizzes // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). -2013. - Vol. 8124. - P. 848-863.

115. Tsarkov D., Horrocks I. FaCT++ [Электронный ресурс]. - URL: http://owl.man.ac.uk/factplusplus/ (дата обращения: 15.06.2022).

116. V. Solovyev, N. Zhiltsov. Logical structure analysis of scientific publications in mathematics. In: Proceedings of the Int. Conf. on Web Intelligence, Mining and Semantics (WIMS'11). ACM. - 2011. - P. 1-9. URL: http://citeseerx.ist.psu.edu/viewdoc/download7doi =10.1.1.473.9071&rep=rep 1&type=pdf.

117. Vasiliev V., Kozlov F., Mouromtsev D., Stafeev S., and Parkhimovich O. ECOLE: An Ontology-Based Open Online Course Platform // In: Mouromtsev D. and D'Aquin M. (Eds.). Open Data for Education. Lecture Notes in Computer Science. - 2016. - Vol. 9500. P. 41-66. https://doi.org/10.1007/978-3-319-30493-9_3.

118. Voogt J., Fisser P., Pareja Roblin N., Tondeur J., van Braak J.

Technological pedagogical content knowledge - A review of the literature // Journal

114

of Computer Assisted Learning. - 2013. - No. 2. - Vol. 29. - P. 109-121. DOI: 10.1111/j.1365-2729.2012.00487.x.

119. W3c. Pellet: An Open Source OWL DL reasoner for Java [Электронный ресурс]. - 2011. - URL: https://www.w3.org/2001/sw/wiki/Pellet (дата обращения: 15.06.2022).

120. Wang K., Li T., Han J., Lei Y. Algorithms for Automatic Generation of Logical Questions on Mobile Devices // IERI Procedia. - 2012. - Vol. 2. - P. 258263. D0I:10.1016/j.ieri.2012.06.085.

121. Wang W., Hao T., Liu W. Automatic question generation for learning evaluation in medicine // Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics). -2008. - Vol. 4823. - P. 242-251.

122. Williams S. Generating mathematical word problems // AAAI Fall Symposium - Technical Report. - 2011. - Vol. FS-11-04. - P. 61-64.

123. www.mizar.org/ [Электронный ресурс]. - URL: http://www.mizar.org/ (дата обращения: 15.06.2022).

ПРИЛОЖЕНИЕ 1. ФРАГМЕНТ ИЕРАРХИИ ПОНЯТИЙ, ВХОДЯЩИХ

В РАЗДЕЛ «ТЕОРИЯ АЛГЕБРЫ».

элемент теории алгебры

© алгебраическая система

© группа У © идеал

аннуляторный идеал ассоииаторный идеал внутренний идеал вполне простой идеал главный идеал дифференциальный идеал дуальный идеал идеал тождеств алгебры идемпогентный идеал квазирегулярный идеал конечно порожденный идеал левый идеал максимальный идеал минимальный идеал модулярный идеал нильпогентный идеал первичный идеал полу первичный идеал правый идеал простой идеал разностный идеал рефлексивный идеал существенный идеал фундаментальный идеал характеристический идеал кольцо © модуль

подгруппа © подмодуль поле

полурешетка решетка тело моном

* ■© система алгебраических уравнении К- © уравнение алгебры

ПРИЛОЖЕНИЕ 2. ФРАГМЕНТ ИЕРАРХИИ ПОНЯТИЙ, ВХОДЯЩИХ

В РАЗДЕЛ «ТЕОРИЯ МАТЕМАТИЧЕСКОГО АНАЛИЗА».

» @ элемент теории математического анализа

Геом етрн ч ее кн и объект м атем атн ч еского анализа

Метод математического анализа

Неравенство между средним арифметическим и средним геометрическим

^ Теорема математического анализа

Уравнение теории математического анализа

Тема документа Корректные распознавания (ТР) Разметка несуществующих понятий (РР) Пропущенные понятия (ПЧ) Полнота Точность Р-эсоге

Угол треугольника 19 2 2 0,90 0,90 0,90

Трапеция 15 1 7 0,94 0,68 0,79

Площади параллелограмма 17 6 4 0,74 0,81 0,77

Задача о нахождении отношения площадей 24 2 6 0,92 0,80 0,86

Углы, связанные с окружностью 55 15 5 0,79 0,92 0,85

Поворот 33,5 2 5 0,94 0,87 0,91

Параллельный перенос 49 4 1 0,92 0,98 0,95

Симметрия 50 8 1 0,86 0,98 0,92

Гомотетия 45 6 3 0,88 0,94 0,91

Средние значения 0,88 0,88 0,87