Методы и алгоритмы интеллектуальной поддержки формирования образовательных программ по требованиям рынка труда на основе нейросетевых моделей языка тема диссертации и автореферата по ВАК РФ 05.13.10, кандидат наук Ботов Дмитрий Сергеевич

• Ботов Дмитрий Сергеевич
• кандидат наук
• 2019

Оглавление диссертации кандидат наук Ботов Дмитрий Сергеевич

Введение

ГЛАВА 1 Анализ предметной области и существующих интеллектуальных методов поддержки принятия решений

1.1 Основные понятия и процессы формирования образовательных программ на основе компетентностного подхода

1.2 Разработка основных профессиональных образовательных программ в соответствии с требованиями рынка труда и ФГОС ВО 3++

1.3 Анализ элементов программ дисциплин и онлайн-курсов

1.4 Обзор существующих методов интеллектуальной поддержки принятия решений при формировании образовательных программ

1.5 Обзор методов и алгоритмов интеллектуального анализа требований рынка труда

1.6 Выявленные проблемы и ограничения

Выводы по первой главе

ГЛАВА 2 Структурно-семантическая модель документов образовательной и профессиональной областей

2.1 Структурно-семантическая модель образовательной области

2.2 Структурно-семантическая модель профессиональной области

2.3 Модели векторных представлений слов и документов в задаче семантической близости

2.4 Метод семантического сопоставления сущностей графов различных документов

Выводы по второй главе

ГЛАВА 3 Метод поддержки принятия решений при формировании образовательных программ по требованиям рынка труда

3.1 Основные этапы метода поддержки принятия решений при формировании образовательных программ

3.2 Извлечение информации из текстов и структуры документов

3.3 Обучение нейросетевых моделей языка

3.4 Определение актуальных требований рынка труда

3.5 Определение соответствия элементов образовательной программы требованиям рынка труда

3.6 Семантический поиск учебных дисциплин и онлайн-курсов

3.7 Применение вероятностного тематического моделирования для улучшения точности семантического поиска учебных курсов

Выводы по третьей главе

ГЛАВА 4 Разработка прототипа интеллектуальной системы поддержки формирования образовательных программ

4.1 Требования к прототипу интеллектуальной системы

4.2 Проектирование прототипа интеллектуальной системы

4.3 Использование прототипа интеллектуальной системы при формировании образовательных программ

4.4 Оценка эффективности прототипа интеллектуальной системы при формировании образовательных программ

Выводы по четвертой главе

Заключение

Список литературы

Приложение А. Свидетельства о государственной регистрации программ для ЭВМ

Приложение Б. Акты о внедрении результатов диссертационного исследования

Введение диссертации (часть автореферата) на тему «Методы и алгоритмы интеллектуальной поддержки формирования образовательных программ по требованиям рынка труда на основе нейросетевых моделей языка»

ВВЕДЕНИЕ

Актуальность темы исследования. Активное развитие образовательных программ ведущих университетов в России и за рубежом, развитие концепции обучения в течение всей жизни (Lifelong Learning) [18] и появление большого числа открытого образовательного контента в сети Интернет приводит к резкому росту конкуренции в образовательной среде, когда образовательные организации, обучающиеся и выпускники уже не привязаны к своему географическому месторасположению.

Постоянная актуализация целей, результатов обучения и содержания образовательных программ с учетом большой скорости изменения требований работодателей в активно развивающихся отраслях цифровой экономики становится необходимым условием обеспечения качественной подготовки выпускников, способных конкурировать на современном рынке труда. И для выполнения этого условия явно недостаточно формального соответствия компетентностным требованиям федеральных государственных образовательных стандартов (ФГОС) и квалификационным требованиям профессиональных стандартов (ПС). Так в рамках федерального проекта «Кадры для цифровой экономики» Национальной программы «Цифровая экономика России 2024» [50] и в концепции кадрового обеспечения промышленного роста в рамках программы Национальной технологической инициативы (НТИ) [35] отмечены следующие ключевые проблемы: оторванность образования от работодателя, устаревание ФГОС из-за отсутствия механизмов их обновления и соблюдения баланса «теория-практика», длительный цикл от начала разработки до внедрения профессиональных стандартов.

Актуальность темы исследования подтверждается и развитием законодательства РФ. В тексте федерального закона [3] в статье 96 «о профессионально-общественной аккредитации образовательных программ» явно указано требование соответствия качества и уровня подготовки выпускников, освоивших образовательные программы, требованиям профессиональных

стандартов и требованиям рынка труда. В федеральном законе от 3 июля 2016 г. [1] явно прописана процедура подтверждения соответствия квалификации работника положениям профессионального стандарта.

Одновременно с этим завершается переход к компетентностно-ориентированной модели профессионального образования. Крайне важное значение при проектировании образовательных программ имеет грамотное определение профессиональных компетенций и актуальных результатов обучения, которые в новых редакциях федеральных государственных образовательных стандартов (ФГОС ВО 3++) определяются образовательной организацией самостоятельно исходя из требований профессиональных стандартов, требований рынка труда и примерных основных образовательных программ.

Степень разработанности проблемы. Методы и алгоритмы анализа и формирования образовательных программ на основе компетентностного подхода для принятия решений при разработке образовательных программ и управления индивидуальными образовательными траекториями представлены в работах Н.И. Юсуповой, О.Н. Сметаниной, М.Б. Гузаирова, В.В. Мартынова, С.В. Тархова, А.А. Карасика, А.В. Горохова, А.С. Пирской, Л.С. Лисицыной, Е.А. Черниковой, П.В. Зрелова, В.Ю. Столбова, А.П. Чугунова, А.Ю. Ужва, Д.А Стаина, И.М. Харитонова, И.В. Сибикиной, С.С. Котова, R. Pérez-Rodríguez, H. Chung и других исследователей.

Существующие подходы к интеллектуальной поддержке формирования образовательных программ на основе онтологических моделей, систем, основанных на знаниях и правилах, эвристических алгоритмов для автоматизированного составления учебных планов, методов экспертных оценок и когнитивных карт не позволяют эффективно учитывать и оперативно отслеживать изменения как на рынке труда, так и в пространстве открытого образовательного контента в среде Интернет. А формирование и актуализация онтологических моделей, систем правил и прецедентов силами экспертов для всех существующих предметных областей направлений подготовки образовательных программ является крайне трудозатратным процессом, требующим привлечения

представительного состава экспертов в каждой из предметных областей для обеспечения необходимой точности.

Применение в рассмотренных работах классических статистических моделей и методов для задач семантического анализа текстов и информационного поиска (например, TF-IDF, LSA) не позволяет решить проблему существенного различия лексического состава текстов вакансий, ограниченной лексики, используемой в профессиональных и образовательных стандартах, и лексического состава текстов рабочих программ дисциплин и онлайн-курсов. Данную проблему можно решить, реализовав семантическое сопоставление текстов, используя принципы дистрибутивной семантики на основе современных нейросетевых моделей языка word2vec, fastText, обучаемых без учителя на больших текстовых корпусах. Данные методы показывают свою эффективность в задачах определения семантической близости и разрешения лексической многозначности, в том числе и для русского языка, что подтверждается результатами соревнований в рамках семинара RUSSE [59, 106].

Сложность сопоставительного семантического анализа текстов заключается в переходе от определения меры семантической близости для отдельных коротких описаний анализируемых сущностей (тем курсов, результатов обучения, требований вакансий и т.д.) к сопоставлению больших структурируемых документов, таких как профессиональный стандарт, образовательная программа по направлению подготовки. Для решения этой проблемы предлагается ввести структурно-семантическую модель на основе графового представления отношений сущностей образовательной и профессиональной областей. Для первичного структурирования больших корпусов текстов могут использоваться современные методы глубокого обучения для классификации документов на основе разметки (например, классификация вакансий по профессиям и уровням квалификации) и методы вероятностного тематического моделирования на основе аддитивной регуляризации для автоматического выявления тематики в документах (например, кластеризация учебных курсов по тематикам).

Данное диссертационное исследование посвящено решению важной и актуальной задачи интеллектуальной поддержки процесса формирования образовательных программ, который имеет высокую трудоемкость при обработке больших объемов слабоструктурированной информации в сжатые сроки в условиях постоянных изменений. Проведенный анализ существующих публикаций и практических разработок выявил, что предлагаемый подход не был описан ранее и не применялся для интеллектуальной поддержки формирования образовательных программ.

Цель и задачи диссертационной работы. Целью работы является разработка методов и алгоритмов интеллектуальной поддержки формирования образовательных программ, которые обеспечат соответствие содержания образовательных программ актуальным требованиям рынка труда.

Для достижения указанной цели необходимо было решить следующие задачи:

1. Разработать модель описания образовательной области (включая образовательные программы, отдельные учебные курсы) и профессиональной области (включая требования вакансий и профессиональных стандартов), которая позволила бы учитывать структурные и семантические отношения между сущностями различных документов.

2. Разработать интеллектуальный метод и алгоритм семантического сопоставления сущностей модели образовательной и профессиональной областей с учетом контекста сущностей в документах при автоматическом извлечении сущностей и отношений между ними в условиях существенного различия лексики образовательных программ, онлайн-курсов и требований рынка труда, а также с учетом ограниченности лексики стандартов.

3. Разработать метод поддержки принятия решений в процессе формирования образовательных программ по требованиям рынка труда на основе интеллектуального анализа текстов и предложенного метода семантического сопоставления сущностей, извлеченных из документов.

4. Провести экспериментальную оценку реализованных методов и алгоритмов интеллектуальной поддержки на представительном текстовом корпусе вакансий, профессиональных и образовательных стандартов, образовательных программ различных вузов и онлайн-курсов.

5. Выполнить программную реализацию предложенных методов, моделей и алгоритмов в виде прототипа интеллектуальной системы поддержки принятия решений при формировании образовательных программ.

Объектом исследования является интеллектуальная поддержка формирования образовательных программ, включая разработку новых и актуализацию существующих образовательных программ по требованиям ФГОС ВО и профессиональных стандартов.

Предметом исследования являются методы и алгоритмы интеллектуальной поддержки принятия решений при формировании образовательных программ с учетом требований рынка труда.

Научная новизна заключается в следующем:

- Предложен способ формализованного описания образовательной и профессиональной областей в виде структурно-семантической модели на основе графов, описывающих набор сущностей со структурными и семантическими отношениями в различных документах для последующего формирования образовательных программ по требованиям рынка труда. Такое формализованное представление документов может быть сформировано автоматически и, в отличие от существующих работ, не требует предварительной разработки онтологических моделей предметной области (соответствует пункту 3 паспорта специальности).

- Разработаны новый метод и алгоритм семантического сопоставления сущностей графов образовательных программ, отдельных учебных дисциплин, требований рынка труда и профессиональных стандартов на основе нейросетевых моделей языка и подходов автоматического формирования дистрибутивных тезаурусов, которые в отличие от традиционных статистических методов анализа текстов обеспечивают более точное сопоставление содержания образовательной

программы с требованиями рынка труда (соответствует пункту 5 паспорта специальности).

- Разработан новый метод поддержки принятия решений при формировании образовательных программ по требованиям рынка труда с использованием методов классификации и кластеризации документов, методов семантического сопоставления сущностей графов документов, что в отличие от существующих интеллектуальных методов поддержки принятия решений на основе заданных наборов правил, экспертных оценок и эвристических алгоритмов, позволяет регулярно проводить анализ изменений требований рынка труда, извлеченных из больших объемов слабоструктурированных текстов, и содержания образовательных программ и онлайн-курсов независимо от предметной области образования без трудоемкой переработки и адаптации баз знаний (соответствует пункту 10 паспорта специальности).

Теоретическая и практическая значимость работы. Предложенные в работе модели и методы развивают существующие подходы к интеллектуальной поддержке принятия решений при формировании образовательных программ и сочетают формальные модели представления сущностей и отношений с методами семантического анализа текстов на основе нейросетевых моделей языка.

Созданная на основе предложенных методов и алгоритмов интеллектуальная система поддержки принятия решений может быть применена в образовательных организациях для разработки новых и актуализации существующих образовательных программ с учетом требований рынка труда, определенных не только профессиональными стандартами, но и требованиями вакансий из систем онлайн-рекрутмента, что позволит решить проблему оторванности содержания профессионального образования от потребностей работодателей в современных условиях развития цифровой экономики.

Методология и методы исследования. Теоретической и методологической основой диссертационного исследования являются методы системного анализа, теории принятия решений, методы обработки естественного языка, методы автоматического построения тезаурусов, методы информационного поиска и

оценки точности поиска, методы машинного обучения, методы теории множеств и теории графов, методы векторной алгебры, методы объектно-ориентированного проектирования и разработки информационных систем.

Положения, выносимые на защиту:

1. Структурно-семантическая модель образовательной и профессиональной областей, включающая формализованное представление сущностей образовательных программ, отдельных учебных дисциплин и онлайн-курсов, требований вакансий и профессиональных стандартов в виде графов с учетом структурных и семантических отношений между сущностями.

2. Интеллектуальный метод и алгоритм семантического сопоставления сущностей структурно-семантической модели различных документов образовательной и профессиональной областей на основе нейросетевых моделей языка.

3. Метод поддержки принятия решений при формировании образовательных программ по требованиям рынка труда на основе семантического сопоставления сущностей структурно-семантической модели документов, классификации и кластеризации текстовых документов.

4. Экспериментальная оценка предложенных методов и алгоритмов на представительном текстовом корпусе вакансий, профессиональных и образовательных стандартов, образовательных программ различных вузов и онлайн-курсов.

Достоверность и апробация результатов. Обоснованность полученных в диссертационной работе результатов основана на использовании апробированных методов исследования, корректном применении математического аппарата теории графов, теории множеств и векторной алгебры, статистических методов обработки данных, согласовании полученных результатов с известными теоретическими положениями в области обработки текстов на естественном языке и интеллектуальной поддержки принятия решений.

Адекватность предложенных методов и алгоритмов подтверждается экспериментами по оценке точности реализованных интеллектуальных методов на

представительном текстовом корпусе, а также результатами апробации и внедрения прототипа интеллектуальной системы поддержки принятия решений в вузах. Достоверность экспериментальных результатов обеспечивается применением известных методов и подходов к оценке точности информационного поиска и классификации текстов, корректной статистической обработкой данных экспериментов, высоким уровнем согласованности оценок экспертов.

Основные положения и результаты работы докладывались и обсуждались на следующих научных конференциях:

- 7-я всероссийская научная конференция с международным участием «Информационные технологии и системы» (ИТиС'2019) (12 - 16 марта 2019 г., Ханты-Мансийск);

- 6-я конференция по искусственному интеллекту и обработке естественного языка (AINL Conference 2018) (20 - 23 сентября 2017 г., СПб.);

- 11-я международная летняя школа по информационному поиску (RuSSIR'2017) (21 - 25 августа 2017 г., Екатеринбург);

- 6-я международная конференция по анализу изображений, социальных сетей и текстов (AIST'2016) (27 - 29 июля 2017 г., Москва);

- 5-я всероссийская конференция «Информационные технологии интеллектуальной поддержки принятия решений» (16 - 19 мая 2017 г., Уфа);

- 1-я международная научно-практическая конференция «Технологии цифровой обработки и хранения информации» (DSPTech'2015) (10 - 13 декабря 2015 г., Уфа);

- 2-я международная конференция «Интеллектуальные технологии обработки информации и управления» (ITIPM'2014) (10 - 12 ноября 2014 г., Уфа);

- 3-я международная научно-практическая конференция «Инновации в информационных технологиях и образовании» («ИТО-Москва-2014») (4 - 5 декабря 2014 г., Москва).

Результаты диссертационной работы внедрены в следующие образовательные организации: Челябинский государственный университет,

Югорский государственный университет, что подтверждается приведенными в приложении актами о внедрения научных положений и разработок диссертации в практику деятельности образовательных организаций.

Публикации. По результатам диссертационного исследования опубликовано 13 печатных работ, в том числе 3 работы в рецензируемых печатных изданиях, рекомендованных ВАК [7, 67, 93], 2 работы в изданиях, индексируемых в Scopus и Web of Science [83-84], и 8 публикаций в других научных журналах и сборниках трудов конференций [6, 8-13, 66]. Получено 2 свидетельства о государственной регистрации программы для ЭВМ [40-41].

Личный вклад автора. Модели и методы интеллектуальной поддержки принятия решений, структура прототипа интеллектуальной системы были предложены, описаны и разработаны автором лично. Концепция учета требований рынка труда с помощью нейросетевых моделей обучения, методов классификации и кластеризации текстов разрабатывалась в соавторстве с Мельниковым А.В. [10, 13, 93]. Экспериментальная оценка алгоритмов семантического поиска учебных курсов проводилась совместно с Клениным Ю.Д., Дмитриным Ю.В. [83-84] Экспериментальная оценка качества классификации вакансий проводилась совместно с Дмитриным Ю.В., Винелем М.К. Разработка методики оценки качества тематической фильтрации для поиска учебных курсов проводилась в соавторстве с Николаевым И.Е. Основные положения, выносимые на защиту, являются персональным вкладом автора в опубликованные работы.

Структура и объем диссертации.

Диссертационная работа состоит из введения, четырех глав, заключения и списка литературы. Объем работы составляет 160 страниц, включая 49 рисунков, 25 таблиц, 2 приложения. Список литературы содержит 116 наименований.

Глава 1 включает в себя анализ предметной области разработки образовательных программ по требованиям современных образовательных и профессиональных стандартов, описывается жизненный цикл образовательной программы в организации. Приводится обзор существующих интеллектуальных методов поддержки принятия решений при формировании образовательных

программ и анализе рынка труда. Определяются ключевые проблемы сопоставления профессиональной области и образовательной программы.

В главе 2 описывается структурно-семантическая модель представления элементов образовательной и профессиональной областей в виде графов сущностей, связанными структурными и семантическими отношениями. Приводится обзор моделей векторного представления слов и текстов, включая статистические меры, вероятностное тематическое моделирование и векторные представления слов и текстов на основе нейросетевых моделей языка. Предлагается метод и алгоритм семантического сопоставления сущностей графов различных документов профессиональной и образовательной областей на основе нейросетевых моделей языка.

Глава 3 посвящена описанию метода поддержки принятия решений при формировании образовательных программ по требованиям рынка труда на основе семантического сопоставления графов сущностей различных документов. Приводится описание алгоритма определения актуальных требований рынка труда в увязке с требованиями профессиональных стандартов, алгоритма определения соответствия элементов образовательной программы требованиям рынка труда, алгоритмов семантического поиска учебных курсов. Для всех алгоритмов проводится экспериментальная оценка точности семантического сопоставления и поиска на представительном текстовом корпусе учебных дисциплин, онлайн -курсов, вакансий и стандартов.

В главе 4 описываются требования и структура прототипа интеллектуальной системы поддержки принятия решений при формировании образовательных программ, приводятся особенности программной реализации отдельных модулей системы. Описывается интерфейс системы и приводятся результаты апробации системы при формировании образовательных программ в вузах. Производится оценка эффективности разработанного прототипа в процессе формирования и актуализации образовательных программ.

ГЛАВА 1 АНАЛИЗ ПРЕДМЕТНОЙ ОБЛАСТИ И СУЩЕСТВУЮЩИХ ИНТЕЛЛЕКТУАЛЬНЫХ МЕТОДОВ ПОДДЕРЖКИ ПРИНЯТИЯ

РЕШЕНИЙ

В первой главе рассматриваются основные понятия и процессы при формировании образовательных программ согласно требованиям современных образовательных стандартов и законодательству РФ. Приводится обзор существующих подходов и методов интеллектуальной поддержки принятия решений при формировании образовательных программ и анализе рынка труда, исследуются ключевые ограничения и проблемы.

1.1 Основные понятия и процессы формирования образовательных программ на основе компетентностного подхода

Образовательная программа (ОП) — комплекс основных характеристик образования (объём, содержание, планируемые результаты), который представлен в виде учебного плана, календарного учебного графика, рабочих программ учебных предметов, курсов, дисциплин (модулей), иных компонентов, а также оценочных и методических материалов.

Согласно статье 12 федерального закона N 273-Ф3 «Об образовании в Российской Федерации» [3] образовательные программы определяют содержание образования.

Профессиональное образование (ПО) — вид образования, который направлен на приобретение обучающимися в процессе освоения основных профессиональных образовательных программ знаний, умений, навыков и формирование компетенций, определённого уровня и объёма, позволяющих вести профессиональную деятельность в определённой сфере и(или) выполнять работу по конкретным профессии или специальности.

Содержание профессионального образования и профессионального обучения должно обеспечивать получение квалификации.

Квалификация — уровень знаний, умений, навыков и компетенций, характеризующий подготовленность к выполнению определённого вида профессиональной деятельности.

Образовательные программы разрабатываются на основе Федеральных государственных образовательных стандартов (ФГОС) — совокупность обязательных требований к образованию определённого уровня и(или) к профессии, специальности и направлению подготовки, утверждённых федеральным органом исполнительной власти, осуществляющим функции по выработке государственной политики и нормативно-правовому регулированию в сфере образования.

ОП разделяются по уровням общего и профессионального образования, а по профессиональному обучению реализуются основные образовательные программы, по дополнительному образованию - дополнительные образовательные программы. В данном исследовании предлагается рассмотреть основные профессиональные образовательные программы (далее ОПОП), которые включают в себя:

- образовательные программы среднего профессионального образования (разрабатываются на основе ФГОС СПО);

- образовательные программы высшего образования (разрабатываются на основе ФГОС ВО);

- основные программы профессионального обучения (разрабатываются на основе установленных квалификационных требований из профессиональных стандартов).

Согласно ФГОС ВО 3++ при разработке ОПОП образовательная организация устанавливает направленность (профиль) программы, которая конкретизирует содержание программы в рамках направления подготовки (специальности) путём ориентации её на:

- области профессиональной деятельности и сферы профессиональной деятельности выпускников;

- типы задач и задачи профессиональной деятельности выпускников;

- при необходимости — на отдельные объекты профессиональной деятельности выпускников.

В отечественных вузах образовательные программы и входящие в их состав элементы являются нормативными документами, структура которых регламентирована [5]. Основная профессиональная образовательная программа включает в себя следующие элементы:

- Наименование программы с указанием направленности (профиля) подготовки.

- Выбранные основной и дополнительные виды профессиональной деятельности, на реализацию которых направлена программа.

- Характеристика профессиональной деятельности выпускника с описание областей и объектов профессиональной деятельности.

- Планируемые результаты освоения (компетенции) образовательной программы с учетом выбранного основного и дополнительных видов профессиональной деятельности.

- Учебный план.

- Матрица компетенций - описывает связь учебных дисциплин с реализуемыми компетенциями.

- Рабочие программы дисциплин, практик и итоговой аттестации.

- Требования к абитуриенту.

- Условия для реализации образовательного процесса (кадровое обеспечение, материально-техническое обеспечение).

Основные сущности образовательных стандартов и образовательных программ, а также взаимосвязи между ними представлены на рисунке 1.1.

Рисунок 1.1 - Концептуальная модель основной профессиональной образовательной программы с учетом требований ФГОС ВО

Компетенция — способность применять знания, умения и опыт в трудовой деятельности.

Проводя анализ положений о разработке и реализации образовательных программ, документов образовательной политики различных вузов (таких как НИУ ВШЭ, НИУ МФТИ, НИУ ИТМО, НИУ УрФУ, НИУ ЮУрГУ, ЧелГУ, УГАТУ и др.) можно обобщить и выделить основные процессы в рамках жизненного цикла профессиональных образовательных программ (см. рисунок 1.2).

Отдельно стоит отметить те процессы, которые требуют от разработчиков образовательной программы проводить анализ разнородной информации из внутренних и внешних источников:

Список литературы диссертационного исследования кандидат наук Ботов Дмитрий Сергеевич, 2019 год

СПИСОК ЛИТЕРАТУРЫ

1. О независимой оценке квалификации: федер. закон от 03.07.2016 № 238-Ф3. - Режим доступа: http://ivo.garant.ru/#/document/71433946/.

2. О внесении изменений в Трудовой кодекс Российской Федерации и статьи 11 и 73 Федерального закона «Об образовании в Российской Федерации»: федер. закон от 02.05.2015 № 122-ФЗ. - Режим доступа: http: //ivo. garant.ru/#/document/71001244/paragraph/1:0.

3. Об образовании в Российской Федерации: федер. закон от 29.12.2012 № 273-Ф3 (ред. от 06.03.2019). - Режим доступа: http://ivo.garant.ru/#/document/70291362/.

4. Постановление Правительства Российской Федерации от 27 июня 2016 г. № 584 «Об особенностях применения профессиональных стандартов в части требований, обязательных для применения государственными внебюджетными фондами Российской Федерации, государственными или муниципальными учреждениями, государственными или муниципальными унитарными предприятиями, а также государственными корпорациями, государственными компаниями и хозяйственными обществами, более пятидесяти процентов акций (долей) в уставном капитале которых находится в государственной собственности или муниципальной собственности». - Режим доступа: http: //base.garant.ru/71431038/.

5. Об утверждении Порядка организации и осуществления образовательной деятельности по образовательным программам высшего образования - программам бакалавриата, программам специалитета, программам магистратуры: приказ Министерства образования и науки РФ от 05.04.2017 № 301. - Режим доступа: http://base.garant.ru/71721568/.

6. Ботов, Д.С. Извлечение информации с использованием нейросетевых моделей языка на примере анализа вакансий в системах онлайн-рекрутмента / Д.С. Ботов, Ю.Д. Кленин, И.Е. Николаев // Вестник Югорского государственного университета. - 2018. - №3 (50). - С. 37-48.

7. Ботов, Д.С. Интеллектуальная поддержка формирования образовательных программ на основе нейросетевых моделей языка с учетом требований рынка труда / Д.С. Ботов // Вестник Южно-Уральского государственного университета. Серия «Компьютерные технологии, управление, радиоэлектроника». - 2019. - Т. 19, № 1. - С. 5-19.

8. Ботов, Д.С. Интеллектуальный анализ учебных курсов с учетом требований рынка труда / Д.С. Ботов // Труды второй международной конференции «Интеллектуальные технологии обработки информации и управления» (Уфа, 2014). - Уфа: Редакционно-издательский комплекс УГАТУ, 2014. - С. 189-191.

9. Ботов, Д.С. Интеллектуальный метод и алгоритм сопоставления учебных дисциплин на основе векторного представления текстов / Д.С. Ботов, Ю.Д. Кленин // Труды 5-й всероссийской конференции «Информационные технологии интеллектуальной поддержки принятия решений» (ITIDS'2017). - Уфа: Издательство УГАТУ, 2017. - С. 20-26.

10. Ботов, Д.С. Концепция автоматизированного формирования актуализированного набора учебных курсов с учетом требований рынка труда на основе интеллектуального анализа результатов обучения / Д.С. Ботов, А.В. Мельников // Сборник трудов 3-ей международной научно-практической конференции «Инновации в информационных технологиях и образовании» (ИТО-Москва-2014). - М.: Издательство: АНО «Информационные технологии в образовании», 2014. - С. 238-244.

11. Ботов, Д.С. Подход к определению меры семантической близости результатов обучения / Д.С. Ботов, Ю.Д. Кленин // Труды пятой международной научной конференции «Информационные технологии и системы». - Челябинск: Издательство ЧелГУ, 2016. - С. 76-82.

12. Ботов, Д.С. Применение алгоритмов автоматического извлечения ключевых слов и моделей векторного представления слов в задаче анализа образовательного контента / Д.С. Ботов, Ю.Д. Кленин // Труды всероссийской научной конференции «Информационные технологии и системы». - Челябинск: Издательство ЧелГУ, 2017. - С. 31-36.

13. Ботов, Д.С. Применение онтологического подхода в задаче автоматизированного формирования набора учебных курсов на основе интеллектуального анализа результатов обучения / Д.С. Ботов, А.В. Мельников // Труды четвертой международной научной конференции «Информационные технологии и системы» (Банное, 2015). - Челябинск: Издательство ЧелГУ, 2015. -С. 79-83.

14. Валентей, С.Д. Мониторинг соответствия профессионального образования потребностям рынка труда / С.Д. Валентей [и др.]// Общественные науки и современность. - 2018. - № 3. - С. 5-16.

15. Воронцов, К.В. Аддитивная регуляризация тематических моделей коллекций текстовых документов / К.В. Воронцов // Доклады РАН. - 2014. - Т. 456, № 3. - С. 268-271.

16. Воронцов, К.В. Вероятностное тематическое моделирование: обзор моделей и регуляризационный подход [Электронный ресурс] / К.В. Воронцов // [МФТИ, 2019]. Режим доступа:

http://www.machinelearning.ru/wiki/images/d/d5/Voron17survey-artm.pdf (дата

обращения: 28.02.2019).

17. Воронцов, К.В. Регуляризация вероятностных тематических моделей для повышения интерпретируемости и определения числа тем / К.В. Воронцов,

A.А. Потапенко // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Бекасово, 4-8 июня 2014 г.). - № 13 (20). - М.: Изд-во РГГУ, 2014. - С. 707-719.

18. Горшков, М.К. Непрерывное образование в современном контексте: монография / М.К. Горшков, Г.А. Ключарев. - 2-е изд., перераб. и доп. - М.: Издательство Юрайт, 2017. - 224 с.

19. Гузаиров, М.Б. Поддержка принятия решений при управлении академической мобильностью / М.Б. Гузаиров, Н.И. Юсупова, О.Н. Сметанина,

B.А. Козырева // Системы управления и информационные технологии. 2011. №3.1.

C. 131-136.

20. Гузаиров, М.Б. Подход к управлению образовательным процессом в университете в рамках Болонского процесса / М.Б. Гузаиров, Н.И. Юсупова,

A.В. Маркелова // Матер. 12-й межд. науч. конф. CSIT'2010 (Москва - Санкт-Петербург). - Уфа: УГАТУ, 2010. - Т. 2. - С. 187-192.

21. Зрелов, П.В. Автоматизированная система мониторинга и анализа кадровых потребностей по номенклатуре специальностей вуза / П.В. Зрелов,

B.В. Кореньков, Н.А. Кутовский и др. // Федерализм. - 2016. - № 4 (84). - С. 63-76.

22. Карасик, А.А. Открытые образовательные программы, как новый подход в реализации образовательных программ высшего образования // В материалах X международной научно-практической конференции «Новые информационные технологии в образовании и науке» (Екатеринбург, 27 февраля-03 марта 2017 г.). - 2017. - С. 64-67.

23. Карасик, А.А. Платформа-агрегатор образовательных сервисов: центральный элемент электронной информационно-образовательной среды вуза / А.А. Карасик // В материалах VIII Международной научно-практической конференции «Научно-образовательная информационная среда XXI века» (Петрозаводск, 15-18 сентября 2014 г.). - 2014. - С. 102-105.

24. Карасик, А.А. Система оценки качества онлайн-курсов и виртуальная академическая мобильность / А.А. Карасик, В.А. Ларионова, А.В. Кузьмина // Новые информационные технологии в образовании и науке. - 2018. - №1. - С. 6572.

25. Кеннеди, Д. Написание и использование результатов обучения: практическое руководство / Сравнительный анализ опыта разработки компетентностно-ориентированных образовательных программ в вузах Российской Федерации и ведущих европейских стран (в контексте Болонского процесса) [Электронный ресурс]. Режим доступа: http://main.isuct.ru/files/edu/umu/publ_result_obucheniya.pdf (дата обращения -20.04.2017).

26. Котов, С.С. Управление структурой образовательных программ компетентностного содержания с учетом нечетких социальных предпочтений / С.С. Котов, В.Ю. Столбов // Системы управления и информационные технологии.

- 2009. - №1.3. - С. 411-416.

27. Лисицына, Л.С. Автоматизация управления образовательными траекториями для разработки модульных компетентностно-ориентированных образовательных программ вуза / Л.С. Лисицына , А.С. Пирская // Сборник трудов Всероссийской научно-практической конференции с международным участием «Информационные технологии в обеспечении нового качества высшего образования». - Москва, 2010. - С. 75-86.

28. Лисицына, Л.С. Управление образовательными траекториями по формированию универсальных компетенций / Л.С. Лисицына, А.С. Пирская, И.Ю. Щербакова // Открытое и дистанционное образование. - Томск, 2009.

- №3 (35). - С.25-34.

29. Маркелова, А.В. Управление процессом формирования основной образовательной программы с использованием системы поддержки принятия решений / А.В. Маркелова // Науч.-техн. ведомости С.-Петерб. гос. политехн. унта. - СПбГПУ, 2011. - Т. 1, № 1 (115). - С. 187-193.

30. Мартынов, В.В. Автоматизация формирования динамических планов обучения по ФГОС 3+ на основе требований работодателя/ В.В. Мартынов, Е.И. Филосова, В.К. Плотникова // Информационные технологии. Радиоэлектроника. Телекоммуникации. - 2016. - № 6-2. - С. 60-67.

31. Мартынов, В.В. Поддержка принятия решений при формировании образовательной программы подготовки специалистов / В.В. Мартынов, Д.В. Черкасов // Вестник УГАТУ. - 2013. - Т. 17, № 2 (55). - С. 203-207.

32. Мартынов, В.В. Подход к разработке оптимальной компетентностной модели выпускника с учетом динамично изменяющихся требований работодателя / В.В. Мартынов, С.Ю. Макарова // Информатизация образования и науки. - 2017.

- № 4 (36). - С. 120-133.

33. Мартынов, В.В. Проектирование профессиональных программ для обеспечения перспективных кадровых потребностей экономики / В.В. Мартынов, Е.И. Филосова, Н.Н. Зверева // Труды 6-й всероссийской конференции «Информационные технологии интеллектуальной поддержки принятия решений» (ГТГО8'2018). - Уфа: Издательство УГАТУ, 2018. - С. 220-225.

34. Методические рекомендации по работе с профессиональными стандартами в рамках разработки ОПОП в соответствии с требованиями ФГОС ВО 3++ / сост.: Ю.В. Мамонова, М.В. Матюнина. - Челябинск: Изд-во Челяб. гос. унта, 2018. - 37 с.

35. Национальная технологическая инициатива «Кадровое обеспечение промышленного роста» [Электронный ресурс] // Агентство стратегических инициатив. Режим доступа: МрБ://asi.ru/staffing/ (дата обращения: 05.12.2018).

36. Пиотровский, Р.Г. Текст, машина, человек / Р.Г. Пиотровский. -Л.: Наука, 1975. - 327 с.

37. Профессиональные стандарты: программно-аппаратный комплекс. [Электронный ресурс] // [Официальный сайт Министерства труда и социальной защиты РФ]. Режим доступа: http://profstandart.rosmintrud.ru/ (дата обращения: 05.12.2018).

38. Прохоров, Ю.К. Управленческие решения: Учебное пособие / Ю.К. Прохоров, В.В. Фролов. - Санкт-Петербург: СПбГУ ИТМО, 2011. - 138 с.

39. Реестр примерных основных образовательных программ высшего образования [Электронный ресурс] // [Министерство образования и науки РФ]. Режим доступа: ЬИр://пооп.рф (дата обращения: 20.12.2018).

40. Свидетельство о государственной регистрации программы для ЭВМ №2017661130 от 04 октября 2017 г. «Программная комплекс для информационного поиска и сопоставления образовательных курсов» / Ботов Д.С. [и др.]. М.: Роспатент, 2017.

41. Свидетельство о государственной регистрации программы для ЭВМ №2017661129 от 04 октября 2017 г. «Автоматизированная система формирования

учебно-методической документации по образовательным программам» / Ботов Д.С. [и др.]. М.: Роспатент, 2017.

42. Сибикина, И.В. Построение лингвистических шкал в целях выявления важных дисциплин, формирующих компетенцию / И.В. Сибикина, Н.Ю. Квятковская // Вестник Астраханского государственного технического университета. Серия: «Управление, вычислительная техника и информатика».

- 2012. - №2. - С. 182-186.

43. Сметанина О.Н. Методологические основы управления образовательным маршрутом с использованием интеллектуальной информационной поддержки: дис. д-ра техн. наук: 05.13.10. - Уфа, 2012. - 446 с.

44. Стаин, Д.А. Квалификационно-ориентированная экспертная система управления образовательным процессом вуза в современных процессах непрерывного квалификационного развития кадров в России / Д.А. Стаин, Н.О. Вербицкая, Т.Г. Калугина // Вестник Южно-уральского государственного университета. Серия «Образование. Педагогические науки». - 2018. - Т. 10, № 1. -С. 27-36.

45. Сэлтон, Г. Автоматическая обработка, хранение и поиск информации / Г. Сэлтон. - пер. с англ., под ред. А.И. Китова. - М.: Советское радио, 1973. - 560 с.

46. Тархов, С.В. Методологические и теоретические основы адаптивного управления электронным обучением на базе агрегативных учебных модулей: дис. д-ра техн. наук: 05.13.10. - Уфа, 2009. - 336 с.

47. Ужва, А.Ю. Автоматизированная разработка онтологической модели предметной области для поиска образовательных ресурсов с использованием анализа текстов рабочих программ / А.Ю. Ужва // Современные проблемы науки и образования. - 2013. - №1. - С. 157.

48. Ужва, А.Ю. Онтологическая модель предметной области, обеспечивающая поддержку рассуждений по прецедентам для поиска образовательных ресурсов / А.Ю. Ужва, И.Г. Жукова, М.Б. Кульцова // Известия Волгоградского государственного технического университета. - 2010. - № 11(71).

- С. 110-113.

49. Университетские образовательные программы. Модели и методы для сопоставительного анализа / М.Б. Гузаиров [и др.]. - М.: Изд-во МАИ. 2006. - 117 с.

50. Федеральный проект «Кадры для цифровой экономики» Нацпрограммы «Цифровая экономика России 2024» [Электронный ресурс]. URL: https://data-economy.ru/education (дата обращения: 05.12.2018).

51. Филиппович, Ю.Н. Семантика информационных технологий: опыты словарно-тезаурусного описания / Ю.Н. Филиппович, А.В. Прохоров. - с пред. А.И. Новикова. - М.: Изд-во МГУП, 2002. - 368 с.

52. Харитонов, И.М. Алгоритм формирования учебного плана с применением методики формализованного представления учебной дисциплины (на примере дисциплины «моделирование систем») / И.М. Харитонов // Вестник АГТУ. Серия «Управление, вычислительная техника и информатика». - 2011. - № 2. - С. 178-184.

53. Черникова, Е.А. Перспективы применения онтологического подхода к описанию учебного процесса в ВУЗе / Е.А. Черникова // Проблемы построения и эксплуатации систем обработки информации и управления: сб. статей. - Вып. 7. -М.: Издательство МГТУ им.Н.Э. Баумана, 2008. - С. 11-19.

54. Черникова, Е.А. Формализация и сравнение учебных программ на основе онтологического подхода / Е.А. Черникова, А.С. Черников // Вестник МГТУ им. Н.Э. Баумана. Сер. «Приборостроение». Спецвыпуск «Информационные технологии и компьютерные системы». - 2011. - С.101-104.

55. Чугунов, А.П. Применение генетического алгоритма для решения задачи построения индивидуальных учебных планов студентов в условиях сетевого взаимодействия вузов/ А.П. Чугунов, В.Ю. Столбов // Системы управления и информационные технологии. - 2016. - № 4 (66) . - С. 101-106.

56. Чугунов, А.П. Управление взаимодействием вузов при реализации сетевых образовательных программ / А.П. Чугунов, В.Ю. Столбов // Университетское управление: практика и анализ. - 2014. - № 3 (91). С. 126-132.

57. Юсупова, Н.И. Организация информационной поддержки принятия решений при управлении образовательным маршрутом на основе онтологии /

Н.И. Юсупова, О.Н. Сметанина, А.В. Климова // Труды Четвертой Международной научной конференции «Информационные технологии и системы» (Банное, 2015 г.).

- Челябинск, 2015. - С. 109-111.

58. Apple, W.P.F. Educational ontologies construction for personalized learning on the web / W.P.F. Apple, H.S.I. Horace // Studies in Computation Intelligence. - 2007.

- Vol. 62. - P. 47-82.

59. Arefyev, N.V. Evaluating Three Corpus based Semantic Similarity Systems for Russian / N.V. Arefyev, A.I. Panchenko, A.V. Lukanin [et al.] // Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference Dialogue 2015 (Moscow, RGGU) . - Moscow, 2015. - Vol. 2. - P. 106-118.

60. Arkhipenko, K. Comparison of neural network architectures for sentiment analysis of russian tweets. / K. Arkhipenko, I. Kozlov, J. Trofimovich, K. Skorniakov, A. Gomzin, and D. Turdakov // In Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference Dialogue 2016. Moscow: RGGU, 2016. - P. 50-58.

61. Bengio, Y. A neural probabilistic language model / Y. Bengio // Journal The Journal of Machine Learning Research. - 2003. - Vol. 3. - P. 1137-1155.

62. BigARTM: library for large scale topic modeling. [Электронный ресурс]. Режим доступа: http://bigartm.org/ (дата обращения: 28.02.2019).

63. Blei, D.M. Latent Dirichlet Allocation / D.M Blei, A. Ng, M. Jordan, J. Lafferty // Journal of Machine Learning Research. - 2003. - Vol. 3 (4-5). - P. 9931022.

64. Bloom, B. Taxonomy of Education Objectives / B. Bloom. - Longmans Green and Company, 1956.

65. Bojanowski, P. Enriching word vectors with subword information / P. Bojanowski, E. Grave, A. Joulin, T. Mikolov. - arXiv preprint arXiv:1607.04606. -2016.

66. Botov, D. Educational Content Semantic Modeling for Mining of Training Courses According to the Requirements of the Labor Market / D. Botov, J. Klenin // Proceeding of the 1th International Workshop on Technologies of Digital Signal

Processing and Storing (DSPTech'2015). - Ufa: USATU Publ., 2015. - Vol. 1. - P. 214218.

67. Botov, D.S. Approach to Educational Course Comparison Using Natural Language Processing Techniques / D.S. Botov, Yu.D. Klenin // Bulletin of the South Ural State University. Ser. Computer Technologies, Automatic Control, Radio Electronics. - 2017. - Vol. 17, no. 3. - P. 5-14.

68. Budanitsky, A. Semantic distance in WordNet: An experimental, application-oriented evaluation of five measures / A. Budanitsky, G. Hirst // Workshop on WordNet and other lexical resources, NAACL. - 2001.

69. Chernikova, E. The Similarity Measure and Algorithm for Comparison of the Learning Outcomes / E. Chernikova, P. Nikolaev // Proceedings of the Fourth International Conference on Internet Technologies and Applications. - 2011. - P. 465473.

70. Chung, H. An Ontological Approach for Semantic Modeling of Curriculum and Syllabus in Higher Education / H. Chung, J. Kim // International Journal of Information and Education Technology. - 2016. - Vol. 6 (5). - P. 365-369.

71. Collobert, R. A unified architecture for natural language processing: deep neural networks with multitask learning / R. Collobert // In Proceedings of the 25th international conference on Machine learning (ICML'08). - 2008. - P. 160-167.

72. Dai, A.M. Document embedding with paragraph vectors / A.M. Dai, C. Olah, Q.V. Le, G.S. Corrado // Proceedings of the NIPS Deep Learning Workshop. - 2014.

73. Data mining approach to monitoring the requirements of the job market: A case study / I. Karakatsanis [et al.] // Information Systems. - 2017. - no. 65. - P. 1-6.

74. Data-driven Job Search Engine Using Skills and Company Attribute Filters / R. Muthyala [et al.] // In 2017 IEEE International Conference on Data Mining Workshops (ICDMW). New Orleans, Louisiana. - 2017. - P. 199-206.

75. Daud, A. Knowledge Discovery Through Directed Probabilistic Topic Models: a Survey / A. Daud, J. Li, L. Zhou, F. Muhammad // Frontiers of Computer Science in China. - 2010. - Vol. 4, no. 2. - P. 280-301.

76. Deerwester, S. Indexing by latent semantic analysis / S. Deerwester // Journal of the American Society for Information Science. - 2000. - Vol. 41, issue 6. - P. 391407.

77. ECTS Users' Guide. [Электронный ресурс] // Luxembourg: Publications Office of the European Union [2015]. Режим доступа: https: //ec. europa. eu/education/ects/users-guide/docs/ects-users- guide en.pdf (дата обращения: 10.03.2018).

78. Fleiss, J.L. Measuring nominal scale agreement among many raters / J.L. Fleiss // Psychological Bulletin. - 1971. - Vol. 76, no. 5. - P. 378-382.

79. Gang, Qian. Similarity between Euclidean and cosine angle distance for nearest neighbor queries / Gang Qian, Shamik Sural, Yuelong Gu, Sakti Pramanik // In Proceedings of the 2004 ACM symposium on Applied computing (SAC '04) . - ACM, New York, USA. - 2004. - P. 1232-1237.

80. Hofmann, T. Unsupervised Learning by Probabilistic Latent Semantic Analysis / T. Hofmann // Journal Machine Learning. - 2001. - Vol. 42, issue 1-2. -P. 177-196.

81. Kim, Y. Convolutional neural networks for sentence classification / Y. Kim // Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). - Doha, Qatar, 2014. - P. 1746-1751.

82. Kirsch, L. Named Entity Linking using Paragraph Vector / L. Kirsch [et al.] // Paper for seminar Knowledge Mining Summer Semester. - Hasso Plattner Institute, Potsdam University, 2016.

83. Klenin, J. Comparison of vector space representations of documents for the task of information retrieval of massive open online courses / J. Klenin, D. Botov, Y. Dmitrin // Communications in Computer and Information Science: Proceedings of the 6th Conference on Artificial Intelligence and Natural Language (St. Petersburg, Russia, September 2017). - 2018. - Vol. 789. - P. 156-164.

84. Klenin, J. Comparison of vector space representations of documents for the task of matching contents of educational course programmes / J. Klenin, D. Botov // Proceedings of the Sixth International Conference on Analysis of Images, Social

Networks and Texts (AIST 2017), CEUR Workshop Proceedings. - Moscow, 2017. -Vol-1975. - 2017. - P. 79-90.

85. Kolb, P. DISCO: A Multilingual Database of Distributionally Similar Words / P. Kolb // In KONVENS 2008 - Erganzungsband: Textressourcen und lexikalisches. - 2008. - P. 37-44.

86. Krathwohl, D.R. A Revision to Bloom's Taxonomy: Overview / D.R. Krathwohl // Theory into Practice. - 2002. - Vol. 41, no. 4. - P. 212-218.

87. Kutuzov, A. WebVectors: A Toolkit for Building Web Interfaces for Vector Semantic Models. / A. Kutuzov, E. Kuzmenko // Analysis of Images, Social Networks and Texts (AIST 2016). Communications in Computer and Information Science. -Springer, Cham. - Vol. 661. - P. 46-50.

88. Le, Q. Distributed representations of sentences and documents / Q. Le, T. Mikolov // Proceedings of International Conference on Machine Learning. - 2014. -P. 1188-1196.

89. Lilleberg, J. Support vector machines and Word2vec for text classification with semantic features / J. Lilleberg [et al.] // IEEE 14th International Conference on Cognitive Informatics & Cognitive Computing (ICCI*CC). - 2015. - P. 136-140.

90. Manning, C. An Introduction to Information Retrieval / C. Manning, P. Raghavan, H. Schutze. - Cambridge University Press, 2008. - P. 100-123.

91. Marchionini, G. Exploratory search: From finding to understanding / G. Marchionini // Commun. ACM. - 2006. - Vol. 49, no. 4. - P. 41-46.

92. Masada, Tomonari. Comparing LDA with pLSI as a dimensionality reduction method in document clustering / Masada Tomonari, Kiyasu Senya, Miyahara Sueharu // Proceedings of the 3rd International Conference on Large-scale knowledge resources: construction and application (LKR'08). - Springer-Verlag, 2008. - P. 13-26.

93. Melnikov, A.V. On usage of machine learning for natural language processing tasks as illustrated by educational content mining / A.V. Melnikov, D.S. Botov, J.D. Klenin // Ontology of Designing. - Samara: Publisher «New Engineering» Ltd, 2017. - Vol. 7, no. 1 (23). - P. 34-47.

94. Mikolov, T. Distributed Representations of Words and Phrases and their Compositionality / T. Mikolov, I. Sutskever, K. Chen, G.S. Corrado, J. Dean // Advances in Neural Information Processing Systems. - 2013. - P. 3111-3119.

95. Mnih, A. A scalable hierarchical distributed language model / A. Mnih, G. Hinton // Advances in Neural Information Processing Systems 21 (NIPS 2008). -2009. - P. 1081-1088.

96. Müller, O. Towards a typology of business process management professionals: identifying patterns of competences through latent semantic analysis / O. Müller, T. Schmiedel, E. Gorbacheva, J. Vom Brocke // Enterprise Information Systems. - 2016. - No. 10(1). - P. 50-80.

97. Nalisnick, E. Improving document ranking with dual word embeddings / E. Nalisnick [et al.] // WWW '16 Companion Proceedings of the 25th International Conference Companion on World Wide Web. - 2016. - P. 83-84.

98. Newman, D. Automatic evaluation of topic coherence / D. Newman, J. Lau, K. Grieser, T. Baldwin // Human Language Technologies: The 2010 Annual Conference of the North American Chapter of the Association for Computational Linguistics. -Stroudsburg, PA, USA: Association for Computational Linguistics, 2010. - P. 100-108.

99. Newman, D. External evaluation of topic models / D. Newman, S. Karimi, L. Cavedon // Australasian Document Computing Symposium (December 2009). - 2009. - P. 11-18.

100. Panchenko, A. Similarity measures for semantic relation extraction: PhD thesis / Alexander Panchenko // Université catholique de Louvain, Bauman Moscow State Technical University. - Louvain-la-Neuve, Belgium. - 194 p.

101. Pedregosa, F. Scikit-learn: Machine learning in Python / F. Pedregosa [et al.] // Journal of machine learning research. - 2011. - No. 12 (Oct). - P. 2825-2830.

102. Pennington, J. Glove: Global Vectors for Word Representation / J. Pennington, R. Socher, C. Manning // Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing (EMNLP). - 2014. - P. 1532-1543.

103. Pérez-Rodríguez, R. Architecture of a concept-based information retrieval system for educational resources / R. Pérez-Rodríguez, L. Anido-Rifón, M. Gómez-

Carballa, M. Mouriño-García // Science of Computer Programming. - 2016. - No. 129.

- P. 72-91.

104. Potapenko, A. Interpretable Probabilistic Embeddings: Bridging the Gap Between Topic Models and Neural Networks / A. Potapenko, A. Popov, K. Vorontsov // Communications in Computer and Information Science. - Springer International Publishing, 2017. - Vol. 789. - P. 167-180.

105. Rehúrek, R. Software framework for topic modelling with large corpora / R. Rehúrek, P. Sojka // Proceedings of LREC 2010 workshop New Challenges for NLP Frameworks. - 2010. - P. 46-50.

106. RUSSE: The First Workshop on Russian Semantic Similarity / A. Panchenko [et al.] // Computational Linguistics and Intellectual Technologies: Proceedings of the International Conference Dialogue 2015 (Moscow, RGGU).

- Moscow, 2015. - Vol. 2. - P. 89-105.

107. Russian Distributional Thesaurus [Электронный ресурс] // [NLPub — каталог ресурсов для обработки естественного языка]. Режим доступа: https://nlpub.ru/Russian Distributional Thesaurus (дата обращения: 25.01.2019).

108. Sampson, D.G. Guest editorial: Ontologies and the semantic web for e-learning / D.G. Sampson, M.D. Lytra, G. Wagner, P. Diaz // Educational Technology and Society. - 2004. - Vol. 7, no. 4. - P. 26-28.

109. Sayfullina, L. Learning Representations for Soft Skill Matching / L. Sayfullina, E. Malmi, J. Kannala // The 7th International Conference on Analysis of Images, Social Networks, and Texts. - Moscow, 2018. - LNCS 11179. - P. 133-144.

110. Sparck Jones, K. A Statistical Interpretation of Term Specificity and its Application in Retrieval / K. Sparck Jones // Journal of Documentation. - 1972. - No. 28.

- P. 11-21.

111. Szymanski, P. A scikit-based Python environment for performing multilabel classification / P. Szymanski, T. Kajdanowicz // arXiv preprint arXiv:1702.01460. (unpubl.). - 2017.

112. White, R.W. Exploratory Search: Beyond the Query-Response Paradigm / R.W. White, R.A. Roth // Synthesis Lectures on Information Concepts, Retrieval, and Services. - Morgan and Claypool Publishers, 2009.

113. Yargy — библиотека для извлечения структурированной информации из текстов на русском языке [Электронный ресурс]. Режим доступа: https: //yargy.readthedocs. io/ (дата обращения: 28.02.2019).

114. Zamani, H. Embedding-based Query Language Models / H. Zamani, W.B. Croft // Proceedings of the 2016 ACM International Conference on the Theory of Information Retrieval (Newark, Delaware, USA - September 12-16, 2016). - 2016. -P. 147-156.

115. Zellig, H.S. Distributional structure / H.S. Zellig // Word. - 1954. - Vol. 10, no. 23. - P. 146-162.

116. Zhao, M. SKILL: A System for Skill Identification and Normalization / M. Zhao, F. Javed, F. Jacob, M. McNair // In Proceedings of the Twenty-Seventh Conference on Innovative Applications of Artificial Intelligence. - Austin, Texas, USA, 2015. -P. 4012-4018.

ПРИЛОЖЕНИЕ А. Свидетельства о государственной регистрации программ для ЭВМ

ПРИЛОЖЕНИЕ Б. Акты о внедрении результатов диссертационного исследования

/д" №. ¿С>

#7

юнинш

МИНОБРИАУКИ РОССИИ Федеральное государственное бюджсжс образовательное учреждение высше! «Челябинский государственный уииворсит«» (ФГБОУ ВО «Чел ГУ»)

.V

АКТ

о внедрении результатов диссертационного исследовании

Настоящим актом подтверждается, что результаты диссертационного исследования Ботова Дмитрия Сергеевича «Методы и алгоритмы интеллектуальной поддержки формирования образовательных программ по требованиям рынка труда на основе нейросетевых моделей языка» используются в учебном процессе в Институте информационных технологий при разработке и актуализации основных профессиональных образовательных программ бакалавриата и магистратуры, а также при открытии программ дополнительного профессионального образования.

Результаты исследования, изложенные в диссертации, обладают актуальностью, имеют научное и практическое значение. Прототип интеллектуальной системы был использован для формирования профессиональных компетенций и результатов обучения при разработке образовательных программ по направлениям подготовки бакалавриата

09.03.01 «Информатика и вычислительная техника», 09.03.04 «Программная инженерия», 38.03.0S «Бизнес-информатика» и магистерской программы

02.04.02 «Фундаментальная информатика и информационные технологии» по требованиям ФГ'ОС ВО 3-й- и профессиональных стандартов.

11роректор по информатизации^

М.С. 11оли гон

МИНОБРНЛУКИ РОССИИ федеральное государственное бюджетное образовательное >чрсжденне

гег» (ЮГУ)

/б'ОЗ

г Ханты-Мансийск

АКТ

о внедрении результатов диссертационного исследования

Настоящим актом подтверждается, что результаты диссертационного исследования Ботова Дмитрия Сергеевича «Методы и алгоритмы интеллектуальной поддержки формирования образовательных программ по требованиям рынка труда на основе нейросетевых моделей языка» обладают актуальностью, имеют научное и практическое значение и были использованы при разработке образовательных программ но направлениям подготовки бакалавриата 09.03.01 «Информатика и вычислительная техника» и 09.03.04 «Программная инженерия».