Прагматически-ориентированные модели и методы обработки естественно-языковых вопросно-ответных текстов тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Прокопьев Николай Аркадиевич

• Прокопьев Николай Аркадиевич
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Прокопьев Николай Аркадиевич

ВВЕДЕНИЕ

ГЛАВА 1. Аналитический обзор работ в области обработки естественноязыковых вопросно-ответных текстов

1.1 Основные понятия и задачи обработки естественно-языковых вопросно-ответных текстов

1.2 Методы обработки естественно-языковых вопросно-ответных текстов в контексте оценки ответов обучаемых

1.2.1 История развития методов автоматизированной оценки естественноязыковых ответов

1.2.2 Анализ современных подходов к обработке естественно-языковых ответов

1.3 Структура систем контроля знаний, использующих обработку естественно-языковых ответов обучаемых

1.3.1 Обзор существующих систем контроля знаний

1.3.2 Основные функциональные требования к системе контроля знаний

1.3.3 Компоненты системы контроля знаний

1.4 Методы верификации систем контроля знаний, использующих обработку естественно-языковых ответов обучаемых

1.4.1 Задача верификации системы контроля знаний

1.4.2 Экспериментальная верификация систем контроля знаний

Выводы по главе

ГЛАВА 2. Прагматически-ориентированные модели обработки естественноязыковых вопросно-ответных текстов в системе контроля знаний

2.1 Прагматически-ориентированный подход к разработке лингвистических моделей

2.2 Концептуально-функциональная модель вопросно-ответных текстов

2.2.1 Понятие концептулы и классификация концептул

2.2.2 Класс семантических единиц типов понятий

2.2.3 Класс семантических единиц типов отношений

2.2.4 Классы грамматической и специальной роли слов

2.3 Фреймовая семантическая модель вопросно-ответных текстов

2.4 Двухуровневый алгоритм семантического анализа ответа в системе контроля знаний

2.5 Метод экспериментальной верификации алгоритма обработки естественно-языковых вопросно-ответных текстов

2.6 Проект программного прототипа естественно-языковой системы контроля знаний

2.6.1 Разработка требований к системе

2.6.2 Технический проект системы

2.6.3 Модели и методы, используемые в модуле «Редактор баз знаний»

2.6.4 Модели и методы, используемые в модуле «Генератор вопросов»

Выводы по главе

ГЛАВА 3. Реализация программного прототипа естественно-языковой системы контроля знаний и описание экспериментальной верификации алгоритма обработки естественно-языковых вопросно-ответных текстов .... 76 3.1 Прототип естественно-языковой системы контроля знаний

3.1.1 Общая реализация прототипа

3.1.2 Реализация программного модуля «Редактор баз знаний»

3.1.3 Реализация программного модуля «Генератор вопросов»

3.1.4 Реализация программного модуля «Конструктор тестов»

3.1.5 Реализация программного модуля «Экзаменатор»

3.2 Экспериментальная верификация алгоритма обработки естественно-

языковых вопросно-ответных текстов

3.2.1 Программный модуль для экспериментальной верификации алгоритма обработки естественно-языковых вопросно-ответных текстов

3.2.2 Получение исходных данных для экспериментов

3.2.3 Первый эксперимент

3.2.4 Второй эксперимент

3.2.5 Третий эксперимент

Выводы по главе

ЗАКЛЮЧЕНИЕ

ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

ПРИЛОЖЕНИЕ

ПРИЛОЖЕНИЕ

ВВЕДЕНИЕ

Введение диссертации (часть автореферата) на тему «Прагматически-ориентированные модели и методы обработки естественно-языковых вопросно-ответных текстов»

Актуальность проблемы.

В современную информационную эру автоматизация процессов контроля знаний обучающихся стала важным прикладным направлением в цифровизации образовании и приобрела в настоящее время особую актуальность в связи с повсеместным внедрением онлайн образования. Одновременно осуществляется масштабный и массовый переход на дистанционное образование и управление учебным процессом в режиме удаленного контроля, отчего в корне меняется взаимодействие в классической двухагентной системе образования «Ученик»-«Учитель» и в эту связку вводится третий активный агент - инфокоммуникационные технологии. В такой трёхагентной системе образования, описанной в статьях [45, 65], практически, третий агент, изначально рассматриваемый как обслуживающий ресурс, обретает качественно более высокий статус, во многом обретая черты второго агента, а именно, «Учителя».

В этих условиях особую актуальность и важность обретает вопрос эффективной обратной связи с обучаемым, еще более обостряются проблемы, связанные с оперативным и эффективным контролем знаний обучаемого. Востребованной становится задача построения интеллектуальных средств анализа и оценки ответов обучаемых, предоставляемых на естественном языке (ЕЯ) в произвольном изложении, что позволяет существенно повысить качество проверки уровня знаний и качества усвоения предмета.

Так возникает необходимость внедрения перманентного анализа качества усвоения материала обучаемым в условиях повсеместного распространения систем электронного образования. При этом, как показывает анализ публикаций, существующие образовательные технологии либо поддерживают только тестовый подход к контролю ответа, либо при анализе ЕЯ ответа недостаточно учитывают его семантическую структуру. Несмотря на то, что первые публикации, относящиеся к данной предметной

области, появились еще в конце 1980-х - начале 1990-х годов [2], а ее развитие продолжилось в 2000-х [18], более активные исследования и разработки появились только после 2010-2011 годов. Существенный вклад в постановку задач и развитие исследуемой проблематики внесли: Бухараев Р.Г., Боргест Н.М., Загорулько Ю.А., Карпова И.П., Кожевников В.А., Кручинин В.В., Лукашевич Н.В., Махмутов М.И., Мишунин О.Б., Невзорова О.А., Осипов Г.С., Поспелов Д.А., Роберт И.В., Ройзензон Г.В., Соловьев В.Д., Сулейманов Д.Ш., Тазетдинов А.Д., Фирстов Д.И., Хорошевский В.Ф., Хасьянов А.Ф., Шакирова Д.М., Ярушкина Н.Г., Attali Y, Burrows S., Bunescu R., Chakraborty U.K., Dumal P.A.A., Fillmore C.J., Möhler M., Powers D., Pribadi F.S., Roy S., Selvi P.

Прагматически-ориентированный подход к обработке ЕЯ, сформулированный Сулеймановым Д.Ш. [15], заключается в сужении проблемы решения общей задачи обработки произвольного ЕЯ текста к проблеме решения более частной задачи, имеющей собственный контекст и, таким образом, ограниченной данным контекстом. В рамках вопросно-ответной (ВО) системы контроля знаний данный контекст представлен: используемым языком, предметной областью (учебной дисциплиной), ВО ситуацией (контекстом конкретного вопроса обучаемому). Такой подход в применении к моделям и методам обработки ЕЯ в системах контроля знаний не был в должной мере реализован на практике, несмотря на его методологический и прагматический потенциал по локализации семантического контекста и минимизации вариантов структуры ответа для анализа.

Таким образом, решение проблемы создания прагматически-ориентированных моделей и методов обработки ЕЯ ВО текстов, представленное в данной диссертационной работе, является актуальным. Для этого проведен системный обзор данной предметной области, разработаны и адаптированы для программной реализации модели и методы обработки ЕЯ ВО текстов, разработан программный прототип системы контроля знаний и

проведены эксперименты с реальными ответами обучаемых с целью достижения высокой эффективности оценки ответов.

Объектом исследования являются прагматически-ориентированные модели семантической обработки ЕЯ ВО текстов в контексте оценки ответов обучаемых.

Предметом исследования является процесс разработки моделей и методов, реализации программных средств для обработки ЕЯ ВО текстов с целью оценки ответов обучаемых, а также их экспериментальная верификация.

Цель и задачи исследования. Целью диссертационной работы является построение прагматически-ориентированных моделей и эффективного алгоритма оценки ответа на ЕЯ, в частности, на русском языке. Алгоритм должен быть построен на основе следующих принципов реализации, сформулированных Сулеймановым Д.Ш.:

1. Естественная ограниченность пространства значений ответа и соответствующих лексем по заданному вопросу в учебно-тестовой ситуации (принцип детерминированности значений ответа).

2. Естественная ограниченность типов структур ответа заданным вопросом, описываемых в терминах специальных глубинных грамматик (принцип детерминированности формы ответа).

3. Возможность управления точностью оценки ответа в силу расширяемости и модифицируемости глубинных грамматик как основы прагматически-ориентированного алгоритма оценки (принцип открытости грамматик).

4. Возможность сужения пространства действия алгоритма оценки за счет сравнения ответа обучаемого с заранее заготовленной моделью ответа (принцип ожидаемости ответа).

Для достижения основной цели необходимо было осуществить разработку методов, адаптацию и практическую реализацию прагматически-ориентированных моделей концептуального и формального описания

проблемной области и индивидуальных концептуальных грамматик для семантического интерпретатора естественно-языковых текстов в управляемом контексте, предложенных Д.Ш. Сулеймановым [15, 16, 17]. Таким образом, в ходе диссертационного исследования поставлены и решены следующие задачи:

1. Исследование существующих моделей и методов для обработки ЕЯ ВО текстов, структуры ЕЯ системы контроля знаний и методов ее верификации.

2. Разработка прагматически-ориентированных моделей для обработки ЕЯ ответов обучаемых в системе контроля знаний.

3. Разработка и программная реализация алгоритма семантико-синтаксического анализа текстов в ВО контексте.

4. Разработка экспериментального прототипа системы контроля знаний, настройка моделей ответа в разработанном прототипе для экспериментальной верификации алгоритма, сбор исходных данных для экспериментов, верификация алгоритма.

Методы исследования. При разработке прагматически-ориентированных моделей и алгоритма обработки ЕЯ ответов обучаемых в ВО контексте использовались методы математического моделирования в лингвистике, методы структурного анализа и формальных грамматик.

Для верификации алгоритма был адаптирован к решаемым задачам метод экспериментальной верификации, заключающийся в анализе программной реализации алгоритма, примененного к обработке реальных ответов студентов, полученных в процессе контроля знаний, и синтезе выводов о практической применимости и дальнейшем развитии алгоритма и используемых моделей.

При разработке программного прототипа применялись методы предметно-ориентированного проектирования, структурного и объектно-ориентированного программирования, а также стандарты программной инженерии по SWEBOK [31] (Software Engineering Body of Knowledge,

международный стандарт КОЛЕС, в котором описана общепринятая сумма знаний по программной инженерии).

Научная новизна и значимость результатов.

1. Разработаны и адаптированы для программной реализации прагматически-ориентированные модели и методы для обработки ЕЯ ВО текстов, построенные на основе ранее не реализованной на практике модели Сулейманова Д.Ш. и содержащие в качестве подмоделей концептуально-функциональную и фреймовую семантическую составляющие, отвечающие принципам реализации.

2. Разработана новая система контроля знаний, использующая реализацию прагматически ориентированного алгоритма обработки ЕЯ ответов обучаемых.

3. Впервые произведена верификация прагматически-ориентированного подхода к обработке ЕЯ ВО текстов в контексте проверки ответов обучаемых, получены положительные результаты верификации. Теоретическая и практическая ценность полученных результатов.

Теоретическая ценность результатов диссертации заключается в адаптации, программной реализации и верификации диссертантом прагматически -ориентированных моделей и алгоритма обработки ЕЯ ВО текстов, ранее представленных только в концептуальном виде.

Разработанные модели и методы направлены на решение задач обработки ЕЯ ответов в ситуации контроля знаний, что нашло применение в области образования, особенно в дистанционном и гибридном форматах, и обеспечивает эффективную обратную связь с обучаемым. Реализованный прототип ЕЯ системы контроля знаний в своей структуре учитывает проблемы заполнения моделей ответов экспертом-учителем и автоматизирует трудоемкие этапы организации и проведения контроля знаний.

Результаты практической реализации алгоритма обработки ЕЯ ответов и проведенной экспериментальной верификации позволили определить

направления дальнейшего расширения моделей и совершенствования самого алгоритма для его применения в анализе ответов не только в вопросно-ответном, но и в диалоговом контексте, при котором контроль знаний происходит в формате диалога программной системы и обучаемого. Результаты, выносимые на защиту.

1. Разработанные и адаптированные для программной реализации прагматически-ориентированные модели и методы для обработки ЕЯ ВО текстов, содержащие в качестве подмоделей концептуально-функциональную и фреймовую семантическую составляющие.

2. Разработанный экспериментальный прототип системы контроля знаний, использующей реализацию прагматически-ориентированного алгоритма обработки ЕЯ ответов обучаемых.

3. Положительные результаты экспериментальной верификации прагматически-ориентированного подхода к обработке ЕЯ ВО текстов в контексте проверки ответов обучаемых.

Степень достоверности работы. Разработанные и адаптированные модели обработки ЕЯ ВО текстов, предназначенные для контроля знаний, и реализованный прототип системы контроля знаний протестированы на реальных ответах студентов, обучающихся в Казанском федеральном университете, тем самым экспериментально верифицирована работа алгоритма обработки ответов, что подтверждает достоверность полученных результатов.

Соответствие паспорту специальности. Диссертация соответствует паспорту специальности 2.3.8 - Информатика и информационные процессы. Сопоставление направлений исследования и результатов, полученных в диссертации, приведено в таблице 1.

Таблица 1 . Сопоставление направлений исследований, предусмотренных паспортом специальности 2.3.8 и результатов, полученных в диссертации

Направление исследования Результат работы

5. Лингвистическое обеспечение информационных систем и процессов. Методы и средства проектирования словарей данных, словарей индексирования и поиска информации, тезаурусов и иных лексических комплексов. Методы семантического, синтаксического и прагматического анализа текстовой информации для представления в базах данных и организации интерфейсов информационных систем с пользователями. Разработанная система контроля знаний, включает в себя компоненты для задания баз знаний предметных областей, генерации вопросов на их основе, конструирования тестов и прохождения контроля знаний. Реализован алгоритм автоматизированной машинной обработки естественно-языковых ответов обучаемых на вопросы контроля знаний.

16. Автоматизированные информационные системы, ресурсы и технологии по областям применения (научные, технические, экономические, образовательные, гуманитарные сферы деятельности), форматам обрабатываемой, хранимой информации. Системы принятия групповых решений, системы проектирования объектов и процессов, экспертные системы и др. Разработана интегрированная система контроля знаний, включающая в себя взаимодействующие компоненты для задания баз знаний предметных областей, генерации вопросов, конструирования тестов и прохождения контроля знаний.

Апробация результатов работы. Результаты работы докладывались автором на следующих научных конференциях и семинарах:

1. Информационные технологии и математическое моделирование (ИТММ-2017), 29 сентября-3 октября 2017, Казань, Россия;

2. Пятая Международная конференция по компьютерной обработке тюркских языков «TurkLang 2017», 18-21 октября 2017, Казань, Россия;

3. 2018 IEEE East-West Design and Test Symposium, «EWDTS 2018», 14-17 ноября, 2018, Казань, Россия;

4. Международная конференция по компьютерной и когнитивной лингвистике «TEL 2018», 31 октября-3 ноября 2018, Казань, Россия;

5. 12th annual International Conference on Education and New Learning Technologies «EDULEARN 2020», 6-7 июля 2020, Пальма-де-Майорка, Испания (участие с докладом в дистанционном формате);

6. Первый Национальный конгресс по когнитивным исследованиям, искусственному интеллекту и нейроинформатике, Восемнадцатая национальная конференция по искусственному интеллекту «КИИ-2020», 10-16 октября 2020, Москва, Россия (участие с докладом в дистанционном формате);

7. Международная конференция по компьютерной и когнитивной лингвистике «TEL 2020», 12-13 ноября 2020, Казань, Россия;

8. 13th annual International Conference on Education and New Learning Technologies «EDULEARN 2021», 5-6 июля 2021, Пальма-де-Майорка, Испания (участие с докладом в дистанционном формате);

9. Международный форум Kazan Digital Week 2023. 20-22 сентября 2023, Казань, Россия;

10.Ежегодные итоговые научно-практические конференции и кафедральные семинары кафедры технологий программирования Института вычислительной математики и мнформационных Технологий Казанского федерального университета в 2017-2024 годы;

11.Регулярные научные семинары Института прикладной семиотики

Академии наук Республики Татарстан в 2017-2024 годы.

Разработанный программный прототип системы контроля знаний апробирован в образовательном процессе в Казанском федеральном университете.

Публикации. По теме научного исследования опубликовано 12 работ, из них 1 публикация - в журнале из Перечня рецензируемых научных изданий ВАК, 3 публикации, проиндексированные в международных библиометрических базах Scopus / Web of Science, 5 публикаций проиндексированы в базе данных РИНЦ. Также по результатам работы получено 1 свидетельство о государственной регистрации программы для ЭВМ Роспатента РФ. Список публикаций приведен в конце работы.

Личный вклад автора. Содержание диссертации и основные положения, выносимые на защиту, отражают личный вклад автора. Научному руководителю принадлежат исходная прагматическая модель обработки ЕЯ текстов, а также постановка задачи ее адаптации, развития и программной реализации. Представленное в работе решение данной задачи, программная реализация алгоритмов и программных систем и получение результатов верификации выполнены соискателем лично.

Структура и объем работы. Диссертация состоит из введения, трех глав, заключения, и двух приложений. Объем работы составляет 164 страницы, включая 12 таблиц и 29 рисунков.

В главе 1 осуществляется обзор отечественных и зарубежных работ в области разработки систем контроля знаний, предоставляется описание теоретических основ реализуемого в работе ЕЯ контроля знаний. В п. 1.1 представлены общие понятия и задачи обработки ЕЯ ВО текстов. В п. 1.2 производится подробное исследование развития подходов к обработке и оценке ЕЯ ответов, рассматриваются и систематизируются алгоритмы и рабочие прототипы соответствующих систем. В п. 1.3 представлен обзор систем контроля знаний и обобщение ее компонентой функциональной

структуры. В п. 1.4 рассмотрены методы верификации алгоритмов и рабочих прототипов систем контроля знаний.

В главе 2 представлена прагматически-ориентированная модель обработки ЕЯ ВО текстов. В п. 2.1 даны основные методологические принципы и принципы реализации прагматически-ориентированного подхода к разработке лингвистических моделей ВО контекста. В п. 2.2 дано описание концептуально-функциональной модели, реализующей принципы выделения смыслообразующих единиц и семантической классификации ВО текстов. В п. 2.3 представлена фреймовая семантическая модель, реализующая принцип семантической классификации ВО текстов. В п. 2.4 рассмотрен двухуровневый алгоритм семантического анализа ответа, реализующий принципы сегментации ВО текстов анализа релевантности ответа. Далее в п 2.5 представлен метод экспериментальной верификации алгоритма путем итеративной проверки его работы, выявления ситуаций некорректного функционирования и последующей доработки. В п. 2.6 представлен технический проект программного прототипа системы контроля знаний, реализующего алгоритм и использующегося в дальнейшем для его экспериментальной верификации.

В главе 3 представлено описание практических результатов работы: реализации программного прототипа системы контроля знаний, реализации модуля экспериментальной верификации для прагматически-ориентированного алгоритма обработки ЕЯ ответов, а также процесса, результатов и выводов из проведенных экспериментов. В п. 3.1 дано описание реализации компонентов прототипа системы контроля знаний, представлены структурные и функциональные элементы, особенности реализации, используемые технологии: языки, фреймворки, библиотеки, программные инструменты. В п. 3.3 приводится описание реализации модуля экспериментальной верификации, исходных данных для экспериментов и результатов трех экспериментов над прагматически-ориентированным алгоритмом обработки ЕЯ ВО текстов. Представлены выявленные ситуации

некорректного функционирования, пути их решения, даны положительные выводы о возможности эффективной реализации алгоритма.

В приложении 1 представлены исходные данные для основных экспериментов, осуществленных в работе, в виде ответов на заданные вопросы контроля знаний. В приложении 2 представлены настроенные модели для вопросов и результаты обработки ответов из приложения 1 прагматически-ориентированным алгоритмом в ходе второго эксперимента.

Благодарности. Автор выражает благодарность научному руководителю доктору технических наук, профессору Сулейманову Джавдету Шевкетовичу, коллегам из Института прикладной семиотики АН РТ (Гатиатуллину Айрату Рафизовичу, Гильмуллину Ринату Абрековичу, Аюпову Мадехуру Масхутовичу), кафедры технологий программирования и кафедры информационных систем ИВМиИТ КФУ (Невзоровой Ольге Авенировне, Гафарову Фаилю Мубараковичу) за содействие и помощь на всех этапах выполнения работы, ценные консультации и совместные обсуждения, способствовавшие реализации целей исследования.

ГЛАВА 1. АНАЛИТИЧЕСКИЙ ОБЗОР РАБОТ В ОБЛАСТИ ОБРАБОТКИ ЕСТЕСТВЕННО-ЯЗЫКОВЫХ ВОПРОСНО-ОТВЕТНЫХ

ТЕКСТОВ

1.1 Основные понятия и задачи обработки естественно-языковых вопросно-ответных текстов

Обработка ЕЯ является научной отраслью искусственного интеллекта на стыке информатики и лингвистики, включающей задачи создания компьютерных моделей и методов извлечения информации из текстов на ЕЯ, порождения таких текстов. Список конкретных направлений обработки ЕЯ включает, но не ограничиваются следующими направлениями:

1. Извлечение структуры слов и предложений (морфологический и синтаксический анализ), в том числе для создания разметки электронных корпусов;

2. Понимание смысла текста компьютером (семантический анализ) для задач создания человеко-машинных интерфейсов на естественном языке, проверки ответов, семантического поиска по запросу;

3. Генерация текстов на ЕЯ для создания компьютерных ассистентов, заполнения баз знаний;

4. Более узкие проблемы тематического анализа, анализа модальности текста, анализа, тональности речи и т.п.

В данной работе рассматривается направление семантического и семантико-синтаксического анализа ВО текстов. Такие тексты характеризуются определенной структурой диалоговой ситуации «вопрос-ответ» а также важной для решения задач этого направления характеристикой ограниченности контекста диалоговой ситуации. Это означает наличие некоторой темы диалога, в соответствии с которой вопросы и ответы не являются произвольными по смыслу текстами.

Конкретная цель работы и поставленные задачи направлены на проверку ответов человека на вопросы компьютерного агента некоторой системе контроля знаний. Такая проверка включает задачу семантического и

семантико-синтаксического анализа ответа и оценку его соответствия некоторым критериям правильности, обычно включающим в себя соответствие эталонному ответу на вопрос, соблюдение контекста диалоговой ситуации, оценку полноты ответа.

Для проверки ответа используются следующие типы лингвистических моделей: модель данных и модель проверки ответов.

Модель данных определяет структуру и содержание базы знаний для семантического анализа ответа, к примеру, концептуальную область вопроса (онтологическая модель данных). текстуальную структуру ответа (корпусная модель данных, часто используемая в методах, основанных на машинном обучении).

Модель проверки ответов задает семантико-синтаксическую структуру правильного ответа и позволяет произвести проверку ответа обучаемого. Такая модель может определять, например, ситуационную структуру ответа в контексте диалога (фреймовая ситуационная модель проверки ответов).

Рисунок 1. Схема использования модели данных и модели проверки ответов

в системе обработки ВО текстов

На рисунке 1 представлена схема использования этих моделей. Модели данных и модели проверки ответов в данной работе разрабатывались для русского языка, с возможностью их трансляции на другие языки.

Для обработки ЕЯ используются, в том числе в данной работе, следующие группы методов:

1. Токенизация текста - разбиение текста на отдельные словоформы;

2. Сегментация текста - разбиение текста на смысловые элементы;

3. Частеречная разметка - извлечение частей речи словоформ в тексте;

4. Разрешение многозначности - составление однозначного соответствия словоформ и их семантики;

5. Извлечение именованных сущностей.

При разработке моделей и методов обработки ЕЯ ВО текстов важно рассмотреть методы верификации таких моделей. Данные методы позволяют оценить корректность работы систем контроля знаний, построенных на основе моделей и произвести сравнительный анализ таких систем.

1.2 Методы обработки естественно-языковых вопросно-ответных текстов в контексте оценки ответов обучаемых

1.2.1 История развития методов автоматизированной оценки естественно-языковых ответов

Существует немало обзорных аналитических работ, посвященных истории и тенденциям развития методов обработки ЕЯ ВО текстов. Одним из наиболее обширных обзоров, соответствующих теме исследования, является работа [30] авторства S. Burrows, I. Gurevych, B. Stein. В данной статье представлен анализ систем автоматизированной оценки коротких ответов на вопросы. Понятие «оценка коротких ответов на вопросы» авторы определяют как задачу, удовлетворяющую следующим пяти критериям:

1. Ответ на заданный вопрос невозможно извлечь из самого вопроса;

2. Ответ должен выражаться на ЕЯ;

3. Длина ответа должна быть не более одного абзаца;

4. Приоритет извлечения смысла - оцениваться должен, прежде всего, смысл ответа, и в меньшей степени его форма;

5. Вариативность ответа должна ограничиваться за счет контекста вопроса.

Авторы статьи провели исторический анализ развития систем оценки коротких ответов за период с 1995 по 2014 год, предложив разделить этот временной промежуток на пять периодов, названных эпохами. Эпохи могут пересекаться, при этом каждая эпоха характеризуется появлением и развитием определенных классов моделей и методов автоматизированной обработки ЕЯ ответов обучаемых и уровнем, объемом прикладных исследований и программных прототипов, реализованных в этом направлении. В таблице 2 дано описание основных характеристик каждой эпохи.

Таблица 2. Характеристики эпох развития систем автоматизированной

проверки ответов обучаемых

Название эпохи Характеристики эпохи

1. Эпоха карты концептов Модель обработки ответа как неупорядоченного набора концептов ЕЯ. Проверка и оценка ответа на основе наличия или отсутствия того или иного концепта. Каждый концепт соответствует одному простому предложению из ответа.

2. Эпоха извлечения информации Извлечение структурной информации из свободно структурированных ответов (к примеру, анализ по шаблону). Проверка и оценка ответа на основе поиска требуемых моделью структурированных описаний (понятий, фактов) в извлеченной информации.

3. Эпоха корпусных методов Использование статистического анализа вероятностных характеристик электронных корпусов в методах обработки ответов (например, для измерения семантической близости ответа

обучаемого и эталонного ответа).

4. Эпоха машинного обучения Использование методов машинного обучения (методы: «мешок слов», «машина на опорных векторах», «метод ^грамм», «деревья принятия решений», нейросетевые методы) для обработки ЕЯ ответов.

5. Эпоха оценки Комбинация методов прошлых эпох, их сравнительное исследование. Разработка методов оценки систем обработки ЕЯ ответов обучаемых. Введение соревновательного формата оценки таких систем (SemEval).

Список литературы диссертационного исследования кандидат наук Прокопьев Николай Аркадиевич, 2024 год

СПИСОК ИСПОЛЬЗОВАННЫХ ИСТОЧНИКОВ

1. Аюпов М.М. Семантические технологии генерации учебных вопросов / М.М. Аюпов, О.А. Невзорова, Н.А. Прокопьев, Д.Ш. Сулейманов // Четырнадцатая национальная конференция по искусственному интеллекту с международным участием КИИ-2014: Труды конференции. - Казань, 2014. - Т. 3. - С. 84-93.

2. Бухараев Р.Г. Семантический анализ в вопросно-ответных системах / Р.Г. Бухараев, Д.Ш. Сулейманов. - Казань: Издательство Казанского университета, 1990. - 123 с.

3. Дэйт К.Дж. Введение в системы баз данных / К.Дж. Дэйт. - М.: Вильямс, 2018. - 1328 с.

4. Казаков И.А. Базы данных как онтологии / И.А. Казаков, А.В. Манцивода // Известия Иркутского государственного университета, серия «Математика». - 2011. - Т. 4, № 1. - С. 20-30.

5. Кручинин В.В. Модели генераторов вопросов для компьютерного контроля знаний / В.В. Кручинин, Ю.В. Морозова // Открытое и дистанционное образование. - 2004. - № 2. - С. 52-62.

6. Климов А.В. Разработка методов семантического анализа текстов при тестировании знаний человека // Материалы 51-ой международной студенческой конференции: «Студент и научно-технический прогресс». -Новосибирск, 2013. - С. 227.

7. Карпова И.П. Исследование и разработка подсистемы контроля знаний в распределенных автоматизированных обучающих системах // Диссертация на соискание ученой степени кандидата технических наук. -Москва, 2002. - 200 с.

8. Кожевников В.А. Система автоматической проверки ответов на открытые вопросы на русском языке / В.А. Кожевников, О.Ю. Сабинин // Научно-технические ведомости СПбГПУ. Информатика. Телекоммуникации. Управление. - 2018. - Т. 11, № 3. - С. 57-72.

9. Мишунин О.Б. Состояние и уровень разработок систем автоматической оценки свободных ответов на естественном языке / О.Б. Мишунин, А.П. Савинов, Д.И. Фирстов // Современные наукоемкие технологии. - 2016. - № 1. - С. 38-44.

10. Мерзляков Д.А. Генерация регулярных выражений для автоматизации проверки тестов открытого характера // Ноосфера. Общество. Человек. - 2013. - № 4.

11. Морфологический анализатор pymorphy2 - Морфологический анализатор pymorphy2 [Электронный ресурс] // Режим доступа: pymorphy2. readthedocs. io/en/latest/ (26.04.2019).

12. Прокопьев Н.А. Автоматизированный анализ естественноязыковых вопросно-ответных текстов в системе электронного тестирования / Н.А. Прокопьев, Д.Ш. Сулейманов // Пятая Международная конференция по компьютерной обработке тюркских языков «TurkLang 2017» Труды конференции. - Казань, 2017. - Т. 1. - С. 92-98.

13. Прокопьев Н.А. Использование шаблонного анализа ограниченных естественно-языковых ответов на вопросы в системе электронного тестирования // Информационные технологии и математическое моделирование (ИТММ-2017): материалы XVI междунар. конф. им. А. Ф. Терпугова. - Томск, 2017. - Ч. 2. - С. 218-222.

14. Прокопьев Н.А. Экспериментальная проверка алгоритма анализа естественно-языковых вопросно-ответных текстов в системе электронного тестирования // Труды международной конференции по компьютерной и когнитивной лингвистике TEL-2018. - Казань, 2018. - Т. 1. - С. 293-305.

15. Сулейманов Д.Ш. Системы и информационные технологии обработки естественно-языковых текстов на основе прагматически-ориентированных лингвистических моделей // Диссертация на соискание ученой степени доктора технических наук. - Казань, 2000. - 336 c.

16. Сулейманов Д.Ш. Двухуровневый лингвистический процессор ответных текстов на естественном языке // Открытые семантические

технологии проектирования интеллектуальных систем. - 2011. - № 1. - С. 311-322.

17. Сулейманов Д.Ш. Система семантического анализа ответных текстов обучаемого на естественном языке // Онтология проектирования. -2014. - №. 1 (11). - С. 65-77.

18. Сулейманов, Д. Ш. Исследование базовых принципов построения семантического интерпретатора вопросно-ответных текстов на естественном языке в АОС // Образовательные технологии и общество. - 2001. - № 4 (3). -С. 178-192.

19. Соловьев А.А. Кто виноват и где собака зарыта? Метод валидации ответов на основе неточного сравнения семантических графов в вопросно-ответной системе // Труды Российского семинара по оценке методов информационного поиска Р0МИП-2010. - Казань, 2010. - С. 125141.

20. Соловьев А.А. Синтаксические и семантические модели и алгоритмы в задаче вопрос-ответного поиска // Материалы всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» - RCDL'2011. - Воронеж, 2011. - С. 201-210.

21. Соловьев В.Д. Онтологии и тезаурусы / Соловьев, В.Д.; Добров, Б.В.; Иванов, В.В; Лукашевич, Н.В. - Учебное пособие. - Казань, Москва : Казанский государственный университет, МГУ им. М.В. Ломоносова, 2006. -156 с.

22. Тазетдинов А.Д. Автоматизированные обучающие диалоги в естественно-языковой электронной образовательной среде / А.Д. Тазетдинов, Д.Р. Тазетдинов // Международный журнал экспериментального образования. - 2010. - № 1. - C. 101-103.

23. Угринович Н. Информатика. 8 класс. Учебник. ФГОС / Н. Угринович. - М. : Бином. Лаборатория знаний, 2017. - 160 с.

24. Черепанова Ю.Ю. Контроль знаний с ответами на естественном языке // Восточно-европейский журнал передовых технологий. - 2009. - Т. 4, № 2 (40). - С.32-36.

25. Шелманов А.О. Исследование методов автоматического анализа текстов и разработка интегрированной системы семантико-синтаксического анализа // Диссертация на соискание ученой степени кандидата технических наук. - Москва, 2015. - 210 с.

26. Afzal N. Automatic generation of multiple choice questions using dependency-based semantic relations / N. Afzal, R. Mitkov // Soft Computing, A Fusion of Foundations, Methodologies and Applications. - 2014. - Is. 18. - pp. 1269-1281.

27. Attali Y. Automated Scoring of Short-Answer Open-Ended GRE Subject Test Items / Y. Attali, D. Powers, M. Freedman, M. Harrison, S. Obetz // GRE Board Research Report. - 2008. - No. GRE-04-02.

28. Assessment Software | Online Exam Platform | TAO Testing [Электронный ресурс] // Режим доступа: www.taotesting.com (17.10.2018).

29. Assessment Software | Online Exam Platform | TAO Testing Resources [Электронный ресурс] // Режим доступа: www.taotesting.com/resources/ (17.10.2018).

30. Burrows S. The Eras and Trends of Automatic Short Answer Grading / S. Burrows, I. Gurevych, B. Stein // International Journal of Artificial Intelligence in Education. - 2015. - V. 25. - pp. 60-117.

31. Bourque P., Guide to the Software Engineering Body of Knowledge, Version 3.0 / eds. P. Bourque, R.E. Fairley. - Washington : IEEE Computer Society. - 2014. - 335 p.

32. Bruce T.A. Designing Quality Databases With IDEF1X Information Models / T.A. Bruce. - New York : Dorset House, 1991. - 584p.

33. Chen X. A Fast and Efficient Algorithm for Intelligent Test Paper Generating // Practical Applications of Intelligent Systems. - 2011. - V. 124. - pp. 231-236.

34. Chakraborty U.Kr. A Fuzzy Indiscernibility Based Measure of Distance between Semantic Spaces Towards Automatic Evaluation of Free Text Answers / U.Kr. Chakraborty , S. Roy, S. Choudhury // International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems. - 2017. - V. 25. - pp. 9871004.

35. Dumal P.A.A. Adaptive and automated online assessment evaluation system," / P.A.A. Dumal, W.K.D. Shanika, S.A.D. Pathinayake, T.C. Sandanayake // Proc. 2017 11th International Conference on Software, Knowledge, Information Management and Applications (SKIMA). - Malabe, 2017. - pp. 1-8.

36. Fillmore C.J., Frame semantics and the nature of language // Annals of the New York Academy of Sciences: Conference on the Origin and Development of Language and Speech. - 1976. - V. 280. - pp. 20-32.

37. FrameNet [Электронный ресурс] // Режим доступа: framenet.icsi.berkeley.edu (20.09.2020).

38. Exam Software Test Engine [Электронный ресурс] // Режим доступа: www.exam-software.com (14.10.2018).

39. Exam Software Test Engine [Электронный ресурс] // Режим доступа: www.exam-software.com/overview.htm (14.10.2018).

40. Exam Data | Exam Security | Online Exam Software [Электронный ресурс] // Режим доступа: examsoft.com (14.10.2018).

41. ExamSoft Resource Hub for Exam Software [Электронный ресурс] // Режим доступа: examsoft.com/resources (14.10.2018).

42. Gali A. From Ontology to Relational Databases / A. Gali, C.X. Chen, K.T. Claypool, R. Uceda-Sosa // Conceptual Modeling for Advanced Application Domains. ER 2004. Lecture Notes in Computer Science. - 2004. - V. 3289. - pp. 278-289.

43. Giridhar C. Learning Python Design Patterns - Second Edition / C. Giridhar. - 2nd ed. - Birmingham : Packt Publishing, 2016. - 164 p.

44. Jean S. OntoDB: It Is Time to Embed Your Domain Ontology in Your Database / S. Jean, H. Dehainsala, D.N. Xuan, G. Pierra, L. Bellatreche, Y. Ait-

Ameur // DASFAA 2007, Lecture Notes in Computer Science. - 2007. - V. 4443. - pp. 1119-1122.

45. Khasianov A. Three Agent Platform Approach For Digital Education Environment / A. Khasianov, D. Suleymanov, A. Marchenko // INTED2017 Proceedings. - Valencia, 2017. - pp. 8580-8587.

46. Licensing:MIT - Fedora Project Wiki [Электронный ресурс] // Режим доступа: fedoraproject.org/wiki/Licensing:MIT (20.09.2019).

47. Ming-zhu S. The Research and Implementation of Technology of Generating Test Paper Based on Genetic Algorithm / S. Ming-zhu, L. Wei-feng, D. Jing-yi // Intelligence Computation and Evolutionary Computation. Advances in Intelligent Systems and Computing. - 2013. - V. 180. - pp. 657-663.

48. Mohler M. Learning to Grade Short Answer Questions Using Semantic Similarity Measures and Dependency Graph Alignments / M. Mohler, R. Bunescu, R. Mihalcea // Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics: Human Language Technologies. Portland, 2011. - V. 1. - pp. 752-762.

49. Moodle - Open-source learning platform | Moodle.org [Электронный ресурс] // Режим доступа: moodle.org (16.10.2018).

50. MoodleDocs [Электронный ресурс] // Режим доступа: docs.moodle.org/3 9/en/Main_page (16.10.2018).

51. Mozilla Public License, version 2.0 [Электронный ресурс] // Режим доступа: www.mozilla.org/en-US/MPL/2.0/ (20.09.2019).

52. Net-testing - система дистанционного обучения и проверки знаний [Электронный ресурс] // Режим доступа: www.net-testing.ru (13.10.2018).

53. Net-testing - программа для создания тестов, учебного материала, проверки знаний и организации дистанционного обучения [Электронный ресурс] // Режим доступа: www.net-testing.ru/operatingprocedure.htm (13.10.2018).

54. Natural Language Toolkit - NLTK 3.5 documentation [Электронный ресурс] // Режим доступа: www.nltk.org (20.04.2019).

55. NLTK Book [Электронный ресурс] // Режим доступа: www.nltk.org/book/ (26.04.2019).

56. OpenCorpora: открытый корпус русского языка [Электронный ресурс] // Режим доступа: opencorpora.org (17.11.2019).

57. Prokopyev N., Suleymanov D. Automatic Answer Grading for the Knowledge Control on "Definition" and "Description" Question Types // 13th annual International Conference on Education and New Learning Technologies EDULEARN, Online, pp. 5213-5222, 2021.

58. Prokopyev N. Usage of Genetic Algorithms for Educational Tests Adaptation // Proceedings of 2018 IEEE East-West Design and Test Symposium, EWDTS 2018. - Kazan, 2018. - pp. 1-4.

59. Pendu P. Ontology Database: A New Method for Semantic Modeling and an Application to Brainwave Data / P. Le Pendu, D. Dou, G.A. Frishkoff, J. Rong // SSDBM 2008, Lecture Notes in Computer Science. - 2008. - V. 5069. -pp. 313-330.

60. Papasalouros A. Automatic Generation Of Multiple Choice Questions From Domain Ontologies / A. Papasalouros, K. Kanaris, K. Kotis // E-Learning Conference. - Amsterdam, 2008. - pp. 427-434.

61. Pribadi F.S. Short Answer Scoring System Using Automatic Reference Answer Generation and Geometric Average Normalized-Longest Common Subsequence (GAN-LCS) / F.S. Pribadi, A.E. Permanasari, T.B. Adji // Education and Information Technologies. - 2018. - V. 23, Is. 6. - pp. 2855-2866.

62. patool - portable archive file manager [Электронный ресурс] // Режим доступа: wummel.github.io/patool/ (10.03.2019).

63. Rus V. Experiments on Generating Questions About Facts / V. Rus, Z. Cai, A.C. Graesser // CICLing 2007, Lecture Notes in Computer Science. 2007. -V. 4394. - pp. 444-455.

64. regex | mrabarnett / mrab-regex - Bitbucket [Электронный ресурс] // Режим доступа: bitbucket.org/mrabarnett/mrab-regex (17.11.2019).

65. Suleymanov D. Methodology and principles of the intelligent agent design for the textual dialogue systems // Proceedings of "System analysis and semiotic modelling" (SASM-2011). - Kazan, 2011.

66. Suleymanov Dzh. Experimental Prototype of the Pragmatically Oriented E-Assessment Algorithm for Automatic Natural Language Answer Grading / Suleymanov Dzh., Prokopyev N. // EDULEARN20 Proceedings. -Online Conference, 2020. - pp. 1917-1924.

67. Selvi P. Automatic Short Answer Grading System (ASAGS) / P. Selvi, A.K. Bnerjee // Arxiv Computing Research Repository. - 2010. - V. abs/1011.1742. - 5 p.

68. Srivastava V. Captivate Short Answer Evaluator / V. Srivastava, C. Bhattacharyya // 2013 IEEE International Conference in MOOC, Innovation and Technology in Education (MITE). - Jaipur, 2013. - pp. 114-119.

69. SemEval | International Workshop on Semantic Evaluation [Электронный ресурс] // Режим доступа: semeval.github.io (18.09.2020).

70. SVG - учебное руководство - SVG | MDN [Электронный ресурс] // Режим доступа: developer.mozilla.org/ru/docs/Web/SVG/Tutorial (20.05.2020).

71. TCExam [Электронный ресурс] // Режим доступа: tcexam.org (17.10.2018).

72. TCExam Docs [Электронный ресурс] // Режим доступа: tcexam.org/docs/ - (17.10.2018).

73. textract - textract 1.6.1 documentation [Электронный ресурс] // Режим доступа: textract.readthedocs.io/en/stable/ (17.11.2019).

74. Voorhees E., Harman D. TREC: Experiment and Evaluation in Information Retrieval / E. Voorhees, D. Harman. - MIT Press, 2005. - 368 p.

75. Wang W. Automatic Question Generation for Learning Evaluation in Medicine / W. Wang, T. Hao, W. Liu // Advances in Web Based Learning - ICWL 2007. Lecture Notes in Computer Science. - 2008. - V. 4823. - pp 242-251.

76. Wu Y. Generating Personalized Answers by Constructing a Question Situation / Y. Wu, Z. Wu, Y. Li, J. Li // ICMLC 2005, Lecture Notes in Artificial Intelligence. - 2006. - V. 3930. - pp. 731-739.

77. Wieringa R.J. Design Methods for Reactive Systems: Yourdon, Statemate, and the UML / R.J. Wieringa. - Burlington : Morgan Kaufmann, 2003. - 500 p.

78. WordNet Search - 3.1 [Электронный ресурс] // Режим доступа: wordnetweb.princeton.edu/perl/webwn (16.05.2018).

79. WordNet Documentation | WordNet [Электронный ресурс] // Режим доступа: wordnet.princeton.edu/documentation (16.05.2018).

80. Yildirim M. Heuristic Optimization Methods for Generating Test from a Question Bank // MICAI 2007, Lecture Notes in Artificial Intelligence. - 2007. -V. 4827. - pp. 1218-1229.

81. Sinha P. Answer Evaluation Using Machine Learning / P. Sinha, B. Sharad, A. Kaul, S. Rathi // McGraw-Hill Publications. - 2017. - pp. 1-7.

82. Lakshmi V. Evaluating Students' Descriptive Answers Using Natural Language Processing and Artificial Neural Networks / V. Lakshmi, V. Ramesh // International Journal of Creative Research Thoughts. - 2017. - V. 5. - Is. 4. - pp. 3168-3173.

83. Neethu G. Grading Descriptive Answer Scripts Using Deep Learning / G. Neethu, P. Sijimol, M.V. Surekha // International Journal of Innovative Technology and Exploring Engineering. - 2019. - V. 8. - Is. 5. - pp. 991-996.

84. Senthilkumar K. Automatic Answer Evaluation Using Deep Learning Algorithms / K. Senthilkumar, J. Aroabinesh, T. Gowtham, K. Manikandan // Eur. Chem. Bull. - 2023. - V. 12. - pp. 306-313.

115

ПРИЛОЖЕНИЕ 1 Исходные данные экспериментов для проверки алгоритма обработки естественно-языковых ответов, предметная область: «Базы данных»

Вопрос Какие функции выполняет СУБД?

Этало н СУБД управляет данными во внешней памяти, данными в оперативной памяти, языками баз данных, резервным копированием

Ответы

1 Управление данными, журнализация изменений, резервное копирование и восстановление базы данных, поддержка языков БД

2 Управление данными, журнализация, резервное копирование, восстановление БД, поддержка языков БД

3 Управление данными, журнализация, резервное копирование, восстановление БД, пддержка языков БД

4 управление данными во внешней памяти (на дисках, управление данными в оперативной памяти с использованием дискового кэша, журнализация изменений, резервное копирование и восстановление базы данных после сбоев, поддержка языков БД (язык определения данных, язык манипулирования данными)

5 управляет внешней памятью, управляет буферами оперативной памяти, поддержка языков БД

6 управление данными во внешней памяти, управление буферами оперативной памяти, поддержка языка БД

7 Администрирование базы данных, управление данными во внешней памяти, управление буферами оперативной памяти, подержка языков БД

8 Администрирование базы данных, управление с внешней памяти, управление буферами оперативной памяти, управление транзакциями,

поддержка языков БД

9 управление данными во внешней памяти , управление данными в оперативной памяти с использованием дискового кэша, журнализация изменений, резервное копирование и восстановление базы данных после сбоев, поддержка языков БД

10 хранение,обработка данных

11 управление данными

12 Управляет базой данных.

13 Ответ кроется в самом названии. Управляет базой данных.

14 Основные функции СУБД управление данными во внешней памяти

15 Управление данными, резервное копирование и восстановление

16 управление БД, копирование и восстановление

17 управление бд

18 Управление хранимыми данными

19 Управление транзакциями

20 Администрирование базы данных

21 Непосредственное управление данными во внешней памяти

22 Управление буферами оперативной памяти

23 Журнализация

24 Поддержка языков БД

25 Хранение/модификация данных, управление транзакциями, поддержка языка SQL

26 Управление буферами ОП

27 Управление транакциями

28 хранение данных, управление данными, журналирование, резервное копирование

Вопрос Какие действия выполняет запрос SELECT?

Этало Запрос SELECT совершает выборку из базы данных

н

Ответы

1 Выбирает данные из БД

2 Выборка данных из таблицы

3 оператор запроса возвращающий набор данных (выборку) из базы данных

4 запрос может вывести данные из определенных столбцов или всех столбцов выбранной таблицы. Чтобы создать SELECT запрос, необходимо указать имя столбца и название таблицы

5 выполняет запросы из нужного вам столбца и таблицы

6 С помощью запроса SELECT можно выполнить выборку данных из таблицы. Выбирает , подсчитывает , определяет данные из таблицы.

7 Определяет поля ,которые содержать нужные данные

8 Выборку из базы данных

9 возвращает набор данных

10 Какая-либо выборка данных из базы данных

11 Выборка данных из таблицы.

12 Позволяет сделать выборку из таблицы

13 поиск данных в бд

14 выборка данных

15 выборка данных из бд

16 Выборка из таблицы, представление или выборки

17 Выборка из таблицы, представления или другой выборки

18 Возвращает выборку данных

19 Выборка данных из таблицы/представления

20 Возвращает выборку (относится к DML)

21 результат представляется в виде таблицы

22 Сбор данных из таблицы (DML)

23 возвращает данные, соответствующие описанию в запросе

24

получение данных из таблиц

Вопрос Какие действия выполняет запрос INSERT?

Этало н Запрос INSERT добавляет данные в базу данных

Ответы

1 Вставляет данные в БД

2 Добавляет данные в БД

3 Добавление данных в таблицу

4 Вставка данных в таблицу

5 добавляет одиночную запись (или строку) в таблицу

6 С помощью этого оператора происходит заполнение таблиц нужными вам значениями

7 оператор заполнения таблиц заданными вами значениями

8 Оператор INSERT вставляет новые записи в таблицу

9 вставляет новые записи в таблицу

10 Добавление строки в таблицу или представление основной таблицы.

11 добавляет строки в таблицу

12 добавление новых строк в таблицу

13 Заполняет таблицу данными

14 Добавляет строки в таблицу.

15 Добавляет одну или несколько записей в таблицу

16 вставка данных в бд (строка, таблица)

17 вставка новых данных

18 добавление данных в бд

19 Выборка из таблицы, представления или другой выборки

20 Добавление записей в таблицу

21 Вставка данных в таблицы

22 Записывает строку в таблицу БД

23 Добавление фМЬ)

24 добавляет данные в таблицу

25 вставка данных в таблицу

Вопрос Какие действия выполняет запрос UPDATE?

Этало н Запрос UPDATE обновляет данные в базе данных

Ответы

1 Изменяет существующие данные в БД

2 Изменяет данные в БД

3 Изменение данных в таблице

4 Обновление данных в таблице

5 Обновляет данные/значения в заданных столбцах Таблицы

6 Данный оператор позволяет обновить значения в заданных столбцах таблицы

7 оператор позволяющий обновить значения в заданных столбцах таблицы

8 обновляет данные или значение в таблицах

9 позволяет обновить данные в заданных столбцах таблицы

10 Изменение содержимого строк

11 Изменение содержимого в строках

12 обновляет значения в таблицах

13 обновление данных в таблице

14 изменяет содержимое некоторого количества строк

15 Изменяет имеющиеся данные в таблице.

16 Позволяет изменить строки в таблицы

17 Изменяет существующие записи в таблице

18 изменение данных

19 изменение данных бд

20 Обновляет запись(-и) в таблице

21 Изменение записей в таблиц^

22 Изменение записей в таблице

23 Изменяет строку

24 Изменение фМЬ)

25 обновляет данные в строке(строках) таблицы

26 обновление строк в таблице

Вопрос Какие действия выполняет запрос DELETE?

Этало н Запрос DELETE удаляет данные из базы данных

Ответы

1 Удаляет данные из БД

2 Удаление данных из таблицы

3 операция удаления записей из Таблицы, в субд, поддерживающих триггеры, операция delete может вызвать из срабатывания

4 Данный оператор выполняет операцию удаления записей из таблицы

5 оператор удаления записей из выбранной таблицы

6 удаляет строки из базовых таблиц

7 удаляет сроки из таблицы

8 Удаление строк в таблице

9 Удаление строки из таблицы или представления основной таблицы базы данных

10 удаляет

11 удаление данных

12 Удаляет строки из таблицы, либо саму таблицу из базы данных

13 Удаляет строки из таблицы, либо удаляет саму таблицу.

14 Удаляет записи из таблицы

15 Удаляет записи в таблице

16 удаление данных из бд

17 Удаляет записи с таблицы

18 Удаляет строку

19 Удаление фМЬ)

20 удаляет строку(строки) из таблицы

21 удаление строк в таблице

Вопрос

Какие действия выполняет запрос CREATE?

Этало н

Запрос CREATE создает объекты базы данных

Ответы

Создает БД, таблицу, пользователя и др. объекты

2

Создаёт объект БД

3

Создание таблицы

4

Создание объектов базы данных

5

Данный оператор используется для создания объектов базы данных

6

оператор который используется для создание объектов базы данных

7

Создает новые обьекты базы данных

8

позволяет создавать новые обьекты базы данных

9

Создание пустой таблицы

10

создание чего-либо

11

создание базы данных,таблиц

12

Служит для создания таблицы

13

Создает таблицу.

14

Создания чего-либо, например таблицы

15

Создание чего либо, например таблиц или индексов

16

создание базы данных, таблицы

17

создание новой бд, таблицы

18

создание бд, таблицы

1

19 Создает объекты базы данных, такие как таблица, представление, триггер, счётчик, процедуру и т.д.

20 Создает

21 Создает новые объекты базы данных

22 Создание объектов БД

23 Создаёт

24 Создание таблиц ^Ш)

25 Создание индексов

26 Создание баз данных

27 создает объект в бд(таблица, функция, представление, ...)

28 создание сущности в бд(таблица, функция, схема, пользователь, ...)

Вопрос Какие действия выполняет запрос DROP?

Этало н Запрос DROP удаляет объекты базы данных

Ответы

1 Удаляет объект БД

2 Удаление таблицы

3 Удаляет одно или больше определений таблиц и все данные, индексы, триггеры, ограниченны и разрешения для этих таблиц

4 Оператор DROP является оператором удаления объектов базы данных

5 оператор удаления объектов базы данных

6 Удаляет одно или больше определений таблиц и все данные

7 Удаляет одно или больше определений таблиц и все данные, индексы, триггеры, ограничения и разрешения для этих таблиц.

8 удаление таблицы

9 Удаление чего либо. Например таблиц или индексов

10 Удаление чего либо, например таблиц или индексов

11 удаление таблицы, бд

12 удаление таблицы, базы данных

13 удаление бд, таблицы

14 Удаление объектов базы данных

15 Удаляют объекты базы данных

16 Удаление объектов БД

17 Удаялет (DDL)

18 Удаление таблиц (ddl)

19 Удаление индексов

20 Удаление баз данных

21 удаляет объект(таблицу, базу данных, функцию, ...)

22 удаление сущности бд(таблица, функция, схема, пользователь, ...)

Вопрос Какие действия выполняет запрос ALTER?

Этало н Запрос ALTER редактирует объекты базы данных

Ответы

1 Изменяет объект БД

2 Добавление/удаление/изменения колонки таблицы

3 Добавление, модификация, удаление колонки в таблице

4 используется для добавления, удаления или модификации колонки в уже существующей таблице

5 ALTER позволяет изменять структуру существующей таблицы

6 позволяет изменять структуру уже существующей таблицы

7 дает возможность изменять структуру существующей таблицы

8 обеспечивает возможность изменять структуру существующей таблицы

9 Добавление, удаление или изменение колонок в уже существующей таблице

10 Добавление , удаление или изменение колонки в уже существующей

таблице

11 удаление,добавление или изменение колонки в уже существующей таблице

12 добавление,удаление,изменение колонки в уже существующей таблице

13 Добавление, удаление, редактирование колонки в уже существующей таблице

14 Используется для добавления, удаления или редактирования колонки в уже существующей таблице.

15 Изменение структуры имеющийся таблицы

16 Изменяет таблицы

17 изменение структуры таблицы

18 изменение таблицы, ее структуры

19 изменение таблицы, структуры

20 Внесение изменений в объекты базы данных

21 Изменяет объекты базы данных

22 Изменение объектов БД

23 Изменяет DDL

24 изменение структуры БД (DDL)

25 изменение таблицы

26 изменяет объект(таблица, функция, индекс, ...)

27 изменение сущности бд(таблица, функция, схема, пользователь, ...)

Вопрос Какие действия выполняет запрос COMMIT?

Этало н Запрос COMMIT фиксирует транзакции

Ответы

1 Применяет транзакцию

2 Фиксирует изменения транзакций

3 Управление транзакциями языка SQL для успешного завершения

транзакции

4 оператор управления транзакциями, который фиксирует сделанные изменения insert-ом, delete-ом и update-ом

5 фиксирует изменения сделанные insert-ом, delete-ом и update-ом

6 фиксирует изменения сделанные инсертом делетом или апдейтом

7 Отмечает успешное завершение явной или неявной транзакции

8 создание транзакции опреаций

9 оператор управления транзакциями

10 Фиксирует транзакцию, оператор управления транзакциями

11 Управляет транзакциями языка SQL для успешного завершения транзакции.

12 Закачивает и начинает новую транзакцию

13 Заканчивает текущую транзакцию сохранением и создаёт новую

14 сохранение результатов транзакции

15 Используется для завершения транзакции

16 Успешное завершение транзакции

17 фиксирует транзакции

18 фиксирует изменения текущей транзакции

19 завершает транзацию, фиксирует изменения

Вопрос

Какие действия выполняет запрос ROLLBACK?

Этало

Запрос ROLLBACK отменяет транзакции

н

Ответы

Откатывает изменения, сделанные в текущей транзакции

2

Откатывает изменения в текущей транзакции

3

Отменение изменений

4

Отменяет изменения транзакций

5

Оператор языка SQL, который применяется для того, чтобы: отменить

1

все изменения, внесённые начиная с момента начала транзакции или с какой-то точки сохранения

6 можно использовать для отмены всех изменений данных, произведенных с начала транзакции или до точки сохранения

7 заканчивает текущую транзакцию отменой изменений в базе данных и начинает новую транзакцию

8 Откатывает явные или неявные транзакции до начала или до точки сохранения транзакции

9 отменяет все изменения

10 отмена всех изменений

11 Откатывает все изменения до определенной точки

12 Отменяет все редактированные данные и откатывает транзакции.

13 Заканчивает транзакцию отменой и начинает новую

14 Заканчивает текущую транзакцию отменой и создаёт новую

15 откат, отмена транзакции

16 отмена результатов транзакции

17 откат результатов транзакции

18 Отменяет все проделанные изменения в этой транзакции

19 Отменяет все изменения примененные в данной транзакции

20 Отменяет все изменения текущей транзакции

21 Откатывает

22 Отмена работы текущей транзакции

23 откатывает текущую транзакцию

24 откатывает изменения текущей транзакции

127

ПРИЛОЖЕНИЕ 2 Модель и результаты второго эксперимента для тестирования алгоритма обработки естественно-языковых ответов

Вопрос Какие функции выполняет СУБД?