Методики и алгоритмы извлечения знаний из реляционных баз данных на основе семантики предметной области тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Нгуен Нгок Зыонг

• Нгуен Нгок Зыонг
• кандидат наук
• 2021

Оглавление диссертации кандидат наук Нгуен Нгок Зыонг

ВВЕДЕНИЕ

ГЛАВА 1. СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДИК И АЛГОРИТМОВ ИССЛЕДОВАНИЯ ИНФОРМАЦИОННЫХ СТРУКТУР БАЗ ДАННЫХ

1.1 Тенденция развития моделей представления данных

1.2 Классификация баз данных

1.4 Структура реляционной базы данных как адекватное отображение предметной области

1.5 Анализ метода нормализации базы данных в задаче анализа данных

1.6 Выводы по главе

ГЛАВА 2. МЕТОДИКА И АЛГОРИТМЫ ИЗВЛЕЧЕНИЯ И СРАВНЕНИЙ ЗНАНИЙ О ПРЕДМЕТНОЙ ОБЛАСТИ НА ОСНОВЕ АНАЛИЗА ИНФОРМАЦИОННЫХ СТРУКТУР БАЗ ДАННЫХ

2.1 Метод реинжиниринга схем существующих баз данных

2.2 Алгоритмы определения структурных закономерностей в информационных структурах данных

2.2.1 Алгоритм поиска функциональных зависимостей

2.2.2 Алгоритм поиска многозначных зависимостей

2.2.3 Алгоритм поиска зависимостей соединения

2.3 Алгоритм сравнительного анализа схем реляционных баз данных на основе изучения семантики предметной области

2.4 Выводы по главе

ГЛАВА 3. МЕТОДИКА И АЛГОРИТМЫ ОПТИМИЗАЦИИ ПО КРИТЕРИЮ СООТВЕТСТВИЯ ПРЕДМЕТНОЙ ОБЛАСТИ И УСТРАНЕНИЯ АНОМАЛИЙ И ИЗБЫТОЧНОСТИ ПОЛУЧАЕМЫХ ИНФОРМАЦИОННЫХ СТРУКТУР ДАННЫХ

3.1 Методика и алгоритмы коррекции схемы реляционной базы данных

3.2 Алгоритмы нормализации отношений и схем реляционных баз данных с использованием семантических зависимостей

3.2.1 Алгоритм нормализации с использованием функциональных зависимостей

3.2.2 Алгоритм нормализации с использованием многозначных зависимостей

3.2.3 Алгоритм нормализации с использованием зависимостей соединения

3.3 Проблема достижения эквивалентности двух схем реляционных баз данных

3.4 Оптимизация структур баз данных путем дополнительного исследования их информационных структур

3.5 Выводы по главе

ГЛАВА 4. ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ ПРЕДЛОЖЕННЫХ МЕТОДИК И АЛГОРИТМОВ АНАЛИЗА ИНФОРМАЦИОННЫХ СТРУКТУР БД

4.1 Алгоритм создания моделей анализируемых информационных структур

4.2 Этапы проектирования схем базы данных с использованием разработанных алгоритмов

4.3 Экспериментальное сравнение двух методов оптимизации структур данных: метода нормализации с использованием семантических зависимостей и метода синтеза баз данных

4.4 Экспериментальное сравнение времени выполнения разработанных алгоритмов

4.5 Программная реализация разработанных алгоритмов и примеры использования полученных результатов

4.6 Выводы по главе

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

СПИСОК СОКРАЩЕНИЙ И УСЛОВНЫХ ОБОЗНАЧЕНИЙ

СПИСОК ЛИТЕРАТУРЫ

ПРИЛОЖЕНИЕ. КОПИИ АКТОВ О ВНЕДРЕНИИ

171

Введение диссертации (часть автореферата) на тему «Методики и алгоритмы извлечения знаний из реляционных баз данных на основе семантики предметной области»

ВВЕДЕНИЕ

Актуальность темы исследования. При разработке информационных систем разработчикам необходимо не только учитывать специфику работы системы, но и структуру данных в базе данных (БД). Информационная структура данных является основой БД, определяющей возможности хранения и извлечения информации, обеспечивающие ее целостность, и ограничивающие избыточность данных и устранение риска нежелательных ошибок в процессе эксплуатации БД.

Поскольку в наши дни информационные технологии стремительно развиваются, то в некоторых случаях возникает необходимость изменения существующих БД для удовлетворения новых потребностей и запросов потребителей. Данная задача решается путем перепроектирования БД, что сопряжено со значительными затратами времени и усилий, и не гарантирует от ошибок, которые могут проявиться при эксплуатации уже разработанной системы. Чтобы преодолеть эту проблему, реинжиниринг необходимо осуществлять, опираясь на существующую информационную структуру данных. С другой стороны, подход к проектированию БД с помощью ER-модели достаточно сложен ввиду множества структурных закономерностей, присущих конкретной БД. Это обусловливает необходимость проведения анализа предметной области информационных систем для повышения эффективности и качества проектирования схем отношений. Получение информации о предметной области предполагает выявление и извлечение структурных закономерностей из актуальных данных. Результаты анализа предметной области также могут быть использованы для оптимизации информационных структур данных.

В последние годы человечеством было накоплено огромное количество

данных, исследование и применение которых включает процессы анализа,

фильтрации, преобразования и моделирования с целью извлечения полезной

информации и принятия решений необходимы для развития хозяйствующих и

управленческих организаций. Для осуществления анализа данных в БД с целью

оптимизации их информационных структур также необходимо выявление всех

семантических закономерностей между атрибутами сущностей предметной

4

области. Это позволяет удовлетворять запросы и выполнять анализ данных быстрее и с высокой эффективностью.

Степень разработанности темы диссертационного исследования. В

настоящее время многими учеными во всем мире проводятся научные исследования в области хранения, обработки и структурирования больших объемов данных, преследующие две основные цели - создание информационных структур и использование их для обработки данных.

Создание БД - это процесс планирования и организации структурных моделей для хранения данных в ЭВМ. Результатами исследований в этой области является создание методов и алгоритмов, авторами которых являются известные зарубежные и отечественные ученые: Кодд Э., Белл Д., Мейер Д., Уидом Д., Дейт К., Гримсон Б., Бернштейн Ф., Озсу М., Валдуриез П., Малыхина М. П., Кириллов В.В., Малышкин В. Э., Карпов В. Е., Левин В. К., Мещеряков С.В., Григорьев Ю.А. и др.

Использование БД - это процесс управления, обработки запросов и анализа данных, содержащихся в информационных структурах для поддержки деятельности организаций и предприятий. В эту область существенный вклад внесли зарубежные и отечественные ученые: Агравал Р., Уилльямс У. Т., Огихара М. , Боггс У., Кумар В., Квинлан Дж., Зиновьев А. Ю., Дьяконов А. Г., Вапник В. Н., Мерков А.Б., Бетелин В. Б., Воеводин В. В., Четверушкин Б. Н., Зверев Д. Л., Сиротюк В. О., Полухин К. В. и др.

Несмотря на большое количество публикаций недостаточно проработанными остаются вопросы оптимизации информационных структур реляционных баз данных (РБД) на основе извлечения семантических закономерностей из содержащихся в них актуальных данных. Актуальным является создание методик и алгоритмов разработки информационных структур баз данных и оптимизации информационных структур с использованием семантических закономерностей. Основные результаты диссертации позволяют решить научную задачу, имеющую важное значение в области обработки

актуальных данных с целью повышения производительности РБД и снижения временных затрат на их проектирование.

Целью исследования является сокращение времени проектирования и уменьшение риска ошибок для совершенствования существующих информационных структур баз данных за счет использования знаний о предметной области.

Задачи исследования. Для достижения поставленной цели в работе требуется решить следующие задачи.

1 Сравнительный анализ методик и алгоритмов извлечения знаний о предметной области из информационных структур баз данных.

2. Разработка методики и алгоритмов извлечения и сравнений знаний о предметной области на основе анализа информационных структур баз данных с учетом семантических зависимостей.

3. Разработка методики и алгоритмов оптимизации по критерию соответствия предметной области и устранения аномалий и избыточности получаемых информационных структур данных с учетом закономерностей предметной области.

4. Проведение экспериментальных исследований предложенных методик и алгоритмов анализа информационных структур БД с последующим сравнением результатов и оптимизацией информационных структур.

Методология и методы исследования: теория алгоритмов, теория множеств, реляционная алгебра, методы анализа зависимостей, методы оценки алгоритмов, теория исчислений.

Научной новизной обладают следующие результаты работы.

1. Методика извлечения и сравнений знаний о предметной области на основе анализа информационных структур баз данных, отличающаяся извлечением семантических закономерностей из содержащихся в РБД актуальных данных и обеспечивающая сокращение времени проектирования и уменьшение риска ошибок.

2. Алгоритмы поиска функциональных зависимостей для извлечения из существующих БД знаний о предметной области, применение которых обеспечивает повышение производительности и сокращение времени извлечения данных за счет использования свойств, полученных из аксиом выводимости структурных закономерностей.

3. Алгоритмы сравнительного анализа на эквивалентность двух множеств функциональных зависимостей, полученных из одной предметной области двумя способами: экспертным анализом и исследованием существующих БД, которые позволяют точно указать местоположение ошибок в информационной структуре и применение которых дает возможность сократить временные затраты на проектирование схем РБД при реинжиниринге схем баз данных.

4. Методика и алгоритмы оптимизации информационной структуры данных в РБД с использованием семантических зависимостей, отличающиеся от существующих набором и порядком исполнения этапов и процедур, что позволяет выявить пропущенные функциональные зависимости в отношениях базы данных, сократить избыточность данных, уменьшить риски аномалий данных и сократить время проектирования.

Основные положения, выносимые на защиту

1. Методика и алгоритмы извлечения из БД знаний о предметной области на основе анализа структур и данных.

2. Алгоритмы сравнительного анализа схем РБД на основе изучения семантики предметной области.

3. Методика и алгоритм оптимизации информационной структуры данных в РБД с использованием семантических зависимостей.

4. Результаты экспериментального исследования разработанных алгоритмов с использованием разработанного программного стенда.

Практическая значимость работы

Применение результатов анализа предметной области на основе извлечения

знаний о предметной области дает возможность сократить время проектирования

информационной системы и повысить ее качество (уменьшить количество

7

ошибок в схеме БД). Результаты работы могут быть использованы для анализа больших данных, упрощая верификацию структур хранилищ данных. Основные результаты диссертации внедрены в ОАО «Технические Решения Технологии C&T» (страна Вьетнам) и ОАО «Дизайн и Архитектура Kien Thinh» (страна Вьетнам), а также используются в учебном процессе Рязанского государственного радиотехнического университета имени В.Ф. Уткина.

Соответствие паспорту специальности. Содержание работы соответствует областям исследований п.2 и п.5 паспорта специальности 05.13.17 -«Теоретические основы информатики».

Апробация результатов. Материалы работы докладывались и обсуждались:

- На I Международном научно-техническом форуме «Современные технологии в науке и образовании». СТНО-2018 (г. Рязань, 2018);

- Всероссийской научной технической конференции «Интеллект 2019»(г. Тула, 2019);

- III международном научно-техническом форуме «Современные технологии в науке и образовании». СТНО-2020 (г. Рязань, 2020);

- Международной научно-практической конференции «Наука, образование, инновации: актуальные вопросы и современные аспекты» (г. Пенза, 2020);

- XII международной научно-практической конференции «Advanced Science» (XII International scientific conference Advanced Science) (г. Пенза, 2020).

Публикации. Основные научные результаты диссертации опубликованы в 13 работах, включая 4 статьи в журналах, рекомендованных ВАК, 1 статью в издании, индексируемом в наукометрической базе Scopus, и 5 тезисов докладов на международных и всероссийских научных конференциях, 1 статью в других журналах, 2 свидетельства о регистрации программы для ЭВМ и баз данных.

Структура работы. Диссертация изложена на 177 страницах машинописного текста и состоит из введения, четырех глав, заключения, списка использованной литературы из 171 наименования, перечня сокращений и 1

приложение. Диссертация содержит 27 рисунков и 34 таблицы.

8

ГЛАВА 1. СРАВНИТЕЛЬНЫЙ АНАЛИЗ МЕТОДИК И АЛГОРИТМОВ ИССЛЕДОВАНИЯ ИНФОРМАЦИОННЫХ СТРУКТУР БАЗ ДАННЫХ

1.1 Тенденция развития моделей представления данных

Ядром любой базы данных является модель представления данных. Модель данных представляет собой абстрактную модель, в которой элементы данных организованы и стандартизированы таким образом, что они связаны друг с другом в соответствии со свойствами реальных объектов. Модель данных позволяет представить объекты предметной области и взаимосвязи между ними.

Термин «модель данных» может относиться к двум различным, но тесно связанным понятиям. С одной стороны, это относится к абстрактной формализации объектов и отношений в определенной области, с другой это относится к набору понятий, используемых для определения этих форматизаций: например, упомянуть такие концепции, как сущности, атрибуты, отношения или таблицы. Модель данных всегда четко определяет структуру данных, в которой хранятся данные. Модель данных иногда может быть представлена как структура данных, особенно в аспекте языков программирования [14, 18, 21, 27, 30, 71, 72, 88].

Термин «модель данных» имеет два аспекта:

1. Теория модели данных - формальное описание того, как данные могут быть структурированы и доступны. Теория модели данных имеет три основных компонента:

- Структурная часть: совокупность структур данных, которые используются для создания баз данных, представляющих объекты, моделируемые базой данных.

- Часть целостности: совокупность правил, управляющих ограничениями, накладываемыми на эти структуры данных для обеспечения структурной целостности.

- Часть манипулирования: совокупность операторов, которые могут применяться к структурам данных, чтобы обновить и запросить данные, содержащиеся в базе данных .

2. Экземпляр модели данных - применение теории модели данных для создания фактического экземпляра модели данных для некоторого конкретного проекта. Это предназначено для удовлетворения ряда требований пользователей к данным. Эти требования обычно выражаются семантической логической моделью данных. Семантическая логическая модель данных будет преобразована в физическую модель данных, из которой создается база данных [17, 19, 22, 28, 72].

Например, разработчик моделей данных может использовать инструмент моделирования данных для создания ER-модели данных в интересах некоторого бизнес-предприятия. Затем ER-модель будет преобразована в реляционную модель, которая создает реляционную базу данных.

Управление большими объемами структурированных и неструктурированных данных является основной функцией информационных систем. Модели данных позволят описывать информационную структуру, ограничение целостности и способ манипуляции данными, хранящимися в системах управления данными. Они обычно не описывают неструктурированные данные, такие как текстовые документы, сообщения электронной почты, изображения, цифровое аудио и видео.

Согласно [14, 17] по стандарту ANSI существует архитектура для моделей представления данных. Принято выделять три уровня в архитектуре данных:

- Концептуальный уровень: описывает семантику предметной области, которая является областью действия модели. Он включает в себя классы сущностей, представляющие существенные свойства в предметной области и подтверждающие связь между парами классов сущностей. Концептуальная схема определяет типы событий или предложений, которые могут быть выражены с помощью модели. В этом смысле она определяет допустимые выражения в искусственном "языке" с областью действия, которая ограничена областью действия модели.

- Логический уровень: описывает семантику, представленную конкретной технологией обработки данных. Она включает в себя описания таблиц и столбцов,

объектно-ориентированных классов и структуры XML.

10

- Физический уровень: описывает физические средства, в которых хранятся данные. Это касается разделов, процессоров, табличных пространств и тому подобное.

Важность такого подхода, в соответствии с ANSI, заключается в том, что он допускает три относительно независимые модели данных. Технология хранения данных может изменяться, но не затрагивая логические или концептуальные модели. В каждом случае, конечно, структуры данных должны соответствовать своим моделям.

Структура данных может отличаться от класса сущностей и их атрибута, но в основном она должна выполнять задачи концептуальной структуры класса сущностей. На ранних стадиях многих проектов разработки программного обеспечения инженеры сосредоточились на разработке концептуальной модели данных. Такие проекты могут быть детализированы в логическую модель данных. На более поздних этапах эта модель может быть преобразована в физическую модель данных. Тем не менее, также возможно сделать концептуальную модель.

Одна из первых новаторских работ в области моделирования информационных систем была выполнена Янгом и Кентом в 1958 г. с точным и абстрактным обоснованием для определения информационных и временных характеристик в задаче обработки данных. Они хотели создать метод, который позволил бы аналитикам решать проблемы с любым оборудованием. Их работа была первой попыткой создать абстрактную спецификацию и неизменную основу для разработки альтернативных реализаций с использованием различных аппаратных компонентов. Следующий шаг в моделировании ИС был сделан организацией CODASYL, которая была создана в 1959 году и ориентирована в основном на задачи Янга и Кента: разработка структуры данных, подходящей для информационных систем, не зависит от языка описания на уровне систем обработки данных. Это привело к разработке специфической информационной алгебры ИС [88].

В 1960-х годах моделирование данных приобрело большое значение с

появлением концепции управления информационной системой, в которой

11

информационная система обеспечивается данными и информацией для управления. Система баз данных первого поколения, называемая интегрированным хранилищем данных (Integrated Data Store), была разработана Чарльзом Бахманом. В течение этого периода были предложены две известные модели данных: сетевая и иерархическая.

Компания IBM разработала иерархическую модель в 1960-х годах, при этом данные организованы в древовидную структуру. Иерархическая модель представляет данные в виде записей, которые связаны ссылками. Каждая запись имеет родительскую запись, начиная с корневой записи. Возможно, это самая простая модель для понимания, потому что в реальном мире существует много иерархий, например в организациях, в армии, в правительстве и даже в таких местах, как школы. Записи в иерархической модели содержали одно поле. Чтобы получить доступ к данным с использованием этой модели необходимо просмотреть все дерево [18, 21, 26, 71]. Например, на рисунке 1.1 приведена иерархическая модель данных, описывающая структуру университета.

Рисунок 1.1 - Иерархическая модель данных В настоящее время иерархическая модель данных все еще существует и имеет место в разработке информационных систем, несмотря на значительные достижения в технологии. Например, компания Microsoft использует данную модель в реестре Windows и в файловых системах, поскольку она имеет большее преимущество, чем современные модели данных с точки зрения скорости и простоты обработки данных. Однако у такой модели существует много

недостатков, основным из которых является то, что она не может легко представлять связи между типами данных. Это может быть достигнуто с помощью довольно сложных методов, но для этого разработчик базы данных должен быть экспертом, который понимает основные принципы работы этих систем. Недостатком иерархической модели являются громоздкость для обработки данных со сложными логическими связями и сложность понимания в использовании.

В 1969 году ученые организации CODASYL представили сетевую модель данных. Это была значительная инновация в течение то время в теории баз данных. Сетевая модель данных является расширенной версией иерархической модели, которая позволяет устранить все недостатки, имеющиеся в предыдущей модели.

Основное различие между иерархической моделью и сетевой моделью заключается в том, что сетевая модель позволяет каждый элемент одного уровня связать с любым количеством элементов другого уровня. На рисунке 1.2 приведена сетевая модель данных, описывающая структуру университета. Каждый блок из схемы является сущностью. Сетевая модель позволяет сущностям иметь взаимосвязи, как в реальной жизни. Сетевая модель данных имеет недостатки: высокую сложность и жесткость схемы базы данных, созданной на её основе [14, 18, 21, 26].

Рисунок 1.2 - Сетевая модель данных

Сетевые и иерархические модели использовались в течение 1960-х - 70-х годов, потому что они предлагали лучшую производительность. Хотя сетевая модель действительно улучшила иерархическую модель, но она не стала доминирующей. Основная причина состояла в том, что компания IBM продолжала использовать иерархическую модель в разработке программного обеспечения больше, чем сетевую модель.

К концу 1960-х годов Эдгар Ф. Кодд разработал свою теорию организации данных и предложил реляционную модель представления данных, основанную на логике предикатов первого порядка. Реляционная модель стала гораздо легче для понимания и имела лучший интерфейс для программирования. Компьютерные системы, используемые в 60-х и 70-х годах, нуждались в самом продвинутом подходе, поскольку аппаратные средства были крайне ограниченны [15, 19, 27, 71, 72, 73, 74].

В 1970-х годах модель «сущность - связь» (ER-модель) появилась как новый тип концептуального моделирования данных. Она была первоначально предложена в 1976 году Питером Ченом. ER-модель использовалась на первом этапе проектирования информационной системы для описания информационных потребностей или типов данных, которые должны храниться в базе данных. С помощью этого метода можно описывать любую онтологию, т. е. дать обзор, классификацию концепций и их взаимосвязей в определенной области интересов. Эта модель фиксирует отношения между сущностями реального мира так же, как сетевая модель, но она не так прямо связана с физической структурой базы данных. Вместо этого она часто используется для концептуального проектирования базы данных.

В конце 1970-х М. Найссен разработал метод анализа информации на естественном языке (NIAM), а в 1980-х годах совместно с Терри Халпином разработал объектно-ролевое моделирование данных. В 1989 году Терри Халпин предложил формальное основание подхода к объектно-ролевому моделированию данных.

В 1980-х годах разработка объектно-ориентированной модели привела к значительным изменениям в создании данных и процедур, которые выполняются с данными. По традиции данные и процедуры хранятся отдельно: данные и их схемы хранятся в базе данных, а процедуры хранятся в прикладной программе. Однако объектная ориентация объединяет процедуру сущности с ее данными .

C 1990-х годов до наших дней появляются и применяются еще несколько моделей данных, таких как пост-реляционная модель, многомерная модель, EAV-модель, документная модель, звёздная модель, модель снежинки, прогнозирующая модель и т.п.

Кроме того, в течение этого времени появился новый подход к представлению данных - безмодельный подход NoSQL. Он представляет собой большой переход от традиционной реляционной базы данных к нереляционной. Основным различием между базой данных NoSQL и традиционной реляционной базой данных является то, что NoSQL использует неструктурированную форму для хранения данных. Это означает, что базы данных NoSQL не имеют фиксированной структуры таблиц, как в реляционных базах данных. Базы данных NoSQL предлагают более гибкие и эффективные способы для обработки различных типов данных. Например, при работе с данными, которые являются текстом, графикой, документом [20, 29, 30].

Инструменты моделирования данных появились и развивались на протяжении многих лет и будут продолжать развиваться в ближайшие годы. Различия в инфраструктуре, исходных данных, моделях и схемах, которые содержатся в данных различных организаций и компаний, вероятно, приведут к тому, что обработка данных станет более сложной в будущем. Однако все достижения в области прогнозного моделирования, искусственного интеллекта и стандартизированных моделей могут снизить сложность моделирования данных, что позволит пользователям легче управлять своими данными. Упрощение модели данных также поможет повысить надежность и гибкость данных в процессе обработки.

Способность выполнять любые сложные задачи и находить оптимальные алгоритмические методы, которые могут быть легко реализованы в любых информационных системах, это тенденция развития модели данных, которая не изменится.

1.2 Классификация баз данных

Существует огромное количество разновидностей баз данных, отличающихся по различным критериям. Основные классификации приведены ниже:

- По форме представленных данных.

- По виду данных.

- По структуризации данных.

- По характеру данных.

- По организации хранения.

- По количеству пользователей .

Конкретные типы базы данных, которые исследуются в диссертации, отмечены жирной рамкой на рисунке 1.3.

1.3 Анализ реляционных и нереляционных подходов к хранению данных в современной информационной системе

Реляционная модель данных была предложена в 1969 г. Эдгаром Коддом, известным специалистом в области баз данных. Реляционная модель представляет собой совокупность данных, которая состоит из связанных между собой двумерных таблиц. Базой данных, организованной на основе реляционной модели, называется реляционная база данных. Наиболее известными альтернативами реляционной модели являются иерархическая модель, сетевая модель и объектно-ориентированная модель. С момента появления реляционная модель данных превзошла альтернативы, поскольку она спроектирована, чтобы быть проще в использовании и иметь больше преимуществ. Реляционный подход стал удобной и наиболее привычной формой представления данных. Он является

фактическим стандартом, на который ориентируются практически все современные коммерческие СУБД.

Рисунок 1.3 - Классификация базы данных Наряду с развитием реляционной базы данных появляется нереляционный подход к проектированию базы данных. В последнее время термин NoSQL стал очень модным и популярным. NoSQL представляет нереляционный подход к реализации масштабируемого хранилища информации с гибкой моделью данных, отличающаяся от классических реляционных СУБД. NoSQL появилась, потому что базы данных в то время не могли справиться с хранением крупномасштабной информации. Появление этой новой базы данных решило ряд проблем, связанных с масштабом информационных систем и быстрым развитием данных. Подход

NoSQL предоставляет новый и эффективный способ для хранения данных с объемом в петабайтах [20, 30, 75, 76].

Однако в процессе решения проблем, связанных с большими данными и большим количеством одновременных пользователей, NoSQL отказался от некоторых основных функций традиционных баз данных с целью повышения скорости обработки данных большого масштаба. Этот компромисс может стать самым большим вкладом в решение задачи проектирования и управления базами данных, что вызывает необходимость эволюции в традиционном подходе, чтобы объединить способность обрабатывать большие данные с гибкостью реляционной модели, имеющей определенную структуру для создания улучшенной масштабируемой реляционной базы данных.

Реляционные базы данных развивались, чтобы создать новое поколение со способностью справиться практически со всей рабочей нагрузкой, отвечающей требованиям к масштабируемости, надежности и доступности, в чем современная информационная система очень нуждается. Например, для решения таких задач, как выполнение транзакций, бизнес-анализа и операционного анализа деятельности организации и т.п. Появление новых хранилищ данных, таких как Google Spanner, MemQuery, Microsoft Azure SQL, разработанных на основе реляционной модели, доказало, что в большинстве случаев реляционные базы данных проще в использовании и в целом работают лучше, чем системы NoSQL.

Список литературы диссертационного исследования кандидат наук Нгуен Нгок Зыонг, 2021 год

СПИСОК ЛИТЕРАТУРЫ

1. Нгуен, Н.З. Алгоритм коррекции схемы реляционной базы данных / А.И. Баранчиков, Н.З. Нгуен // Вестник РГРТУ. - 2019. - № 69. - С. 93-101.

2. Нгуен, Н.З. Алгоритм сравнения схем реляционных баз данных на основе анализа семантики предметной области / А.И. Баранчиков, Н.З. Нгуен // Вестник РГРТУ. - 2019. - № 67. - С. 45-49.

3. Нгуен, Н.З. Алгоритм обнаружения закономерностей в данных, позволяющих проверить отсутствие функциональной зависимости / А.И. Баранчиков, Н.З. Нгуен // Cloud of Science. - 2019. -Т. 6. - №. 4. - С. 693-700.

4. Нгуен, Н.З. Разработка алгоритма создания моделей анализируемых информационных структур / А.И. Баранчиков, Н.З. Нгуен // XXI век: итоги прошлого и проблемы настоящего плюс. - 2020. -Т. 9 . - № 1 (49). - С. 38-42.

5. Нгуен, Н.З. Реинжиниринг существующих баз данных информационных систем / А.И. Баранчиков, Н.З. Нгуен // Методы и средства обработки и хранения информации: межвуз. сб. науч. тр. - Рязань: РГРТУ. - 2017. - С. 62-64.

6. Нгуен, Н.З. Снижение избыточности данных в реляционных базах данных за счет проверки ее структуры методом табло / А.И. Баранчиков, Н.З. Нгуен // Современные технологии в науке и образовании - СТН0-2018 [текст]: сб. тр. междунар. науч.-техн. форума: в 10 т. / под общ. ред. О.В. Миловзорова. - Рязань: РГРТУ. - 2018. - Т. 4. - С. 128-132.

7. Нгуен, Н.З. Оптимизация данных в базах данных путем дополнительного исследования их информационных структур / А.И. Баранчиков, Н.З. Нгуен // Интеллектуальные и информационные системы (Интелект 2019): сб. тр. Всероссийской науч.-техн. конф. - Тула: ТулГУ. - 2019. - С. 64-70.

8. Нгуен, Н.З. Моделирование информационных структур для исследования алгоритмов верификации баз данных / А.И. Баранчиков, Н.З. Нгуен // Современные технологии в науке и образовании - СТН0-2020 [текст]: сб. тр. III междунар. науч.-техн. форума: в 10 т. / под общ. ред. О.В. Миловзорова. - Рязань: РГРТУ. - 2020. - Т. 4. - С. 53-58.

9. Нгуен, Н.З. Разработка алгоритма определения семантических зависимостей в информационных структурах данных / А.И. Баранчиков, Н.З. Нгуен // Наука, образование, инновации: актуальные вопросы и современные аспекты: сб. статей междунар. науч.-практ. конф. - Пенза: МЦНС «Наука и просвещение». - 2020. -С. 33-36.

10. Нгуен, Н.З. Алгоритм нормализации схем реляционных баз данных с использованием многозначных зависимостей / А.И. Баранчиков, Н.З. Нгуен // Advanced Science: сб. статей XII междунар. науч.-практ. конф. - Пенза: МЦНС «Наука и просвещение». - 2020. - С. 36-38.

11. Nguen, Ngok Z. Application of probabilistic Approach while Forming Hash-function by Signature in the Process of Domain-specific Local Database Analysis / Boris V. Kostrov, Robert V. Khrunichev, Denis S. Stepanov, Elena P. Koroleva, Ngok Z. Nguen // 2018 7th IEEE Mediterranean conference on Embedded Computing (MECO). - Budva, Montenegro. - June 2018. - Р. 216-220.

12. Баранчиков А.И. Синтез информационных структур хранения данных на основе анализа предметных областей. - Рязань: ГУП РО Рязанская областная типография. - 2014. - 231 с.

13. Громов А.Ю., Баранчиков А.И., Костров Б.В. Метод и алгоритм формирования семантического описания предметной области на основе схемы реляционной базы данных. - Пенза: Издательский дом "Академия естествознания". - 2015.-256 с.

14. Дейт К.Дж., Хью Дарвен. Основы будущих систем баз данных. Третий манифест. Перевод: С.Д.Кузнецов, Т.А.Кузнецова, Издательство Янус-К. - 2004. 656 с.

15. Кириллов В.В. Введение в реляционные базы данных. - М.: БХВ-Петербург. - 2016. - 318 c.

16. Латыпова Р. Р. Базы данных. курс лекций. - М.: Высшая школа. - 2016. -177 c.

17. Стружкин Н. П. Базы данных. Проектирование. Учебник. - М.: Юрайт. -2016. - 478 c.

18. Кузнецов С.Д. Основы баз данных. - М.: Бином. - 2017. - 488 а

19. Мейер Д. Теория реляционных баз данных. Пер. с англ. - М.: Мир. - 1987.

- 608с.

20. Прамодкумар Дж. Садаладж, Фаулер М. NoSQL. Новая методология разработки нереляционных баз данных. - М.: Вильямс. - 2013. -192 а

21. Малыхина М.П. Базы данных. Основы, проектирование, использование. -СПб.: БХВ-Петербург. - 2004. - 512 с.

22. Крёнке Д. Теория и практика построения баз данных. - СПб.: Питер. -2003. - 800 с.

23. Ахо Альфред В., Хопкрофт Джон Э., Ульман Джеффри Д. Структуры данных и алгоритмы. Пер. с англ. - М.: Вильямс. - 2000. - 384 с.

24. Хомоненко А. Базы данных. - М.: Бином-Пресс. - 2007. - 736 с.

25. Пушников А.Ю. Введение в системы управления базами данных. Часть 1. Реляционная модель данных: Учебное пособие // Изд-е Башкирского ун-та. Уфа.

- 1999.- 108 с.

26. Чертовской В.Д. Базы и банки данных: Учебное пособие // СПб: Изд-во МГУП. - 2001. - 220 с.

27. Преснякова Г.В. Проектирование интегрированных реляционных баз данных. - М.: КДУ; СПб: Полиграф. - 2007. - 224 с.

28. Шаймарданов, Р.Б. Моделирование и автоматизация проектирования структур баз данных / Р.Б. Шаймарданов. - М.: Радио и связь. - 2016. - 120 а

29. Уорден, К. Новые интеллектуальные материалы и конструкции. Свойства и применение / К. Уорден. - М.: Техносфера. - 2018. - 224 а

30. Фуфаев, Э. В. Базы данных / Э.В. Фуфаев, Д.Э. Фуфаев. - М.: Академия. -2016. - 320 а

31. Кудрявцев, В.Б. Интеллектуальные системы. Учебник и практикум для бакалавриата и магистратуры / В.Б. Кудрявцев, Э.Э. Гасанов, А.С. Подколзин. -Москва: ИЛ. - 2016. - 219 а

32. Кириллов, В.В. Введение в реляционные базы данных / В.В. Кириллов. -М.: БХВ-Петербург. - 2016. - 318 а

33. Илюшечкин, В. М. Основы использования и проектирования баз данных. Учебник / В.М. Илюшечкин. - М.: Юрайт. - 2015. - 214 с.

34. Голицына, О. Л. Базы данных / О.Л. Голицына, Н.В. Максимов, И.И. Попов. - М.: Форум. - 2015. - 400 с.

35. Уэлдон Администрирование баз данных / Уэлдон, Дж.-Л.. - М.: Финансы и статистика. - 2011. - 207 с.

36. Атре, Ш. Структурный подход к организации баз данных / Ш. Атре. - М.: Финансы и статистика. - 2016. - 311 с.

31. Шелухин О.И. Моделирование информационных систем. - М.: Горячая Линия - Телеком. - 2011. - 536 с.

38. Атчисон Л. Масштабирование приложений. Выращивание сложных системю. - СПб: Питер. - 2016. -256 с.

39. Советов Б. Я. Яковлев С. А. Моделирование систем. Учеб. для вузов // 3-е изд., перераб. и доп. М.: Высш. шк.. - 2001. - 343 с.

40. Бенгфорт, Б. Прикладной анализ текстовых данных на Python. Машинное обучение и создание приложений обработки есте / Б. Бенгфорт. - СПб.: Питер. -2019. - 368 с.

41. Марманис, Х. Алгоритмы интеллектуального Интернета. Передовые методики сбора, анализа и обработки данных / Х. Марманис, Д. Бабенко. - М.: Символ. - 2011. - 480 с.

42. Тюрин, Ю.Н. Анализ данных на компьютере / Ю.Н. Тюрин, А.А. акаров. -М.: МЦНМО. - 2016. - 368 с.

43. Рафалович, В. Data mining или интеллектуальный анализ данных для занятых. Практический курс / В. Рафалович. - М.: SmartBook. - 2018. - 352 с.

44. Макшанов, А.В. Технологии интеллектуального анализа данных: Учебное пособие / А.В. Макшанов, А.Е. Журавлев. - СПб.: Лань. - 2018. - 212 с.

45. Лесковец, Ю. Анализ больших наборов данных / Ю. Лесковец, А. Раджараман. - М.: ДМК. - 2016. - 498 с.

46. Маккинли, У. Python и анализ данных / У. Маккинли. - М.: ДМК. - 2015. -482 с.

47. Чашкин, Ю.Р. Математическая статистика. Анализ и обработка данных: Учебное пособие / Ю.Р. Чашкин; Под ред. С.Н. Смоленский. — Рн/Д: Феникс. -2010. - 236 c.

48. Форман, Дж. Много цифр: Анализ больших данных при помощи Excel / Дж. Форман. - М.: Альпина Паблишер. - 2019. - 461 c.

49. Петрунин, Ю.Ю. Информационные технологии анализа данных: Учебное пособие / Ю.Ю. Петрунин. - М.: КДУ . - 2010. - 292 c.

50. Себастьян Рашка. Python и машинное обучение. - М.: ДМК Пресс.- 2017. -418 с.

51. Петер Флах. Машинное обучение. Наука и искусство построения алгоритмов, которые извлекают знания из данных. - М.: ДМК Пресс. -2017. -418 с.

52. Вьюгин В. В. Математические основы машинного обучения и прогнозирования.- М.: МЦНМО. - 2014. - 304 с.

53. Андреас Мюллер, Сара Гвидо Введение в машинное обучение с помощью Python. Руководство для специалистов по работе с данными.- М: Вильямс.-2017.- 480 с.

54. Бринк Хенрик, Ричардс Джозеф, Феверолф Марк. Машинное обучение.-СПб.: Питер. - 2017. - 336 с.

55. Гудфеллоу Ян, Бенджио Иошуа Глубокое обучение / пер. с анг. А. А. Слинкина. - 2-е изд., испр. - М.: ДМК Пресс. - 2018. - 652 с.

56. Баранчиков, А.И. Реинжиниринг ключей в отношениях реляционных баз данных/ А.И. Баранчиков, А.В. Алпатова // Вестник Рязанского государственного радиотехнического университета. - 2008. - №26. - С. 58 - 62.

57. Баранчиков А.И., Кухарев С.Э. Алгоритмы реинжиниринга атрибутов конфиденциальности в реляционных базах данных // Вестник Рязанского государственного радиотехнического университета. - 2011. - № 35. - С. 72-75.

58. Баранчиков А.И., Костров Б.В. Теория и методы исследования моделей и алгоритмов представления данных для предметных областей с ранжируемыми

атрибутами // Вестник Рязанского государственного радиотехнического университета. - 2013. - № 4 (46), часть 2. - С. 59-64.

59. Вельмисов А. П. Расширенные функциональные зависимости в реляционных базах данных // Вестн. УлГТУ N 3. - 2004. - С. 52-55.

60. Брешенков А.В., Мин Тхет Тин. Преобразование нереляционных таблиц к реляционному виду без использования сложных атрибутов. Вестник Московского государственного технического университета им. Н.Э. Баумана. Серия: Приборостроение. - 2012. - № 2. - С. 59-69.

6\. Григорьев Ю. А. " Алгоритм синтеза частично оптимальной схемы реляционной базы данных // Машиностроение и компьютерные технологии, № 01. - 2012.- С. 1-31

62. Дудров А.Е. Модель распределенной информационной структуры // Журнал XXI век: итоги прошлого и проблемы настоящего плюс.-2013.-Том 9 .-№ 10 (14). - С. 117-123.

63. Филатов В. А., Чапланова Е. Б., Сизов А. И., Танянский С. С. Модель «сущность-связь» в задачах представления объектно-реляционных свойств предметной области // НАН. - 2011. - С. 73-78.

64. Филатов В. А. Семенец Р. В. Методы и средства проектирования информационных систем и распределенных баз данных // Вестник Херсонского национального технического университета. - 2007. - №4. - С. 203-207.

65. Левыкин В. М., Филатов В. А., Черненко Н. В. Метод синтеза единой структурной составляющей реляционной модели данных // Управляющие системы и машины. - 2011. - № 6. - С. 10-13.

66. Филатов В. А. Компонента ограничений целостности как элемент объектно-реляционной модели данных / В. А. Филатов, Н. О. Спивак, Е. Б. Чапланова. // УкрГУЖТ. - 2014. - С. 30-34.

67. Храмов В. Ю. Алгоритм синтеза схемы реляционной базы данных на основе функциональных зависимостей // Информация и космос. - 2009.- № 1.- С. 93-101.

68. Мирошник С. Н. Алгоритм оптимизации структуры базы данных реального времени с минимальной избыточностью информации // Управление большими системами: сборник трудов.- М.: ВЦ РАН. - 2015.- С. 25-34.

69. Помазанов А.В., Белоусова А.И., Васильева А.О., Остроух А.В. Методика оптимизации баз данных//В мире научных открытий. - 2012. - № 12. - С. 49-54.

70. Дрождин В.В., Зинченко Р.Е. Обработка данных в информационной системе с динамическим соответствием модели предметной области и схемы базы данных// Известия Пензенского государственного педагогического университета им. В.Г. Белинского. - 2010.- № 22.- С. 145-150.

71. Jean-Luc Hainaut. Introduction to Database Design// LIBD Publish.- 2002. -330 p.

72. Date C.J., Darwen Hugh. Databases, Types, and the Relational Model// The Third Manifesto. -Addison Wesley. 3th edition. - 2007. - 556 p.

73. Segio Greco, Cristian Molinaro, Francesca Spezzano. Incomplete Data and Data Dependencies in Relational Databases// Publisher: Morgan & Claypool. - 2012.- 123 p.

74. Joseph M. Hellerstein, Michael Stonebraker, James Hamilton. Architecture of a Database System// Publisher: Now Foundations and Trends.- now. - 2007.- 128 p.

75. Meier A., Kaufmann M. SQL & NoSQL Databases: Models, Languages, Consistency Options and Architectures for Big Data, Publisher// Springer Vieweg. -2019. -248 p.

76. Pivert O. NoSQL Data Models: Trends and Challenges (Computer Engineering: Databases and Big Data)// Publisher: ISTE Ltd.. - 2018.- 278 p.

77. Challawala S., Lakhatariya J. , Mehta C. , Patel K. MySQL 8 for Big Data: Effective data processing with MySQL 8, Hadoop.- noSQL APIs, and other Big Data tools// Publisher: Packt Publishing. - 2017.- 296 p.

78. Hills T. NoSQL and SQL Data Modeling: Bringing Together Data, Semantics, and Software// Publisher: Technics Publications. - 2016.- 258 p.

79. Henrard, J. Data dependency elicitation in database reverse engineering// Software Maintenance and Reengineering Conference. - 2001. - Pp. 11-19.

80. De Raedt, L. Logical and relational learning// Cognitive Technologies.- New York: Springer. - 2008. -120 p.

81. Han, J., & Kamber, M. Data mining: Concepts and techniques (2nd Edition) .San Francisco, CA, USA: Morgan Kaufmann Publishers Inc. . - 2005. -215 p.

82. Sarah Guido, Andreas C. Mueller Introduction to Machine Learning with Python: A Guide for Data Scientists Paperback.- O'Reilly Media. 1 edition. - 2016.400 p.

83. Sebastian Raschka, Vahid Mirjalili. Python Machine Learning: Machine Learning and Deep Learning with Python, scikit-learn, and TensorFlow 2.- Packt Publishing. 3rd Revised edition edition.-2019.- 770 p.

84. Aurelien Geron. Hands-on Machine Learning with Scikit-Learn, Keras, and TensorFlow: Concepts, Tools, and Techniques to Build Intelligent Systems. -OReilly; 2nd New edition edition. - 2019.- 600 p.

85. Christopher M. Bishop. Pattern Recognition and Machine Learning.- SpringerVerlag New York Inc. - 2007.- 738 p.

86. Francois Chollet. Deep Learning with Python.- Manning Publications. -2017.-384 p.

87. Wes McKinney. Python for Data Analysis: Data Wrangling with Pandas, NumPy, and IPython.- O'Reilly Media; 2 edition. - 2017.- 550 p.

88. Janis A. Bubenko Jr. From Information Algebra to Enterprise Modelling and Ontologies - a Historical Perspective on Modelling for Information Systems.// In: Conceptual Modelling in Information Systems Engineering. John Krogstie et al. eds. -2007. - pp 1-18

89. Guo, H., Viktor, H.L., Paquet, E. (2011). Privacy disclosure and preservation in learning with multi-relational databases// JCSE, 5(3) . - 2011. - pp. 183-196.

90. Guo, H., & Viktor, H.L.. Mining relational data through correlation-based multiple view validation. In KDD '06 . New York, NY, USA. - 2011. - pp. 567-573.

91. Fan W., Geerts F., Jia X., Kementsietsidis A. Conditional functional dependencies for capturing data inconsistencies// ACM Transactions on Database

Systems. - 2008. - vol 33(2). - no 6. - pp.1-48.

161

92. Deutsch, A., Ludâscher, B., Nash, A. (2005). Rewriting queries using views with access patterns under integrity constraints. In Proc. 10th int. conf. on database theory. Edinburgh, UK. - 2005. - vol 17. - no 2. - pp.15-23.

93. Scott W. Ambler. Test-Driven Development of Relational Databases // IEEE Software. - May-June 2007May-June 2007. - vol 24. - no 3. - pp. 37 - 43. Doi 10.1109/MS.2007.91.

94. Hongyu Guo, Herna L. Viktor & Eric Paquet. Reducing the size of databases for multi relational classification: a subgraph-based approach // Journal of Intelligent Information Systems.- 2013.- vol 40.- pp. 349-374.

95. Jamil, H.M. Bottom-up association rule mining in relational databases. Journal of Intelligent Information Systems.- 2002.- vol 19(2) .- pp. 191-206.

96. D. Beneventano, S. Bergamaschi, S. Lodi, C. Sartori. Consistency Checking in Complex Object Database Schemata with Integrity Constraints// IEEE Trans. Knowledge and Data Eng.-1998.- vol. 10.- no. 4.- Pp. 576 - 598. DOI: 10.1109/69.706058.

97. A. Formica. Finite satisfiability of integrity constraints in object-oriented database schemas// in IEEE Transactions on Knowledge and Data Engineering.- 2002.-vol. 14.- no. 1.- pp. 123-139. DOI: 10.1109/69.979977

98. M. Lenzerini, P. Nobili. On the Satisfiability of Dependency Constraints in Entity-Relationship Schemata. Information Systems.- 1990.- vol. 15.- no. 4.- pp. 453461.

99. Scott W. Ambler, Scott J. Ambler, Pramodkumar J. Sadalage Refactoring Databases// Evolutionary Database Design. - 2011.- 384 pages.

100. J. Cieslewicz, K. A. Ross. Database optimizations for modern hardware. Proc. IEEE.- 2008.- vol. 96.- no. 5.- pp. 863-878.

101. F. Hao, J. Daugman, P. Zielinski. A fast search algorithm for a large fuzzy database // IEEE Trans. Inf. Forensics Sec.- 2008.- vol. 3.- no. 2.- pp. 203-212.

102. L. Caroprese, S. Greco and E. Zumpano. Active Integrity Constraints for

Database Consistency Maintenance// in IEEE Transactions on Knowledge and Data

Engineering.-2009.- vol. 21.- no. 7.- pp. 1042-1058.

162

103. M. Misaki, T. Tsuda, S. Inoue, S. Sato, A. Kayahara and S. Imai. Distributed Database and Application Architecture for Big Data Solutions// in IEEE Transactions on Semiconductor Manufacturing.- 2017.- vol. 30.- no. 4.- pp. 328-332.

104. M. A. Casanova, K. K. Breitman, D. F. Brauner and A. L. A. Marins. Database Conceptual Schema Matching// in Computer.- 2007.- vol. 40.- no. 10.- pp. 102-104.

105. Alfredo Cuzzocrea Pushing artificial intelligence in database and data warehouse systems // Data & Knowledge Engineering.- 2011.- vol 70.- no 8.- pp. 683-685.

106. S. Chang, V. Deufemia, G. Polese and M. Vacca. A Normalization Framework for Multimedia Databases// in IEEE Transactions on Knowledge and Data Engineering.- Dec. 2007.- vol. 19.- no. 12.- pp. 1666-1679.

107. D. A. Grier. The Relational Database and the Concept of the Information System// in IEEE Annals of the History of Computing.-Dec. 2012.- vol. 34.- no. 4.-pp. 9-17, Oct.

108. K. Kumar and S. K. Azad. Database normalization design pattern// 4th IEEE Uttar Pradesh Section International Conference on Electrical, Computer and Electronics (UPCON), Mathura. - 2017.- pp. 318-322.

109. A. H. Bahmani, M. Naghibzadeh, B. Bahmani. Automatic database normalization and primary key generation// IEEE CCECE/CCGEI.- May 2008.- pp. 11-16.

110. A. Bahmani, S. K. Shekofteh, M. Naghibzadeh and H. Deldari. Parallel algorithms for automatic database normalization// The 2nd International Conference on Computer and Automation Engineering (ICCAE) .- Singapore. - 2010.- pp. 157-161.

111. A. Yazici, Z. Karakaya. Normalizing relational database schemas using mathematical LNCS. - 2006.- vol 39.- pp. 375-382.

112. S. Kolahi, Dependency-Preserving Normalization of Relational and XML Data// in IEEE Transactions on Knowledge and Data Engineering. - 2007.- pp. 636647.

113. H. Kung, T. Case. Traditional and alternative database normalization techniques: Their impacts on is/it students perceptions and performance. // International Journal of Information Technology Education. - 2004.- vol. 1.- no. 1.- pp. 53-76.

114. N. Mendjoge, A. R. Joshi and M. Narvekar. Intelligent tutoring system for Database Normalization// International Conference on Computing Communication Control and automation (ICCUBEA), Pune. - 2016.- pp. 1-6.

115. N. Georgiev. A Web-Based Environment for Learning Normalization of Relational Database. September// International Journal of Information Technology Education. - 2008.- vol. 3.- no. 2.- pp. 73-78.

116. R. Vangipuram, R. Velpula, V. Sravya. A Web Based Relational Database Design Tool to Perform Normalization// International Journal of Wisdom Based Computing.- December 2011.- vol. 1.- no. 3.- pp. 15-23.

117. P. B. Alappanavar, R. Grover, S. Hunjan, D. Patil, D., Y. Girnar. Automating The Normalization Process For Relational Database// International Journal of Engineering Research and Applications.- January-February 2013.- vol. 3.- no. 1.-pp. 1826-1831,.

118. A. H. Bahmani, M. Naghibzadeh and B. Bahmani. Automatic database normalization and primary key generation// Canadian Conference on Electrical and Computer Engineering, Niagara Falls, ON. - 2008.- pp. 11-16.

119. A. Bahmani, S. K. Shekofteh, M. Naghibzadeh and H. Deldari. Parallel algorithms for automatic database normalization// The 2nd International Conference on Computer and Automation Engineering (ICCAE), Singapore. - 2010.- pp. 157-161.

120. K. Kumar and S. K. Azad. Database normalization design pattern// 4th IEEE Uttar Pradesh Section International Conference on Electrical, Computer and Electronics (UPCON), Mathura. - 2017.- pp. 318-322.

121. T. Hussain, S. Shamail and M. M. Awais. Eliminating process of normalization in relational database design// 7th International Multi Topic Conference. - 2003. INMIC 2003., Islamabad. - 2003.- pp. 408-413.

122. V. Filatov and V. Radchenko. Reengineering relational database on analysis functional dependent attribute// 2015 Xth International Scientific and Technical

164

Conference "Computer Sciences and Information Technologies" (CSIT), Lviv. - 2015.-pp. 85-87.

123. V. Filatov and V. Semenets. Methods for Synthesis of Relational Data Model in Information Systems Reengineering Problems// 2018 International Scientific-Practical Conference Problems of Infocommunications. Science and Technology (PIC S&T) . - Kharkiv, Ukraine. - 2018.- pp. 247-251.

124. Nick Rossiter. Re-engineering relational databases: the way forward// ISWSA '11 in ACM, New York, NY, USA. - 2011.- vol. 17.-pp. 145-152.

125. D. Yeh, Y. Li. Extracting entity relationship diagram from a table-based legacy database. //In Proc. European Conference on Software Maintenance and Reengineering. - 2005. -pp. 125-132.

126. J. Henrard, Data dependency elicitation in database reverse engineering// Software Maintenance and Reengineering Conference. - 2001.- pp. 11-19.

127. J. Nummenmaa, A. Seppi, P. Thanisch. Automating Support for Refactoring SQL Databases// Proceedings of the 16th International Conference on Information and Software Technologies. - 2010.- pp. 343-349.

128. M. Talla, R. Valverde. Data oriented and Process oriented Strategies for Legacy Information Systems Reengineering. //ACEEE Int. J. on Information Technology. - 2012.- vol. 02.- no. 01.-pp. 241-246.

129. J. Lemaitre, J.-L. Hainaut. Transformation-based Framework for the Evaluation and Improvement of Database Schemas. // Int. Conf. on Advanced Information Systems Engineering (CAiSE). - 2010. -pp. 74-82.

130. Chang Fay et al.. Bigtable: A distributed storage system for structured data.// ACM Transactions on ComputerSystems (TOCS) . - 2006.- vol. 26.2.- pp. 205218.

131. Zheng Ling, Li Qi, Zhang Qianyuan, Chen Wei. The Study of Adjustment and Optimization of Oracle Database in Information System. // Computational and Information Sciences (ICCIS) 2013 Fifth International Conference. - 2013.- pp. 442435.

132. H. Garcia-Molina, J.D. Ullman, J. Widom. Database Systems: The Complete Book. Second Edition. Prentice-Hall Upper Saddle River NJ. - 2009.- 1240 P.

133. E. Livshits, B. Kimelfeld, S. Roy. Computing optimal repairs for functional dependencies. // Proceedings of the ACM SIGACTSIGMOD-SIGART. - 27 May

2018.- pp. 225-237.

134. M. Glava, E. Malakhov. Searching similar entities in models of various subject domains based on the analysis of their tuples.// Proceedings of the International Conference on Electronics and Information Technology EIT 2016. - 23-27 May 2016.-pp. 1-4.

135. V. Kosenko, D. Bugas. Mathematical models for the parameters of data flows in information and telecommunication networks.// Eastern-European Journal of Enterprise Technologies. - 2015.- vol. 5.- no. 4.- pp. 37-44.

136. V.M. Grachev, V.I. Esin, N.G. Polukhina, S.G. Rassomakhin. Technology for developing databases of information systems.// Bulletin of the Lebedev Physics Institute. - 2014.- vol. 41.- no. 5.- pp. 119-122.

137. V. Filatov, V. Semenets and O. Zolotukhin. Synthesis of Semantic Model of Subject Area at Integration of Relational Databases// 2019 IEEE 8th International Conference on Advanced Optoelectronics and Lasers (CAOL), Sozopol, Bulgaria. -

2019.- pp. 598-601.

138. N.F. NOY. Semantic integration: A survey of ontology-based approaches.// SIGMOD Record. - 2004.- vol. 33.- no. 4.- pp. 65-70.

139. V. Mezhuyev E. Malakhov D. Shchelkonogov The Method and Algorithms to Find Essential Attributes and Objects of Subject Domains.// IEEE International Conference on Computer Communication and Control Technology (21-23 April 2015 Kuching Sarawak Malaysia) . - 2015.- pp. 310-314.

140. V.M. Grachev, V.I. Esin, N.G. Polukhina, S.G. Rassomakhin. Technology for developing databases of information systems.// Bulletin of the Lebedev Physics Institute. - 2014.- vol. 41.- no. 5.- pp. 119-122.

141. C. Zhi. The Web Database Application System Optimization Research// 2015 Seventh International Conference on Measuring Technology and Mechatronics Automation, Nanchang. - 2015.- pp. 1329-1332.

142. S. V. Chande and M. Sinha. Genetic optimization for the join ordering problem of database queries// 2011 Annual IEEE India Conference, Hyderabad. -2011.- pp. 1-5.

143. L Fang, P Wang, J Yan. A Multi-copy Join Optimization of Information Integration Systems Based on A Genetic Algorithm.// Proceedings of the The Third International Multi-Conference on Computing in the Global Information Technology. -2008.- pp. 223-228.

144. F. Liu. A Method of Design and Optimization of Database Connection Pool// 2012 4th International Conference on Intelligent Human-Machine Systems and Cybernetics, Nanchang, Jiangxi. - 2012.- pp. 272-274.

145. V. K. Myalapalli and T. P. Totakura. Optimizing Big Data Processing in Cloud by integrating versatile front end to Database Systems// 2015 International Conference on Energy Systems and Applications, Pune. - 2015.- pp. 353-357.

146. S. Burugu, P. Madiraju and H. Ibrahim. Constraint optimization for a system of relational databases// 2008 8th IEEE International Conference on Computer and Information Technology, Sydney, NSW. - 2008.- pp. 155-160.

147. H. M. Jamil. Implementation of a least fixpoint operator for fast mining of relational databases// 2002 IEEE International Conference on Data Mining. - 2002. Proceedings., Maebashi City, Japan. - 2002.- pp. 633-636.

148. A. Netz, S. Chaudhuri, U. Fayyad and J. Bernhardt. Integrating data mining with SQL databases: OLE DB for data mining// Proceedings 17th International Conference on Data Engineering. - Heidelberg, Germany. - 2001.- pp. 379-387.

149. Y. Cheng, B. Shia, J. Kuo and H. Yang. Data Systematic Purifying Analysis in Data Mining// 2009 WRI World Congress on Computer Science and Information Engineering. - Los Angeles, CA. - 2009.- pp. 287-290.

150. D. Taniar. High Performance Database Processing// 2012 IEEE 26th International Conference on Advanced Information Networking and Applications. -Fukuoka. - 2012.- pp. 5-6.

151. M. Chelabi, T. Hacib, Z. Belli, M. R. Mekideche and Y. Le Bihan. Optimal database combining with Multi Output Support Vector Machine for Eddy Current Testing// 2014 Ninth International Conference on Ecological Vehicles and Renewable Energies (EVER) . - Monte-Carlo. - 2014.- pp. 1-4.

152. U. P. Rao, G. J. Sahani and D. R. Patel. Machine learning proposed approach for detecting database intrusions in RBAC enabled databases// 2010 Second International conference on Computing, Communication and Networking Technologies. - Karur. - 2010.- pp. 1-4.

153. P. S. Gouripeddi, R. Gouripeddi and S. P. Gouripeddi. Toward Machine Learning and Big Data Approaches for Learning Analytics// 2019 IEEE Tenth International Conference on Technology for Education (T4E) . - Goa, India. - 2019.-pp. 256-257.

154. J. Chen, Y. Wu, M. Li, S. Li and J. You. Rules Driven Object-Relational Databases Ontology Learning// 2009 International Conference on Interoperability for Enterprise Software and Applications. - China, Beijing. - 2009.- pp. 169-174.

155. J. Roh, S. Lee and S. Kim. Anomaly detection of access patterns in database// 2015 International Conference on Information and Communication Technology Convergence (ICTC) . - Jeju. - 2015.- pp. 1112-1115.

156. S. R. Guruvayur and R. Suchithra. A detailed study on machine learning techniques for data mining// 2017 International Conference on Trends in Electronics and Informatics (ICEI) . - Tirunelveli. - 2017.- pp. 1187-1192.

157. A. C. Munoz and J. L. Aguilar. Architecture for an intelligent distributed database// 13th Euromicro Conference on Parallel, Distributed and Network-Based Processing. - Lugano, Switzerland. - 2005.- pp. 322-328.

158. Hao Huang, Le-Peng Bi, Han-Tao Song and Yu-Chang Lu. A variational EM algorithm for large databases// 2005 International Conference on Machine Learning

and Cybernetics. - Guangzhou, China. - 2005.- pp. 3048-3052 Vol. 5.

168

159. Roblot T., Link S. Cardinality constraints and functional dependencies over possibilistic data // Data & Knowledge Engineering.- vol. 117.- no 3.- 2018.- pp. 339358.

160. Bertossi L., Schwind C. Database repairs and analytic tableaux // Ann. Math. And Artif.- 2004.- vol.40.- no 1-2. - pp. 5-35.

161. S. Hartmann, A. Hoffmann, S. Link, K. D. Schewe. Axiomatizing functional dependencies in the higher-order entity relationship model.// Inf. Process. Lett. - 2003.- vol. 87.- no. 3.- pp. 133-137.

162. Georgieva T. Discovering branching and fractional dependencies in databases // Data & Knowledge Engineering.- August 2008.- vol 66.- no 2.- pp. 311325.

163. Link S., Prade H. Relational database schema design for uncertain data // Information Systems.- 2019.- vol. 84.- pp. 88-110.

164. Wua X., Zhangb C., Zhang S. Database classification for multi-database mining // Information Systems.- 2005.- vol. 30.- no 1.- pp. 71-88.

165. Donga B., Wang H. Secure partial encryption with adversarial functional dependency constraints in the database-as-a-service model// Data & Knowledge Engineering.- vol. 116.- july 2018.- pp. 1-20.

166. S. Link. A Strongly Minimal Axiomatisation of Multivalued Dependencies in Incomplete Database Relations// in Seventeenth International Conference on Database and Expert Systems Applications, Krakow. - 2006. - pp. 537-541.

167. J. Mishra, S. De and S. Ghosh. Dependency preservation and lossless join decomposition in fuzzy normalization// International Conference on Computing, Communication & Automation.- noida. - 2015.- pp. 294-298.

168. X. L. Xia Li, F. Y. Fei-yue Ye, H. Y. Hong-juan Yuan and W. P. Wen-tao Peng. Functional dependency maintenance and lossless join decomposition in XML model decomposition// 2006 Semantics, Knowledge and Grid, Second International Conference on. - Guilin. - 2006.- pp. 77-77.

169. F. Malvestuto. Statistical versus relational join dependencies// in Seventh International Working Conference on Scientific and Statistical Database Management.-Charlottesville, VA, USA. - 1994. - pp. 64-73.

170. A. Qiusheng, G. Wang and W. Zhang. The Study of Normal Form of Relational Database Based on Rough Sets Theory// 2007 IEEE International Conference on Granular Computing (GRC 2007) . - Fremont, CA. - 2007.- pp. 245-245.

171. A. A. Chikkamannur, S. M. Handigund. An ameliorated methodology to design normalized relations// 2009 IEEE/ACS International Conference on Computer Systems and Applications, Rabat. - 2009.- pp. 861-864.

ПРИЛОЖЕНИЕ. КОПИИ АКТОВ О ВНЕДРЕНИИ

CONG TY CO PHAN THUONG MAI VA GIAI PHAP KY THUAT CONG NGHE С&Т

Dja chi: S6 14, hem 34/55/33, Pho VTnh Tuy, Quan Hai Ba Tnrng, Ha Noi, Viet Nam

Bien thoai: +8424.38628210 Email: [e-mail] Ma s6 doanh nghiep: 0103792269

GIAY CHlTNG NHAN

Viec ung dung ket qua nghien cuu trong luan an cua nghien cuu sinh truong Dai hoc T6ng hop Ky thuat Vo tuyen Ryazan mang ten V.F. Utkin

Nguyen Ngoc Duong vao cong ty "Co phan thircmg mai va Giai phap Ky thuat Cong nghe C&T"

GiSy chung nhan nay churng thuc ring cac ket qua thirc tien va ly thuyet dirge phat triSn trong khuon kho luan an tien sT cua Nguyen Ngoc Duomg "Cac thuat toan phan tich midn dua tren viec trich xuat cac quy luat со cau true (tai cau true) tCr du lieu thuc td duoc liru tru trong со so du lieu" duoc ung dung tai cong ty "Co phan thuong mai va Giai phap Ky thuat Cong nghe C&T".

Trong do, cac kdt qua nghien cuu cua Nguyen N.D. trong luan an tien sT nganh khoa hoc ky thuat da duoc cong ty "Co phan thnong mai va Giai phap Ky thuat Cong nghe C&T" su dung gom со:

1. mo hinh toan hoc bilu dien du lieu, cho phep bo sung them vao mo hinh dCr lieu сб di^n cac quy luat ngir nghla giu-a cac du lieu trong linh vuc mien ейа со so du lieu dang duoc thiet ke;

2. cac phuong phap va thuat toan nham toi uu hoa cau true thong tin cua du lieu dua tren viec su dung cac quy luat со cau true cua linh vuc mien;

3. cac ph§n тёт duoc phat trien tren may tinh nham phan tich du lieu dua tren viec tim kiem tap hop cac phu thuoc ham va phan mem chuan hoa cac luge do со so du lieu ve dang 3NF, BCNF, 4NF.

Viec su dung cac ket qua nghien cuu da neu a tren giup nang cao chat lugng thiet кё со so du lieu dua vao viec su dung cac thuat toan toi uu hoa cau true thong tin ейа du lieu va rut ngin thoi gian thiet кё cua mot so he thong thong tin bang cach day nhanh giai doan phan tich mien ейа he thong.

Ha Noi, ngayoZ& thang У nam 2020 Giam doe cong ty (ky ten va (Jong dau)

ОАО ТЕХНИЧЕСКИЕ РЕШЕНИЯ ТЕХНОЛОГИИ С&Т

Адрес: дом 14, пер. 34/55/33, улица Винь Туи, район Хай Ба Чынг, г. Ханой, Вьетнам Телефон: [phone] Электронная почта: [e-mail] Код компании:0103792269

СВИДЕТЕЛЬСТВО

о внедрении результатов диссертационной работы аспиранта Рязанского государственного радиотехнического университета имени В.Ф. Уткина

Нгуена Нгока Зыонга в ОАО «Технические Решения Техноло! ни С&Т»

Настоящее свидетельство свидетельствует, что практические и теоретические результаты, разработаны в рамках диссертационной работы Нгуена Нгока Зыонга «Методики и алгоритмы извлечения знаний из реляционных баз данных на основе семантики предметной области» внедрены в ОАО «Технические Решения Технологии С& Г».

При этом, в деятельности ОАО «Технические Решения Технологии С&Т» были использованы следующие результаты диссертационной работы Нгуена Н.Э., представленной на соискание ученой степени кандидата технических наук:

1. Математическая модель представления данных, позволяющая в дополнение к классическим моделям учитывать семантические закономерности между данными в предметной области проектируемой базы данных;

2. Методики и алгоритмы оптимизации информационных структур данных на основе использования структурных закономерностей предметной области;

3. Программные обеспечения, разработанные на компьютере, для анализа данных на основе поиска множества функциональных зависимостей и программа нормализации схем базы данных до 311Ф. 11ФБК, 411Ф;

Использование указанных результатов позволило повысить качество проектирования баз данных с помощью алгоритмов оптимизации информационных структур данных и сократить сроки разработки ряда информационных систем за счет ускорения этапа системного анализа предметной области.

Директор компании {подпись и печать)

LOI CHÎfNG CÛA CÔNG CHtrNG VIÊN ПОДТВЕРЖДЕНИЕ НОТАРИУСА

Horn nay, ngày 11 thâng 09 näm 2020, tai tru sô Vàn phông Công chirng Truong ТЫ Nga Tôi, Công chirng viên Vàn phông Công chirng Trucmg Thi Nga, Thành phô Hà Nçi В Нотариальной палате « Truong Thi Nga », город Ханой. Я, нотариус Нотариальной палаты Truong Thi Nga, город Ханой

CHIANG NHÀN НАСТОЯЩИМ ПОДТВЕРЖДАЮ:

- Bàn djch này do bà Bùi Thj Dieu Thu CMND/HC sô: 037182002414 câp ngày 16/03/2017 do Cyc cành sât dàng ky quàn ly eu trù và dû lieu quôc gia vè dân eu câp, là cpng tàc viên phiên djch cua Van phông Công chirng Truong Thi Nga,Thành pho Hà Nçi -dä dich chinh xàc tir tiêng Viêt sang tiêng Nga.

- Данный перевод с вьетнамского языка на Русский язык выполнен госпожей удостоверение личности № 037182002414, выдано 16.03.2017 Полицейским департаментом по регистрации и управлению резиденциями и национальной базой данных населения. Управлением общественной безопасности провинции Бак Зянг, которая является сотрудником Нотариальной палаты « Truong Thi Nga », город Ханой.

- Chu ky trong bàn djch dûng là chu ky cùa bà Bùi Thj Dieu Thu; Подпись в переводе является подписью госпожи Bui Thi Dieu Thu.

- Nôi dung cùa bàn djch chinh xâc, không vi pham phâp luât, không trâi veri dao duc xà hçi;

не нарушает закон, не противоречает общественной

Содержание перевода правильное, нравственности.

- Bàn dich gôm ...tà,...trang, luu mot bàn tai Vàn phông Công chirng Trucmg Thi Nga, TP Hà Nôi.

- Настоящий перевод составляет.. ..листов,...страниц, один экземляр сохраняется в Нотариальной конторе имени Чыонг Тхи Нга в городе Ханой.

Sô công chirng /Номер удостоверения: 9180 quyèn sô/ Книга №: : 01 TP/СС-SCC/BD

NGlTÖI DICH ПЕРЕВОДЧИК

Bùi Thj Diçu Thu

CÔNG CHÚMG VIEN РИУС

VÀN PHÔNG

<ÔNG CHIÍNG

CÔNG CHUNG VIEN TRUONG TH! NGA

CONG TY CO PHAN THIET KE KIEN TRUC KIEN THINH

Dia chi: So 2, ngach 01, ngo 05, dirang Thanh Lam, phirang Phu Lam, quan Ha Dong, H& Noi, Viet Nam Email: [e-mail] Dien thoai: [phone] Website: http://kienthinh.vn Ma so doanh nghiep: 0106853777

GIAY CHlTNG NHAN

Viec ung dung k8t qua nghien cuu trong luan an cua nghien cuu sinh truong Dai hoc T6ng hop Ky thuat Vo tuyln Ryazan mang ten V.F. Utkin

Nguyen Ngoc Duong tai "CONG TY CO PHAN THIET KE KIEN TRUC KIEN THJNH"

Giay chung nhan nay xac nhan rang cac ket qua nghien cuu trong luan an tien si nganh khoa hoc ky thuat cua Nguyln Ngoc Duong voi de tai "Cac thuat toan phan tich miln dua tren viec trich xuat cac quy luat co cau true (tai cau true) tir du lieu thuc tS dupe luu tru trong co so du lieu", da dupe su dung trong cac hoat dong cua "CONG TY CO PHAN THIET KE KIEN TRUC KIEN THINH" trong viec phat trien mot so he thong thong tin, gom co:

- Cac thuat toan va ph4n m§m tren may tinh de xac dinh su phu thuoc ngu nghla trong cau true du lieu thong tin;

- Phuong phap va thuat toan tai cau true cac lupc do co scr du lieu hien co;

- Thuat toan hieu chinh lupc do cua co so du lieu quan he;

- Cac thuat toan va ph§n mem tren may tinh de chuan hoa quan he va lupc do co so du lieu quan he su dung cac phu thuoc ngu nghTa.

Viec su dung cac k£t qua nghien cuu da neu tren cho phep cai thien chat lupng va hieu qua cua thiSt kS, cung nhu rut ngan thoi gian too lap cac he thong thong tin moi.

Ha Noi, npay thang V nam 2020 Giam doc cong ty (ky ten va dongjlatt^-—~

_____ /7 CONG TyY-X

I IL^a^J M-^-CO PHAN Wl JIMTH/ET (CE Kf£N TRUC/ ★

GIAM DOC

Tan

ОАО «ДИЗАИН И АРХИТЕКТУРА KIEN THINH

Адрес: дом 2, пер. 01/ 05. Улица Гхань Лам. Фу Лам. Район Ха Донг. г. Ханой. Вьетнам Электронная почта: luvanthietkeakienthinh.vn Телефон: [phone] Сайт: http://kienthinh.vn Код компании: 0106853777

СВИДЕТЕЛЬСТВО

о внедрении результатов диссертационной работы аспиранта Рязанского государственного радиотехнического университета имени В.Ф. Уткина

Настоящим удостоверяется, что результаты диссертационной работы Нгуена Нгока Зыонга, представленной на соискание ученой степени кандидата технических наук на тему: «Методики и алгоритмы извлечения знаний из реляционных баз данных на основе семантики предметной области», использованы в деятельности ОАО «Архитектура п Дизайн KIEN THINH» при разработке ряда информационных систем в виде:

Алгоритмы и программное обеспечение на ЭВМ для определения семантических зависимостей в информационных структурах данных;

Методики и алгоритмы реинжиниринга схем существующих баз

данных;

- Алгоритм коррекции схемы реляционной базы данных;

- Алгоритмы и программное обеспечение на ЭВМ для нормализации отношений и схем реляционных баз данных с использованием семантических зависимостей.

Использование указанных результатов позволило повысить качество и эффективность проектирования, а также сократить сроки разработки ряда новых информационных систем.

Нгуена Нгока Зыонга в ОАО «Архитектура и Дизайн KIEN THINH»

Директор компании • (подпись и печать)