Модели и алгоритмы децентрализованной реструктуризации мультибазы данных с глобальной схемой тема диссертации и автореферата по ВАК РФ 05.13.17, кандидат наук Афанасьев, Вадим Владимирович

• Афанасьев, Вадим Владимирович
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Афанасьев, Вадим Владимирович

Оглавление

ВВЕДЕНИЕ

ГЛАВА 1. РАСПРЕДЕЛЕННЫЕ БАЗЫ ДАННЫХ И ИХ РОЛЬ В

КОРПОРАТИВНЫХ ИНФОРМАЦИОННЫХ СИСТЕМАХ

1.1. Исследование подходов к организации баз данных в распределенных корпоративных информационных системах

1.1.1 Применение концепции компьютеризированного интегрированного производства в распределенных корпоративных информационных системах

1.1.2 Исследование методов интеграции данных в базах данных распределенных корпоративных информационных систем

1.2 Исследование архитектурных решений распределенных баз данных

1.2.1 Исследование проблемы преобразования глобальной схемы в мультибазах данных

1.3 Архитектура мультибазы данных корпоративной информационной системы

на примере КИС нефтепромыслового предприятия

1А Моделирование процесса обработки распределенных запросов в мультибазе

данных ОАО "Газпромнефть-Муравленко"

1.5 Постановка задачи исследования

Выводы по главе 1

ГЛАВА 2. ГРАФО-АНАЛИТИЧЕСКАЯ МОДЕЛЬ ПРОЦЕССА ФОРМИРОВАНИЯ ГЛОБАЛЬНОЙ СХЕМЫ МУЛЬТИ-БД, С УЧЕТОМ ЭТАПОВ ЕЕ РЕСТРУКТУРИЗАЦИИ

2.1 Выбор и обоснование графового представления глобальной схемы мультибазы данных

2.2 Разработка обобщенного графового представления информационно-логической модели глобальной схемы мультибазы данных

2.3 Разработка графовой модели глобальной схемы мультибазы данных

2.4 Моделирование процесса формирования глобальной схемы мультибазы данных с учетом этапов ее реструктуризации

2.4.1 Разработка графовой модели схемы реструктуризации

2.4.2 Выбор и обоснование алгоритмов формирования глобальной схемы мультибазы данных с учетом этапов ее реструктуризации

2.5 Графоаналитическая модель процесса формирования глобальной схемы

мультибазы данных с учетом этапов ее реструктуризации

Выводы по главе 2:

ГЛАВА 3. КОМПЛЕКС АЛГОРИТМОВ ДЕЦЕНТРАЛИЗОВАННОГО ФОРМИРОВАНИЯ ГЛОБАЛЬНОЙ СХЕМЫ МУЛЬТИБАЗЫ ДАННЫХ, УЧИТЫВАЮЩИХ ЕЕ РЕСТРУКТУРИЗАЦИЮ, БАЗИРУЮЩИХСЯ НА МАТЕМАТИЧЕСКОЙ МОДЕЛИ ФУНКЦИОНИРОВАНИЯ ПИРИНГОВОЙ СЕТИ

3.1 Процесс реструктуризации мультибазы, основанный на алгоритмах формирования копии данных их восстановления

3.2 Этапы методики децентрализованного управления глобальной схемой мультибазы

3.2.1 Обобщенная методика децентрализованного управления глобальной схемой мультибазы

3.2.2 Состав этапа Э1 ("мониторинг")

3.2.3 Состав этапа Э2("ожидание")

3.2.4 Состав этапа Эз ("реконфигурация")

3.3 Способы организации информационного обмена в процессе выполнения реструктуризации глобальной схемы мультибазы

3.4 Математическая модель протокола взаимодействия узлов мультибазы Шггеп^вида для оценки времени выполнения реструктуризации

3.5 Оценка алгоритмов формирования схемы реструктуризации и восстановления данных

3.5.1 Постановка задачи статистического эксперимента для оценки

влияния исходных данных на использованный алгоритм

Выводы по главе 3

ГЛАВА 4. РЕЗУЛЬТАТЫ ИМИТАЦИОННОГО МОДЕЛИРОВАНИЯ ПРОЦЕССА ДЕЦЕНТРАЛИЗОВАННОГО ФОРМИРОВАНИЯ ГЛОБАЛЬНОЙ

СХЕМЫ МУЛЬТИБАЗЫ ДАННЫХ

4.1. Анализ структуры распределенных запросов в типовых мультибазах данных

4.2. Разработка имитационных моделей мультибаз данных

4.2.1 Построение формальных моделей МБД с сервером репликации и

МБД с узловыми диспетчерами

4.2.2 Проверка гипотезы об экспоненциальном законе распределения времени поступления распределенных запросов

4.2.3 Проверка гипотезы об экспоненциальном распределении времени выполнения распределенных запросов

4.2.4 Построение формальных моделей МБД с сервером репликации и

МБД с узловыми диспетчерами на основе языка моделирования GPSS

4.2.5 Оценка адекватности экспериментальных моделей МБД с сервером репликации и реструктуризации и МБ с узловыми диспетчерами

4.3. Принцип функционирования экспериментальной модели МБД с сервером репликации и реструктуризации

4.4. Принцип функционирования экспериментальной модели МБ с узловыми диспетчерами

4.5. Выбор показателя и критерия оценки эффективности процесса реструктуризации мультибазы с глобальной схемой

4.6. Экспериментальная оценка процесса децентрализованного управления

реструктуризацией мультибазы с глобальной схемой

Выводы по главе 4:

ЗАКЛЮЧЕНИЕ

Приложение А

Список использованных источников

Введение диссертации (часть автореферата) на тему «Модели и алгоритмы децентрализованной реструктуризации мультибазы данных с глобальной схемой»

ВВЕДЕНИЕ

Актуальность темы. В настоящее время базовой тенденцией развития существующих и создания новых корпоративных автоматизированных информационных систем (КАИС) промышленных предприятий являются подходы, направленные на интеграцию данных и развитие соответствующих технологий.

Широта спектра применимости КАИС в промышленности определяет номенклатуру эксплуатируемых информационных систем и обрабатываемых в них данных.

Перед разработчиками интегрированной системы автоматизации крупных промышленных предприятий (с учетом их расположения в разных географических районах такой огромной страны, как Россия) встает сложнейшая задача управления жизненным циклом активов объектов. Для ее решения требуется согласованное функционирование систем различных классов - геоинформационных, диагностических, информационно-справочных, систем поддержки принятия решений, систем автоматизированного проектирования и т.д., решающих задачи:

- сбора, обработки, хранения данных мониторинга;

- моделирования, оценки и прогнозирования состояния активов;

- обеспечения доступа к данным мониторинга; к нормативно-технической, технологической и конструкторской документации; к систематизированным данным по опыту эксплуатации; к внешним информационным ресурсам; к данным по стоимостным характеристикам работ.

Как правило, упомянутые системы входят в состав корпоративных распределенных автоматизированных систем управления производством (РАСУП) предприятия. В основе таких РАСУП лежат распределенные базы данных (РБД), обеспечивающие, в том числе, решение задач интеграции данных, размещенных в рамках инфраструктуры РАСУП и обработку множества запросов к ним. В общем случае под РБД понимается совокупность логически взаимосвязанных локальных баз данных, распределенных в компьютерной сети [1]. Каждая из локальных баз данных располагается в отдельном узле

компьютерной сети. При этом предполагается, что узлы работают согласованно, поэтому пользователь РБД может получить доступ к данным на любом узле сети так, как будто все данные находятся на его собственном узле. Важной архитектурной особенностью РБД является слабая связанность вычислительных систем, поддерживающих компоненты базы данных.

В своей работе [2] К. Дейт сформулировал ряд принципов организации РБД, определяющих их архитектурные и функциональные особенности.

Такими особенностями РБД являются:

1. Поддержка модели распределенных данных, на основе некоторого структурного формализма (например, реляционного). Это отличает РБД от распределенных файловых систем.

2. Наличие единого метода доступа к распределенным данным, поддерживающего единый интерфейс высокого уровня.

3. Поддержка функциональной полноты системы управления базой данных (СУБД) - реализация функций структурной организации данных, поддержки формирования и обработки запросов, Обработка транзакций является одной из функций систем управления РБД, наряду с функциями, а также.

4. Прозрачность распределения данных по множеству узлов коммуникационной сети.

Исходя из упомянутых особенностей, РБД можно разделить на два класса:

1. Ориентированные на обеспечение независимости хранимых данных и процедур доступа к ним от конкретных реализаций сетевой среды, операционных систем и локальных СУБД, расположенных в узлах РБД.

2. Ориентированные на поддержание таких характеристик РБД, как целостность данных, их безопасность и оптимальная (по требуемым показателям) обработка распределенных запросов.

Между тем, практика формирования и эксплуатации крупномасштабных корпоративных РАСУП показывает, что инфраструктура распределенных информационных систем (РИС) в них формируется путем интеграции разнородных ин-

формационных систем, функционирующих в составе предприятий, являющихся составной частью интегрированного производственного процесса [3].

В условиях динамично изменяющихся потребностей рынка такое интегрированное производство зачастую требует не только оперативного изменения хранящихся в узлах РИС данных, но и самой структуры данных, связанной с динамической модификацией предметной области, на основе которой формируется база данных (БД).

Использование РБД, поддерживающей единую информационную модель всей предметной области интегрированного производства НДП, является нецелесообразным. В настоящее время все шире используются подходы, предполагающие создание и эксплуатацию систем интеграции данных различных типов. Таксономия типов РБД представлена на рисунке 1 [5].

_| Распределенные базы данных

Гомогенные

Наличие глобальной схемы • Внутренние функции СУБД для обеспечения интерфейса между глобальным и локальным уровнями_

__Мультибазы дачных с глобальной схемой

Гетерогенные

Наличие глобальной схемы

Пользовательский интерфейс СУБД для отображения между глобальным и локальным уровнями_

Федеративные базы данных

Гетерогенные Частичная глобальная схема

Пользовательский интерфейс СУБД для отображения между глобальным и локальным уровнями_

Неоднородные системы мультибаз данных _с общим языком доступа_

Гетерогенные Функции языка доступа

Пользовательский интерфейс СУБД для отображения между глобальным и локальным уровнями_

Однородные системы мультибаз данных _с общим языком доступа_

Гомогенные Функции языка доступа

Пользовательский интерфейс СУБД н некоторые внутренние функции СУБД для отображения между глобальным н локальным уровнями_

Интсроперабсльные системы

Множество типов источников данных Отсутствие глобальной шггеграцин

Реализация интерфейса между глобальным и локальным уровнями средствами приложении _

Рисунок 1 - Таксономия типов распределенных баз данных

В современных информационных системах часто приходится строить распределенную базу данных на основе уже имеющихся унаследованных БД, т.е. "снизу-вверх". При этом необходимо учитывать низкую степень интеграции хранящихся в них данных. Такие системы часто строятся по принципу мультибаз данных, как совокупность локальных БД и управляющих ими СУБД, имеющих глобальную схему (ГС). При этом каждый узел мультибазы является независимой с точки зрения администрирования локальной БД, а информация обо всей структуре мультибазы данных с целью реализации распределенных запросов хранится в виде метаданных на каждом узле. Каждая локальная БД имеет свою структуру, не зависящую от других, при этом межузловые связи поддерживаются на уровне глобальной схемы [3,4].

В зависимости от степени интегрированности хранящихся в РБД данных глобальная схема может быть следующих видов [4]:

1. Централизованная схема, данные которой расположены на специально выделенном коммуникационном узле.

2. Полностью реплицированная схема. Распределение копии глобальной схемы на каждый коммуникационный узел РБД с обеспечением процедуры ее репликации.

3. Секционированная схема. Децентрализованный вариант глобальной схемы, при котором на каждом узле содержится его локальный вариант схемы только для объектов, хранимых на этом узле. Общая схема является объединением всех локальных схем.

4. Секционированная схема с централизованной репликацией. В этом варианте схемы на каждом узле содержится его локальная схема, а на специально выделенном центральном узле хранятся актуальные реплики всех этих локальных схем.

Особенностью процесса эксплуатации мультибаз данных является потенциальная возможность проведения реструктуризации узлов, входящих в ее состав. Реструктуризация - изменение структуры глобальной схемы в рамках одной мо-

дели данных: схемы отношений, включая функциональные зависимости, преобразуется в схемы с теми же зависимостями.

Процесс выполнения распределенного запроса в мультибазе данных имеет ряд особенностей. В случае централизованного управления реструктуризацией время, затраченное на ее выполнение, является задержкой выполнения распределенного информационного запроса. Для мультибаз с небольшим количеством узлов и низкой интенсивностью потока запросов на реструктуризацию, задержка, вызванная проведением реструктуризации, оказывает несущественное влияние на среднее время выполнения распределенного запроса, а для проведения реструктуризации, как правило, бывает достаточно средств административного управления. Однако при увеличении количества узлов мультибазы и возрастания интенсивности потока запросов на реструктуризацию, время, затраченное на ее реализацию, начинает оказывать заметное влияние на среднее время выполнения распределенного запроса, направленного на удовлетворение информационных потребностей пользователей мультибазы.

Таким образом, существует противоречие между требованием, предъявляемым к времени выполнения распределенного запроса, и возрастающими задержками, возникающими вследствие проводимых процессов реструктуризации при увеличении количества узлов мультибазы.

Не смотря на то, что исследования в данной области ведутся достаточно давно и им посвящено большое количество публикаций известных специалистов как российских - Калиниченко Л.А., Когаловский М.Р., Гаврилов Д.А., Мамико-нов А.Г., Кузнецов С.Д., Кульба В.В. [32,12, 18,13, 29, 34, 35], так и зарубежных - Ullman, Lenzerini М., Widom, Simon, Valduriez, Celko, Шаша, Д., Бонне Ф. [20, 36, 24, 37], - проблема интеграции данных продолжает оставаться актуальной.

Ряд диссертаций посвящены исследованиям влияния процессов реструктуризации узлов РБД на общую эффективность системы [38], а также формированию оптимальных глобальных схем [39]. Значительно меньшее внимание уделено разработке систем управления, реактивных изменяющейся структуре мультибазы.

Управление процессом функционирования мультибазы (например, контроль за непривышением среднего времени выполнения распределенного запроса некоторого директивно заданного значения), в частности в условиях реструктуризации локальных баз данных, входящих в ее состав, является сложным и требует проведения соответствующих исследований.

В связи с этим актуальным является включение в состав системы управления мультибазой данных функциональных модулей, реализующих алгоритмы децентрализованного управления процессом репликации метаданных, обеспечивающих поддержание глобальной схемы в актуальном состоянии.

Объект исследования диссертационной работы - мультибаза данных с глобальной схемой.

Предмет исследования - модели и алгоритмы формирования глобальной схемы мультибазы данных, учитывающие реструктуризацию информационных структур локальных баз данных, входящих в ее состав.

Научная задача исследования заключается в разработке комплекса алгоритмов децентрализованного формирования глобальной схемы мультибазы данных, обеспечивающей требуемую эффективность процесса обработки распределенных запросов.

Цель исследования - повышение оперативности процесса обработки распределенных запросов в мультибазе данных с глобальной схемой, учитывающего реструктуризацию информационных структур локальных БД, входящих в ее состав.

Для решения научной задачи и достижения цели исследования были определены частные задачи диссертационного исследования:

1. На основе анализа литературных источников провести сравнение существующих методов и технологий интеграции данных.

2. Разработать графоаналитическую модель мультибазы данных с глобальной схемой, учитывающую этапы реструктуризации локальных баз данных, входящих в ее состав.

и

3. Разработать комплекс алгоритмов, обеспечивающих реализацию процесса децентрализованной репликации метаданных в мультибазе данных для поддержания ее глобальной схемы в актуальном состоянии.

4. Спланировать и провести имитационный эксперимент для оценки степени влияния процессов реструктуризации на оперативность выполнения распределенных запросов в мультибазах с централизованным и децентрализованным подходом к формированию глобальной схемы.

5. Разработать научно-технические предложения для администраторов системы с мультибазами, основанные на результатах имитационного моделирования процесса реструктуризации глобальной схемы мультибазы с централизованным и децентрализованным управлением репликацией метаданных.

Методы исследования, использованные в процессе выполнения диссертационной работы: исследования операций, теории множественной модели деревьев, планирования статистических экспериментов, теории вычислительных машин и сетей.

Гипотеза исследования заключается в предположении о том, что среднее время выполнения запроса в мультибазе данных может быть уменьшено за счет применения децентрализованного подхода к поддержанию глобальной схемы мультибазы данных в актуальном состоянии.

Научная новизна диссертационной работы заключается в:

1) представлении процесса реструктуризации глобальной схемы мультибазы данных графо-аналитической моделью, основанной на известном методе графового определения структур реляционных баз данных, базирующемся на множественных деревьях, отличающейся способом представления в виде совокупности гиперграфового определения структуры мультибазы и алгоритмов рекурсивного обхода графа и попарного сравнения строк.

2) использовании комплекса алгоритмов формирования глобальной схемы мультибазы данных, учитывающих процессы её реструктуризации, базирующихся на известных методах репликации данных, отличающихся применением децентрализованного подхода, основанного на введении в структуру узла мультибазы

функций локального диспетчирования, реализуемых по иэггегй-подобному протоколу.

3) выработке научно-технических предложений по применению алгоритмов децентрализованного управления процессом формирования глобальной схемы мультибазы данных с учетом этапов ее реструктуризации, базирующихся на методах планирования и проведения имитационного эксперимента.

Положения, выносимые на защиту:

1. Графо-аналитическая модель информационного процесса формирования глобальной схемы мультибазы данных.

2. Алгоритмы децентрализованного формирования глобальной схемы мультибазы данных, учитывающие процессы её реструктуризации.

3. Результаты имитационного моделирования процесса формирования глобальной схемы мультибазы данных с учетом этапов ее реструктуризации.

Практическая значимость результатов диссертационной работы заключается в получении решений по децентрализованному управлению процессом формирования глобальной схемы мультибазы данных, с учетом этапов ее реструктуризации, что подтверждается Патентом на полезную модель № 1Ш 126161 Ш от 20.03.13, Свидетельством о государственной регистрации программы для ЭВМ № 2012619081 от 5.10.12.

Полученные результаты могут быть использованы администраторами систем с мультибазами данных, входящих в состав автоматизированных систем управления предприятиями, с целью повышения оперативности обеспечения информационных потребностей пользователей за счет уменьшения среднего времени выполнения распределенных запросов при заданных ограничениях на временные параметры функционирования мультибазы.

Публикации. По теме диссертационного исследования опубликовано 10 работ, в том числе 3 в изданиях, рекомендованных ВАК при Минобрнауки РФ.

Результаты проведенных диссертационных исследований изложены в 4-х печатных статьях, 6 тезисах докладов.

Апробация. Основные положения и результаты диссертационной работы докладывались и обсуждались на XIV Международной открытой научной конференции "Современные проблемы информатизации" (г. Воронеж, 2009 г.), XV Международной открытой научной конференции "Современные проблемы информатизации" (г. Воронеж, 2010 г.), XVI Международной открытой научной конференции "Современные проблемы информатизации" (г. Воронеж, 2011 г.), XVII Международной открытой научной конференции "Современные проблемы информатизации" (г. Воронеж, 2012 г.), Всероссийской научно-технической конференции "Научная сессия ТУ СУР 2012" (г. Томск, 2012 г), XVIII Международной открытой научной конференции "Современные проблемы информатизации" (г. Воронеж, 2013 г.).

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и четырех приложений. Диссертация содержит 146 стр., 44 рисунка, 11 таблиц. Список литературы содержит 93 наименования.

ГЛАВА 1. РАСПРЕДЕЛЕННЫЕ БАЗЫ ДАННЫХ И ИХ РОЛЬ В КОРПОРАТИВНЫХ ИНФОРМАЦИОННЫХ СИСТЕМАХ.

1.1. Исследование подходов к организации баз данных в

распределенных корпоративных информационных системах

1.1.1 Применение концепции компьютеризированного интегрированного производства в распределенных корпоративных информационных системах

Начиная с 80-х годов XX века одним из направлений повышения эффективности производства стало широкое применение информационных технологий. Важным этапом развития на этом пути стало появление понятия гибкой производственной системы (ГПС) [6]. Принципиальной особенностью ГПС являлось наличие новой компоненты - компьютерной системы управления, обеспечивающей возможность увязки отдельных процессов, функций и задач в единую систему.

От внедрения ГПС ожидалось: уменьшение размеров предприятий, увеличение коэффициента использования оборудования и снижение накладных расходов, значительное уменьшение объема незавершенного производства, сокращение затрат на рабочую силу в результате организации "безлюдного" производства, ускорение сменяемости моделей выпускаемой продукции в соответствии с требованиями рынка, сокращение сроков поставок продукции и повышение ее качества [7, 8].

Дальнейшее развитие работ в данном направлении в конце 80-х - начале 90-х годов привело к появлению понятия компьютеризированного интегрированного производства (КИП) [9]. Концепция КИП подразумевала новый подход к организации и управлению производством, новизна которого заключалась не только в применении компьютерных технологий для автоматизации технологических процессов и операций, но в создании интегрированной информационной системы

предприятия. Информационная интеграция производственных процессов достигалась путем использования общих баз данных, позволяющих более эффективно решать вопросы разработки и проектирования изделий, подготовки производства, планирования и управления производством, решения задач материально-технического обеспечения, охватывая все процессы предприятия.

Разработке и практическому воплощению концепции КИП был посвящен целый ряд работ российских и зарубежных ученых и исследователей [10,11].

В концепции КИП роль интегрированной автоматизированной системы управления (ИАСУ) стала еще более значительной. На ИАСУ были возложены не только функции автоматизации процессов проектирования и производства изделий, но и совершенно новые задачи, связанные с обеспечением информационной интеграции процессов. Эта интеграция должна была осуществляться за счет совместного использования одной и той же информации (в электронном виде) для решения разных задач.

Практика показала, что из всех задач ИАСУ наиболее типизируемыми оказались задачи автоматизации проектирования и подготовки производства, а также задачи уровня управления предприятием (АСУП). В конце 80-х - начале 90-х годов, на рынке появились самостоятельные программно-технические решения, пригодные для использования на предприятиях с различным уровнем автоматизации, в том числе и вне КИП в его классическом понимании. Возникли новые устойчивые понятия: CAD/CAM/CAE и MRP (MRP И) [12].

Первое понятие - CAD (Computer Aided Design) / CAM (Computer Aided Manufacturing) / CAE (Computer Aided Engineering) - обозначало комплекс программных средств компьютерного проектирования, подготовки производства и инженерных расчетов. Второе - MRP (Materials Requirement Planning - планирование потребностей в материалах), а позднее MRP II (Manufacturing Resource Planning - управление производственными ресурсами) - стало общепринятым обозначением комплекса задач управления финансово-хозяйственной деятельностью предприятия: планирования производства, материально-технического снабжения, управления финансовыми ресурсами, и других.

Появились первые стандарты и спецификации, определяющие функциональные требования к этим системам [13].

В начале 90-х гг. консалтинговой фирмой Gartner Group (США) была предложена концепция ERP (Enterprise Resource Planning - управление ресурсами предприятия) [14]. Сегодня термины MRPII и ERP практически полностью вытеснили термин АСУП и стали привычными для специалистов интегрированных информационных систем, предназначенных для управления производственно-хозяйственной деятельностью предприятия.

В соответствии с [15] системы класса MRP должны выполнять следующие функции:

- управления финансовыми ресурсами (Financial Management);

- управления персоналом (Human Resources);

- ведения портфеля заказов (Customer Orders);

- управления запасами (Inventory Management);

- управления складами (Warehouse Management);

- управления закупками (Purchasing);

- управления продажами (Sales);

- управления сервисным обслуживанием (Service);

- прогнозирования объема реализации и продаж (Forecasting);

- объемного планирования (Master Production Scheduling);

- расчета потребностей в материалах (Materials Requirement Planning);

- оперативно-производственного планирования (Finite Scheduling);

- оперативного управления производством (Production Activity Control);

- управление техническим обслуживанием оборудования (Equipment Maintenance);

- расчета себестоимости продукции и затрат (Cost Accounting);

- управление транспортировкой готовой продукции (Transportation).

Подробное описание задач, выполняемых каждой подсистемой, приведено в

Характерными примерами современных ERP являются системы R/3 (SAP), BAAN IV (BAAN), Oracle Applications (Oracle Corporation), MFG/PRO (QAD), People Soft (People Soft Inc), OneWorld (J.D. Edwards), BPCS (System Software Associates), Syteline (Symix Systems) и другие. Следует упомянуть целый ряд интегрированных информационных систем, приближающихся по функциональности к ERP, представленных на рынке российскими компаниями: "БОСС" (компания АйТи), "Парус" ("Корпорация Парус"), "Галактика" ("Корпорация Галактика") и др. [17].

Большинство из рассмотренных выше вариантов систем, поддерживающих концепцию КИП и реализуемых в рамках крупных распределенных корпоративных информационных систем базируется на технологии распределенных баз данных (РБД). При этом в зависимости от организационной и функциональной структуры КИП в таких РБД используются различные методы интеграции данных.

1.1.2 Исследование методов интеграции данных в базах данных распределенных корпоративных информационных систем

Интеграция множества систем БД стала одной из самых важных тем исследований в области распределенных ИС. Разрабатываются информационные серверы, что обеспечивает интегрированный доступ к многочисленным источникам данных. Приложения и унаследованные системы баз данных вместе с современными БД объединяются для формирования ИС в масштабах предприятия. Такая интеграция автономных систем баз данных в слабосвязанные федерации требует развития новых методов управления данными, специфичных для этих сред. Концепции и методы для поддержки глобальных ограничений целостности, разработанные для централизованных или сильно-связанных распределенных баз данных, применить непосредственно в федеративных средах не всегда является возможным [25].

Исходя из определений, данных в [2, 20] распределенной считают такую информационную систему (ИС), в составе которой функционирует не менее двух серверов БД. Данный принцип организации применяется для минимизации нагрузки на сервер БД, а также для обеспечения работы территориально удаленных корпоративных делений. Проблемы создания, модификации, сопровождения, интеграции с другими системами позволяют разделить распределенные ИС на классы малых, средних и крупных систем.

Малые ИС имеют небольшой жизненный цикл, ориентацию на массовое использование, невысокую цену, невозможность модификации без участия разработчиков, использование систем управления базами данных (СУБД) персонального уровня, функционирование на однородном аппаратно-программном обеспечении и отсутствие средств обеспечения безопасности. В противоположность им, распределенные корпоративные ИС имеют достаточно длительный ЖЦ, зачастую основаны на миграции унаследованных систем, отличаются разнообразием аппаратно-программного обеспечения, масштабностью и сложностью решаемых задач, основанных пересечении множества предметных областей.

К функциям таких распределенных ИС следует отнести, прежде всего, работу с данными, расположенными на разных физических серверах БД, различных аппаратно-программных платформах и хранящихся в различных внутренних форматах. В этом случае распределенная ИС должна обеспечивать предоставление полной информации о собственных ресурсах и достаточно легко расширяться, что, в общем случае, обеспечивается использованием открытых стандартов и протоколов. Для пользователей система должна обеспечивать различные уровни привилегий для пользователей и предоставлять удобный интерфейс доступа к информации.

В основе любой распределенной ИС обычно находится один из вариантов РБД. При этом, в рамках проектирования, реализации и сопровождения таких РБД должна лежать концепция интеграции данных [3, 18, 21], обеспечивающая решения следующих задач:

- оперативное получение информации из локальных БД территориально и/или логически распределенных подразделений ИС;

Список литературы диссертационного исследования кандидат наук Афанасьев, Вадим Владимирович, 2014 год

Список использованных источников

1. Оззу, М. Т., Валдуриз, П. Распределенные и параллельные системы баз данных // СУБД. - 1996, № 4. - С. 4-26.

2. Дейт, К. Дж. Введение в системы баз данных. - Москва : Изд. дом "Вильяме", 2001.- 1072 с.

3. Черняк, JI. Интеграция данных: синтаксис и семантика // Открытые системы. - 2009. - № 10. [Электронный ресурс]. - Режим доступа http://www.osp.ru/os/2009/10/11170978/

4. Саймон, А. Р. Стратегические технологии баз данных: менеджмент на 2000 год; Пер. с англ. / Под ред. и с предисл. М. Р. Когаловского. - Москва: Финансы и статистика, 1999. - 479 с: ил.

5. Bright, М. W., Hurson, A. R., Pakzad, S. Н. A Taxonomy and Current Issues in Multidatabase Systems. IEEE Computer, Vol. 25, No. 3,1992. - P. 50-60

6. ГОСТ 26228-90 Системы производственные гибкие. Термины и определения, номенклатура показателей.

7. Васильев, В. Н. Организация, управление и экономика гибкого интегрированного производства в машиностроении. - Москва : Машиностроение, 1986.-312с., ил.

8. Абчук, В. А., Карпенко, Ю.С. Управление в гибком производстве. -Москва : Радио и связь, 1990. - 128 с.

9. Альперович, Т. А. Компьютеризированные интегрированные производства и CALS-технологии в машиностроении / Т. А. Альперович, В.В. Барабанов, А.Н. Давыдов, С.Н. Сергеев, Е.В. Судов, Б.И. Черпаков. Москва : ВИМИ, 1999, 512 с.

10. Гнеденко, В. Г. и др. Обобщенная концепция компьютеризированных интегрированных производств машиностроения / Под общ.ред. Петриченко В.Н.: Препринт центра "Совинстандарт" РСПП. - Москва, 1993.

11. Судов, Е. В., Серов, А. А. Обобщенная многоуровневая модель процессов транспортирования и складирования в компьютеризированном интегрированном производстве // СТИН. 1996 № 2, с. 17-21.

12. Когаловскнй, В. М. Создание технической инфраструктуры для интегрированных систем управления хозяйственной и финансовой деятельностью предприятий // DIGITAL Inform Magazine, Русское издание. - 1998 №2, с. 23-24.

13. Гаврилов, Д. А. Управление производством на базе стандарта MRP II, 2-е изд. - Санкт-Петербург : Питер, 2005, 416 с. - ил.

14. Keller, Е. L. Enterprise Resource Planning. The changing application model // Gartner Group, February 5,1996, White paper. - P.8. SAPR/3 3.1

15. ISO/IEC 2382-24:1995 Информационные технологии. Словарь. Часть 24. Производство с интегрированным компьютерным управлением

16. Когаловский В. М. Внедрение систем управления предприятиями DIGITAL и SAPR/3. // DIGITAL Inform Magazine, Русское издание. - 1998. - №1. -С.14-16.

17. Кошкин, К. В. и др. Компьютеризированные интегрированные производства: основы организации и примеры использования: Учебное пособие / К.В. Кошкин, A.C. Суслов, С.М. Хальнов, В.В. Шишканов; Под ред. проф. К.В. Кошкина. - Николаев : НУК, 2006. - 180 с.

18. Когаловский, М. Р. Методы интеграции данных в информационных системах. [Электронный ресурс]. - Режим доступа http://www.cemi.rssi.ru/ /articles/kogalovl0-05.pdf

19. Halevy, A. Y. Enterprise Information Integration: Successes, Challenges and Controversies. SIGMOD 2005. pp. 778-787.

20. Гарсиа-Молина, Г., Ульман, Дж., Уидом, Дж. Системы баз данных. Полный курс. - Москва: Вильяме, 2003. - 1088 с.

21. Интеграция данных и Хранилища. Обзор компании Intersoft Lab. [Электронный ресурс]. - Режим доступа http://citcity.ru/12101/

22. Зауфер, Г. и др. Шаблоны для информационного сервиса. - IBM developerWorks Россия. [Электронный ресурс]. - Режим доступа http://www.ibm.com/ developerworks/ ru/ library/ ws-soa-infoservl/

23. Grefen, P. Protocols for Integrity Constraint Checking in Federated Databases // Distributed and Parallel Databases. - 1997. - Vol. 5 (4). - P. 327-355.

24. Simon, E., Valduriez, P. Integrity control in distributed database systems // Proc. 19th Int. Conf. on System Sciences. - Hawaii. - 1986.

25. Gupta, A., Sagiv, Y., Ullman, J.D., Widom, J. Constraint checking with partial information // Proc. 13th ACM SIGACT-SIGMOD-SIGART Symp. on Principles of Database Systems. - 1994.

26. Grefen, P., Widom, J. Integrity constraint checking in federated databases // Memoranda Informatica. - University of Twente. - 1994.

27. Chawathe, S., Garcia-Molina, H., Widom, J. A Toolkit for Constraint Management in Heterogeneous Information Systems // Proc. 12th Int. Conf. on Data Engineering. - New Orleans (LA). - 1996.

28. Do, L., Drew, P. Active database management of global data integrity constraints in heterogeneous database environments // Proc. 11th Int. Conf. on Data Engineering. - Taipei (Taiwan). - 1995.

29. Мамиконов, А. Г. и др. Оптимизация структур распределенных баз данных в АСУ. - Москва : Наука, 1990. - 240 с.

30. Тнори, Т., Фрай, Дж. Проектирование структур баз данных. В 2-х кн. Кн.2-Москва : Мир, 1985.-276 с.

31. Хорошенький, А. Н. Анализ проблемы динамического управления структурой распределенной базы данных. // Сборник материалов Всероссийской научно-практической конференции "Национальная экономика и Вооруженные Силы: проблемы и перспективы". Санкт-Петербург: "СПб ГТУ", 2000. - С. 85.

32. Калиниченко, JI. А. Методы и средства интеграции неоднородных баз данных. - Москва: Наука. Гл. ред. физ.-мат. литературы, 1983. - 424 с.

33. Иванов, А. Ю. Модель для оценки оперативности реализации запросов к распределенным базам данных / А. Ю. Иванов // Проблемы управления рисками в техносфере. Научно-аналитический журнал. - 2008. - № 4(8). - С. 176-183.

34. Кузнецов, С. Д. Основы баз данных : учеб. пособие / С. Д. Кузнецов. -Москва : БИНОМ, 2007. - 484 с.

35. Кульба, В. В. Теоретические основы проектирования оптимальных структур распределенных баз данных / В. В. Кульба. - Москва : СИНТЕГ, 1990. -660 с.

36. Batini, С., Lenzerini, М. A Methodology for Data Schema Integration in the Entity-Relationship Model. ER 1983, pp. 413-420.

37. Шаша, Д., Бонне, Ф. Оптимизация баз данных: принципы, практика, решение проблем. - Москва : КУДИЦ-ОБРАЗ, 2004. - 432 с.

38. Иванов, А. Ю. Мобильные распределенные базы данных автоматизированных информационно-управляющих систем МЧС России: Диссертация на соискание ученой степени док. тех. наук : 05.25.05 / Иванов Александр Юрьевич. -Санкт-Петербург, 2009. - 277 с.

39. Попов, С. Г. Построение оптимального репозитория атрибутов и отношений для интеграции реляционных баз данных: Диссертация на соискание учёной степени кандидата технических наук : / Попов Сергей Геннадьевич. - Санкт-Петербург, 2010.-132 с.

40. Губинский, А. И. Информационно-управляющие человеко-машинные системы. Исследование, проектирование, испытания / А. И. Губинский, В. Г. Евграфова-Москва : Машиностроение, 1993. - 528 с.

41. Приказ Министерства связи и массовых коммуникаций Российской Федерации (Минкомсвязь России) от 02.09.2011 № 221 "Об утверждении Требований к информационным системам электронного документооборота федеральных органов исполнительной власти, учитывающих, в том числе, необходимость обработки посредством данных систем служебной информации ограниченного распространения".

42. Nitzsche, К. The baker's dozen of key features // Network World, 11/30/92.

43. Mohammad, Gh. A. A Multidatabase System as 4-Tiered Client-Server Distributed Heterogeneous Database System // International Journal of Computer Science and Information Security. - Vol. 6, No. 2, 2009.

44. Афанасьев, В. В., Лебеденко, E.B. Подходы к решению задачи оптимизации времени исполнения запросов в фрагментированных распределенных базах данных. // Информационные технологии моделирования и управления, 2010, №6(65)-С. 777-782.

45. Лядова, Л.Н. Метамоделирование и многоуровневые метаданные как основа технологии создания адаптируемых информационных систем // Advanced Studies in Software and Knowledge Engineering. International Book Series "Information Science & Computing", Number 4. Supplement to the International Journal "Information Technologies & Knowledge", 2008, Volume 2 - C. 125-132.

46. Иванов, Ю. H. Теория информационных объектов и системы управления базами данных / Ю. Н. Иванов. - Москва : Наука, 1988. - 232 с.

47. Семёнов, Д. Е. Модификация модели представления информационных объектов с использованием ориентированных графов в реляционных базах данных // Доклады ТУСУРа, №1(21), часть 1, июнь 2010.

48. Маликов, А. В. Ориентированные графы в реляционных базах данных // Доклады ТУСУРа, №2(18), часть 2, декабрь2008.

49. Мокрозуб, В. Г. Графовые структуры и реляционные базы данных в автоматизированных интеллектуальных информационных системах. - Москва : Издательский дом "Спектр", 2011. - 108 с.

50. Маликов А. В., Гулевскнй Ю. В. Разработка алгоритма представления ориентированной сети сущностей предметной области в виде дерева с целью оптимизации запросов к нормализованным на основе операций выборки и соединения базам данных // Материалы XI региональной научно-технической конференции "Вузовская наука - Северо-Кавказскому региону". Том первый. Естественные и точные науки. Технические и прикладные науки. Ставрополь : СевКавГТУ, 2007. 278 с.

51. Celko, J. A Look at SQL Trees. // DBMS, March 1996.

52. Roy, J. Using the Node Type to Solve Problems with Hierarchies in DB2 Universal Database [Электронный ресурс]. - Режим доступа: http://www-106.ibm.com/developerworks/db2/library/techarticle/ 0302гоу/ 0302roy.html, свободный.

53. Мелехов П. Метод хранения деревьев в БД - Preordered Tree Traversal (Nested Sets) [Электронный ресурс]. - Режим доступа: http://web-notes.ru/2005/01/nested_sets/, свободный.

54. Лядова, Л. Н. и др. Тиражирование данных в динамически настраиваемых распределенных информационных системах. В кн. : Natural and Artificial Intelligence. Sofia: Institute of Information Theories and Applications FOIITHEA, 2010. C. 165 -172.

55. Мокрозуб, В. Г. и др. Применение N-ориентированных гиперграфов и реляционных баз данных для структурного и параметрического синтеза технических систем // Прикладная информатика. - 2010, №4(28). - С. 115-122.

56. Романовский, И. В. Задача Штейнера на графах и динамическое программирование // Компьютерные инструменты в образовании. - 2004, №2.

57. Afanasyev, V. V., Demchenko, А. V. Modeling of hierarchical objects in relational databases // Modern informatization problems in economics and safety: Proceedings of the XVIII-th International Open Science Conference. - Lorman, MS, USA: Science Book Publishing House, 2013. - P. 6-8.

58. Иванов, А. О., Тужилин, А. А. Задача Штейнера на плоскости или плоские минимальные сети // Математический сборник. - 1991, №12(182). - С. 1813-1844.

59. Кормен, Т. X. и др. Алгоритмы: построение и анализ, 2-е издание. -Москва : Издательский дом "Вильяме", 2005. - 1296 с.

60. Bang, Y. W., Kun-Mao, Ch. Steiner Minimal Trees / An excerpt from the book "Spanning Trees and Optimization Problems" by Bang Ye Wu and Kun-Mao Chao. - 2004, Chapman & Hall/CRC Press, USA [Электронный ресурс]. - Режим доступа: http://www.csie.ntu.edu.tw/~kmchao/tree07spr/Steiner.pdf

61. Стельмашонок, В. Л. Графоаналитический метод оценки структуры информационной системы предприятия : Диссертация на соискание ученой степени кандидата экономических наук / Стельмашонок Виталий Леонидович — Санкт-Петербург, 2007. - 132 с.

62. Тарзанов, В. В., Стельмашонок, В. Л. Графоаналитическое моделирование структур сложных систем. - Санкт-Петербург : Изд-во Политехи, ун-та, 2006.- 157 с.

63. Искра, С. А. Разработка и исследование графоаналитических моделей алгоритмов управления технологическими процессами : Диссертация на соискание ученой степени кандидата технических наук / Искра Сергей Антонович -Москва, 2001.- 136 с.

64. Афанасьев, В. В., Лебеденко, Е.В. Использование графо-аналитических моделей для представления процесса формирования глобальной схемы мультибазы данных с учетом этапов ее реструктуризации // Интернет-журнал "Науковедение". 2013 №6(19) [Электронный ресурс]. - Москва, 2013. - Режим доступа: http://naukovedenie.ru/PDF/59TVN613.pdf, свободный - Загл. с экрана.

65. Когаловский, М. Р. Метаданные в компьютерных системах. [Электронный ресурс]. - Режим доступа http://www.cemi.rssi.ru/mei/articles/kogalovl3-03.pdf

66. Koch, Ch. Data Integration against Multiple Evolving Autonomous Schemata. [Электронный ресурс]. - Режим доступа http://www.csd.uoc.gr/ ~hy562/Papers/thesis_final.pdf

67. Голик, Дж. Распределенное тиражирование данных // "Журнал сетевых решений/LAN", № 04, 2000. [Электронный ресурс]. - Режим доступа http://www.osp.ru/lan/2000/04/131050/

68. Чертовской, В.Д. Базы и банки данных: Учебное пособие. - Санкт-Петербург : Изд-во МГУП, 2001. - 220 с.

69. Гнеденко, Б. В., Коваленко, И. Н. Введение в теорию массового обслуживания. - 2-е изд., перераб. и доп. - Москва : Наука. Гл. ред. физ.-мат. лит. -1987. - 336 с.

70. Немолочнов О. Ф. и др. Графо-аналитические модели вычислительных процессов в САПР / Немолочнов О. Ф., Безруков А. В., Зыков А. Г., Поляков В. И., Андронов А. В. // Научно-Технический Вестник Информационных технологий, механики и оптики. №4(74), 2011.

71. Заболотский, В. П. и др. Математические модели в управлении: Учебное пособие / Заболотский В.П., Оводенко А.А., Степанов А.Г. Санкт-Петербург : СПбГУАП, 2001 - 196 с.

72. Афанасьев, В.В. Методика децентрализованного управления процессом репликации метаданных в мультибазе данных с глобальной схемой, учитывающая ее реструктуризацию // Системы управления и информационные технологии, 2013, №1.1(51)-С. 117-122.

73. Анфилатов, В. С. и др. Теоретические основы автоматизации управления войсками. Ленинград : ВАС, 1978. - 478 с.

74. Монтгомери, Д.К. Планирование эксперимента и анализ данных, Ленинград, "Судостроение", 1980.-381 стр.

75. Афанасьев, В. В., Мешков, Д. И., Силаев, И. В. "Компьютерная программа для измерения времени запроса к базе данных "Query Time". Свидетельство о государственной регистрации программы для ЭВМ № 2012619081.

76. Блохин, В. Г. Современный эксперимент: подготовка, проведение, анализ результатов / В. Г. Блохин, О. П. Глудкин, А. И. Гуров, М. А. Ханин. - М. : Радио и связь, 1997. - 232 с.

77. Smith, J. М., Bernstein, P. A. and others. MULTIBASE - Integrating heterogeneous distributed database systems. Proceedings of 1981 National Computer Conference, AFIPS Press, 487-499. [Электронный ресурс]. - Режим доступа http://www.eecs.berkeley.edu/~wong/wong_pubs/wong71.pdf

78. Гмурман, В. Е. Теория вероятностей и математическая статистика, учебное пособие для вузов. - Москва : Высшая школа, 1977 г., 479 с.

79. Каляев И. А., Мельник Э. В. Децентрализованные системы компьютерного управления. Ростов-на-Дону : Издательство ЮНЦ РАН. 2011.-196 с.

80. Dongyu Q., Srikant R. Modeling and Performance Analysis of BitTorrent-Like Peer-to-Peer Networks. Coordinated Science Laboratory University of Illinois at Urbana-Champaign Urbana, IL 61801 [Электронный ресурс]. - Режим доступа http://conferences.sigcomm.org/ sigcomm/2004/papers/p444-qiul.pdf.

81. Thommes, R. W., Coates M. J. Modeling Virus Propagation in Peer-to-Peer Networks. Department of Electrical and Computer Engineering McGill University [Электронный ресурс]. - Режим доступа http://www.tsp.ece.mcgill.ca/ Net-works/projects/pdf/thommes_ICICS05.pdf.

82. Meulpolder, M. Analytical modeling of peer-to-peer file sharing systems. Parallel and Distributed Systems Group. Department of Computer Science, Delft University of Technology, the Netherlands [Электронный ресурс]. - Режим доступа http://iot.sut.ru/06.pdf.

83. Карлберг, К. Бизнес-анализ с использованием Excel. - Москва : Вильяме, 2012 г. - 573 с.

84. Лавров, В. В., Спирин, Н. А. Методы планирования и обработки результатов инженерного эксперимента. - Учебное пособие : Изд-во ЧГУ, Чебоксары, 2006.-200 с.

85. Олзоева, С. И. Моделирование и расчет распределенных информационных систем: Учебное пособие. - Улан-Удэ, 2004.

86. Уолрэнд, Дж. Введение в теорию сетей массового обслуживания [пер. с англ.] / Дж. Уолрэнд. - М. : Мир, 1993. - 336 с.

87. Томашевский, В., Жданова, Е. Имитационное моделирование в среде GPSS. - Москва : Бестселлер, 2003. - 416 с.

88. Лемешко, Б. Ю. Статистический анализ данных, моделирование и исследование вероятностных закономерностей. Компьютерный подход : монография / Б.Ю. Лемешко, С .Б. Лемешко, С.Н. Постоиалов, Е.В. Чимитова. - Новосибирск : Изд-во МГТУ, 2011. - 888 с.

89. Шрайбер, Т.Дж. Моделирование на GPSS. - Москва : Машиностроение. 1980. - 592 с.

90. Советов, Б. Я. МоделированйВсистем : учебник для бакалавров / Б. Я. Советов, С. А. Яковлев. - 7-е изд. - Москва : Издательство Юрайт, 2012. - 343 с.

91. Вентцель, Е. С. Теория вероятностей и ее инженерные приложения / Е. С. Вентцель, JI. А. Овчаров. - Москва : Высш. шк., 2000. - 480 с.

92. Васильев, К. К. Математическое моделирование систем связи : учебное пособие / К. К. Васильев, М. Н. Служивый. - Ульяновск : УлГТУ, 2008. - 170 с.

93. Кукушкин, А. А. Теоретические основы автоматизированного управления. Часть 1. Основы анализа и оценки сложных систем : пособие / А. А. Кукушкин. - Орел : ВИПС, 1998. - 254 с.