Математическое и программное обеспечение асинхронной репликации данных реляционных СУБД методом выделения объектов тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Апанасевич, Дмитрий Александрович

• Апанасевич, Дмитрий Александрович
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Апанасевич, Дмитрий Александрович

ВВЕДЕНИЕ.

1. АНАЛИЗ СУЩЕСТВУЮЩИХ СИСТЕМ РЕПЛИКАЦИИ РЕЛЯЦИОННЫХ СУБД И СПОСОБОВ СИНХРОНИЗАЦИИ ДАННЫХ В НИХ.

1.1. Принципы создания распределенных систем.

1.2. Средства определения и фиксации изменений данных.

1 \ ) >

1.3. Способы распространения изменений между узлами РСБД.

1.4. Репликация данных и основные проблемы асинхронного тиражирования.

Цели работы и задачи исследования.

2. РАЗРАБОТКА СХЕМЫ ПРОЕКТИРОВАНИЯ, МЕТОДА ВЫДЕЛЕНИЯ И СВЯЗЫВАНИЯ ОБЪЕКТОВ И ОЦЕНКА ЭФФЕКТИВНОСТИ ЕГО ПРИМЕНЕНИЯ В АСИНХРОННОЙ РЕПЛИКАЦИИ.

2.1. Разработка метода выделения и связывания объектов и схемы проектирования асинхронной репликации.

2.2. Число согласований асинхронной репликации с выделением объектов.

2.3. Целостность и непротиворечивость данных в РСБД с асинхронной репликацией.

2.4. Математическая модель информационного процесса репликации данных.

Выводы.

3. РАЗРАБОТКА АЛГОРИТМОВ, СТРУКТУР ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ И КОНЦЕПТУАЛЬНОЙ МОДЕЛИ ДАННЫХ СИСТЕМЫ АСИНХРОННОЙ РЕПЛИКАЦИИ НА ОСНОВЕ МЕТОДА ВЫДЕЛЕНИЯ ОБЪЕКТОВ.

3.1. Разработка журнала изменений и средств их фиксации.

3.2. Разработка протокола асинхронного тиражирования.

3.3. Алгоритмы разрешения конфликтов синхронизации.

3.4. Топология тиражирования в системе асинхронной репликации

3.5. Методы сокращения продолжительности блокировок.

3.6. Концептуальная модель схемы данных асинхронной репликации методом выделения объектов.

4. РЕАЛИЗАЦИЯ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ АСИНХРОННОЙ РЕПЛИКАЦИИ ДАННЫХ РЕЛЯЦИОННЫХ СУБД МЕТОДОМ ВЫДЕЛЕНИЯ ОБЪЕКТОВ.

4.1. Модули и структурные элементы системы асинхронной репликации.

4.2. Функциональная модель системы асинхронной репликации

4.3. Программная реализация проектирования и проведения асинхронной репликации данных на основе метода выделения объектов.

Выводы.

Введение диссертации (часть автореферата) на тему «Математическое и программное обеспечение асинхронной репликации данных реляционных СУБД методом выделения объектов»

Актуальность темы:

В современных условиях развития информационных технологий, обусловленных доступностью высокопроизводительных ЭВМ и развитием глобальных компьютерных сетей, актуальной стала проблема построения распределенных информационных систем предприятий. Эта актуальность обусловлена географической распределенностью предприятий в России. Тиражирование (или репликация) данных является важным элементом построения распределенных информационных систем. Она позволяет обеспечить доступ пользователям такой системы к актуальным данным в их локальной копии, что позволяет избежать затрат на доступ к удаленному узлу и увеличивает скорость предоставления данных. Использование репликации позволяет также достичь таких преимуществ как повышение производительности, надежности хранения и доступности данных, а также дает возможность поддержки мобильных пользователей.

Мобильность пользователя для таких систем характеризуется, прежде всего, отсутствием постоянного канала связи с ним. В этих случаях для обеспечения локальной независимости узла распределенной системы применяется асинхронное тиражирование данных, которое дает важное преимущество с технической и экономической точек зрения. Основная проблема распределенных систем с асинхронным тиражированием данных -соблюдение непротиворечивости и целостности данных, разрешение конфликтов согласования. И если для последних современные РСУБД предлагают способы автоматического разрешения, то для поддержки целостности базы данных разработчикам информационных систем предлагается самостоятельная разработка алгоритмов.

Таким образом, актуальность диссертационного исследования обусловлена необходимостью анализа основных проблем асинхронного тиражирования данных и разработки методов автоматической поддержки целостности.

Работа выполнена в рамках одного из основных научных направлений ГОУ ВПО «Воронежский государственный технический университет» «Интеллектуализация процессов моделирования и оптимизации в автоматизированных и информационных системах» ГБ 04.04 научного направления «Интеллектуальные информационные системы».

Цели и задачи исследования:

Целью диссертационной работы является повышение эффективности функционирования асинхронной репликации реляционных СУБД за счет разработки методов и алгоритмов повышения уровня целостности данных в распределенных системах.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Провести анализ принципов построения распределенных систем, современных методов определения и фиксации данных, средств обмена данными и основных проблем асинхронного тиражирования данных.

2. Создать методы выделения и связывания объектов, схему проектирования репликации. Оценить эффективность применения метода выделения объектов в асинхронных системах репликации, а также выработать рекомендации по его применению.

3. Разработать средства определения, фиксации и передачи данных, подлежащих тиражированию. Создать алгоритмы разрешения конфликта уникальности первичных ключей, адаптировать алгоритм разрешения конфликта времени выполнения операций над данными. Разработать концептуальную модель схемы данных.

4. На основе полученных результатов разработать структуру специального программного обеспечения асинхронной репликации данных по методу выделения объектов, разработать программный продукт, реализующий асинхронное тиражирование данных в реляционных СУБД.

Методы исследования:

Научные положения, выводы и рекомендации научно обоснованы с помощью математических доказательств с использованием аппарата теории вероятностей, теории конечных автоматов, теории множеств и теории функций.

Научная новизна результатов исследования:

В работе получены следующие результаты, характеризующиеся научной новизной: классификация нарушений целостности различных уровней, возникающих при использовании асинхронного тиражирования данных отличающаяся учетом всех возможных уровней целостности;

- схема проектирования репликации данных, позволяющая разбить процесс проектирования на этапы концептуального и логического проектирования и отличающаяся полнотой описания структуры репликации;

- метод выделения и связывания объектов для репликации в реляционных СУБД, основывающийся на группировке сущностей реалий и обеспечивающий сохранение уровня числа согласований, а также повышающий целостность данных; концептуальная модель описания схемы данных репликации, основывающаяся на разработанном методе выделения и связывания объектов и учитывающая все классы реалий РСБД;

- структура специального программного обеспечения, обеспечивающая настройку схемы данных и асинхронное тиражирование данных в реляционных СУБД и отличающаяся применением разработанного метода выделения и связывания объектов для репликации данных.

Практическая значимость и результаты внедрения:

Предложенный алгоритм асинхронной репликации данных реляционных СУБД, основанный на методе выделения и связывания объектов, повышает эффективность тиражирования данных, за счет автоматического контроля целостности данных, и, соответственно, снижает необходимость вмешательства администраторов информационных систем для разрешения нарушений целостности данных.

Разработанная схема проектирования процесса репликации данных может использоваться для ускорения процесса проектирования информационных систем с распределенной базой данных.

Теоретические и практические результаты работы внедрены в деятельность ООО «ГЕЛА. Информационные технологии и консалтинг» и реализованы в виде программной системы проектирования и проведения асинхронной репликации реляционных СУБД, о чем свидетельствует соответствующий акт внедрения.

Апробация работы;

Основные результаты работы были изложены на XIV Всероссийской научно-методической конференции Телематика'2007 (Санкт-Петербург, 2007), научно-технических конференциях профессорско-преподавательского состава, сотрудников, аспирантов и студентов ГОУ ВПО «Воронежский государственный технический университет» (2005-2008).

Публикации:

Основные результаты диссертационной работы изложены в восьми публикациях, в том числе 5 - в изданиях, рекомендованных ВАК РФ.

В работах, опубликованных в соавторстве, лично соискателю принадлежит метод выделения и связывания объектов в реляционной СУБД [6], [7], классификация основных проблем асинхронного тиражирования и нарушений целостности различных уровней [8], математическая модель журнала изменений и критерий его оптимизации [9].

Структура и объем работы:

Диссертация состоит из введения, четырех глав, заключения и одного приложения, изложенных на 120 страницах машинописного текста, списка

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Апанасевич, Дмитрий Александрович

Выводы

1. В главе с алгоритмической и прикладной стороны рассмотрено практическое применение рассмотренного в предыдущих главах метода выделения и связывания объектов для асинхронного тиражирования.

2. Предложена структура и функционал модулей реализующих предлагаемый функционал системы.

3. Разработаны алгоритмы реализации триггеров для фиксации в журнале изменений действий пользователя.

4. Построена функциональная модель системы асинхронной репликации реляционных СУБД и разработано описание функционирования системы на различных уровнях с помощью диаграмм потоков данных.

5. На основе разработанной структурной и функциональной моделей разработано специальное программное обеспечение, обеспечивающее настройку схемы данных и проведение асинхронной репликации данных реляционных СУБД.

Заключение

Целью диссертационной работы является повышение эффективности функционирования асинхронной репликации реляционных СУБД за счет разработки методов и алгоритмов повышения уровня целостности данных в распределенных системах.

В работе получены следующие основные результаты:

1. На основе проведенного анализа основных проблем асинхронного тиражирования данных выявлена необходимость дальнейшего повышения эффективности функционирования асинхронных систем репликации.

2. Проведена классификация нарушений целостности различных уровней в реляционных СУБД, обеспечивающая учет всех возможных уровней целостности.

3. Созданы методы выделения объектов из совокупности таблиц и метод их связывания друг с другом, обеспечивающие сохранение у, уровня числа согласований и повышающие целостность данных. Предложена схема проектирования репликации ' данных, основывающаяся на разбиении процесса на этапы концептуального и логического проектирования и обеспечивающая полноту описания структуры репликации. Проведена оценка эффективности применения метода выделения и связывания объектов в асинхронных системах репликации, а также выработаны рекомендации по его применению.

4. Разработаны средства определения и фиксации данных, подлежащих репликации и протокол поддержки тиражирования, учитывающие асинхронный способ распространения. Предложены алгоритмы разрешения конфликта уникальности первичных ключей и проведена адаптация алгоритма разрешения конфликта времени выполнения операций над данными, обеспечивающие решение соответствующих проблем тиражирования.

5. Разработаны структурные элементы и функциональная модель системы асинхронной репликации, обеспечивающие настройку схемы данных и асинхронное тиражирования данных, на основе которых разработано специальное программное обеспечение.

6. Теоретические и практические результаты работы внедрены в деятельность ООО «ГЕЛА. Информационные технологии и консалтинг» и реализованы в виде программной системы проектирования и проведения асинхронной репликации реляционных СУБД, что подтверждается соответствующим актом.

Список литературы диссертационного исследования кандидат технических наук Апанасевич, Дмитрий Александрович, 2008 год

1. Андерсон Р. Тестируем соединители MAPI для Microsoft Outlook // Сети и системы связи. 2003. - №12. - С.56-63.

2. Апанасееич Д. А. Выбор метода распространения данных // Высокие технологии в технике, медицине, экономике и образовании. Воронеж, 2006. -С.284-287.

3. Апанасееич ДА. Концептуальная и логическая модели проектирования репликации данных с выделением объектов // Вестник Воронежского государственного технического университета. 2008. — №2. - С.31-34.

4. Апанасееич Д. А. Модели данных и структурная модель системы асинхронной репликации с выделением объектов // Вестник Воронежского государственного технического университета. 2008. - №6. - С.78-79.

5. Апанасееич ДА. Целостность и непротиворечивость данных РСБД с асинхронной репликацией методом выделения объектов // Вестник Воронежского государственного технического университета. 2008. - №6. — С.26-27.

6. Апанасееич Д.А., Юрасое В.Г. О способе построения однонаправленной репликации между двумя базами данных // Труды XIV Всероссийский научно-методической конференции Телематика'2007. Том 2. Секции D,E. -С.285-288.

7. Апанасееич ДА., Юрасов В.Г. О механизме объектной репликации между двумя базами данных // Вестник Воронежского государственного технического университета. 2007. - №12. - С.23-24.

8. Апанасееич ДА., Юрасов В.Г. Принципы и практические аспекты построения корпоративных информационных систем // Труды XIV Всероссийский научно-методической конференции Телематика'2007. Том 2. Секции D,E. С.281-283.

9. Апанасевич Д.А., Юрасов В.Г. О механизме фиксации изменений в системе репликации данных на основе выделения объектов // Вестник Воронежского государственного технического университета. 2008. - №1. - С. 18-20.

10. А.Вендрое A.M. CASE-технологии. Современные методы и средства проектирования информационных систем http://case-tech.hl.ru/library/vendrov/index.htm.

11. Гагин А. Сервисы Интернет: практическое рассмотрение. // Jet Info. 1996. №7. - http://www.computer-museum.ru/technlgy/ji96071.htm.18 .Гарсиа-Молина Г., Ульман Д., УидомД. Системы управления базами данных. -М.: Вильяме, 2003. 1088 с.

12. Гейн К., Сарсон Т. Системный структурный анализ: средства и методы.-М., Научно-техническое предприятие ЭЙТЕКС, 1992. 274 с.

13. Грей Дж. Управление данными: прошлое настоящее и будущее // Системы управления базами данных. 1998. -№3. - С.20-21.21,Дейт, К., Дж. Введение в системы баз данных, 7-е издание. : Пер. с англ. — М.: Издательский дом «Вильяме», 2001. — 1072 с.

14. Диго С.М. Базы данных: проектирование и использование. Учебник. М.: Финансы и статистика, 2005 - 592 с.

15. Дубова Н. Все про промежуточное ПО // Открытые системы. 1999. №07-08.

16. Дюбуа П. MySQL: Уч. пос. Пер. с англ. М. : Издательский дом «Вильяме», 2001.-816 с.

17. Еникеева А., Хромов А. Технологии синхронизации для мобильных и встроенных вычислений. // КомпьютерПресс. 2001. №5.

18. Кайт Т. Oracle для профессионалов. Пер. с англ. СПб.: ООО «ДиаСофтЮП», 2003. — 672 с.

19. Калагиян А.Н., Каляное Г.Н. Структурные модели бизнеса: DFD-технологии.- М.: Финансы и статистика, 2003. 256 с.

20. Каляное Г.Н. CASE. Структурный системный анализ (автоматизация и применение). М., "Лори", 1996. 224 с.

21. Колмогоров А.Н. Основные понятия теории вероятностей. 3-е изд. - М.: ФАЗИС, 1998.-129 с.

22. Корбинский Н.Е., Трахтенброт Б.А. Введение в теорию конечных автоматов- М.: Физматгиз, 1962. 404 с.

23. Куратовский К, Мостовский А. Теория множеств. Пер. с англ. М.И. Кратко; Под. Ред. А.Д. Тайманова М.: Изд-во «Мир», 1970 - 409 с.

24. Ладыженский Г.М. Технология "клиент-сервер" и мониторы транзакций // Открытые системы. 1994. - №3. - http://www.osp.ru/os/1994/03/178494/. Ладыженский Г. М. Базы данных: коротко о главном. - М.: НИИСИ РАН,2000.-114 с.

25. Маклаков С.В. BP win и ERwin. CASE средства разработки информационных систем - М.: «Диалог - МИФИ», 2000. - 256 с.

26. Мамаев Е., Шкарина Л. Microsoft SQL Server 200 для профессионалов. -СПб.: Питер, 2001. 1088 с.

27. Марков А. С., Лисовский К.Ю. Базы данных. Введение в теорию и методологию: Учебник. М.: Финансы и статистика, 2004. - 512 с.

28. Олифер В.Г., Олифер Н.А. Компьютерные сети. Принципы, технологии, протоколы: Учебник для вузов. 2-е изд. Спб.: Питер, 2004. - 864 с.

29. Пейдж, Вильям, Дж., и др. Использование Oralce 8TM/8i ТМ. Специальное издание.: Пер. с англ. М.: Издательский дом «Вильяме», 1999. - 1024с.

30. Райордан Р. Основы реляционных баз данных.: Пер. с англ. М.: Издательско-торговый дом «Русская Редакция», 2001. - 384 с.

31. Сергеев И.В. Программное и математическое обеспечение системы репликации данных СУБД независимых платформ: дис. канд. технич. наук. М.: 2003.-128 с.

32. Силин А.В. Исследование и разработка моделей распределенных баз данных информационных систем корпоративного типа: дис. канд. технич. наук. М.: 2002. -134 с.

33. Ситников А.А. Моделирование процесса репликации данных в СУБД по сокращенному журналу // Информатика и системы управления. 2005. - № 2. - С.3-13.

34. Солдатов C.JI. Математическое и программное обеспечение синхронизации баз данных мобильных устройств с корпоративными системами: дис. канд. технич. наук. М.: 2005. 116 с.

35. ЪЪ.Тамер Оззу М., Валдуриз П. Распределенные и параллельные системы баз данных // Системы Управления Базами Данных. 1996. №4. - С. 4-26.

36. Таненбаум Э., Ван Стеен М. Распределенные системы. Принципы и парадигмы СПб.: Питер, 2003. - 877 с.

37. Тенцер А. База данных — хранилище объектов // КомпьютерПресс. 2001. №8. - http://www.compress.ru/article.aspx?id=l 1515&iid=452.

38. Топорец А.Ю. Проектирование корпоративных информационных систем класса ERP для управления сетью территориально распределенных филиалов: дис. канд. технич. наук. М.: 2003. 119 с.

39. Фадеев А. Ю. Моделирование и исследование распределенной системы хранения данных на основе TCP/IP: дис. канд. технич. наук. М.: 2003. — 112 с.

40. Alex Gorelik, Yongdong Wang, MarkDeppe. Sybase Replication Server//ACM SIGMOD. 1994. №2. -P.469.

41. Date C. J. "What is a Distributed Database System, Part I" // The Relational Journal.- 1987.-№1.

42. Date C. J. "What is a Distributed Database System, Part II" // The Relational Journal. 1987.-№1.

43. Fernando Pedone, Rachid Guerraoui, Andre Schiper. Exploiting Atomic

44. Peter Pin-Shan Chen. The entity-relationship model—toward a unified view of data // ACM Transactions on Database Systems (TODS). 1976. №1. - Pp.9-36.

45. Thompson, Charles. Database Replication // DBMS. 1997. - №5, Vol 10.

46. Wiesmann M., Pedone F., Schiper A., Kemme В., Alonso G. Understanding replication in databases and distributed systems // Distributed Computing Systems. 2000. - Pp.464-474.

47. Yasushi Saito, Marc Shapiro. Optimistic replication // ACM Computing Surveys (CSUR). 2005.№ 1. - Pp.42-81.

48. Consistent Data Replication: Is it feasible in WANs? // Europar Conf., Lisbon (Portugal), August 2005. Pp. 633-643.86.7шм Huang, Prasad Sistla, Ouri Wolfson. Data replication for mobile computer // ACM SIGMOD. 1994. - №2. - Pp.13-24.

49. Yuri Breitbart, Henry F. Korth. Replication and Consistency: Being Lazy Helps Sometimes // Proceedings of the sixteenth ACM SIGACT-SIGMOD-SIGART symposium on Principles of database systems. Pp.173-184.