Математические модели и комплекс программ для ПК-кластеров консервативных баз данных тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Абрамов, Евгений Викторович

• Абрамов, Евгений Викторович
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Абрамов, Евгений Викторович

Введение.

1. Систематика мирового опыта разработок в области параллельных

СУБД.

1.1 Ретроспектива. Машины баз данных.

1.2Современные параллельные СУБД.

1.3Исследовательские проекты параллельных СУБД.

Выводы по главе 1.

2. Внешняя и процедурная компоненты модели.

2.1 Предлагаемое решение задачи внешнего моделирования.

2.2Формулировка задач внутреннего моделирования.

2.3Процедурная компонента модели.

Выводы по главе 2.

3. Разработка параллельной СУБД С1ш1епх.

3.1 Архитектурная основа параллельной СУБД Ск^епх.

3.2Разработка программной системы кластера как одна из основных задач внутреннего моделирования.

3.3Алгоритм работы системы.

3.4Выполнение динамического сегментирования.

3.5Подсистема сбора статистической информации.

З.бПодсистема визуализации динамики работы системы.

3.7Подсистема конфигурирования.

3.8Оптимизирующий претранслятор.

3.9Управление кластером.

3.10 Системные лог-файлы системы.

Выводы по главе 3.

4. Модельное исследование.

4.1 Условия модельного эксперимента.

4.2Предварительное исследование.

4.3Принципы динамической реконфигурации.

Выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Математические модели и комплекс программ для ПК-кластеров консервативных баз данных»

В диссертации исследуются вопросы синтеза параллельных систем управления базами данных (СУБД) на основе аппаратно-программных средств широкого применения. В качестве базовой технологии для построения таких систем рассматривается ^еотг/^технология. Данная технология позволяет создавать высокопроизводительные кластерные системы на базе стандартного аппаратно-программного обеспечения. При этом в качестве узлов кластера выступают обычные персональные компьютеры, в качестве коммутационной среды используются локальные сети (FastEthemet, GigabitEthernet и др.). Основным преимуществом данной технологии является высокое значение коэффициента производительность/стоимость.

Предмет диссертации ограничен случаем консервативных баз данных. Динамическое обновление данных в них отсутствует (работы с электронными справочниками, анализ результатов измерений, DataMining и др.). Это так называемые научные базы данных.

Работа выполнена в рамках направления конструктивного моделирования систем, развиваемого в КГТУ им. А.Н.Туполева под руководством профессора В.А.Райхлина. Основные концептуальные моменты этого направления состоят в следующем [1]. Процесс синтеза рассматривается с системных позиций в предположении, что синтезируемый объект моделирует поведение некоторой гипотетической системы. Моделирование системы проводится в рамках соответствующей модели синтеза, или S-модели (S - от Synthesis). В силу объективной неопределенности такую модель приходится строить неформально с привлечением эвристики.

Характерной особенностью S-модели является постулирование свойств эффективной реализации системы. Постулаты являются основой теории. Но они всего лишь нестрого индуктивно обобщают накопленный опыт. Поэтому система постулатов должна быть открытой.

Конечной целью Б-моделирования является разработка конструктивного метода, т.е. процедуры синтеза. Эта процедура формируется на основе теории (принятых постулатов) итеративно с учетом результатов модельного эксперимента.

Модели сложных систем всегда иерархичны. Задача построения таких моделей разделяется на две подзадачи: внешнего и внутреннего моделирования. Предметом внешнего моделирования является выбор направления развития каждого уровня иерархии. Именно здесь привлекается мировой опыт, строится конструктивная теория. Внутреннее моделирование связывается с разработкой процедурной компоненты, прототипа объекта синтеза и проведением модельных исследований.

Актуальность

Непрерывный рост объемов баз данных ставит на повестку дня задачу разработки эффективных параллельных СУБД. Реальные финансовые ограничения заставляют искать альтернативу мэйнфреймовым платформам. Хорошей альтернативой является кластерная технология. Применение стандартного серийного аппаратно-программного обеспечения {Веом?и1/-то,хяо1юткя) еще более актуализирует данную тему. Однако вопросы построения кластерных параллельных СУБД по такой технологии исследованы до сих пор недостаточно.

Цель

Целью диссертационной работы является разработка и исследование метода синтеза параллельных СУБД, реализуемых на платформе ВеолуиН7-кластеров, в совокупности задач внешнего и внутреннего моделирования.

Задачи

Для достижения поставленной цели в работе исследуются и решаются следующие задачи:

1. Обобщение мирового опыта построения параллельных СУБД кластерного типа и решение на этой основе задачи внешнего моделирования.

2. Построение процедурной модели синтеза Веомт1/~кластеров БД как необходимой компоненты внутреннего моделирования.

3. Разработка с учетом мирового опыта исследовательского прототипа параллельной СУБД как одной из основных компонент внутреннего моделирования и как инструментального средства модельного исследования.

4. Установление закономерностей для границ масштабируемости Вео\уи1£-кластеров БД, фактов существования в общем случае решения задачи поиска релевантной базы знаний и эффективности предложенной процедурной модели в процессе модельного эксперимента.

Научная новизна

• Построение основ теории параллельных СУБД на платформе Веот^-кластеров.

• Использование парадигмы внешних параметров и нечеткая трактовка темпоральности в контексте семантики Крипке при построении процедурной модели синтеза параллельной СУБД кластерного типа.

• Установление факта существования в общем случае решения задачи поиска релевантной базы знаний для этой модели.

• Выявление зависимости границы масштабируемости Веомпл1/-кластеров БД от объемов баз данных.

Практическая значимость работы

• Разработанная процедурная модель синтеза кластера баз данных может быть использована при построении подсистемы динамической реконфигурации параллельной СУБД.

• Разработанный исследовательский прототип параллельной СУБД Clusterix после его доведения до уровня действующего прототипа может быть использован для решения практических задач, требующих больших вычислительных мощностей.

Результаты диссертации использованы в учебном процессе кафедры Компьютерных систем КГТУ им. А.Н. Туполева (КАИ).

Апробация результатов работы

Основные результаты работы докладывались и обсуждались на научных конференциях и семинарах различного уровня:

1. Республиканском научном семинаре АН РТ «Методы моделирования» (Казань, 2001-2007гг.);

2.-V Международной научно-технической конференции «Новые информационные технологии и системы» (Пенза, 2002 г.);

3. Международной научно-технической конференции IEEE AIS'03 (Геленджик, 2003 г.);

4. Всероссийском конкурсе инновационных проектов аспирантов и студентов по приоритетному направлению развития науки и техники «Информационно-телекоммуникационные системы» (Москва,

2005г.);

5. Московской секции Международного семинара ACM SIGMOD (МГУ им. Ломоносова, Москва, 2005 г.);

6. VII Международной конференции-семинаре «Высокопроизводительные параллельные вычисления на кластерных системах» (ННГУ им. Н.И.Лобачевского, Нижний Новгород, 2007 г.).

На защиту выносятся следующие положения:

1. Систематика исследований в области параллельных СУБД и решение задачи внешнего моделирования.

2. Темпорально-нечеткая процедурная модель синтеза Вео\уи1/~ кластеров БД и ее программная реализация.

3. Разработка исследовательской версии параллельной СУБД С/мя/епх.

4. Результаты модельных исследований.

Публикации

Основное содержание диссертации опубликовано в 10 работах, включая 6 статей [40, 57, 60, 63, 65, 66], 4 тезиса докладов [55, 61, 62, 64].

Структура и объем работы

Диссертационная работа состоит из введения, четырех глав и заключения.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Абрамов, Евгений Викторович

Основные результаты диссертационной работы:

•Проведена детальная систематика исследований в области параллельных СУБД, итогом которой явилось решение задачи внешнего моделирования процессов синтеза кластеров БД.

•Разработан исследовательский прототип оригинальной СУБД С/ш*ега:. •Разработана темпорально-нечеткая процедурная модель выбора конфигурации Веомш1/~кластеров БД.

•Экспериментально показано существование решения задачи поиска релевантной базы знаний построенной модели в общем случае. •Подтверждено существование границы масштабируемости параллельных £ео-и>и//-кластеров БД и установлен факт роста этой границы с увеличением объемов баз данных.

•Найден вид предпочтительной архитектуры кластеров БД при работах до грани масштабируемости.

•Даны практические рекомендации по динамической перестройке архитектур кластера.

ЗАКЛЮЧЕНИЕ

Список литературы диссертационного исследования кандидат технических наук Абрамов, Евгений Викторович, 2008 год

1. Райхлин В.А. Конструктивное моделирование систем. - Казань: ФдН (Наука), 2005.

2. Воеводин В.В., Воеводин Вл. В. Параллельные вычисления. СПб.: БХВ - Петербург, 2004.

3. What makes a cluster a Beowulf? Интернет-адрес: http://www.beowulf.org/overview/index.html

4. Сбитнев Ю. Практическое руководство по параллельным вычислениям. Интернет-адрес: http://linux-cluster.org.ru

5. Озкарахан Э. Машины баз данных и управление базами данных: Пер. с англ. М.: Мир, 1989.

6. Калиниченко JI.A., Рыбкин В.М. Машины баз данных и знаний. М.: Наука, 1990.

7. DeWitt D.J. et al. The Gamma database machine project // IEEE Transactions on Knowledge and Data Engineering. 1990. V. 2. №1. P. 44 -62.

8. Левин Л. Teradata совершенствует хранилища данных. // PC Week. 2005. №2.

9. Dewitt D.J., Gerber R. Microprocessor Hash-Based Join Algorithms // VLDB'85, Proceedings of 11th International Conference on Very Large Data Bases, August 21-23, 1985, Stockholm, Sweden. P. 151 168.

10. Schneider D.A., DeWitt D.J. A performance evaluation of four parallel join algorithms in a shared-nothing multiprocessor environment. Computer Sciences Department, University of Wisconsin, Madison. P. 110—121.

11. Лесянский К., Слободяников Д. СУБД Teradata для ОС UNIX Интернетадрес: http://www.citforum.ru 75.Болиджер К. Врожденный параллелизм // Открытые системы. 2006. №2.

12. Интернет-адрес: http://www.osp.ru/os/2006/02/l 156526/ 16. Oracle Real Application Clusters lOg. Интернет-адрес: http://www.oracle.com/technology/products/database/clustering/pdf/twprac 10gr2.pdf

13. Сиколенко B.B. Сервер Oracle: текущее состояние. Интернет-адрес:www.citforum.ru/database/articles/oracleo v. shtml 75.Parallel Hardware Architecture. Oracle7 Parallel Server Concepts and

14. Administrator's Guide. 19.Oracle 8i Parallel Server. Concepts. Realease 2 (8.1.6). December 1999.

15. Дубова H. Суперкомпьютеры nCube // Открытые системы. 1995. №2.

16. Архитектура сервера INFORMIX-OnLine Dynamic Server 7.1 и коммуникационные средства. Интернет-адрес: http://www.computer-museum.ru/histsoft/ji95021 .php

17. Барон Г.Г. Параллельные архитектуры серверов баз данных // СУБД №2. 1995. Интернет-адрес: http://www.computer-museum.ru/histsoft /ji95011.htm

18. MySQL Cluster configuration Интернет-адрес: http://mysql.com/products/database/cluster/

19. PostgresSQL Интернет-адрес: http://pgpool.projects.postgresqI.org/pgpool П/en/

20. PGCluster Интернет-адрес: http://pgcluster.projects.postgresql.org/

21. Соколинский JI. Б. Организация параллельного выполнения запросов в многопроцессорной машине баз данных с иерархической архитектурой. //Программирование. 2001. № 6. С. 13 29.

22. Воронин В.Г. Принципы разработки SQL компилятора для СУБД Омега. Технический отчет ОмегаЮ. - Челябинск: ЧелГУ, 2002

23. А 100 Node ATM connected PC cluster. Интернет-адрес: http.V/www.tkl.iis.u-tokyo.ac.jp/Kilab/Research/NEDO-lOO/index.html

24. Oguchi M., Kitsuregawa M. Data Mining on PC Cluster connected with Storage Area Network: Its Preliminary Experimental Results. 2001.

25. Oguchi M., Kitsuregawa M. Parallel Data Mining on ATM Connected PC Cluster and Optimization of its Execution Environments. 2000.

26. Оззу M.T., Валдуриз П. Распределенные и параллельные системы баз данных // СУБД. 1996. №4.ii.DeWitt D.J., Gray J. Parallel Database Systems: The future of high -performance database systems // Communications of the ACM. 1992 V.35. № 6. P. 85 98.

27. Bodal H., Dewitt J. Database machines: An idea whose time has passed? A critique of the future of database machines // Database Machine, Munich, Sep 1983, P.166-187.

28. Мартин Дж. Организация баз данных в вычислительных системах. М.: Мир, 1980.

29. Шуленин А. Процессор запросов Microsoft SQL Server. О некоторых стратегиях оптимизатора при построении сложных, параллельных и распределенных планов // СУБД. 1998. №3. С.37.

30. Александров А. Машины хранилищ данных // Открытые системы. 2006. №2.

31. Корнеев В.В. Параллельные вычислительные системы. М.: «Нолидж», ' 1999.

32. ЗР.ДеВитт Д., Грей Д. Параллельные системы баз данных: будущее высокоэффективных систем баз данных // СУБД. 1995. №2.

33. Райхлин В.А., Абрамов Е.В. К теории моделей синтеза кластеров- баз данных //Вестник КГТУ им. А.Н.Туполева. 2000. №3. С.53 58.

34. Тейз -А., Грибомон П., Луи Ж. и др. Логический подход к искусственному интеллекту: от классической логики к логическому программированию. -М.: Мир. 1990.

35. Тейз А., Грибомон П., Юлен Г. и др. Логический подход к искусственному интеллекту: от модальной логики к логике баз данных. — М.: Мир. 1998.

36. Аверкин А.Н., Батыршин И.З., Блишун А.Ф. Нечеткие множества в моделях управления и искусственного интеллекта /Под ред. Д.А. Поспелова. М: Наука, 1986.

37. Малышев Н.Г., Берштейн Л.С., Боженюк A.B. Нечеткие модели для экспертных систем в САПР. М.: Энергоатомиздат, 1991.

38. Райхлин В.А. Моделирование машин баз данных распределенной архитектуры //Программирование. 1996. №2. С.7 16.

39. Ульман Дж. Основы систем баз данных М.: Финансы и статистика, 1983.4&Дж.Грофф, П. Вайнберг SQL: Полное руководство: Пер. с англ. — 2-е изд., перераб. и доп. К.:Издательская группа BHV, 2001.

40. ТРС BENCHMARK D. Standard Specification. Revision 2.1. Интернет-адрес: http://www.tpc.org

41. Что такое Beowulf? Интернет-адрес: http://parallel.rU/computers/reviews/beowulf.html#pl

42. Уолтон Ш. Создание сетевых приложений в среде Linux. М.: Издательский дом «Вильяме», 2001.

43. Митчел М., Оулдем Д., Самьюэл А. Программирование для Linux. -М.: Издательский дом «Вильяме», 2003.

44. Снейдер Й. Эффективное программирование TCP/IP. Библиотека программиста СПб.: Питер, 2002.

45. Дюбуа П. MYSQL М.: Издательский дом «Вильяме», 2001.

46. Главные компоненты временных рядов: метод «Гусеница» /Под ред. ДА. Данилова и A.A. Жиглявского. С.Пб.: Санкт Петербургский университет, 1997

47. Райхлин В.А., Абрамов Е.В. Кластеры баз данных. Моделирование эволюции // Вестник КГТУ им. А.Н. Туполева. 2006. №3. С.22-27.

48. Лукашин Ю.П. Адаптивные методы краткосрочного прогнозирования временных рядов. М.: Финансы и статистика, 2003.

49. Дуброва Т.А. Статистические методы прогнозирования. — М.: ЮНИТИ, 2003.

50. Абрамов Е.В. Параллельная СУБД Clusterix. Разработка прототипа и его натурное исследование //Вестник КГТУ им. А.Н. Туполева. 2006. №2. С.52-55.

51. Абрамов Е.В. О применимости нечетких моделей к синтезу распределенных информационных систем. // Труды V Международной научно-технической конференции Новые информационные технологии и системы. Пенза.:ПГУ, 2002. С.209

52. Абрамов Е.В., Куревин В.В. Вопросы построения Linux-кластеров баз данных. // Эволюционное моделирование. Казань: Фэн, 2004. С.278-288.

53. Абрамов Е.В. Параллельная СУБД Clusterix. Разработка и исследование. Труды московской секции международного семинара ACM SIGMOD. Интернет-адрес: http://synthesis.ipi.ac.ru/sigmod/seminar/s20051229