Моделирование процессов балансировки нагрузки мультикластерных СУБД консервативного типа тема диссертации и автореферата по ВАК РФ 05.13.18, кандидат технических наук Минязев, Ринат Шавкатович

• Минязев, Ринат Шавкатович
• кандидат технических наук
• 2012

Оглавление диссертации кандидат технических наук Минязев, Ринат Шавкатович

СОДЕРЖАНИЕ

ПЕРЕЧЕНЬ ИСПОЛЬЗУЕМЫХ СОКРАЩЕНИЙ

ВВЕДЕНИЕ

Глава 1. СОСТОЯНИЕ ВОПРОСА И ПРЕДМЕТ ИССЛЕДОВАНИЙ

1.1. Современные параллельные СУБД

1.2. Проекты высокопроизводительных СУБД

1.3. Системы мониторинга и визуализации параллельных СУБД

1.4. Прототип базовой системы моделирования

1.5. Задача работы и пути ее решения

1.6. Выводы

Глава 2. ПРИНЦИПЫ И ЦЕЛЕСООБРАЗНОСТЬ ПЕРЕХОДА К МУЛЬТИ-

КЛАСТЕРИЗАЦИИ

2.1. Принципы перехода к мультикластеризации

2.2. Временные доминанты функционирования монокластера

2.3. Эффективность перехода к мультикластеризации

2.4. Выводы

Глава 3. МОДЕЛИРОВАНИЕ ПРОЦЕССОВ РАСПРЕДЕЛЕНИЯ ЗАПРОСОВ В МУЛЬТИКЛАСТЕРЕ

3.1. Постановка подзадачи роутеризации

3.2. Модально-логическая модель распределений

3.3. Сравнительный анализ для случая «круговых» распределений

3.4. Численный метод определения весовых коэффициентов

3.5. Заключительный вычислительный эксперимент

3.6. Выводы

Глава 4. РАЗРАБОТКА ИНСТРУМЕНТАЛЬНОЙ СИСТЕМЫ МОДЕЛИРОВАНИЯ

4.1 Причины несовместимости базового прототипа с новыми платформами

4.2 Выполненные доработки прототипа

4.3 Рекомендации по построению программного модуля ROUTER

4.4 Выводы

ЗАКЛЮЧЕНИЕ

ЛИТЕРАТУРА

ПРИЛОЖЕНИЯ

Приложение А. Оттранслированные запросы теста ТРС-Н

Приложение Б. Инструкция пользователя системы Clusterix-I

ПЕРЕЧЕНЬ ИСПОЛЬЗУЕМЫХ СОКРАЩЕНИЙ

ПК - Персональный компьютер

СУБД - Система управления базами данных

БД - База данных

НМД - Накопители на магнитных дисках

ЕС ЭВМ Единая система электронных вычислительных машин

HPC - High performance computer

OLAP - Online analytical processing

DSS - Decision support system

OLTP - Online transaction processing

SMP — Symmetric multiprocessing

EOS — Earth observing system

CERN - European center for nuclear research

SNMP - Simple network management protocol

MPP - Massive parallel processing

WLCG Worldwide large hadron collider computing grid

SLAC Stanford linear accelerator center

SDSS Sloan digital sky survey

EOSDIS Earth observing system data and information system

ATM Asynchronous transfer mode

SDC Super database computer

SCSI Small computer system interface

API Application programming interface

SSH Secure shell

SSL Secure sockets layer

MPP Massive parallel processing

Введение диссертации (часть автореферата) на тему «Моделирование процессов балансировки нагрузки мультикластерных СУБД консервативного типа»

ВВЕДЕНИЕ

Актуальность темы. Основной тенденцией последнего времени в сфере интеллектуальной обработки данных является использование высокопроизводительных параллельных СУБД [1, 20]. Объемы накопленной информации для многих баз данных превышают десятки терабайт. Примерами приложений, работающими с такими объемами данных, являются корпоративные базы данных [2], электронная коммерция [3], электронные библиотеки [4], геоинформационные системы [5, 6], социальные сети [7] и многие другие. Особое место в этом перечне занимают приложения, работающие с научными базами данных [8], где объемы хранимой и обрабатываемой информации достигают петабайт-ных значений. Использование параллельных систем баз данных для хранения и продуктивного анализа накопленных колоссальных объемов информации оказывается единственным приемлемым решением.

Имеется ряд исследовательских и коммерческих проектов параллельных СУБД: DB2 Parallel Edition [9], Greenplum [10], NonStop SQL [11], Teradata [12], MySQL Cluster [13], PG Cluster [14], Oracle EXADATA [15], Sybase IQ [16], Microsoft SQL server (проект Madison) [17], NEDO-lOO [18], Омега [19] и др. Большинство из них характеризуется высокой стоимостью и ориентированностью на использование мощной кластерной аппаратной платформы. Перечисленные системы ориентированы в первую очередь на поддержку работы internet-cep-висов, т.е. на выполнение множества сравнительно простых операций типа select,insert,delete над динамически изменяемыми данными.

Однако тенденции развития технологии аналитической обработки данных OLAP (online analytical processing) [21] и актуализация смежных задач, сопутствующих OLAP (создание хранилищ данных (data warehouse) [22], построение систем поддержки принятия решений (DSS) [23], интеллектуальный анализ данных (data mining) [24]), определяют необходимость построения специализированных высокопроизводительных параллельных СУБД консервативного типа (с эпизодическим обновлением баз данных в специально выделяемое время) с хорошей масштабируемостью, функционирующих на сравнительно

недорогой кластерной аппаратной платформе. Для них характерны работа с базами данных большого объема со множеством отношений, большое число пользователей, высокий удельный вес сложных запросов типа select-project-join с несколькими уровнями вложенности запросов.

Несмотря на наличие большого числа проектов, теория параллельных СУБД кластерного типа находится в зачаточном состоянии. Ее развитие требует детального анализа динамики таких систем. Только знание особенностей динамики СУБД - кластеров позволит дать объективные рекомендации по их построению.

Проведение подобных исследований затруднено отсутствием универсальных кросс-систем и специализированных инструментальных средств моделирования в ранее перечисленных разработках. В настоящее время имеются проекты универсальных систем моделирования [25]. Но они не ориентированы на детальный анализ процессов, протекающих в параллельных СУБД. Исследовательский проект параллельной СУБД Clusterix [26] является в этом смысле редким исключением. По сути это - специализированная система моделирования кластерных СУБД консервативного типа с регулярным планом обработки запросов [27]. Детальный анализ динамики на ее основе помогает развитию элементов теории таких СУБД. Ее использование как инструментального средства моделирования позволило сформулировать гипотезу масштабируемости [28], установить рост масштабируемости с переходом к СУБД с многокластерной

архитектурой [29] и др.

Серьезными проблемами для любых параллельных СУБД являются: масштабируемость - как по числу узлов, так и по числу пользователей [30, 31], обеспечение отказоустойчивости [32, 33], балансировка нагрузки и размещение

данных между узлами [34, 35, 36].

Среди перечисленных проблема балансировки нагрузки занимает ключевое место [35, 37]. Именно с ее решением связывается повышение эффективности и масштабируемости параллельной СУБД. Над этой проблемой работает множество коммерческих организаций (Google, Microsoft, Yahoo, Intel, IBM). Ее

исследованию посвящено множество работ. Разработаны масштабируемые протоколы репликации данных для кластерных систем высокой отказоустойчивости [38]. Созданы масштабируемые алгоритмы кластеризации данных для больших баз данных [39]. Разработаны средства управления и мониторинга для кластерных СУБД [40]. Развиты методы горизонтального и вертикального разделения данных между узлами в параллельных СУБД [41]. Имеются проекты использования не реляционной модели МарЯес1исе при построении параллельных СУБД [42]. Проводятся исследования по организации асинхронного взаимодействия (с хорошей масштабируемостью) в параллельных СУБД [43]. В работе [44] предложено решение проблемы балансировки загрузки для систем без совместного использования ресурсов, основанное на репликации. Данное решение позволяет уменьшить накладные расходы на передачу данных по сети в процессе балансировки загрузки. Однако этот подход применим в весьма узком контексте пространственных баз данных в специфическом сегменте диапазонных запросов. В работе [34] задача балансировки загрузки решается путем частичного перераспределения данных перед началом выполнения запроса. Данный подход уменьшает суммарное количество пересылок данных между вычислительными узлами в ходе обработки запроса, однако накладывает серьезные требования на скорость межпроцессорных коммуникаций.

Решение задачи балансировки нагрузки для параллельных СУБД, функционирующих на платформах вычислительных кластеров заданной сложности связывается с программной настройкой кластера на архитектуру мультикласте-ра. Такое решение требует детального изучения вопросов выбора сложности монокластера (выделяемого настройкой «тяжелого» [45] узла), его архитектуры и балансировки нагрузки между монокластерами. В настоящей работе изучению этих вопросов уделено основное внимание.

Объект исследования - мультикластерные параллельные системы управления консервативными базами данных с регулярным планом обработки запросов, функционирующие на платформах вычислительных кластеров заданной сложности (по числу узлов) с многоядерными БМР-узлами.

Предмет исследования - правомерность перехода на позиции мульти-кластерных СУБД указанного типа; рекомендации по декомпозиции кластера в целом на составляющие монокластеры и выбору архитектуры монокластера; моделирование процесса распределения запросов между монокластерами; инструментальная система моделирования для проведения необходимого вычислительного эксперимента.

Цель диссертационной работы - повышение эффективности (по критерию «производительность/сложность») использования вычислительных кластеров заданной сложности с многоядерными БМР-узлами при реализации на них параллельных СУБД консервативного типа с регулярным планом обработки запроса.

Решаемая научная задача - комплексная задача моделирования процессов балансировки нагрузки в мультикластерных СУБД ранее указанного типа. Решение этой задачи связывается в работе с выбором архитектуры монокластера с многоядерными 8МР-узлами, его сложности и способа динамического распределения запросов между монокластерами в процессе непрерывной обработки потока запросов от множества пользователей.

Эта комплексная задача разбивается на 3 подзадачи:

1. Обоснование правомерности перехода на позиции мультикластерных СУБД консервативного типа с регулярным планом обработки запроса в составляющих монокластерах на многоядерных БМР-узлах, выработка рекомендаций по декомпозиции кластера в целом на составляющие монокластеры и выбору архитектуры монокластера.

2. Построение математической модели и релевантного вычислительного метода балансировки нагрузки в мультикластерных СУБД указанного типа согласно выявленным в п.1 ограничениям и проведение сравнительного вычислительного эксперимента.

3. Построение имитационной модели исследуемого объекта (параллельной СУБД рассматриваемого типа) - инструментальной системы моделирования с необходимыми измерительными средствами.

Методы исследования. Исследования проводились с привлечением методологии вычислительного эксперимента; теории системного и параллельного программирования; теории баз данных; методов обработки временных рядов; модальной логики с использованием семантики Крипке и системы нечеткого вывода; принципов построения генетических алгоритмов; методов статистической обработки результатов эксперимента.

Основные научные результаты, полученные автором и выносимые на защиту:

1. Платформо-независимость качественных закономерностей масштабируемости монокластеров параллельных СУБД консервативного типа с регулярным планом обработки запросов, выявленных ранее [28] для случая вычислительных кластеров с одноядерными узлами; рекомендации по декомпозиции базового кластера в целом на монокластеры; наиболее эффективные конфигурации таких монокластеров и их временные доминанты для случая многоядерных БМР-узлов; эффективность выбора для мультикластерных СУБД регулярного плана обработки запросов в составляющих кластерах и существенное улучшение масштабируемости с переходом на позиции мультикластеризации.

2. Построенная с учетом выявленных закономерностей модально-логическая математическая модель распределения запросов между монокластерами с использованием семантики Крипке и системы нечеткого вывода; релевантный ей приближенный метод вычисления весовых коэффициентов; оценка ее эффективности в сравнении со множеством других вариантов распределения запросов в мультикластерных СУБД на НРС-платформе; выравнивание задержек (при увеличении их значений) получения ответов на поступающие запросы с ростом числа пользователей.

3. Специализированная инструментальная система С1из1епх-1 моделирования процессов в мультикластерных СУБД консервативного типа с регулярным планом обработки запросов в монокластерах на многоядерных платформах ПК- и НРС-кластеров.

Научная новизна работы состоит в следующем:

1. Обоснована правомерность перехода от монокластерных к мульти-кластерным СУБД при неизменной сложности базового вычислительного кластера. Это достигнуто выявлением временных доминант в монокластере и распространением гипотезы масштабируемости для монокластерных СУБД консервативного типа с регулярным планом обработки запросов на случай использования многоядерных 8МР-узлов.

2. Построена математическая модель процесса распределения запросов между монокластерами с применением семантики Крипке и механизмов нечеткого вывода. Эта модель отличается от ранее использованной для динамической реструктуризации параллельных СУБД [46] изменением семантики миров Крипке (теперь это - миры параметров, а не миры архитектур), специфичным выбором характеристик предпочтения на множестве таких миров (весовые коэффициенты параметров) и критерия предпочтения на множестве монокластеров (минимум веса очереди запросов).

3. Разработан приближенный метод вычисления весовых коэффициентов с использованием базы знаний, найденной генетическим путем для случая отсутствия совмещений при обработке соседних запросов в монокластерах. Отличительной особенностью примененного генетического алгоритма является релевантный выбор критерия поиска.

Обоснованность и достоверность результатов диссертации. Правомерность предложенного подхода к повышению эффективности использования вычислительных кластеров заданной сложности с многоядерными 8МР-узлами при реализации на них параллельных СУБД консервативного типа с регулярным планом обработки запросов и достоверность всех полученных результатов подтверждены многоплановым вычислительным экспериментом на специально разработанном для этой цели инструментальном средстве моделирования. При обработке результатов эксперимента использованы принятые методы обработки статистики. В основу построения математической модели распределения запросов положен математический аппарат миров Крипке, нечеткой логики, генетических алгоритмов.

Практическую ценность работы составляют:

1. Практические рекомендации по построению мультикластерных СУБД консервативного типа, вытекающие из проведенных исследований.

2. Разработанная специализированная инструментальная система моделирования С1ш1епх-1, которая может быть использована как в учебном процессе при изучении архитектурно-алгоритмических основ параллельных вычислений, так и при проведении дальнейших оригинальных исследований динамики рассматриваемых специализированных СУБД.

Результаты диссертации использованы в учебном процессе кафедры Компьютерных систем КНИТУ-КАИ.

Апробация работы. Основные результаты работы докладывались и обсуждались на международной молодежной научной конференции «Туполевские чтения» (Казань, 2008 г.), республиканском научном семинаре АН РТ «Методы моделирования» (Казань, 2009-2011 гг.), международных конференциях «Высокопроизводительные параллельные вычисления на кластерных системах» НРС-2008, 2009, 2011 (Казань, 2008г.; Владимир, 2009 г.; Нижний Новгород, 2011 г.).

Публикации. Результаты диссертационной работы отражены в 7 публикациях, в том числе 3 - в трудах конференций [90,91,92], 4 - научные статьи [29,62,79,83] (из них 2 [62,79] - в рецензируемых журналах).

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения, библиографического списка и приложений.

В главе 1 подчеркивается целесообразность построения специализированных высокопроизводительных параллельных СУБД высокой масштабируемости, предназначенных для аналитической обработки данных. Выделяются подходы, применяемые при создании таких систем. Приводится описание некоторых исследовательских проектов параллельных СУБД. Дается обзор существующих систем анализа производительности и визуализации динамики работы кластерных платформ. Отмечается невозможность их использования для де-

тального анализа протекающих в СУБД процессов, необходимого для выработки обоснованных рекомендаций по построению рассматриваемых систем. Выделяется базовый прототип для разработки специализированной системы моделирования. Детализуется задача диссертационной работы и намечаются пути ее решения.

В главе 2 рассматриваются принципы и целесообразность перехода к мультикластеризации для решения задачи балансировки нагрузки. Особенность мультикластеризации в том, что «тяжелый» узел строится с использованием резервов самого вычислительного кластера путем его программной декомпозиции на монокластеры определенной архитектуры. Но не ясно, из каких соображений следует выбирать число узлов монокластера и насколько целесообразен переход к мультикластеризации. Ответом на первый вопрос служит подтверждение гипотетически сформулированной закономерности масштабируемости при использовании в кластере многоядерных узлов. Тогда размеры монокластера определятся условием его работы на грани масштабируемости. Дополнительно выявляется наиболее эффективная архитектура монокластера НРС-мульти-кластера на множестве рассматриваемых архитектур. Для получения ответа на второй вопрос, надо убедиться в том, что интерконнект как основная составляющая роста «накладных расходов», обусловленного увеличением числа монокластеров при мультикластеризации, не является временной доминантой. Это явится обоснованием повышения масштабируемости и, как следствие, - производительности параллельной СУБД при трансформации вычислительного кластера в мультикластер. Сделанный вывод потребует экспериментального подтверждения. Все исследования в этой главе и далее проводятся с широким привлечением вычислительного эксперимента на базе специализированного инструментального средства моделирования С1из1епх-1 как имитационной модели рассматриваемых СУБД, разработка которого представлена в гл.4

В главе 3 рассматривается построение математической модели распределения запросов между монокластерами. Это второй этап на пути решения задачи балансировки нагрузки в рассматриваемых мультикластерных СУБД. Помимо самой модели, разработан релевантный ей численный метод. Эффектив-

ность предложенной модели установлена по результатам сравнительного вычислительного эксперимента на множестве различных методов распределений (роутеризации). В качестве оценочных критериев приняты величины средне-квадратического отклонения и математического ожидания времени реакции системы на вновь поступивший запрос.

В главе 4 рассматриваются вопросы создания релевантного проводимым исследованиям специализированного инструментального средства моделирования. В качестве такового понимается не кросс-система, учитывающая особенности протекания процессов в исследуемых объектах, а инструментальная параллельная СУБД, которая в значительной степени воплощает тенденции мирового опыта в этом классе информационных систем. Хорошее приближение обеспечивает следование принципам, реализованным ранее в исследовательском прототипе параллельной СУБД Clusterix, но она была «жестко ориентирована» на использование аппаратной платформы кластера Pentium III с одноядерными узлами. Ее использование для проведения многопланового вычислительного эксперимента на платформе современных вычислительных кластеров с многоядерными SMP-узлами оказалось невозможным. Эта СУБД была выбрана в качестве базовой для создания необходимого инструмента моделирования. Были выявлены причины несовместимости прототипа СУБД Clusterix с новыми платформами, определены необходимые изменения, требующие внесения в систему. В состав СУБД дополнительно был включен модуль ROUTER, реализующий мультикластерную архитектуру. Итогом проведенных доработок стало создание системы моделирования Clusterix-I.

В заключении сформулированы основные результаты диссертационной работы.

Приложение к диссертации составляют:

• Оттранслированные запросы теста ТРС-Н.

• Инструкция пользователя системы Clusterix-I.

Заключение диссертации по теме «Математическое моделирование, численные методы и комплексы программ», Минязев, Ринат Шавкатович

4.4. ВЫВОДЫ

1. Выделена базовая инструментальная СУБД С^епх, которая принята за основу построения специализированной системы моделирования параллельных СУБД. Определены причины невозможности ее использования на современных аппаратных платформах вычислительных кластеров, предложены подходы к их устранению.

2. Проведена адаптация СУБД Clusterix к аппаратным платформам ПК- и НРС- вычислительных кластеров с многоядерными узлами. Были переработаны основные программные модули системы, добавлено использование многопоточных функции, изменены алгоритмы сетевых функции для устранения коллизий и повышения производительности. Разработанный в ходе выполненных доработок базового прототипа инструмент моделирования процессов в параллельных СУБД получил название Clusterix-I.

3. Разработаны алгоритмы функционирования модуля ROUTER, важной составляющей мультикластерных СУБД, выработаны рекомендации к его построению. Выполнена его программная реализация.

ЗАКЛЮЧЕНИЕ

Сформулированная во введении цель работы - повышение эффективности (по критерию «производительность/сложность») использования вычислительных кластеров заданной сложности с многоядерными 8МР-узлами при реализации на них параллельных СУБД консервативного типа с регулярным планом обработки запросов - достигнута в диссертации путем проведения комплексного моделирования процессов балансировки нагрузки в рассматриваемых системах с помощью разработанного специализированного инструментального средства - системы моделирования С1ш1епх-1.

Были получены следующие основные результаты:

1. Обоснована правомерность перехода на позиции мультикластерных СУБД консервативного типа с регулярным планом обработки запросов в составляющих монокластерах на многоядерных 8МР-узлах, выработаны рекомендации по декомпозиции кластера в целом на составляющие монокластеры и выбору архитектуры монокластера.

2. Построены математическая модель распределения запросов между монокластерами и релевантный ей численный метод для балансировки нагрузки в мультикластерных СУБД указанного типа согласно выявленным в п. 1 ограничениям. По результатам сравнительного вычислительного эксперимента на множестве различных методов распределений (роутеризации) установлена эффективность предложенной модели по оценочным критериям величины сред-неквадратического отклонения и математического ожидания времени реакции системы на вновь поступивший запрос.

3. Построена имитационная модель исследуемого объекта (параллельная СУБД рассматриваемого типа) - инструментальная система моделирования с необходимыми измерительными средствами.

Список литературы диссертационного исследования кандидат технических наук Минязев, Ринат Шавкатович, 2012 год

ЛИТЕРАТУРА

1. Agrawal R., Ailamaki A., Bernstein P.A. et al. The Claremont Report on Database Research // Communications of the ACM. 2009. Vol. 52, No. 6. P. 56-65.

2. Мамаев E., Шкарина JI. Microsoft SQL Server 2000 для профессионалов. -СПб.: Изд-во "Питер", 2001. - 1080 с.

3. Agrawal R., Srikant R., Хи Y. Database technologies for electronic commerce // 28th international conference on Very Large Data Bases, Hong Kong, China, August 20 - 23, 2002. Proceedings. VLDB Endowment, 2002. P. 1055 - 1058.

4. Акимов, С.И., Елизаров A.M., Ершова Т.В., Когаловский М.Р., Федоров А. О., Хохлов Ю.Е. Научно-методическая поддержка разработки научных электронных библиотек [Электронный ресурс]. URL: http://www. elbib. ru/index.phtml?page=elbib/rus/journal/2005/part 1 /AEEKFH.

5. Цветков В.Я. Геоинформационные системы и технологии. М.: Финансы и статистика, 1998. 288 с.

6. Ризаев И.С., Яхина З.Т. Базы данных. Учебное пособие. - Казань: Изд-во КГТУ, 2008. - 240с.

7. Tsvetovat М., Diesner J., Carley KM. Netlntel: a database for manipulation of rich social network data. Technical Report CMU-ISRI-04-135. Carnegie Mellon University, School of Computer Science, Institute for Software Research International. 2005.

8. Gray J., et al. Scientific Data Management in the Coming Decade // SIGMOD Record. 2005. Vol. 34, No. 4. P. 34-41.

9. Chaitanya К. В., Gilles F„ Ambuj G. et al. DB2 Parallel Edition // IBM Syst. J. 1995. Vol. 34, № 2. P. 292-322.

10. Greenplum [Электронный ресурс]. URL: http://www.greenplum.com.

11. Hanlon M., Klein J., Linden R., Zeller H. Subscribe in NonStop SQL: Transactional Streams in a Relational Context // 20th International Conference on Data Engineering, Boston, USA, 30 March - 2 April 2004. Proceedings IEEE Computer Society, 2004. P. 821-825.

12. Ghazal A., et al. Exploiting Interactions among Query Rewrite Rules in the Tera-data DBMS // Database and Expert Systems Applications, 19th International Conference, Turin, Italy. Proceedings. Springer. 2008. Vol. 5181. P. 596-609.

13. MySQL Cluster [Электронный ресурс]. URL: http://www.mysql.com/products/cluster.

14. PG Cluster [Электронный ресурс]. URL:http://pgcluster.projects.postgresql.org.

15. Oracle EXADATA [Электронный ресурс]. URL: http://www.oracle.com/ru/products/database/exadata.

16. Sybase ^[Электронный ресурс].URL:http://www.sybase.ru/products/sybaseJq.

17. Microsoft SQL Server Project code-named "Madison" [Электронный ресурс].URL: http://download.microsoft.com/ProjectMadisonDatasheet.pdf.

18. Tamura Т., Oguchi M., Kiisuregawa M. Parallel Database Processing on a 100 Node PC Cluster: Cases for Decision Support Query Processing and Data Mining. Mining", Proceedings of SC97: High Performance Networking and Computing (SuperComputing '97), November 1997.

19. Проект ОМЕГА [Электронный ресурс].URL:http://omega.susu.ru.

20. Девитт Д., Грэй Д. Параллельные системы баз данных: будущее высокоэффективных систем баз данных // СУБД. 1995. №2. С. 8-31.

21. Барсегян А.А., Куприянов М.С., Степаненко В.В., Холод И.И. Технологии анализа данных: Data Mining, Visual Mimning, Text Mining, OLAP. 2-е изд. -СПб.:БХВ-Петербург, 2007. - 384c.

22. Strange К. Magic Quadrant for Data Warehouse DBMSs// Gartner Research Note M-22-2154. 2004

23. Power D. J. Decision Support Systems: Concepts and Resources for Managers. -New York: Quorum Books division Greenwood Publishing, 2002. - 272 p.

24. Паклин Н.Б., Орешков В.И. Бизнес-аналитика: от данных к знаниям. - СПб: Изд. Питер, 2009. - 624 с.

25. Бродский Ю.И. Инструментальная система распределенного имитационного моделирования. //Тр. МСКФ-2011. - Москва, 2011.

26. Абрамов Е.В. Параллельная СУБД Clusterix. Разработка прототипа и его натурное исследование //Вестник КГТУ им. А.Н. Туполева. 2006. №2. С.50-55.

27. Райхлш В.А. Моделирование машин баз данных распределенной архитектуры // Программирование. 1996. №2. С.7 - 16.

28. Райхлин В.А., Абрамов Е.В. Кластеры баз данных. Моделирование эволюции // Вестник КГТУ им. А.Н. Туполева. 2006. №3. С.22-21.

29. Минязее Р.Ш., Попов А.В. Временные доминанты кластеров баз данных //Методы моделирования /Под ред. В.А. Райхлина. - Казань: Изд-во «Фэн» («Наука»), 2010. С. 125-134.

30. Stonebraker М. 10 rules for scalable performance in 'simple operation' datastores // Communications of the ACM. 2011. Vol. 54, No. 6. P. 72-80.

31. Kant K, Sahoo A. Clustered DBMS Scalability under Unified Ethernet Fabric // International Conference on Parallel Processing. - 2005. - P. 416 - 423.

32. Stonebraker M. Errors in Database Systems, Eventual Consistency, and the CAP Theorem . BLOG@CACM, April 5, 2010. [Электронный ресурс]. URL: http://cacm.acm.org/blogs/blog-cacm/83396-errors-in-database-systems-eventual-consistency-and-the-cap-theorem/fulltext.

33. Wiesmann M., Pedone F., Schiper A., Kemme В., Alonso G. Understanding Replication in Databases and Distributed Systems //Proceedings of the the 20th International Conference on Distributed Computing Systems (ICDCS 2000). - IEEE Computer Society Washington, DC, USA, 2000. - P. 464-475.

34. Xu Y., Kostamaa P., Zhou X., Chen L. Handling data skew in parallel joins in shared-nothing systems // ACM SIGMOD International Conference on Management 9 of Data Vancouver,Canada,2008, proceedings. ACM,2008. P. 1043-1052.

35. Лепихов А.В. Параллельная обработка запросов в СУБД для кластерных вычислительных систем // Технический отчет в рамках гранта МК-3535.2009.9.

36. Гудзенко В.В. Интеллектуальный агент распараллеливания запросов // Проблемы программирования. 2006. N 2. С. 192-196.

37. Lakshmi M.S., Yu P.S. Effect of Skew on Join Performance in Parallel Architectures // Proceedings of the first international symposium on Databases in parallel and distributed systems, Austin, Texas, United States. IEEE Computer Society Press. 1988. P. 107-120.

38. Jimenez-Peris R., Patino-Martinez M., Kemme В., Alonso G. Improving the Scalability of Fault-Tolerant Database Clusters // Proceedings of the 22 nd International Conference on Distributed Computing Systems (ICDCS'02). - IEEE Computer Society Washington, DC, USA, 2002. - P. 477-485.

39. Milenova B. L., Campos M. M. O-Cluster: Scalable Clustering of Large High Dimensional Data Sets // Proceedings of International Conference on Data Mining (ICDlVr 03). - 2003. - P. 290 - 297.

40. Jae-Woo Chang, Young-Chang Kim Cluster-based DBMS Management Tool with High-Availability // Journal of Systemics, Cybernetics and Informatics. V. 3. 2005. №1. P. 46-51.

41. Taniar D., Leung C., Rahayu J. W. High-performance parallel database processing and grid databases. - John Wiley & Sons Inc., Hoboken, 2008. - 55 lp.

42. Кузнецов С.Д. MapReduce: внутри, снаружи или сбоку от параллельных СУБД? Труды Института системного программирования, т. 19. - М.: ИСП РАН, 2010, стр. 35-40.

43. Kalmuk D., et al. Asynchronous Interconnect Protocol For A Clustered DBMS // Patent № 7801997 date issued September 21, 2010.

44. Ferhatosmanoglu H., Tosun A. S., Cañahuate G., Ramachandran A. Efficient parallel processing of range queries through replicated declustering // Distrib. Parallel Databases. 2006. Vol. 20, No. 2. P. 117-147.

45.Андреев С. C.u др. Гибридный суперкомпьютер К-100: что дальше? // Тр. МСКФ-2011. - Москва, 2011.

46. Райхлин В.А., Шагеев Д. О. Информационные кластеры как диссипативные системы //Нелинейный мир. 2009. Т.7. №5. С.323-334.

47. Ahrendt Е. Extreme databases: The biggest and fastest. IBM developerWorks // IBM Data Management Magazine Issue 1, 2010. - P. 18-23.

48. Бартунов О., Велихов П. Научные вызовы технологиям СУБД // Суперкомпьютеры, 1(5), стр.28-32, 2011.

49. Shiers J. The Worldwide LHC Computing Grid (worldwide LCG) // Computer Physics Communications. 2007. Vol. Ill No. 1-2. P. 219-223.

50.Демичев А.П., Ильин В.А., Крюков А.П. Введение в грид-технологии. Препринт НИИЯФ МГУ 2007-11/832, 2007. 87 с.

51. Gaponenko /., et al. The BaBar Database: Challenges, Trends and Projections // Proc. of Int. Conf. on Computing in High Energy and Nuclear Physics (CHEP'01), September 3 - 7, 2001, Beijing, China. -Science Press, 2001.

52. Szalay A.S. The Sloan Digital Sky Survey and beyond // SIGMOD Record. -2008. Vol. 37, No. 2. P. 61-66.

53. Szalay A.S., Gray J., Vandenberg J. Petabyte Scale Data Mining: Dream or Reality? // Technical Report MSR-TR-2002-84. Microsoft Research. 2002.

54. Малхасян С. В., Желенкова О. П., Витковский В. В., и др. Использование локального реестра для интеграции астрономических ресурсов обсерватории. // Научный сервис в сети Интернет: Труды Всероссийск. науч. конф. (21-24 сентября 2004 г., г. Новороссийск). М.: Изд-во МГУ. 2004.

55.Прохоров М.Е. и др. Использование современных СУБД и высокопроизводительных параллельных компьютеров в астрономии на примерах КЭ «Лира» и «Свеча» // Научный сервис в сети Интернет: масштабируемость, параллельность, эффективность: Труды Всероссийск. науч. конф. (21-26 сентября 2009 г., г. Новороссийск). М.: Изд-во МГУ. 2009. С. 300-304.

56. Szalay A., Gray J. The World-Wide Telescope // Science. 2001. Vol. 293, P. 2037-2047.

57. Stonebraker M, et al. The End of an Architectural Era (It's Time for a Complete Rewrite) // Proceedings of the 33rd international conference on Very large data bases (VLDB '07). - 2007. - P. 1150-1160.

58. Кузнецов С. Д. Год эпохи перемен в технологии баз данных // Труды Института системного программирования, т. 19, М., ИСП РАН, 2010, стр. 9-33.

59. Cohen J., Dolan В., Dunlap М., Hellerstein J. M. and Welton С.. MAD Skills: New Analysis Practices for Big Data. Proceedings of the VLDB Endowment Volume 2 Issue 2, August 2009. - P. 1481-1492.

60.Ezsu M.T., Valduriez P. Principles of Distributed Database Systems. - Engle-wood Cliffs, NJ: Prentice-Hall, 1991.

61. Оззу M.T., Валдуриз П. Распределенные и параллельные системы баз данных // СУБД. - 1996. - №4. - С.4-26.

62. Минязее Р.Ш., Райхлин В.А. Балансировка нагрузки в мультикластерных СУБД консервативного типа на Beowulf-платформе //Вестник КГТУ им. А.Н. Туполева. 2011. №1. С.52-57.

63. MonetDB [Электронный ресурс]. URL: http://www.monetdb.org/Home.

64. Kickfire Enters into MySQL Enterprise Agreement with Sun [Электронный ресурс] .URL:http://www.mysql.com/newsandevents/generatearticle.php?id=2008.

65.Abouzeid A., et. al. HadoopDB: An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads // Proceedings of the 35th VLDB Conference, August 24-28, 2009, Lyon, France.

66. NoSQL [Электронный ресурс]. URL: http://en.wikipedia.org/wiki/NoSQL.

67. SciDB [Электронный ресурс]. URL: http://www.scidb.org.

68. Oguchi M., Kitsuregawa M. Data Mining on PC Cluster connected with Storage Area Network: Its Preliminary Experimental Results. 2001.

69. Калиниченко Л.А., Рывкин B.M. Машины баз данных и знаний.-М.:Наука, 1990

70. Татига Т., Oguchi М, Kitsuregawa М. Parallel Database Processing on а 100 Node PC Cluster: Cases for Decision Support Query Processing and Data Mining. Mining", Proceedings of SC97: High Performance Networking and Computing (SuperComputing '97), November 1997.

71. Comparison of network monitoring systems [Электронный ресурс]. URL: http://en.wikipedia.org/wiki/Comparison_of_network_monitoring_systems.

72. Абрамов E.B. Математические модели и комплекс программ для ПК-кластеров консервативных баз данных // Диссертация на соискание ученной степени КТН. Казань: КГТУ, 2008.

13.Райхлин В.А. Конструктивный подход к синтезу сложных систем // Нелинейный мир, 2011 №11.

74. Ульман Дж. Основы систем баз данных - М.: Финансы и статистика, 1983.

75. Мартин Дж. Организация баз данных в вычислительных системах. - М.: Мир, 1980.

76. ГроффДж., Вайнберг П. SQL: Полное руководство: Пер. с англ. - 2-е изд., перераб. и доп. - К.:Издательская группа BHV, 2001.

77. ТРС BENCHMARK [Электронный ресурс]. URL: http://www.tpc.org.

78. Воеводин В.В., Воеводин Вл. В. Параллельные вычисления. - СПб.: БХВ -Петербург, 2004.

79. Райхлин В.А., Минязев Р.Ш. Мультикластеризация распределенных СУБД консервативного типа // Нелинейный мир, 2011 №8. С. 473-481.

80. Райхлин В.А., Абрамов Е.В. К теории моделей синтеза кластеров баз данных // Вестник КГТУ им. А.Н. Туполева. 2004. №1.

81. Райхлин В.А. Конструктивное моделирование систем . - Казань: Изд-во «Фэн» («Наука»), 2005. - 304 с.

82. Тейз А., Грибомон 11., Луи Ж. и др. Логический подход к искусственному интеллекту: от классической логики к логическому программированию. М.: Мир. 1990.

83. Тейз А., Грибомон П., Юлен Г. и др. Логический подход к искусственному интеллекту: от модальной логики к логике баз данных. М.: Мир. 1998.

84. Райхлин В.А., Абрамов Е.В., Шагеев Д.О. Вопросы самоорганизации информационных кластеров // Моделирование процессов /Под ред. В.А. Райхлина. Труды Казанского научного семинара «Методы моделирования». Вып. 3. -Казань: Изд-во КГТУ, 2007. С.68-87.

85. Николис Г., Пригожим И. Познание сложного. - М.: УРС, 2003.

86.Малышев Н.Г., Берштейн Л.С., Боженюк A.B. Нечеткие модели для экспертных систем в САПР. М.: Энергоатомиздат, 1991.

87. Аверкин А.Н., Батыршин КЗ., Блишун А.Ф. Нечеткие множества в моделях управления и искусственного интеллекта /Под ред. Д.А. Поспелова. - М: Наука, 1986.

88. Holland J. Н. Adaptation in Natural and Artificial Systems: An Introductory Analysis with Application to Biology, Control and Artificial Intelligence. -USA: University of Michigan, 1975.

89. Soraya R. Examining the Role of Local Optima and Schema Processing in Genetic Search, 1999.

90. Минязев P.LU. Мультикластерная версия параллельной СУБД Clusterix //Тр. конф. НРС-2008. - Казань: Изд. КГТУ, 2008. С.235-238.

91. Минязев Р.Ш. Реализация многокластерной архитектуры параллельной СУБД // Туполевские чтения: Материалы 16-й Междунар. молод, научн. конф. - Казань: КГТУ, 2008. Т. 3. С. 50-52.

92. Минязев Р.Ш., Шагеев Д.О. Сравнительный анализ возможностей позиционирования двух параллельных СУБД на Beowulf-платформу //Тр. конф. НРС-2009. - Владимир: Изд. ВГУ, 2009. С.291-293.

93. Минязев Р.Ш. Решение задачи распределения запросов в мультикластерной СУБД без совмещеий // Материалы XI Всероссийской конференции (Н. Новгород, 2-3 ноября 2011 г.) / Под ред. проф. В.П. Гергеля. - Нижний Новгород: Изд-во Нижегородского госуниверситета, 2011. - С.208-212.