Алгоритмы репликации данных в распределенных системах обработки информации тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Белоусов, Всеволод Евгеньевич

• Белоусов, Всеволод Евгеньевич
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Белоусов, Всеволод Евгеньевич

Введение.

Глава 1. Проблема организации надежного механизма синхронизации данных в распределенных системах обработки информации.

1.1 Обзор развития современных технологий создания распределенных вычислительных систем.

1.2 Особенности построения и развертывания многоуровневых систем.

1.3 Классификация распределенных вычислительных систем.

1.4 Обоснование необходимости выполнения репликации данных в распределенных системах.:.

1.5 Анализ современных программных средств и методов, применяемых для репликации данных в распределенных системах.

1.6 Задача репликации данных в контексте обеспечения работоспособности полуавтономного модуля распределенной системы.

Глава 2. Разработка архитектуры усовершенствованного механизма репликации данных.

2.1 Определение основных направлений усовершенствования механизма репликации в контексте решаемой задачи.

2.2 Обоснование выбора методики проектирования программной архитектуры.

2.3 Разработка программной модели усовершенствованного механизма репликации.

2.4 Особенности проектирования модели данных.

Глава 3. Оптимизация параллельного доступа к ресурсам системы в условиях массового обслуживания клиентских приложений.

3.1 Разработка инфраструктуры управления потоками заявок.

3.2 Построение математической модели, описывающей работу подсистемы управления потоками заявок.

3.3 Исследование влияния параметров конфигурации на характер работы системы.

Глава 4. Применение результатов исследования в решении практической задачи.

4.1 Описание задачи.

4.2 Исследование эффективности систем хранения данных и распределенных программных технологий.

4.3 Техническая реализация механизма репликации данных.

4.4 Анализ результатов внедрения.

Введение диссертации (часть автореферата) на тему «Алгоритмы репликации данных в распределенных системах обработки информации»

Актуальность исследования.

Сфера информационных технологий является в течение двух последних десятилетий одной из наиболее динамичных и быстро развивающихся отраслей науки и техники. Широкое распространение персональных компьютеров и других средств вычислительной техники создало предпосылки для массового распространения средств автоматизации самых разнообразных сфер человеческой деятельности, начиная с управления сложными производственными процессами и заканчивая ведением финансово-учетной работы. Благодаря резкому снижению стоимости коммуникационного оборудования и повсеместному использованию компьютерных сетей, появилась возможность создания распределенных вычислительных систем, позволяющих одновременно задействовать для решения вычислительных задач ресурсы множества компьютеров. В настоящее время подавляющее большинство программных продуктов, производимых в мире, ориентировано на распределенный режим работы в рамках различных автоматизированных систем или сетей.

Стремительный рост производительности вычислительных систем, обусловленный как совершенствованием аппаратного обеспечения, так и применением новых способов, используемых для консолидации ресурсов множества компьютеров в рамках одной системы, позволил значительно увеличить объемы информации, обрабатываемой с помощью средств вычислительной техники. Последнее обстоятельство в значительной мере стимулировало развитие технологий хранения данных. Во-первых, появился новый класс систем управления базами данных (СУБД), позволяющих сочетать средства хранения данных с программной логикой обработки информации, благодаря введению в обиход таких объектов, как хранимые процедуры и триггеры. Во-вторых, благодаря наличию у подобных систем интерфейсных средств, позволяющих налаживать взаимодействие между различными массивами данных, появилась возможность организации распределенного хранения и обработки информации. В настоящее время системы обработки информации составляют основную часть общего числа распределенных вычислительных систем.

Изменения, произошедшие в сфере компьютерных коммуникаций и средств хранения и обработки данных, решающим образом повлияли на развитие технологий, применяемых в сфере разработки программного обеспечения. Появление СУБД серверного класса создало предпосылки для создания распределенных приложений обработки информации, в которых имеет место реальное разделение вычислительной нагрузки между клиентским компьютером и сервером базы данных. Тем самым была заложена основа клиент-серверной или двухуровневой архитектуры распределенных приложений, позволившей эффективным образом строить централизованные распределенные приложения обработки информации. По мере роста масштабов систем обработки информации становилось очевидно, что возможности клиент-серверной архитектуры далеко не достаточны для эффективного решения задач построения крупных распределенных систем масштаба больших предприятий, а также систем, ориентированных на интенсивную работу в глобальной сети Интернет. Для решения задач, связанных с масштабированием вычислительных систем, была предложена технология организации распределенных вычислений в виде трех и более логических уровней. Последнее оказалось достижимо благодаря использованию распределенных компонентных технологий, позволяющих применять принципы объектно-ориентированного программирования (ООП) и модульного структурирования приложений применительно к распределенным вычислениям.

Реализация работы крупномасштабных распределенных систем обработки информации подразумевает налаживание целого ряда информационных потоков. Решение данной задачи приводит к необходимости создания средств репликации данных, то есть копирования информации из одного хранилища данных в другое. Можно перечислить целый ряд ситуаций в рамках разработки распределенных вычислительных систем, для разрешения которых необходимо налаживание автоматизированного процесса репликации данных. Во-первых, выполнение репликации необходимо для обеспечения резервирования данных путем создания запасного сервера базы данных, который может быть использован для замены основного сервера в случае выхода последнего из строя. Во-вторых, применение репликации данных позволяет выполнять консолидацию информации при создании унифицированной автоматизированной системы, включающей несколько массивов данных. В-третьих, применение репликации требуется для обеспечения работоспособности тех модулей распределенной системы обработки информации, которые, в силу определенных причин, не могут поддерживать постоянное соединение с ядром системы; репликация необходимой части информации из центральной базы данных в локальное хранилище позволяет обеспечить возможность автономной работы модуля.

В настоящее время существует множество стандартных средств репликации данных: практически каждая СУБД промышленного масштаба поставляется в комплекте с соответствующим инструментарием. Программные средства этого рода позволяют при минимуме затраченных усилий наладить надежное взаимодействие между однотипными источниками данных. Это позволяет эффективно решать задачи репликации с целью резервирования данных на запасном сервере, а также для информационной консолидации подсистем, при условии, что все подсистемы построены на использовании СУБД одного и того же типа. Что же касается репликации между разнотипными хранилищами данных, то приходится констатировать, что в настоящее время не существует каких-либо универсальных готовых решений этой задачи. Более того, в силу наличия специфических для каждой отдельно взятой системы условий, реализация автоматизированного процесса репликации представляет собой нетривиальную задачу, требующую применения оригинальных и нестандартных решений.

Цели и задачи исследования.

Целью исследования является повышение эффективности функционирования программных средств, осуществляющих процесс автоматизированного информационного обмена между массивами данных в рамках распределенных систем обработки информации. Для достижения поставленной цели в работе решены следующие задачи:

- Классификация распределенных систем по отношению к использованию постоянных хранилищ информации.

- Систематизация подходов к выполнению репликации данных.

- Разработка алгоритма выполнения репликации по текущему состоянию, предполагающего возможность отслеживания результатов тиражирования объектов данных.

- Разработка метода расширения структуры базы данных, выступающей в качестве источника репликации, с целью обеспечения возможности выполнения репликации по текущему состоянию.

- Разработка и исследование модели подсистемы управления потоками клиентских заявок в условиях множественной параллельной работы клиентских модулей системы.

Объект исследования.

Объектом исследования, выполненного в настоящей работе, является автоматизированный процесс репликации данных в рамках распределенных вычислительных систем, осуществляемый между гетерогенными хранилищами данных.

Предмет исследования.

Предметом исследования, выполненного в настоящей работе, являются процессы построения и функционирования распределенных систем обработки информации, в частности, проектирование архитектуры, моделирование работы системных элементов в динамике, разработка программной реализации и способы адаптации систем к условиям окружения.

Методологическая и теоретическая основа исследования.

Основу проведенного в настоящей работе исследования составили научные труды отечественных и зарубежных авторов в области исследования средств и методов проектирования и разработки программного обеспечения, оценки надежности программных систем и комплексов, изучения методов и алгоритмов репликации данных и исследования систем массового обслуживания. В процессе выполнения исследования использовались методы системного анализа, обобщения и классификации, математические и статистические методы и метод имитационного моделирования.

Информационная база исследования.

В числе информационных источников использованы данные из научных книг, статей, научно-технических публикаций в сети Интернет, а также результаты собственных расчетов и проведенных экспериментов.

Научная новизна исследования.

1. Систематизированы методы выполнения репликации данных между массивами хранения информации в распределенных системах.

2. Разработана модель архитектуры построения механизма репликации, ориентированного на работу в рамках распределенной системы обработки информации.

3. Предложен способ расширения структуры базы данных, выступающей в качестве источника репликации, который обеспечивает возможность отслеживания результатов тиражирования информации в рамках системы.

4. Разработан алгоритм определения подмножества информационных объектов, подлежащих тиражированию в рамках одного сеанса репликации.

5. Предложен метод двухфакторной декомпозиции программных компонентов прикладного уровня распределенной системы, позволяющий минимизировать вероятность коллизий при доступе к ресурсам центральной базы данных системы в условиях множественной параллельной работы клиентских модулей.

6. Предложен способ построения подсистемы управления потоками заявок от клиентских модулей в адрес серверной части системы.

Практическая значимость работы.

Результаты проведенного исследования могут быть использованы, прежде всего, в сфере проектирования и разработки распределенных систем обработки информации, имеющих в составе полуавтономные модули, функционирующие в режиме ограниченного взаимодействия с ядром системы. Задачи подобного рода встречаются во многих крупных организациях, имеющих разветвленную сеть филиалов, например, в банках, торговых сетях и т.д. При использовании распределенных систем в качестве средства автоматизации производственного процесса этих организаций связь между клиентскими модулями, функционирующими в филиалах, и центральным сервером системы осуществляется, как правило, по телефонным каналам, имеющим невысокую пропускную способность. Последнее обстоятельство делает особенно актуальной задачу минимизации объемов информации, передаваемой через сеть.

Кроме того, предложенный подход к построению инфраструктуры прикладного уровня в виде системы массового обслуживания представляет собой универсальный метод повышения эффективности и отказоустойчивости системы за счет упорядочивания доступа к системным ресурсам. Данный подход может быть рекомендован к использованию при построении распределенных систем практически любого класса, так как его применение позволяет создать гибкую модель управления процессом использования ресурсов системы, предполагающую многократное расширение функциональности и возможность детальной настройки параметров.

Апробация работы.

Основные результаты диссертационной работы докладывались и обсуждались на научно-технических конференциях профессорско-преподавательского состава Пензенского государственного университета (2000 - 2004), Международных научно-технических конференциях «Университетское образование» (Пенза, 1999 - 2000), «Проблемы автоматизации и управления в технических системах» (Пенза, 2004).

По теме диссертации опубликовано 10 печатных работ.

Реализация и внедрение.

Результаты проведенного исследования использованы в ходе разработки распределенного механизма репликации справочных данных, который был успешно внедрен в промышленную эксплуатацию в рамках подсистемы «Платежи населения» АС «София-ВМС» в Пензенском ОСБ №8624 СБ РФ. Результаты внедрения и эксплуатации подтвердили эффективность разработанных в ходе исследования подходов и методов и позволили констатировать, что разработанное программное обеспечение обладает высокой надежностью и отказоустойчивостью.

Результаты внедрения подтверждены соответствующим документом.

На защиту выносятся следующие положения.

1. Решение задачи проектирования программных компонентов распределенного механизма репликации, обеспечивающее повышение быстродействия и возможность масштабирования системы;

2. Метод организации хранения информации, необходимой для оперативного и точного отбора данных, подлежащих репликации;

3. Метод построения инфраструктуры прикладного уровня распределенной системы в виде системы массового обслуживания;

4. Алгоритм порционной выборки больших наборов записей из базы данных;

5. Алгоритм реализации информационного обмена с учетом использования современных средств организации распределенного хранения и об/ работки данных.

Объем и структура работы.

Диссертационная работа состоит из введения, четырех глав, заключения, списка используемой литературы, включающего в себя 100 наименований, и двух приложений. Основной текст изложен на 164 страницах, содержит 5 таблиц и 48 рисунков, 2 приложения.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Белоусов, Всеволод Евгеньевич

ОСНОВНЫЕ РЕЗУЛЬТАТЫ И ВЫВОДЫ

1. Получены экспериментальные результаты сравнительного анализа быстродействия ряда СУБД, используемых для организации настольного хранения данных, свидетельствующие, что система Paradox 7.0, относящаяся, по современным понятиям, к числу наиболее примитивных систем хранения данных, обладает максимальным быстродействием среди рассмотренных СУБД.

2. Получены экспериментальные результаты сравнительного анализа быстродействия ряда распределенных компонентных технологий, свидетельствующие, в частности, что наибольшим быстродействием и устойчивостью работы обладают компоненты DCOM. Кроме того, эксперименты подтверждают, что компоненты СОМ+, функционирующие на базе платформы .NET Framework, обладают более высоким быстродействием по сравнению с аналогичными компонентами, функционирующими на базе Win32.

3. Предложен эффективный подход интеграции модулей, выполненных в различных системах программирования, на основе использования стандартных средств технологии СОМ.

4. Разработаны алгоритмы реализации процесса передачи информации, позволившие повысить надежность распределенного хранения и обработки данных за счет:

- использования распределенных транзакций;

- разделения во времени этапов выборки и передачи информации.

5. Изложенные в настоящей работе методы позволили эффективным образом решить практическую задачу автоматизации информационного обмена для обеспечения работоспособности полуавтономного модуля распределенной системы. Анализ результатов внедрения позволяет заключить, что применение изложенных в настоящей работе подходов к организации процесса репликации данных позволило повысить эффективность репликации данных по следующим показателям:

- повышение быстродействия;

- снижение трафика;

- минимизация вероятности коллизий при параллельном доступе к ресурсам системы;

- повышение степени актуализации данных на узлах-потребителях репликации.

167

Заключение

Результаты выполненной работы позволяют сделать следующие выводы.

1. Сформулированы критерии выбора архитектуры, используемой для программной реализации автоматизированного процесса репликации данных в распределенных системах обработки информации, предполагающие возможность многократного масштабирования. Названные критерии определяют подходы и методы проектирования, создания и развертывания программных компонентов, реализующих автоматизированные процессы информационного обмена в рамках распределенных систем обработки информации. Ориентация сформулированных критериев на возможность многократного масштабирования системы обуславливает универсальность и широкий спектр применения подходов и методов проектирования архитектуры распределенного механизма репликации, так как предполагает возможность использования в системах различных классов.

2. Предложена система требований к программной технологии, используемой для организации взаимодействия распределенных программных компонентов, реализующих автоматизированный процесс репликации данных в распределенных системах обработки информации. Данные требования выведены на основании анализа возможностей современных средств организации и управления распределенными вычислительными процессами, распределенного хранения и обработки информации, управления политикой безопасности и т.д. Сформулированные требования позволили определить критерии для выбора программных технологий, применение которых гарантирует решение ряда задач автоматизации информационного обмена в распределенных системах наиболее оптимальным и эффективным образом.

3. На основании анализа и классификации существующих средств и методов репликации данных предложена стратегия репликации, позволяющая в значительной мере оптимизировать процессы информационного обмена при решении определенного класса задач. Оптимизация, обусловленная применением данной стратегии, проявляется в двух направлениях: во-первых, в минимизации объемов информации, предаваемой по сети, во-вторых, как следствие, в снижении временных затрат на синхронизацию содержимого информационных массивов.

4. Предложен метод расширения структуры данных, позволяющий хранить в базе данных узла системы, выступающего в роли поставщика реплицируемой информации, сведения, необходимые для точного, однозначного и оперативного определения информационного подмножества, подлежащего тиражированию на конкретный узел системы. Результаты произведенной оценки затрат дискового пространства, требуемых для организации хранения подобных сведений подтверждают возможность применения данного метода в информационных системах промышленного масштаба.

5. Разработан метод построения инфраструктуры прикладного уровня распределенной вычислительной системы в виде системы массового обслуживания. Он позволяет на основании анализа общего множества прикладных компонентов выполнить его декомпозицию по ряду признаков и сформировать серверные приложения, играющие в рамках инфраструктуры роль многоканальных устройств обслуживания. Это позволило организовать эффективное упорядочивание доступа клиентских приложений к ресурсам системы. Произведенная проверка эффективности и устойчивости функционирования подобной инфраструктуры путем имитационного моделирования с помощью математической модели пуассоновской системы массового обслуживания позволяет сделать выводы о высокой степени адаптивности предложенной инфраструктуры к условиям окружения. Благодаря наличию ряда конфигурационных параметров подобная инфраструктура предполагает, во-первых, практически неограниченное расширение функциональности за счет введения новых компонентов, во-вторых, возможность определения наборов конфигурационных параметров, обеспечивающих устойчивую работу ядра системы при различных режимах рабочей нагрузки.

6. Разработаны подходы и алгоритмы реализации информационного обмена, учитывающие специфику использования современных технологий организации распределенного хранения и обработки информации. Указанные подходы и алгоритмы позволяют повысить эффективность использования информационных и коммуникационных ресурсов на этапе передачи данных за счет временного разграничения задач выборки и пересылки информации.

7. Результаты проведенного исследования использованы при решении практической задачи реализации автоматизированного информационного обмена в рамках распределенной системы автоматизации банковских работ. Разработанный комплекс программных компонентов внедрен в промышленную эксплуатацию в Пензенском ОСБ № 8624 СБ РФ. Акт, подтверждающий внедрение, приведен в приложении Б. Результаты внедрения разработанного механизма репликации справочных данных позволили в значительной мере повысить скорость и надежность информационного обмена в рамках распределенной системы, что подтверждает эффективность разработанных в ходе исследования подходов и методов.

8. Полученные положительные результаты проверки предложенных в настоящей работе подходов и методов являются основанием для рекомендации их применения в области проектирования и разработки распределенных систем обработки информации, а также в сфере автоматизации процессов информационного обмена.

Список литературы диссертационного исследования кандидат технических наук Белоусов, Всеволод Евгеньевич, 2005 год

1. Авен О.И. и др. Оценка качества и оптимизация вычислительных систем / О.И. Авен, Н.Н.Гурин, Я.А.Коган. М.: Наука, 1982. - 464 с.

2. Акивис М.А., Гольдберг В.В. Тензорное исчисление. — М.: Наука, 1972.-352 е., ил.

3. Александров В.В. и др. Автоматизированная обработка информации на языке предикатов / В.В.Александров, Г.А.Булкин, А.О.Поляков. -М.: Наука, 1982. 103 е., ил.

4. Бакаев А.А. и др. Методы организации и обработки баз знаний / А.А.Бакаев, В.И.Гриценко, Д.Н.Козлов. Киев, Наукова думка, 1993. - 150 е., ил.

5. Балыбердин В.А. Оценка и оптимизация характеристик систем обработки данных. М.: Радио и связь, 1987. - 176 е., ил.

6. Барский А.Б. Параллельные процессы в вычислительных системах: планирование и организация. М.: Радио и связь, 1990. - 255 е., ил.

7. Башарин Г.П. и др. Анализ очередей в вычислительных сетях: теория и методы расчета / Г.П.Башарин, П.П.Бочаров, Я.Н.Коган. М.: Наука, 1989.-336 с.

8. Белоусов В.Е. Автоматизация процесса репликации между базами данных, имеющими сходную логическую структуру. // Системный анализ, управление и обработка информации: науч.-тех. сборник статей: 2005 год, вып. № 1. Пенза, ПТУ, 2005. - с. 31-35.

9. Белоусов В.Е. Применение СОМ-объектов для взаимодействия приложений с базами данных. // Вооружение, безопасность, конверсия: Материалы конференции 17-19 октября 2003 г. Ч. II. -Пенза, Изд-во ПГУ, 2004. с. 175-179.

10. Белоусов В.Е. Применение методов объектно-ориентированного проектирования при разработке прикладных сервисов репликации данных. // Системный анализ, управление и обработка информации: науч.-тех. сборник статей: 2004 год. Пенза, ПГУ, 2005. - с. 16-22.

11. Белоусов В.Е. Результаты сравнительного анализа производительности настольных систем хранения данных. // Системный анализ, управление и обработка информации: науч.-тех. сборник статей: 2004 год. Пенза, ПГУ, 2005. - с. 7-16.

12. Белоусов В.Е. Частное решение задачи репликации данных в распределенных системах обработки информации. // Вооружение, безопасность, конверсия: Материалы конференции 17-19 октября 2003 г. Ч. II. Пенза, Изд-во ПГУ, 2004. - с. 180-187.

13. Белоусов В.Е., Белоусова В.В. Система обработки метеорологических данных. // Университетское образование. Материалы III международной научно-методической конференции. Пенза, Изд-во ПГУ, 1999. - с.23-25.

14. Белоусов В.Е., Винничек С.В. Основные принципы разработки библиотеки манипулирования данными. // Университетское образование. Материалы IV международной научно-методической конференции. Пенза, Изд-во ПГУ, 2000. - с. 17-19.

15. Богуславский Jl.Б. Управление потоками данных в сетях ЭВМ. М.: Энергоатомиздат, 1984. - 168 е., ил.

16. Бойко В.В., Савинков В.М. Проектирование баз данных информационных систем. — М.: Финансы и статистика, 1989. 350 е., ил.

17. Бойко В.В., Савинков В.М. Проектирование информационной базы автоматизированных систем на основе СУБД. М.: Финансы и статистика, 1982. - 174 е., ил.

18. Брандт Д.Р. Architectures. Экзамен экстерном (экзамен 70-100). — СПб.: Питер, 2001. - 432 е.: ил.

19. Буч Г. Объектно-ориентированное проектирование с примерами применения: Пер. с англ. М.: Конкорд, 1992. 288 е., ил.

20. Быков А. Выбор технологии репликации данных Электронный ресурс. / itc.ua Электрон, дан. - , 2004. - Режим доступа: http://itc.ua/article.phtml7ID-16619, свободный. - Загл. с экрана. - яз. рус.

21. Бьелетич ILL, Мэйбл Г. и др. Microsoft SQL Server 2000. Энциклопедия пользователя: Пер. с англ./Шарон Бьелетич, Грег Мэйбл и др. К.: ДиаСофт, 2001.-688 с.

22. Васильев В.В., Кузьмук В.В. Сети Петри. Параллельные алгоритмы и модели многопроцессорных систем. Киев: Наукова думка, 1990. -212 е., ил.

23. Вейценбаум Дж. Возможности вычислительных машин и человеческий разум: от суждений к вычислениям / Пер. с англ. М.: Радио и связь, 1982. - 368 с.

24. Вирт Н. Алгоритмы и структуры данных / Пер. с англ. М.: Мир, 1989.-360 е., ил.

25. Гаврилова Т.А. Базы знаний интеллектуальных систем. СПб.: Питер, 2001.-384 е., ил.

26. Гилула М.М. Множественная модель данных в информационных системах. М.: Наука, 1992. - 207 с.

27. Глас Р. Руководство по надежному программированию / Пер. с англ. -М.: Финансы и статистика, 1982. 256 с.

28. Гнеденко Б.В., Коваленко И.Н. Введение в теорию массового обслуживания. М.: Наука, 1966. - 432 е., ил.

29. Гольц Г. Рабочие станции и информационные сети / Пер. с англ. М.: Машиностроение, 1990. -239 е., ил.

30. Гома X. UML. Проектирование систем реального времени, параллельных систем и распределенных приложений: Пер. с англ. -М.: ДМК Пресс, 2002. 704 е.: ил.

31. Гудман С., Хидетниеми С. Введение в разработку и анализ алгоритмов / Пер. с англ. -М.: Мир, 1981.-366 е., ил.

32. Джексон Г. Проектирование реляционных баз данных для использования с микро ЭВМ / Пер. с англ. М.: Мир, 1991. - 252 с.

33. Евдокимов А. Проблемы репликации распределенных баз данных Электронный ресурс. / chat.ru — Электрон, дан. , 2004. - Режим доступа: http://replication.chat.ru, свободный. - Загл. с экрана. - яз. рус.

34. Жожикашвили В.А., Вишневский В.М. Сети массового обслуживания. Теория и применение к сетям ЭВМ. М.: Радио и связь, 1988. - 191 е., ил.

35. Ивченко Г.И. и др. Сборник задач по математической статистике: Учеб. Пособие для втузов/Г.И. Ивченко, Ю.И. Медведев, А.В. Чистяков-М.: Высшая школа, 1989. -255 е., ил.

36. Ивченко Г.И. и др. Теория массового обслуживания: Учеб. пособие для вузов/ Г.И.Ивченко, В.А.Каштанов, И.Н.Коваленко. М.: Высшая школа, 1982. - 256 е., ил.

37. Карповский Е.Я., Чижов С.А. Надежность программной продукции. -Киев: Тэхника, 1990. 158 е., ил.

38. Кинг Д. Создание эффективного программного обеспечения / Пер. с англ. М.: Мир, 1991.-287 с.

39. Клейнрок J1. Вычислительные системы с очередями. М.: Мир, 1979. - 600 е., ил.

40. Клейнрок J1. Теория массового обслуживания. Пер. с англ./Пер. И.И. Грушко; ред. В.И. Нейман. М.: Машиностроение, 1979. - 432 е., ил.

41. Климов Г.П. Стохастические системы обслуживания. — М: Наука, 1966.-244 е., ил.

42. Клир Дж. Системология. Автоматизация решения системных задач / Пер. с англ. М.: Радио и связь, 1990. - 538 е., ил.

43. Кнут Д. Искусство программирования. Том 1. Основные алгоритмы, 3-е изд.: Пер. с англ.: Уч. пос. М.: Издательский дом "Вильяме", 2000. -720 е.: ил.

44. Кнут Д. Искусство программирования. Том 2. Основные алгоритмы, 3-е изд.: Пер. с англ.: Уч. пос. М.: Издательский дом "Вильяме", 2000. -832 е.: ил.

45. Кнут Д. Искусство программирования. Том 2. Основные алгоритмы, 3-е изд.: Пер. с англ.: Уч. пос. М.: Издательский дом "Вильяме", 2000. -832 е.: ил.

46. Козлик Г.А. и др. Оптимизация обработки информации в системах управления / Г.А.Козлик, Ю.В.Бондарь, И.А.Кириллов. Киев, Тэхника, 1989.- 158 с.

47. Корн Г., Корн Т. Справочник по математике (для научных работников и инженеров). — М.: Наука, 1973. 832 е., ил.

48. Краус М. и др. Сбор данных в управляющих вычислительных системах / М.Краус, Э.Кучбах, О.-Г. Вошнис; Пер. с нем. М.: Мир, 1987.-296 е., ил.

49. Линьков В.М. Нумерационные методы в проектировании систем управления данными. Пенза, Изд-во ПГТУ, 1994. - 155 с.

50. Липаев В.В. Надежность программного обеспечения АСУ. — М.: Энергоиздат, 1981.- 240 е., ил.

51. Ложе И. Информационные системы: методы и средства / Пер. с фр. -М.: Мир, 1979. 632 е., ил.

52. Макарь О. Многофилиальный банк и смарт-репликация данных Электронный ресурс. / bizcom.ru Электрон, дан. - , 2004. - Режим доступа: http://www.bizcom.ru/technologies/2001 -03/07.html, свободный - Загл. с экрана. - яз. рус.

53. Маклин С., Нафтел Дж., Уильяме К. Microsoft .NET Remoting/Пер. с англ. М.: Русская редакция, 2003. - 384 е.: ил.

54. Мартяшин А.И. и др. Преобразователи электрических параметров для систем контроля и измерения/А.И. Мартяшин, Э.К. Шахов, В.М. Шляндин. М.: Энергия, 1976. - 392 е., ил.

55. Мейер Д. Теория реляционных баз данных: Пер. с англ. М.: Мир, 1987.-608 е., ил.

56. Мендельсон Э. Введение в математическую логику / Пер. с англ. — М.: Наука, 1984.-312 е., ил.

57. Муса Дж. Д. Измерение и обеспечение надежности программных средств. ТТИЭР, т. 68, №9, сентябрь 1980. - с. 113 - 154.

58. Мушик Э., Мюллер П. Методы принятия технических решений: Пер. с нем. М.: Мир, 1990.-208 е., ил.

59. Нагао М. и др. Структуры и базы данных / М.Нагао, Т.Катаяма, С.Уэемура; Пер. с яп. М.: Мир, 1986. - 198 е., ил.

60. Новиков О.А., Петухов С.И. Прикладные вопросы теории массового обслуживания. — М.: Советское радио, 1969. — 400 е., ил.

61. Оберг Р.Дж. Технология СОМ+. Основы и программирование. : Пер. с англ. : Уч. пос. М.: Вильяме, 2000. - 480 е.: ил.

62. Овчаров Л.А. Прикладные задачи теории массового обслуживания. -М.: Машиностроение, 1969. 324 е., ил.

63. Озкарахан Э. Машины баз данных и управление базами данных / Пер. с англ. М.: Мир, 1989. - 695 е., ил.

64. Полонников Р.И., Никандров А.В. Методы оценки показателей надежности программного обеспечения. СПб.: Политехника, 1992. — 77 с.

65. Поспелов Д.А. Моделирование рассуждений: опыт анализа мыслительных актов. — М.: Радио и связь, 1989. — 182 е., ил.

66. Программное обеспечение неоднородных распределенных систем: анализ и реализация / Г.П.Васильев, В.Е.Горский, В.И.Шяукулис, Н.М. Саух. М.: Финансы и статистика, 1986. - 158 е., ил.

67. Проектирование интегрированных баз данных / А.Л.Стогний, В.Э.Вольфенгаген, В.А.Кушнир и др. Киев, Тэхника, 1987. - 143 с.

68. Райзберг Б.А. Диссертация и ученая степень. Пособие для соискателей. М.: ИНФРА-М, 2002. - 400 с.

69. Реклейтис Г. и др. Оптимизация в технике: В 2-х кн. Кн. 1. Пер. с англ. / Г.Реклейтис, А.Рейвиндран, К.Рэгсдел М.: Мир, 1986. - 352 е., ил.

70. Реклейтис Г. и др. Оптимизация в технике: В 2-х кн. Кн. 2. Пер. с англ. / Г.Реклейтис, А.Рейвиндран, К.Рэгсдел М.: Мир, 1986. - 320 е., ил.

71. Рихтер Дж. Программирование на платформе Microsoft .NET Framework /Пер. с англ. М.: Русская редакция, 2002. - 512 е.: ил.

72. Рубашкин В.Ш. Представление и анализ смысла в информационных системах. -М.: Наука, 1989. 189 е., ил.

73. Саати Т., Керис К. Аналитическое планирование. Организация систем: Пер. с англ. М.: Радио и связь, 1991. - 224 е., ил.

74. Савельев Л.Я. Комбинаторика и вероятность. Новосибирск: Наука, 1975.-424 е., ил.

75. Санблэд С., Санблед П. Разработка масштабируемых приложений для Microsoft Windows. Мастер-класс. (Пер. с англ.) М.: Русская редакция, 2002. -416с.: ил.

76. Сборник задач по теории вероятностей, математической статистике и теории случайных функций. Под ред. Свешникова А.А. — М.: Наука, 1970.-656 е., ил.

77. Страуструп Б. Язык программирования С++, 3-е изд./Пер. с англ. -СПб.; М.: Невский диалект БИНОМ, 1999. - 991 е., ил.

78. Трауб Дж., Вожьняковский X. Общая теория оптимальных алгоритмов / Пер. с англ. М.: Мир, 1983. - 382 с.

79. Уилсон С.Ф., Мэйплс Б., Лэндгрейв Т. Принципы проектирования и разработки программного обеспечения. Учебный курс MCSD / Пер. с англ. 2-е изд., испр. - М.: Русская редакция, 2002. - 736 е.: ил.

80. Феллер В. Введение в теорию вероятностей и ее приложения. Том I. -М.: Мир, 1967.-498 с.

81. Феллер В. Введение в теорию вероятностей и ее приложения. Том И. — М.: Мир, 1967.-752 с.

82. Характеристики качества программного обеспечения / Б.Боэм, Дж.Браун, Х.Каспар и др.; Пер. с англ. М.: Мир, 1981. - 206 с.

83. Хотка Д. Oracle9i: Пер. с англ./Дэн Хотка СПб.: ДиаСофтЮП, 2002. - 560 с.

84. Цаленко М.Ш. Моделирование семантики в базах данных. М.: Наука, 1989.-286 е., ил.

85. Цикритзис Д., Лоховски Ф. Модели данных / Пер. с англ. М.: Финансы и статистика, 1985. - 343 е., ил.

86. Шишонок Н.А., Репкин В.Ф., Барвинский Л.Л. Основы теории надежности и эксплуатации радиоэлектронной техники. — М.: Советское радио, 1964. 552 е., ил.

87. Шрайбер Т.Дж. Моделирование на GPSS / Пер. англ. М.: Машиностроение, 1980. - 592 е., ил.

88. Baldwin С., Nolan С. Message Queuing: A Scalable, Highly Available Load-Balancing Solution Электронный ресурс. / msdn.microsoft.com

89. Электрон, дан. -, 2004. Режим доступа: http://msdn.microsoft.com/library/default.asp?url=/library/en-us/dnmqqc/html/msmq.asp, свободный. — Загл. с экрана. - яз. англ.

90. DCE описание и ссылки Электронный ресурс. / termin.narod.ru -Электрон, дан. 2004-. - Режим доступа:http://termin.narod.ru/d/DCE.htm, свободный. Загл. с экрана. - яз. рус.

91. DCE FAQ Электронный ресурс. / opengroup.org Электрон, дан. -, 2004. — Режим доступа: http://www.opengroup.org/tech/dce/info/faq-mauney.html, свободный. - Загл. с экрана. - яз. англ.

92. DCE Portal Электронный ресурс. / opengroup.org Электрон, дан. -, 2004. — Режим доступа: http://www.opengroup.org/dce/, свободный. — Загл. с экрана. - яз. англ.