Автоматизация диспетчерского управления в газотранспортной отрасли на основе технологий параллельных и распределенных вычислений тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат технических наук Швечков, Виталий Александрович

• Швечков, Виталий Александрович
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Швечков, Виталий Александрович

ВВЕДЕНИЕ.

ГЛАВА 1. КОМПЬЮТЕРНЫЕ РАСЧЕТНО-АНАЛИТИЧЕСКИЕ КОМПЛЕКСЫ ПОДДЕРЖКИ ДИСПЕТЧЕРСКОГО УПРАВЛЕНИЯ ТРУБОПРОВОДНЫМ ТРАНСПОРТОМ ГАЗА (СОСТОЯНИЕ ПРОБЛЕМЫ).

1.1. Развитие АСДУ транспортом газа и проблемы ее расчетно-аналитической и информационной поддержки.

1.2. Эволюция базовой архитектуры и основных компонент расчетных программных комплексов АСДУГТС.

1.3. Задачи интеграции Тренажерных комплексов производственно-диспетчерских служб в распределенную структуру АСДУ.

ВЫВОДЫ.

ГЛАВА 2. МЕТОДОЛОГИЯ ПРИМЕНЕНИЯ ТЕХНОЛОГИЙ ПАРАЛЛЕЛЬНЫХ И РАСПРЕДЕЛЕННЫХ ВЫЧИСЛЕНИЙ В РАСЧЕТНЫХ КОМПЛЕКСАХ АСДУ.

2.1. Основные характеристики и принципы построения распределенных вычислительных систем.

2.2. Применение распределенных технологий в расчетных комплексах поддержки АСДУ.

2.3. Применение технологий параллельных вычислений для решения расчетных задач диспетчерского управления транспортом газа.

ВЫВОДЫ.

ГЛАВА 3. МЕТОДЫ ПОСТРОЕНИЯ РАСПРЕДЕЛЕННЫХ КОМПЬЮТЕРНЫХ ТРЕНАЖЕРНЫХ КОМПЛЕКСОВ.

3.1. Архитектура коллективной имитационной среды обучения.

3.2. Разработка системы оценивания деятельности обучаемых.

3.3. Организация и проведение обучения.

ВЫВОДЫ.

ГЛАВА 4. ОРГАНИЗАЦИЯ КОЛЛЕКТИВНЫХ И РАСПРЕДЕЛЕННЫХ КОМПЬЮТЕРНЫХ КОМПЛЕКСОВ ПОД ДЕРЖКИ АСДУ.

4.1. Многозвенная клиент-серверная архитектура ДКМ.

4.2. Разработка подсистемы моделирования режимов работы ГТС.

4.3. Методы организации хранения данных в ДКМ «Веста».

4.4. Разработка подсистемы сетевого взаимодействия компонентов ДКМ «Веста».

ВЫВОДЫ.

Введение диссертации (часть автореферата) на тему «Автоматизация диспетчерского управления в газотранспортной отрасли на основе технологий параллельных и распределенных вычислений»

Актуальность темы. Эволюция аппаратного и программного обеспечения ведет к необходимости постоянного совершенствования расчетно-аналитической базы АСДУ ЕСГ России, важным элементом которой являются диспетчерские комплексы моделирования (ДКМ) и компьютерные тренажерные комплексы (КТК).

Существующие ДКМ применяются диспетчерскими службами в основном для решения задач моделирования, планирования, прогнозирования режимов работы газотранспортных систем (ГТС), ретроспективного анализа ситуаций, диагностики фактического состояния объектов и ГТС.

Применение КТК позволяет проводить компьютерное моделирование различных аварийных ситуации в ГТС и в процессе противоаварийных тренировок диспетчерского персонала формировать навыки принятия решений в условиях дефицита времени и ресурсов управления.

В настоящее время ДКМ устанавливаются на каждом из уровней ДУ: диспетчерского пункта линейного производственного управления магистрального газопровода (ДП ЛПУ МГ), производственно-диспетчерской службы (ПДС) газотранспортного общества (ГТО) или центрального производственного диспетчерского департамента (ЦПДД), и их взаимодействие в основном осуществляется через простые форматы данных.

Алгоритмическая и программная составляющие ДКМ используют последовательную схему вычислительного процесса, которая приводит к проблеме значительного снижения общей производительности ДКМ при выполнении расчетов для региональных ГТС или ЕСГ в целом. Особо остро проблема производительности ДКМ возникает при решении задач ДУ в режиме реального времени, требующем синхронизации работы ДКМ и SCAD А- систем, а также задач планирования режимов, основанных на многоитерационных вычислительных процедурах. Кроме того, все чаще возникает необходимость реализации процедур доступа и подключения ДКМ к внешним базам данных, а также создания механизмов интеграции с программными продуктами сторонних производителей.

Поскольку компьютерные диспетчерские тренажеры основаны на ДКМ, то к ним также относятся отмеченные выше проблемы. Кроме того, современные тренажеры ориентированы на однопользовательский режим работы, в то время как реальный процесс диспетчерского управления часто требует коллективного согласованного принятия решения не только по вертикали схемы управления: ДП ЛПУ МГ - ПДС ГТО - ЦПДД ОАО «Газпром», но и по горизонтали между различными диспетчерскими службами одного уровня ДУ.

В результате к наиболее актуальным проблемам автоматизации систем поддержки принятия диспетчерских решений можно отнести:

- отсутствие расчетных компьютерных комплексов, отражающих многоуровневую, распределенную систему диспетчерского управления Единой системы газоснабжения (ЕСГ) России;

- недостаточная приспособленность ДКМ к использованию современных информационных технологий, в частности технологий распределенных и параллельных вычислений;

- несоответствие структуры КТК существующему распределенному многоуровневому коллективному процессу диспетчерского правления. Таким образом, следующим этапом в эволюции программных систем автоматизации процесса поддержки диспетчерских решений должен стать переход к распределенной многопользовательской вычислительной среде, позволяющей организовывать взаимодействие между различными уровнями ЕСГ России и получать взаимосвязанное (согласованное) решение. При разработке инструментальных средств нового поколения необходимо также учитывать существующие тенденции в развитии компьютерного и программного обеспечения. Эти тенденции связаны с увеличением быстродействия и разрядности процессоров и скорости передачи информации по сети, с созданием высокоуровневых интегрированных средств разработки, широким внедрением технологий распределенного и параллельного программирования, ориентацией на технологии, позволяющие унифицировать процесс взаимодействия между гетерогенными системами.

Цель и задачи исследования. Целью диссертационной работы является разработка технологии проектирования и организации многоуровневых распределенных компьютерных комплексов, направленной на автоматизацию поддержки принятия диспетчерских решений в управлении газотранспортными системами на основе методологии объектно-ориентированного анализа, общей архитектуры построения распределенных систем и методов организации параллельных вычислений.

Для достижения поставленной цели необходимо решить следующие основные задачи:

- провести анализ основных направлений развития ДКМ с учетом требований автоматизации диспетчерского управления ЕСГ;

- разработать архитектуру и технологию реализации распределенного ДКМ, позволяющих организовать многоуровневое многопользовательское взаимодействие диспетчерских служб при решении расчетных задач;

- разработать расчетно-аналитические подсистемы ДКМ в соответствии с распределенной архитектурой, ориентированной на сетевое взаимодействие клиентских АРМ и расчетного сервера;

- разработать методы распараллеливания вычислительных процедур с целью повышения эффективности использования ресурсов современных мультипроцессорных и многоядерных вычислительных систем;

- разработать средства взаимодействия вычислительных процессов в многопользовательском режиме, а также на различных уровнях иерархической структуры ДУ ЕСГ России.

Методы исследования. Для решения поставленных задач используются теория построения распределенных вычислительных систем, методы и технологии организации параллельных вычислительных процессов, теоретические основы построения вычислительных систем, теория имитационного моделирования, принципы модульного объектно-ориентированного и сервис-ориентированного подходов.

Научная новизна. В диссертационной работе были получены следующие результаты.

1. Предложена научно-методическая основа проектирования и реализации расчетных компьютерных комплексов диспетчерского управления и компьютерных тренажерных комплексов, базирующаяся на технологии объектно-ориентированного подхода, принципах построения распределенных систем и технологиях параллельных вычислений.

2. Разработана научно обоснованная схема организации и управления вычислительным процессом, ядром которой является реализация технологий распределенных и параллельных вычислений.

3. Разработана архитектура распределенного вычислительного комплекса расчетно-аналитической поддержки диспетчерского управления.

4. Разработаны основные компоненты архитектуры построения многоуровневого, многопользовательского взаимодействия подразделений диспетчерских служб в едином распределенном вычислительном процессе.

Практическая ценность работы. Результаты работы использованы при проектировании и разработке программного обеспечения компьютерного комплекса ДКМ «Веста» (РГУ нефти и газа имени И.М.Губкина, ООО фирма «Ингойл»).

На основе данного многофункционального комплекса реализуются ДКМ и КТК для ПДС ГТО ООО «Ленгрансгаз», ООО «Пермтрансгаз», ООО «Татгрансгаз», ООО «Югтрансгаз» и других ГТО.

Основные положения, выносимые на защиту.

- Схема организации и управления вычислительным процессом, ядром которой является реализация технологий распределенных и параллельных вычислений.

- Методы распараллеливания алгоритмов решения режимно-технологических задач магистрального транспорта газа.

- Архитектура распределенного вычислительного комплекса диспетчерского управления.

- Основные компоненты и архитектура построения многоуровневого, многопользовательского взаимодействия подразделений диспетчерских служб в едином распределенном вычислительном процессе.

Апробация работы. Основные положения работы докладывались и обсуждались на следующих научно-технических конференциях:

- 1-я Международная научно-техническая конференция «Развитие компьютерных комплексов моделирования, оптимизации режимов работы систем газоснабжения и их роль в диспетчерском управлении технологическими процессами в газовой отрасли» (Диском-2002), ноябрь 2002 г., г. Москва;

- 5-я Всероссийская конференция молодых ученых, специалистов и студентов по проблемам газовой промышленности России «Новые технологии в газовой промышленности», сентябрь 2003 г., г. Москва;

- научная конференция аспирантов, молодых преподавателей и сотрудников вузов и научных организаций «Молодежная наука - нефтегазовому комплексу», март 2004 г., г. Москва;

- 2-я Международная научно-техническая конференция «Теория и практика разработки, промышленного внедрения компьютерных комплексов поддержки диспетчерских решений в газотранспортной и газодобывающей отраслях» (Диском-2004), октябрь 2004 г., г. Москва;

-7- 6-я и 7-я научные конференции «Актуальные проблемы состояния и развития нефтегазового комплекса России», январь 2005 г., январь 2007 г., г. Москва. Публикации. По результатам исследований и разработок опубликовано 9 печатных работ, в т.ч. 3 статьи в ведущих научных журналах, утвержденных ВАК РФ, 6 тезисов докладов международных, всероссийских и межвузовских научно-технических конференции.

Структура и объем работы. Диссертация состоит из введения, четырех глав, заключения и 2 приложений; изложена на 152 страницах, содержит 6 таблиц, 36 рисунков, список литературы из 112 наименований.

Заключение диссертации по теме «Автоматизация и управление технологическими процессами и производствами (по отраслям)», Швечков, Виталий Александрович

ОСНОВНЫЕ ВЫВОДЫ И РЕЗУЛЬТАТЫ РАБОТЫ

1. В результате анализа состояния АСДУ транспортом газа России обозначены проблемы развития расчетно-аналитической и информационной поддержки АСДУ транспортом газа. Определены задачи и пути их решения на основе совершенствования ДКМ путем перехода к распределенной системе поддержки принятия решения в АСДУ на базе технологий параллельных и распределенных вычислений. Показана слабая приспособленность существующих КТК к организации коллективного многоуровневого обучения, позволяющего вырабатывать навыки совместной деятельности диспетчерского персонала.

2. Рассмотрены основные характеристики построения распределенных систем, выделены и рассмотрены наиболее важные принципы: связь, процессы, именование, синхронизация, репликация, защита от сбоев и несанкционированного доступа. Проведен анализ режимно-технологических задач диспетчерского управления и выделены задачи, содержащие естественный параллелизм. Предложены методы распараллеливания существующих расчетных процедур, с целью повышения эффективности использования ресурсов современных мультипроцессорных и многоядерных вычислительных систем. Рассмотрены способы организации параллельных вычислений и практические вопросы перехода от последовательных вычислительных алгоритмов к параллельным.

3. Разработана архитектура построения многоуровневого распределенного компьютерного тренажерного комплекса. Предложены варианты организации тренинга в однопользовательском (индивидуальном), сетевом (коллективном) и распределенном режимах на различных уровнях иерархической структуры диспетчерского управления ЕСГ России. Предложены общие подходы к оценке результатов коллективного обучения по ряду наиболее важных аспектов деятельности обучаемых.

4. Разработаны основные расчетно-аналитические подсистемы, в соответствии с распределенной архитектурой построения многоуровневого распределенного ДКМ, на базе модульного принципа построения системы. Описано назначение и взаимосвязь всех основных подсистем комплекса.

5. Разработана подсистема сетевого взаимодействия компонентов распределенного ДКМ, обеспечивающая работу комплекса в локальной и гетерогенной вычислительных сетях. Разработаны вычислительные средства взаимодействия вычислительных процессов в многопользовательском режиме, а также на различных уровнях иерархической структуры ДУ ЕСГ России.

Список литературы диссертационного исследования кандидат технических наук Швечков, Виталий Александрович, 2007 год

1. Аллен Р., Кеннеди К. Автоматическая трансляция Фортран-программ в векторную форму. Пер. с англ. В Сб. статей Векторизация программ: теория, методы, реализация. М.: Мир, 1991. - 275 с.

2. Апостолов А.А., Вербило А.С., Панкратов B.C. Автоматизация диспетчерского управления газотранспортным предприятием. М.: ООО «ИРЦ Газпром». 1999. - 72 с. Обз. информ. Сер. Автоматизация, телемеханизация и связь в газовой промышленности.

3. Апостолов А.А., Панкратов B.C. Интегрированная автоматизированная система управления. М.: ИРЦ Газпром, 1999. - 50 с.

4. АСТРА, 2006. Электронный ресурс. Филиал «Информгазтюмень» <http://www.informgaztvumen.ru/ >

5. Атавин А. А., Карасевич A.M., Сухарев М.Г. и др. Трубопроводные системы энергетики: модели, приложения, информационные технологии. М.: ГУП Издательство «Нефть и газ» РГУ нефти и газа им. И.М. Губкина, 2000. - 320 с.

6. Баркалов С.А. Деловые имитационные игры в организации и управлении., изд. АСВ, 2003, 200 с.

7. Бессонный А.Н., Дрейцер Г.А., Кунтыш В.Б. и др. Основы расчета и проектирования теплообменников воздушного охлаждения. //СПб., Недра, 1996. -512 с.

8. Бешелев С. Д., Гурвич Ф.Г. Экспертные оценки. М., Наука, 1973. 246 с.

9. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. М.: Статистика, 1980. 261 с.

10. Бирштейн М. М. Советские деловые игры 30-х годов и проблемы развития современной производственной деловой игры // Деловые игры и их программное обеспечение. М., 1976. 304 с.

11. Бэкон Д., Харрис Т. Операционные системы. Параллельные и распределенные системы. СПб.: Питер; Киев: Издательская группа BHV, 2004. -800 е.: ил.

12. Вентцель Е.С., Овчаров Л.А. Теория вероятностей и её инженерные приложения М.: Наука, 1988. - 480 с.

13. Вероятность и математическая статистика. Энциклопедический словарь. М.: Большая Российская энциклопедия, 2003. 912 с.

14. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. СПб.: БХВ-Петербург, 2004. 608 с.

15. ВРД 39-1.10-017-2000. Сборник нормативно-технических документов для газопровода «Россия-Турция». //Том I, М.: ОАО ИРЦ Газпром, 2002 г.

16. Гмурман В.Е. Теория вероятностей и математическая статистика. Уч. пособ. 12-е изд. - М.: Изд-во Высшее образование, 2006. - 479 с.

17. ГОСТ 30319.2 96. Газ природный. Методы расчета физических свойств. Определение коэффициента сжимаемости. М.: Изд-во стандартов, 1997. - 53 с.

18. Григорьев Л.И. Автоматизация процессов обучения и принятия решений в диспетчерском управлении транспортом газа //Дисс. докт. техн. наук. М., 1997 г.-217 с.

19. Григорьев Л.И. Компьютерные средства обучения и профессиональной подготовки. //Автоматизация, телемеханизация и связь в нефтяной промышленности, вып. 2, 1994. С. 2 - 6.

20. Григорьев Л. И., Владимиров А. И. Компьютерные технологии профессиональной подготовки инженерных кадров //Высшее образование в России, вып.4, 1995.

21. Григорьев Л.И., Митичкин С.К. Организация информационного обеспечения тренажера диспетчера ГТС //Газовая промышленность. Вып. 4, 1988 32 - 35с.

22. Григорьев Л.И., Сарданашвили С.А., Дятлов В.А. Компьютеризированная система подготовки диспетчерского персонала в транспорте газа. ИМ., Нефть и газ, 1996 г. 195с.

23. Григорьев Л.И. Диспетчерское управление трубопроводным транспортом газа: состояние, проблемы, перспективы. Тезисы докладов. 1-я Международная научно-техническая конференция Диском 2002. М.: Нефть и газ, 2002. - с. 12 - 13

24. Дубова Н. СОМ или CORBA? Вот в чем вопрос, 2000. Электронный ресурс. CIT Forum Море аналитической информации <http://www.citforum.ru/>

25. Закон Мура, 2006. Электронный ресурс. Добро пожаловать в Intel! <http://www.intel.com/ru/>

26. Информатика. Основы вычислительных систем, 2006. Электронный ресурс. Информатика, математика, лекции, учебники, курсовые студенту и школьнику <http://256bit.ru/>

27. Киселев В.В., Прилов С.Н. Метод оптимизации неустановившихся режимов транспорта природного газа с применением модели активной сети. //Сб. Тез. Международной конференции ДИСКОМ 2004. М., 2004 г.

28. Кристофидес Н. Теория графов. Алгоритмический подход. М.: изд-во «Мир», 1978.-429 с.

29. Крюков В.А. Разработка параллельных программ для вычислительных кластеров и сетей. Институт прикладной математики им. М.В. Келдыша РАН. 2006. Электронный ресурс. Институт прикладной математики им. М.В. Келдыша РАН <http://www.keldvsh.ru/>

30. Лабусов А.Н. Технологии распараллеливания, 2007. Электронный ресурс. Центр перспективных исследований СПбГПУ <http://www.spbcas.ru/>

31. Леонов Д.Г. Объектно-ориентированная технология разработки систем поддержки принятия диспетчерских решений в транспорте газа //Дисс. канд. техн. наук. М.: РГУ нефти и газа им. И.М. Губкина, 2000. - 143 с.

32. Леонов Д.Г., Швечков В.А. Организация хранения данных в распределенном вычислительном комплексе при решении задач диспетчерского управления режимами ГТС. М.: ОАО «ВНИИОЭНГ», №9,2005. - С.29 - 33.

33. Лурье М.В. Математическое моделирование процесса трубопроводного транспорта углеводородов. М.: Нефть и газ, 2002. - 336 с.-14739. Методика теплового и аэродинамического расчета АВО. М.: ВНИИНЕФТЕМАШ, 1971.

34. Миркин Б.Г. Проблема группового выбора. М.: Наука, 1974. 256 с.

35. Новиков Д. А. Механизмы функционирования многоуровневых организационных систем. М.: Фонд «Проблемы управления», 1999. 150с.

36. Новиков Д.А., Петраков С.Н. Курс теории активных систем. Учебное пособие. М.: Синтег, 1999г. 108 с.

37. Новицкий Н.Н., Сеймов Е.В., Сухарев М.Г. и др. Гидравлические цепи. Развитие теории и приложения //Новосибирск, Наука, Сибирская издательским фирма РАН, 2000.-273 с.

38. Нормы технологического проектирования магистральных газопроводов (НТП МГ). М.: ООО ВНИИГАЗ, ООО «ИРЦ Газпром», 2003.

39. Общесоюзные нормы технологического проектирования. Магистральные газопроводы. ОНТП 51-1-85. Мингазпром. М., 1985. - 220 с.

40. Олифер В.Г., Олифер Н.А. Компьютерные сети. Принципы, технологии, протоколы. СПб.:Питер, 2000. - 672 е.: ил.

41. Олифер В.Г., Олифер Н.А. Сетевые операционные системы. Учебник. -СПб.: Питер, 2001.-539 с.

42. Оре О. Теория графов. М.: Наука, Гл. ред. физ.-мат лит., 1980. - 336 с.

43. Дж. Ортега. Введение в параллельные и векторные методы решения линейных систем М.: Мир, 1991. - 365 с.

44. Панкратов B.C., Герке В.Г., Сарданашвили С.А., Митичкин С.К. Комплекс моделирования и оптимизации режимов работы ГТС М: ООО «ИРЦ Газпром», 2002. - 56 с.

45. Панкратов B.C., Вербило А.С. Автоматизированная система диспетчерского управления ГТС. М.: ООО «ИРЦ Газпром», 2001. - 98 с. Обз. информ. Серия: Автоматизация, телемеханизация и связь в газовой промышленности.

46. Платов В.Я. Деловые игры: разработка, организация, проведение: Учебник. М.: Профиздат, 1991. - 192 с.

47. Саати Т. Принятие решений. Метод анализа иерархий. Пер. с англ. М.: Радио и связь, 1993. 278 с.

48. Сарданашвили С. А. Дисс. на соискание степени доктора технических наук. -М.:РГУ Нефти и газа им. И.М. Губкина, 2006. 577 с.

49. Сарданашвили С.А. Расчетные методы и алгоритмы (трубопроводный транспорт газа). М.:ФГУП Изд-во «Нефть и газ» РГУ Нефти и газа им. И.М. Губкина, 2005.-577 с.

50. Сарданашвили С.А., Ваулина Е.В. Применение объектно-ориентированной технологии решения задач планирования режимов газодобывающего предприятия. //Наука и технология углеводородов. 1999 г., № 2.

51. Сухарев М.Г., Ставровский Е.Р. Расчеты систем транспорта газа с помощью вычислительных машин. М., изд-во «Недра», 1971. 208 с.

52. Сухарев М.Г., Ставровский Е.Р. Оптимизация систем транспорта газа. М.: изд-во «Недра», 1971. 277 с.

53. Сухарев М.Г., Ставровский Е.Р., Брянских В.Е. Оптимальное развитие систем газоснабжения. М.: изд-во «Недра», 1981. 294 с.

54. Сухарев М.Г., Карасевич A.M. Технологический расчет и обеспечение надежности газо- и нефтепроводов. М.: изд. «Нефть и газ», 2000. 271 с.

55. Таненбаум Э. Архитектура компьютера. 4-е издание. СПб.: Питер, 2003. -698 е.: ил.

56. Таненбаум Э., М, ван Стеен. Распределенные системы. Принципы и парадигмы. СПб.: Питер, 2003. - 807 е.: ил.

57. Трахтенгерц Э.А., Степин Ю.П., Андреев А.Ф. Компьютерные методы поддержки принятия управленческих решений в нефтегазовой промышленности. -М.: Синтег, 2005. 592 с.

58. Трубопроводные системы энергетики: модели, приложения, информационные технологии, под редакцией д.т.н., проф. Сухарева М.Г., М.: изд-во «Нефть и газ», 2000. 318 с.

59. Химмельблау Д. Прикладное нелинейное программирование. М.: Мир, 1975. 536 с.

60. Хьюз Камерон, Хьюз Трейси. Параллельное и распределенное программирование на С++. Пер. с англ. М.: Издательский дом «Вильяме», 2004. -672 с.

61. Что такое ОрепМР, 2003. Электронный ресурс. Информационно-аналитический центр по параллельным вычислениям <http://www.parallel.ru/>

62. Шаронова С. А. Деловые игры. Учебн. пособие. М.: изд. РУДН, 2004. 166 с.

63. Швечков В.А. Технологии параллельных вычислений для решения расчетных задач диспетчерского управления транспортом газа. М.: ООО Издательский дом «ИнфоАвтоматизация», №7, 2006. - С. 43 - 46.

64. Швечков В.А., Леонов Д.Г. Построение многопользовательского сетевого программного комплекса для решения задач диспетчерского управления // Диском, 2004. 2-я Межд. научно-техническая конференция: Тез. докл. РГУ нефти и газа. Москва, 2004. С. 43 - 44.

65. Buretta, М.: Data Replication: Tools and Techniques for Managing Distributed Information. New York: John Wiley, 1997.

66. Callaghan, B.:NFS Illustrated. Reading, MA: Addison-Wesley, 2000.

67. Catalog of OMG CORBA®/IIOP® Specifications, 2007. Электронный ресурс. Object Management Group <http://www. omg.org/>

68. DCOM Architecture, 1997. Электронный ресурс. MSDN Home Page <http.V/msdn.microsoft.com/>

69. Distributed File System overview, 2005. Электронный ресурс. Microsoft TechNet Home Page <http://technet.microsoft.com/ru-ru/default.aspx >

70. Foster. I.: Designing and Building Parallel Programs: Concepts and Tools for Parallel Software Engineering package : Addison Wesley, 1st ed, 1995. 430 p.

71. Gupta A.: An Introduction to Parallel Computing: Design and Analysis of Algorithms : Addison Wesley, 2nd ed, 2003. 856 p.

72. How widely used is HPF?, 2007, Электронный ресурс. High Perfomance Fortran <http://hpff.rice.eda/index.htm>

73. Renee Huggett Business case studies.: Cambridge university press, 1990.

74. ISO: «Open Distributed Processing Reference Model.» International Standard ISO/IEC IS 10746, 1995.

75. Harold Kerzner Project Management Case Studies.: Wiley, 2003 448 p.

76. Kistler, J.: Disconnected operation in a Distributed File System, vol. 1002 of Lect. Notes Сотр. Sc. Berlin: Springer-Verlag, 1995.

77. Kistler, J. and Satyanaryanan, M: «Disconnected operation in a Coda File System.» ACM Trans. Comp .Syst., vol. 10, no. 1, Feb. 1992, pp. 3-25.

78. Kopetz, H and Verissimo, P.: «Real Time and Dependability Concepts» In Mullender, S. (ed.), Distibuted Systems, pp. 411-446. Wokingham: Addison-Wesly, 2nd ed., 1993.

79. Lamport, L.: «Time, Clocks, and the Ordering of Events in Distributed System. » Comrnun. ACM, vol. 21, no. 7, pp. 558-565, July, 1978.

80. Laprie, J.-C.: and Laurie, P.: Apache: The Definitive Guide. Sebastpool, С A: O'Reily & Associates, 2nd ed., 1999.

81. Pfleeger, C.: Security in Computing. Upper Saddle River, NJ: Prentice Hall, 2nd ed., 1997.

82. Michael J. Quinn.: Parallel Programming in С with MPI and OpenMP package, McGraw-Hill Science/Engineering/Math, 2003. 544 p.

83. MPI: The Message Passing Interface, 2006. Электронный ресурс. Информационно-аналитический центр по параллельным вычислениям <http://www.parallel.ru/>

84. MPICH2, 2007. Электронный ресурс. MPICH 2 Home Page <http://www-unix.mcs.anl.gov/mpi/mpich2/index.htm>

85. MPI Documents, 2006. Электронный ресурс. Message Passing Interface Forum <http://www.mpi-forum.org/>

86. Reap the Benefits of Multithreading without All the Work, 2005. Электронный ресурс. MSDN Home Page <http://msdn.microsoft.com/>

87. Remote Method Invocation Home, 2006. Электронный ресурс. Java Technology <http ://iava. sun. com/>

88. Scott Short, Building XML WEB Services for the Microsoft .NET Platform, Microsoft Press, 2002. 426 p.

89. Andrienne Schmitz, Deborah L . Brett Real Estate Market Analysis: A Case Study Approach. Urban Land Institute, 2001. 240 p.

90. C. Szyperski. Component Software Beyond Object-Oriented Programming. Boston, MA: Addison-Wesley and ACM Press, 1998.

91. SIMONE Software, 2007. Электронный ресурс. SIMONE Research Group <http ://ww w. simone. eu/>

92. Java EE Technology at Glance, 2006. Электронный ресурс. Java Technology <http://iava. sun. com/>