Интеллектуальная платформа управления композитными приложениями в распределённых вычислительных средах тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Марьин, Сергей Владимирович

• Марьин, Сергей Владимирович
• кандидат технических наук
• 2010

Оглавление диссертации кандидат технических наук Марьин, Сергей Владимирович

Основные обозначения и сокращения.

Введение.

1 Аналитический обзор в области платформ распределённых вычислений для e-Science

1.1 Общие тенденции развития высокопроизводительных приложений для компьютерного моделирования и обработки данных в области e-Science.

1.1.1 Проблемно-ориентированные среды и композитные приложения.

1.1.2 Использование прикладного программного обеспечения в форме услуги: концепция SaaS (Software as a Service).

1.1.3 Ориентация на распределённые вычислительные ресурсы и среды.

1.1.4 Использование знаний и интеллектуальных технологий.

1.1.5 Профессиональные виртуальные сообщества.

1.2 Подходы, технологии и особенности реализации высокопроизводительных приложений в распределённых средах.

1.2.1 Сервисно-ориентированная архитектура (SOА).

1.2.2 Представление распределённых композитных приложений в форме потока заданий

1.2.3 Алгоритмы планирования исполнения WF.

1.2.4 Интеллектуальные технологии поддержки принятия решений разработчика распределённых приложений.

1.2.5 Интеллектуальные технологии управления производительностью распределённых систем.

1.3 Сравнительный анализ существующих платформ управления композитными приложениями в распределённых вычислительных средах.

1.3.1 Сравнительный анализ отечественных разработок в области платформ высокопроизводительных вычислений для e-Science.

1.3.2 Сравнительный анализ платформ управления распределёнными композитными приложениями в форме WF.

1.4 Постановка задачи исследования.

Выводы по главе 1.

2 Процедура планирования процесса исполнения композитного приложения в условиях неопределённости и неполноты информации о состоянии распределённой вычислительной среды.;.

2.1 Концепция iPSE организации композитных приложений в распределённых вычислительных средах.

2.1.1 Общая архитектура 1Р8Е.

2.1.2 Интеллектуальное управление в 1Р8Е.

2.1.3 Использование знаний о производительности вычислительных сервисов в виде параметрических моделей.

2.2 Планирование исполнения WF на основе эвристических алгоритмов построения расписаний.

2.2.1 Эвристические алгоритмы для построения расписания.

2.2.2 Инструмент моделирования выполнения композитного приложения при использовании различных алгоритмов планирования.

2.2.3 Анализ эвристик планирования.

2.3 Определение стратегии управления на основе статистического сопоставления конкурирующих эвристик.

Выводы по главе 2.

3 Проектирование и разработка интеллектуальной платформы управления композитными приложениями в распределённых средах.

3.1 Общая архитектура и схема функционирования платформы.

3.2 Основные программные компоненты платформы.

3.2.1 Управляющее ядро.

3.2.2 Адаптеры вычислительных пакетов.

3.2.3 Планировщик.

3.2.4 База моделей производительности.

3.3 Программная реализация платформы.

3.4 Анализ соответствия разработанного решения основным тенденциям развития инструментария е-Быепсе.

3.4.1 Проблемно-ориентированные среды.

3.4.2 Композитные приложения.

3.4.3 Предоставление ПО в форме услуги (БааБ).

3.4.4 Использование распределённых вычислительных ресурсов.

3.4.5 Использование отчуждаемых знаний и интеллектуальных технологий.

3.4.6 Поддержка профессиональных виртуальных сообществ.

Выводы по главе 3.

4 Экспериментальные исследования характеристик платформы и её применение в программном комплексе НРС-МАБК.

4.1 Назначение и области применения программного комплекса НРС-НАБК.

4.2 Встраивание интеллектуальной платформы управления композитными приложениями в программный комплекс НРС-КАБК.

4.2.1 Интеграция платформы с основными системными сервисами НРС-ИАЗК.

4.2.2 Разработка адаптеров платформы к прикладным пакетам НРС^АБК.

4.2.3 Интеграция платформы в распределённых вычислительных средах под управлением системы «Метакластер» и Грид ННС.

4.3 Исследование функциональных характеристик комплекса НРС-№А818 на примере решения практических задач.

4.3.1 Описание решаемой задачи.

4.3.2 Последовательность действий при решении задачи самосогласования комплексом НРСЖАЗге.

4.3.3 Отражение хода решения задачи в интеллектуальной платформе.

4.4 Экспериментальное исследование производительности композитных приложений под управлением интеллектуальной платформы.

4.4.1 Определение времени исполнения композитного приложения в режимах метакомпьютинга и Грид.

4.4.2 Анализ составляющих накладных расходов на управление композитными

Введение диссертации (часть автореферата) на тему «Интеллектуальная платформа управления композитными приложениями в распределённых вычислительных средах»

Современный этап развития технологий распределённых вычислений и систем тесно связан с общими тенденциями продвижения парадигмы «электронной науки» (е-Зшепсе). Понятие е-8«епсе ассоциируется с технологическими аспектами организации разнородными группами специалистов совместных научных исследований, требующих объединения вычислительных и программных ресурсов для решения сложных междисциплинарных задач1, в форме т.н. композитных приложений, состоящих из нескольких взаимодействующих между собой вычислительных сервисов. Специфической особенностью проектирования и использования композитных приложений является то, что их отдельные компоненты (сервисы) разрабатываются и поддерживаются различными группами специалистов, реализуют различные программные парадигмы, ориентированы на различные вычислительные платформы и требуют разных способов организации входных и выходных данных. Как следствие, для работы с композитными приложениями в распределённых вычислительных средах необходим специализированный класс промежуточного программного обеспечения, а именно — интегрирующие платформы, обеспечивающие исполнение и процессы взаимодействия предметно-ориентированных сервисов. В отечественной науке существенный вклад в развитие теоретических основ и практических решений в области платформ распределённых вычислений внесён научными школами А.П. Афанасьева, Вл.В. Воеводина, В.П. Гергеля, В.А. Ильина, Л.Б. Соколинского и ряда других исследователей.

Платформа распределённых вычислений в общем случае должна обеспечивать не только исполнение композитных приложений на априорно заданном наборе вычислительных систем, но и управление процессом исполнения составляющих их сервисов с целью обеспечения эффективного использования ресурсов и минимизации общего времени решения задачи. Процесс управления сводится к построению расписания, обеспечивающего синхронизацию работы отдельных сервисов в условиях неоднородности вычислительных ресурсов и стохастической изменчивости параметров коммуникационных сетей и вычислительных систем, характеризуемой нестационарным поведением во времени. Как следствие, эта особенность затрудняет использование для решения задачи управления традиционных подходов распределения нагрузки, характерных, например, для кластерных систем, и требует развития специфического

1 Sloot P.M.A., Frenkel D., Vorst H.A. Van der et al. Computational e-Science: Studying complex systems in silico. A National Coordinated Initiative. White Paper, February 2007. (http://www.science.uva.nl/research/scs/papers/archive/Sloot2007a.pdf) алгоритмического и программного инструментария, что и определяет актуальность темы исследования.

Предметом исследования является сервисно-ориентированная архитектура систем распределённых вычислений для компьютерного моделирования и обработки больших объёмов данных.

Целью работы является развитие подхода к управлению параллельными вычислительными процессами на основе интеллектуальных технологий для обеспечения эффективного исполнения композитных приложений в распределённых средах и разработка соответствующего математического и программного обеспечения.

Задачи исследования. Достижение поставленной цели подразумевает решение следующих задач:

• Формирование системы требований к программно-аппаратным платформам поддержки распределённых вычислений для нужд е-БЫепсе.

• Исследование методов планирования процессов исполнения композитных приложений в условиях неопределённости и стохастической изменчивости параметров распределённой среды, и разработка процедуры управления процессом их исполнения на основе отчуждаемых знаний предметной области.

• Проектирование и разработка сервисно-ориентированной программной платформы для компьютерного моделирования и обработки данных в распределённой среде, обеспечивающей возможность создания, запуска, мониторинга и эффективного исполнения2 композитных приложений.

• Исследование эффективности разработанных решений на основе вычислительных приложений в распределённых средах, функционирующих в режимах метакомпьютинга и Грид.

• Применение разработанных методов, алгоритмов и программных инструментов для разработки интегрирующей платформы высокопроизводительного программного комплекса НРС-ЫАБШ для квантово-механических расчётов и моделирования наноразмерных атомно-молекулярных систем и комплексов3.

Методы исследования включают в себя методы инженерии знаний, системного анализа и теории систем, инженерии программного обеспечения, анализа алгоритмов и программ, теории вероятностей, математической статистики и имитационного моделирования.

Научную новизну результатов работы определяют:

2 В данном случае под эффективностью понимается минимизация времени исполнения приложения.

3 http://hpc-nasis.ifino.ru

• Построение технологии управления процессом исполнения композитного приложения в распределённой среде в условиях неопределённости с использованием экспертных знаний в форме параметрических моделей производительности вычислительных сервисов заданной предметной области.

• Использование конкурентных эвристик для определения стратегии исполнения отдельных сервисов в составе композитного приложения с учётом стохастического характера изменчивости характеристик распределённой среды на основе имитационного моделирования.

Практическую ценность работы составляют:

• Процедура планирования процесса исполнения композитного приложения с использованием доступных вычислительных ресурсов, использующая совокупность экспертных знаний и информацию об актуальном состоянии вычислительной инфраструктуры, допускающая использование в распределённых средах различного назначения.

• Программное средство — интегрирующая платформа для исполнения композитных приложений произвольной предметной области на вычислительных ресурсах различной архитектуры (SMP, МРР, GPGPU, СВЕЛ).

• Повышение эффективности функционирования высокопроизводительного программного комплекса HPC-NASIS для квантово-механических расчётов и моделирования наноразмерных атомно-молекулярных систем и комплексов за счёт использования разработанной платформы для организации доступа к вычислительной инфраструктуре.

На защиту выносятся:

• Процедура планирования процесса исполнения композитного приложения в условиях неопределённости и неполноты информации о состоянии распределённой вычислительной среды, использующая формализм представления знаний о производительности в виде параметрических моделей для определения оптимальной стратегии путём интервального сопоставления конкурирующих эвристик.

• Архитектура интеллектуальной платформы управления композитными приложениями, обеспечивающая повышение их производительности в неоднородных распределённых вычислительных средах, функционирующих в режимах метакомпьютинга и Грид.

Достоверность научных результатов и выводов обеспечивается строгостью наложенных ограничений предметной области, экспериментальными исследованиями эффективности распределённой платформы и производительности композитных приложений, а также практическим использованием разработанных методов и средств при создании высокопроизводительного программного комплекса НРС-ЫА818 для квантово-механических расчётов и моделирования наноразмерных атомно-молекулярных систем и комплексов.

Внедрение результатов работы. Результаты работы нашли своё применение при выполнении проектов «Инструментальная технологическая среда для создания массовых мобильных он-лайн сервисов нового поколения» (НИР 2008-4-1.4-18-01-022) направления 1.4 «Генерация знаний» ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007-2012 годы», «Разработка высокопроизводительного программного комплекса для квантово-механических расчётов и моделирования наноразмерных атомно-молекулярных систем и комплексов» (ОКР 2008-04-2.4-15-02-003) направления 2.4 «Осуществление комплексных проектов, в том числе разработка конкурентоспособных технологий, предназначенных для последующей коммерциализации в области информационно-телекоммуникационных технологий» ФЦП «Исследования и разработки по приоритетным направлениям развития научно-технологического комплекса России на 2007—2012 годы», «Инструментальная среда для построения композитных приложений моделирования сложных систем» (НИР П1386) направления «Распределённые вычислительные системы» ФЦП «Научные и научно-педагогические кадры инновационной России на 2009-2013 годы», «Интеллектуальные технологии распределённых вычислений для моделирования сложных систем» (НИР П469) направления «Распределённые вычислительные системы» ФЦП «Научные и научно-педагогические кадры инновационной России на 2009-2013 годы», «Инструментальная технологическая среда для создания распределённых интеллектуальных систем управления сложными динамическими объектами» (НИР 20101.1-214-072-049) мероприятия 1.1 «Проведение научных исследований коллективами научно-образовательных центров» ФЦП «Научные и научно-педагогические кадры инновационной России на 2009-2013 годы», «Создание инструментальной среды для разработки композитных приложений в Грид-сети, как интеллектуальной системы поддержки принятия решений разработчика» (НИР, выполняемая по заказу Национальной ассоциации исследовательских и научно-образовательных электронных инфраструктур «е-АРЕНА»). Результаты работ внедрены в производственную деятельность ЗАО «Фирма "АйТи". Информационные технологии».

Апробация работы. Изложенные в диссертации результаты обсуждались на семи международных и всероссийских научных конференциях, семинарах и совещаниях, включая IX и X ежегодные Международные конференции «Высокопроизводительные параллельные вычисления на кластерных системах» (2009 г., Владимир; 2010 г., Пермь); XII ежегодную Всероссийскую научную конференцию «Научный сервис в сети Интернет: суперкомпьютерные центры и задачи» (2010 г., Новороссийск); IV Международную конференцию «Распределённые вычисления и Грид-технологии в науке и образовании» (2010 г., Дубна); XVII Всероссийскую научно-методическую конференцию «Телематика'2010» (2010 г., Санкт-Петербург); VII Межвузовскую конференцию молодых учёных (2010 г., Санкт-Петербург); Всероссийскую конференцию «Технологии Microsoft в теории и практике программирования» (2010 г., Нижний Новгород).

Публикации. По теме диссертации опубликовано 8 печатных работ (из них 3 — в изданиях из перечня ведущих рецензируемых научных журналов и изданий, рекомендованных ВАК РФ).

Личный вклад автора в работах, выполненных в соавторстве, заключался в выполнении аналитического обзора в проблемной области диссертационной работы, развитии теоретических основ и реализующих их алгоритмов планирования исполнения композитного приложения, проектировании и разработке основных программных компонентов ядра интеллектуальной платформы, выполнении экспериментальных исследований производительности композитных приложений, а также интеграция разработанного решения в высокопроизводительный программный комплекс HPC-NASIS. В диссертацию включены результаты, которые соответствуют личному участию автора.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Марьин, Сергей Владимирович

Выводы по главе 4

В четвёртой главе показано использование разработанной платформы в качестве основы комплекса НРС-ИАЗК для квантово-механических расчётов и моделирования наноразмерных атомно-молекулярных систем и комплексов. Показаны возможности практического использования платформы и её элементов. Кроме того, в данной главе продемонстрировано использование комплекса НРС-КАБК для решения практических задач, экспериментально исследовано влияние различных компонент комплекса на общее время выполнения и показано, что использование платформы не ухудшает производительность приложений в распределённых средах, а потому может использоваться для построения высокопроизводительных комплексов как для Грид-систем, так и для систем метакомпьютинга.

Заключение

Таким образом, в рамках диссертационной работы:

• выполнен анализ и адаптация методов планирования процессов исполнения с учётом неопределённости и неполноты информации о состоянии распределённой вычислительной среды в условиях стохастической изменчивости её характеристик;

• разработана и обоснована процедура планирования процесса ^исполнения композитного приложения, обеспечивающая решение задачи управления распределёнными вычислениями и реализующая обоснованный выбор субоптимального расписания на основе совокупного использования экспертных знаний о производительности сервисов и результатов имитационного моделирования сценариев исполнения

• разработана и детализирована архитектура интеллектуальной платформы управления композитными приложениями в распределённых вычислительных средах, обеспечивающая запуск и контроль исполнения композитных приложений в соответствии с субоптимальным расписанием;

• спроектировано и реализовано программное средство — интеллектуальная платформа управления параллельным исполнением композитных приложений, успешно апробированное и внедрённое в состав высокопроизводительного программного комплекса НРС-КАБК для квантово-механических расчётов и моделирования наноразмерных атомно-молекулярных систем и комплексов.

По теме диссертации опубликовано 8 печатных трудов, из них 3 — в журналах, соответствующих перечню ВАК ведущих рецензируемых научных журналов и изданий.

Список литературы диссертационного исследования кандидат технических наук Марьин, Сергей Владимирович, 2010 год

1. Afanasiev, 2008. A. Afanasev, I. Lazarev, A. Tarasov. MathCloud a distributed mathematical environment // Proc. of XXI International Symposium on Nuclear Electonics & Computing, p. 15-19, Dubna: JINR, 2008.

2. Afanasiev, 2010. Combining high-end computing resources in a distributed environment / A.P. Afanasiev // Distributed Computing and Grid-Technologies in Science and Education

3. Book of Abstr. of the 4th Intern. Conf. (Dubna, June 28 July 3, 2010) .— Dubna: JINR, 2010.—P. 20

4. Almond, 1998. J. Almond and D. Snelling. UNICORE: Secure and Uniform Access to Distributed Resources via the World Wide Web. White Paper, October 1998

5. Bai, 2006. Intelligent Grids / X. Bai, H. Yu, G. Wang, Y. Ji, G.M. Marinescu, D.C. Marinescu // Grid Computing: Software Environments and Tools, 2006, XII, pp. 45-74.

6. Bajaj, 2004. Bajaj R. and Agrawal D. P. Improving Scheduling of Tasks in a Heterogeneous Environment, IEEE Transactions on Parallel and Distributed Systems, 15:107-118,2004.

7. Berners-Lee, 2008. Berners-Lee Т., J. Hendler, O. Lassila The Semantic Web // Scientific American Magazine. Retrieved March 26, 2008.

8. Binato, 2001. Binato S. et al., A GRASP for job shop scheduling. Essays and surveys on meta-heuristics, pp.59-79, Kluwer Academic Publishers, 2001.

9. Blythe, 2005. Blythe J., Jain S., Deelman E., Gil Y., Vahi K., Mandal A., Kennedy K. Task Scheduling Strategies for Workflow-based Applications in Grids. IEEE International Symposium on Cluster Computing and the Grid (CCGrid 2005)— 2005, pp. 1—9.

10. Braun, 2001. Braun T. D., Siegel H. J., and Beck N. A Comparison of Eleven static Heuristics for Mapping a Class of Independent Tasks onto Heterogeneous Distributed Computing Systems, Journal of Parallel and Distributed Computing, 61:801-837, 2001.

11. Cao, 2003. Junwei Cao , Stephen A. Jarvis , Subhash Saini, Graham R. Nudd, GridFlow: Workflow Management for Grid Computing, Proceedings of the 3st International Symposium on Cluster Computing and the Grid, p.198, May 12-15, 2003.

12. Casanova, 2000. Casanova H. et al., Heuristics for Scheduling Parameter Sweep Applications in Grid Environments, The 9th Heterogeneous Computing Workshop (HCW'00), April. 2000.

13. Cohen, 2007. Cohen S. Ontology and Taxonomy of Services in a Service-Oriented Architecture // The Architecture Journal Microsoft, 2007.- №11- pp. 30-35.

14. Davulcu, 2009. Default a-Logic for Modeling Customizable Failure Semantics in Workflow Systems Using Dynamic Reconfiguration Constraints / H. Davulcu, S.

15. Mukhopadhyay, P. Singh, S.S. Yau // Proc. Int'l Conf. on Grid and Distributed Computing (GDC), 2009, pp. 49-56.

16. Deelman, 2003. E. Deelman et al. Mapping Abstract Complex Workflows onto Grid Environments. Journal of Grid Computing, 1:25-39, Kluwer Academic Publishers, Netherlands, 2003.

17. Deelman, 2004. Deelman E. et al., Pegasus: Mapping scientific workflows onto the grid, European Across Grids Conference, pp. 11-20, 2004.

18. Feo, 1995. Feo T. A. and Resende M. G. C. Greedy Randomized Adaptive Search Procedures, Journal of Global Optimization, 6:109-133, 1995.

19. Foster, 2002. Foster I. What is the Grid. A three point checklist. GridToday / July 22, 2002: Vol. 1—no. 6.-Режим доступа: http://www.gridtoday.com/02/0722/100136.html, свободный.

20. Gallopoulos, 1994. Computer as Thinker/Doer: Problem—Solving Environments for Computational Science" // S. Gallopoulos, E. Houstis, J. Rice, IEEE Computational Science and Engineering, Summer 1994.

21. GAMESS. Gamess Gordon Group/GAMESS Homepage [http://www.msg.ameslab.gov/gamess/]

22. Gil, 2004. Artificial Intelligence and Grids:Workflow Planning and Beyond / Y. Gil, E. Deelman, J. Blythe, C. Kesselman, H. Tangmunarunkit // IEEE Intelligent Systems, 19(1),. pp. 26-33.

23. Gruber, 2005. Intelligent GRID Scheduling System / R. Gruber, V. Keller, P. Kuonen, M.-C. Sawley, B. Schaeli, A. Tolou, M. Torruella, T.-M. Tran // Parallel Processing and Applied Mathematics, LNCS 3911. 2005. pp. 751-757.

24. Hoekstra, 2003. Hoekstra A, Kaandorp J., Sloot P.M.A. A Problem Solving Environment for Modelling Stony Coral Morphogenesis // Proceedings of 3rd International Conference on Computational Sciences 2003 - P. 639 - 64922

25. Hu, 2009. Towards an Approach of Semantic Access Control for Cloud Computing / L. Hu, S. Ying, X. Jia, K. Zhao // Lecture Notes In Computer Science; Vol. 5931. Proceedings of the 1st International Conference on Cloud Computing. 2009. pp. 145-156.

26. Khac, 2010. Toward Distributed Knowledge Discovery on Grid Systems / N.A.L. Khac, L.M. Aouad, M-T. Kechadi // Emergent Web Intelligence: Advanced Semantic Technologies, st. Edition., 2010, XVI, pp. 213-244.

27. Kojima, 2009. Implementation of a Service-Based Grid Middleware for Accessing RDF Databases /1. Kojima, M. Kimoto // Lecture Notes In Computer Science; Vol. 5872? 2009. pp. 866-876.

28. K-Wf Grid. K-Wf Grid Home.- Режим доступа: http://www.kwfgrid.net/, свободный.

29. Kwok, 1999. Kwok Y. K. and Ahmad I. Static Scheduling Algorithms for Allocating Directed Task Graphs to Multiprocessors, ACM Computing Surveys, 31(4):406-471, Dec. 1999.

30. Laszewski, 2005. G. von Laszewski. Java CoG Kit Workflow Concepts for Scientific Experiments. Technical Report, Argonne National Laboratory, Argonne, IL, USA, 2005.

31. Ludascher, 2006. B. Ludascher et al. Scientific Workflow Management and the KEPLER System. Concurrency and Computation: Practice & Experience Workflow in Grid Systems. Volume 18 Issue 10, August 2006.

32. Maheswaran, 1999. Maheswaran M. et al. Dynamic Matching and Scheduling of a Class of Independent Tasks onto Heterogeneous Computng Systems. The 8th Heterogeneous Computing Workshop (HCW'99), San Juan, Puerto Rico, Apr. 12 1999.

33. McGough, 2004. S. McGough et al. Workflow Enactment in ICENI. In UK e-Science All Hands Meeting, Nottingham, UK, IOP Publishing Ltd, Bristol, UK, Sep. 2004; 894-900.

34. Molpro. Molpro quantum chemistry package [http://www.molpro.net/]

35. ORCA. ORCA [http://www.thch.uni-bonn.de/tc/orca/]

36. Pahlevi, 2008. Semantic grid resource monitoring and discovery with rule processing based on the time-series statistical data / S.M. Pahlevi, I. Kojima // Journal of Grid Computing. Vol. 7, #2. 2008. pp. 205-224

37. Parastadis, 2009. Parastadis S. A Platform for All That We Know: Creating a Knowledge-Driven Research Infrastructure // The Fourth Paradigm. Data-Intensive Scientific Discovery. Misrosoñ, 2009. - pp. 165-172.

38. Random.org. www.random.org

39. RandomOps. http://www.hvass-labs.org/projects/randomops/cs/

40. Rice, 1996. Rice J.R., Boisvert R. F. From Scientific Software Libraries to ProblemSolving Environments // IEEE Computational Science & Engineering -1996 v.3 n.3 -P.44-53

41. Roure, 2006. The Collaborative Semantic Grid / D. De Roure, J. Frey, D. Michaelides, K. Page // Proceedings of the International Symposium on Collaborative Technologies and Systems, 2006. pp. 411-418.

42. Sarkar, 2010. An Adaptive Execution Scheme for Achieving Guaranteed Performance in Computational Grids / A. De Sarkar, S. Roy, D. Ghosh, R. Mukhopadhyay, N. Mukherjee // Journal of grid computing. 2010, vol. 8, #1, pp. 109-131.

43. Schuchardt, 2002. Schuchardt K., Didier В., Black G. Ecce a problem-solving environment's evolution toward Grid services and a Web architecture // Concurrency and Computation: Practice and Experience - 2002 - v.14 - P. 13-15

44. Semantic Grid. Semantic Grid Document Store and Bibliography [http://www.semanticgrid.org/documents/]

45. SEMP, 2009. RU.CHAB. 80066-01 01 01. Программный компонент SEMP расчетов свойств мезосистем на основе полуэмпирических моделей квантовой химии. Описание программы // СПбГУ ИТМО, СПб 2009

46. Siddiqui, 2010. Siddiqui М., Fahringer Т. Grid Resource Management, Lecture Notes in Computer Science. Vol. 5951,2010.

47. Sloot, 2005. Sloot P.M.A., Boukhanovsky A.V., Keulen W., Tirado-Ramos A., Boucher C. A GRID-based HIV expert system. Journal of Clinical Monitoring and Computing, vol. 19,, p. 263-278

48. Smith, 1998. Smith B. Basis of formal ontology // Proceedings of International conference on formal ontologies in information systems (FOIS-98). Trento. Italy. 1998, p.p. 19-28.

49. Song, 2009. A Back Propagation Neural Network for Evaluating Collaborative Performance in Cloud Computing / B. Song, M.M. Hassan, Y. Tian, E. Huh // Grid and

50. Distributed Computing. Communications in Computer and Information Science, 2009, Vol. 63. pp.57-64.

51. Tannenbaum, 2001. Todd Tannenbaum, Derek Wright, Karen Miller, Miron Livny, Condor: a distributed job scheduler, Beowulf cluster computing with Linux, MIT Press, Cambridge, MA, 2001.

52. Taylor, 2003. I. Taylor, M. Shields, and I. Wang. Resource Management of Triana P2P Services. Grid Resource Management, Kluwer, Netherlands, June 2003.

53. Ullman, 1975. Ullman J. D. NP-complete Scheduling Problems, Journal of Computer and System Sciences, 10:384-393,1975.

54. Wang, 1997. Wang L. et al., Task Mapping and Scheduling in Heterogeneous Computing Environments Using a Genetic-Algorithm-Based Approach, Journal of Parallel and Distributed Computing, 47:8-22, 1997.

55. Xing, 2005. Design and Development of a Core Grid Ontology / W. Xing, M.D. Dikaiakos, R. Sakellariou, S. Orlando, D. Laforenza //In CoreGRID Integration Workshop, 2005. pp. 21-31.

56. Young, 2003. Young L. et al., Scheduling Architecture and Algorithms within the ICENI Grid Middleware, UK e-Science All Hands Meeting, IOP Publishing Ltd, Bristol, UK, Nottingham, UK, Sep. 2003, pp. 5-12.

57. Yu, 2004. Jia Yu , Rajkumar Buyya, A Novel Architecture for Realizing Grid Workflow using Tuple Spaces, Proceedings of the Fifth IEEE/ACM International Workshop on Grid Computing (GRID'04), p. 119-128, November 08-08, 2004.

58. Yu, 2005. Yu J., Buyya R. A Taxonomy of Workflow Management Systems for Grid Computing, Journal of Grid Computing, Volume 3, Numbers 3-4, Pages: 171-200, Springer Science+Business Media B.V., New York, USA, Sept. 2005.

59. Yu, 2008. Yu J. et al. Workflow Scheduling Algorithms for Grid Computing, Metaheuristics for Scheduling in Distributed Computing Environments, F. Xhafa and A. Abraham (eds), ISBN: 978-3-540-69260-7, Springer, Berlin, Germany, 2008.

60. Zhang, 2008. Agent-Based Grid Computing / M. Zhang, J. Tang, J. Fulcher // Computational Intelligence: A Compendium. Studies in Computational Intelligence, 2008, Volume 115/2008. pp. 439-483.

61. Zomaya, 2001. Zomaya A. Y., Teh Y. H. Observations on Using Genetic Algorithms for Dynamic Load-Balancing, IEEE Transactions on Parallel and Distributed Systems, 12(9):899-911, Sept. 2001.

62. Амамия, 1993. Амамия M., Танака Ю. Архитектура ЭВМ и искусственный интеллект. М.: Мир, 1993 400 с.

63. Бухановский, 2005. Бухановский A.B. Параллельное математическое обеспечение статистических измерений характеристик пространственно-временных полей // Дисс. на соиск. уч. степени доктора техн. наук. СПб., СПбГЭТУ «ЛЭТИ»: 2005. - 408 с.

64. Дунаев, 2008-1. Инструментальная оболочка поддержки принятия решений разработчика высокопроизводительных приложений в Грид / A.B. Дунаев, A.B. Ларченко, A.B. Бухановский // Научно-технические ведомости СПбГПУ — 2008.— №5. —С. 98-104.

65. Жегуло, 2001. Жегуло O.A. Представление знаний о методах распараллеливания в экспертной систем поддержки распараллеливания программ // Искусственный интеллект 2001.- №3.- С. 323- 330.

66. Интеллектуальные системы, 2001. Интеллектуальные системы в морских исследованиях и технологиях // Под ред. Ю.И.Нечаева. Санкт-Петербург, ГМТУ, 2001 -352 с.

67. Каляев, 2008. Каляев И.А., Левин И.И., Семерников Е.А., Шмойлов В.И. Реконфигурируемые мультиконвейерные вычислительные структуры // Изд. ЮНЦ РАН Ростов-на-Дону - 2008 - 393 с.

68. Князева, 2003. Князева М.А., Клещев A.C. Концепция банка знаний в области оптимизации программ для поддержки научных исследований. / ИАПУ ДВО РАН, Владивосток. 2003.

69. Ковальчук, 2008-1. Ковальчук C.B. Параллельная производительность стохастических алгоритмов / C.B. Ковальчук, A.B. Бухановский // Известия высших учебных заведений. Приборостроение. 2008. - №12. — С. 7-14.

70. Ковальчук, 2008-2. Особенности проектирования высокопроизводительных программных комплексов для моделирования сложных систем / C.B. Ковальчук [и др.] // Информационно-управляющие системы. — 2008. —№3. — С. 10-18.

71. Нечаев, 2003. Нечаев Ю.И. Математическое моделирование в бортовых интеллектуальных системах реального времени // Труды 5-й всероссийской научно-технической конференции «Нейроинформатика 2003». Лекции по нейроинформатике. Часть 2,- С. 119-179.

72. Нечаев, 2004. Нечаев Ю.И. Подходы и парадигмы информационных технологий в системах искусственного интеллекта // Труды конференции «МОРИНТЕХ-2004», 2004, с.6-12.

73. Радченко, 2009. Радченко Г.И. Грид-система CAEBeans: интеграция ресурсов инженерных пакетов в распределенные вычислительные среды // Вестник Нижегородского университета им. Н.И. Лобачевского. № 6. 2009. С. 192-202.

74. Соммервилл, 2002. Соммервилл И. Инженерия программного обеспечения. 6. М.: Издательский дом «Вильяме», 2002. 624 с.

75. Шамакина, 2010. Шамакина A.B. CAEBeans Broker: брокер ресурсов системы CAEBeans // Вестник ЮУрГУ. Серия "Математическое моделирование и программирование". 2010. № 16(192). Вып. 5. С. 107-115.