Модели, алгоритмы и программно-инструментальные средства для организации конвейерно-параллельных вычислений на мультипроцессорных системах тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Талалаев, Александр Анатольевич

• Талалаев, Александр Анатольевич
• кандидат технических наук
• 2012

Оглавление диссертации кандидат технических наук Талалаев, Александр Анатольевич

СОДЕРЖАНИЕ

ВВЕДЕНИЕ

ГЛАВА 1. ОБЗОР ТЕХНОЛОГИЙ ОРГАНИЗАЦИИ

ВЫСОКОПРОИЗВОДИТЕЛЬНЫХ ВЫЧИСЛЕНИЙ

1.1. Обзор аппаратных платформ

1.2. Обзор программных библиотек поддержки высокопроизводительных вычислений на МВУ

1.3. Обзор программно-инструментальных средств для организации вычислений наМВС

1.4. Сравнение основных характеристик программно-инструментальных комплексов

1.5. Выводы и постановка задачи

ГЛАВА 2. ОБЩИЕ ПРИНЦИПЫ ПОСТРОЕНИЯ КОМПЛЕКСА ИНСТРУМЕНТАЛЬНЫХ СРЕДСТВ

2.1. Общая архитектура программного комплекса

2.2. Структурная модель ядра программного комплекса

2.3. Модель системы диспетчеризации

2.4. Модель представления прикладной задачи

2.5. Пользовательский интерфейс системы

2.6. Принципы расширения функциональных возможностей ПС для решения прикладных задач

2.7. Основные выводы

ГЛАВА 3. РАЗРАБОТКА И ИССЛЕДОВАНИЕ СИСТЕМЫ ДИСПЕТЧЕРИЗАЦИИ И МОДЕЛИ ВЫЧИСЛИТЕЛЯ

3.1. Разработка и исследование системы диспетчеризации

3.2. Разработка и исследование модели вычислителей

3.3. Основные выводы

ГЛАВА 4. РЕАЛИЗАЦИЯ ПРИКЛАДНЫХ СИСТЕМ С ИСПОЛЬЗОВАНИЕМ ИНСТРУМЕНТАЛЬНЫХ СРЕДСТВ И ИССЛЕДОВАНИЕ ЭФФЕКТИВНОСТИ КОМПЛЕКСА

4.1. Библиотека модулей для решения прикладных задач

4.2. Тестирование на задаче поиска и распознавания объектов

4.3. Тестирование на задаче обработки изображений ДЗЗ

4.4. Тестирование на задаче контроля и диагностики подсистем КА

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

Введение диссертации (часть автореферата) на тему «Модели, алгоритмы и программно-инструментальные средства для организации конвейерно-параллельных вычислений на мультипроцессорных системах»

Введение

При решении сложных прикладных задач, оперирующими большими объемами данных, возникает необходимость максимально эффективно использовать аппаратные ресурсы современной компьютерной техники, например, многопроцессорных вычислительных систем (МВС). Задача разработки параллельных алгоритмов для повышения эффективности вычислений может быть сравнима по сложности с решением самой прикладной задачи.

Для разработки прикладных систем необходим удобный инструмент, обладающий достаточной гибкостью и расширяемостью, обеспечивающий масштабируемое решение прикладной задачи и при этом не обременяющий разработчика вопросами эффективной параллельной реализации. При этом инструментальная система не должна ограничивать разработчика, позволяя ему при необходимости применять имеющиеся знания и расширять функциональные возможности системы. Подобная система должна также функционировать на различных аппаратных платформах или иметь возможность легкой адаптации под них, позволяя разработчику полностью сконцентрироваться на решении прикладной задачи и в короткие сроки, без привлечения высококвалифицированных специалистов в области параллельных вычислений, построить законченное решение, обеспечивающее преимущество от использования МВС.

В настоящее время имеется несколько универсальных систем, которые можно рассматривать как комплекс инструментальных средств для разработки прикладных систем. К ним можно отнести такие системы как: HeNCE, GRADE, CODE, Triana, технологию Microsoft Workflow Foundation, ANS YS EKM, Kepler.

Однако тщательный анализ показывает, что каждая из них, обладая определенными преимуществами, тем не менее, по ряду причин не позволяет достаточно простыми средствами достигать одновременно требуемых показателей по скорости обработки, гибкости, масштабируемости вычислений, возможности адаптации к прикладной области И т.д.

Вопросами организации высокопроизводительных вычислений занимались различные исследователи: Е. Валях [1], Прангишвили И.В. [2] и Трахтенгерц Э.А. [3,4] (распараллеливание в процессе трансляции), Гергель В.П. [5,6], Воеводин В.В. [7,8], Карцев М.А. [9], Абрамов С.М. [10-12] (динамическое распараллеливание Т-система) и др.

В рамках многих из этих работ построены специальные языки и программные средства для параллельного программирования. Однако большинство существующих в настоящий момент решений для организации высокопроизводительных вычислений либо представляют собой низкоуровневые библиотеки или языки программирования, требующие от разработчика глубокого понимания парадигм параллельного программирования, либо не обладают достаточной гибкостью и, как правило, адаптированы лишь под конкретную аппаратную платформу.

Предлагаемое в рамках диссертационной работы алгоритмическое и программное обеспечение направлено на создание программно-инструментальной среды, позволяющей при разработке прикладных систем абстрагироваться от деталей низкоуровневой реализации параллельных алгоритмов. Основной целью работы является обеспечение достаточно высоких показателей алгоритмов конвейерно-параллельных вычислений по быстродействию при минимальных временных затратах на их разработку с использованием инструментальных средств. При этом учитывается возможность кроссплатформенной реализации с сохранением принципов универсализма, гибкости и расширяемости программного комплекса.

Целью диссертационной работы является разработка и исследование моделей, алгоритмов и программно-инструментальных средств, предназначенных для организации конвейерно-параллельных вычислений на мультипроцессорных системах. Для достижения поставленной цели в работе решаются следующие задачи:

1. Исследование существующих методов организации конвейерно-параллельных вычислений на мультипроцессорных вычислительных системах;

2. Разработка структурной модели комплекса инструментальных средств, удовлетворяющей принципам гибкости и расширяемости и позволяющей адаптировать разрабатываемое ПО к ряду аппаратных архитектур;

3. Разработка алгоритма диспетчеризации, позволяющего эффективно использовать ресурсы МВС с учетом требований универсализма разрабатываемых инструментальных средств и наложенных постановкой задачи ограничений;

4. Разработка математического и программного обеспечения МВС для решения задач конвейерно-параллельной обработки данных и проведение

его тестирования для получения качественных и сравнительных характеристик.

Методика исследования базируется на использовании элементов теории сетей Петри, теории конечных автоматов, методов объектно-ориентированного программирования, методов структурно-процедурного параллельного программирования, а также компьютерных экспериментов для оценки эффективности разработанных алгоритмов.

Научная новизна работы заключается в разработке программно-инструментальных средств, позволяющих строить конкурентоспособные прикладные отечественные системы, функционирующие на широком спектре многопроцессорных вычислительных систем. Предметом научной новизны являются:

1. Архитектурные решения программно-инструментального комплекса, обеспечивающие модульность, гибкость и расширяемость на уровне построения прикладных задач и при их решении на МВС.

2. Расширенные функциональные возможности вычислительного ядра программно-инструментального комплекса, обеспечивающие адаптацию к различным аппаратным платформам и реализацию всех видов параллелизма включая параллелизм независимых ветвей, параллелизм множества объектов, параллелизм смежных операций и смешанный параллелизм.

3. Модели процесса диспетчеризации и описания прикладных задач на основе Е-сетей Петри и теории автоматов, обеспечивающие научно-обоснованный подход к построению вычислительных процессов на этапе формирования задач пользователя.

Практическая значимость полученных результатов определяется их применением для решения комплекса актуальных задач обработки данных. Полученные результаты отражены в отчетах выполненных научных исследований в рамках:

1. Программы Союзного государства «Развитие и внедрение в государствах-участниках Союзного государства наукоемких компьютерных технологий на базе мультипроцессорных вычислительных систем», шифр «ТРИАДА» (проект ПР5 «Разработка новых алгоритмов, принципов создания систем обработки изображений и другой информации от космических средств наблюдения,

ориентированных на применение многопроцессорных вычислительных кластеров повышенной вычислительной мощности»);

2. Программы Союзного государства «Космос-НТ» (НИР «Разработка прототипа программной нейросетевой системы контроля телеметрической информации, диагностики подсистем космических аппаратов, обработки космических снимков»);

3. Государственного контракта №02.740.11.0526. «Разработка технологии интеллектуальной обработки информации в командно-измерительных системах космического назначения» (шифр заявки «2010-1.1-411-009-033»), 2010-2012гг.;

4. Проекта РФФИ 07-07-12029-офи "Создание интеллектуальной технологии для анализа данных и распознавания образов" (2007-2008гг.);

5. Проекта РФФИ № 09-07-00006-а "Исследование методов и создание теоретических основ информационной технологии обнаружения, распознавания, определения географического положения и прогнозирования поведения динамических целей" (2009-2011гг.);

6. Программы фундаментальных исследований Отделения РАН № 1 «Информационные технологии и методы анализа сложных систем», проект № 2.2 «Развитие методов интеллектуального управления на основе анализа потоков данных» (2009-2011гг.).

7. Государственного контракта № 07.514.11.4048 от 06 октября 2011 г. на тему «Разработка интеллектуальных методов автоматизированного обнаружения и предотвращения распределенных сетевых атак и их реализация в современных системах облачных вычислений» (2011-2012гг.).

Основные результаты диссертационной работы были использованы при разработке программного комплекса «ППС ИНС» для НИЦЭВТ по проекту «Триада» (свидетельство на регистрацию программы для ЭВМ № 2010610208), разработке программной системы «ПС НСКиД» по проекту «Космос-НТ» Союзного государства (заявка на регистрацию программы для ЭВМ № 2011618769 от 18 ноября 2011) и разработке "Комплекса программ инструментальных средств построения универсальной моделирующей среды для высокопроизводительной вычислительной системы «СКИФ»" для ОАО «Российские космические системы». Разработанное алгоритмическое и программное обеспечение

внедрено в Научно-исследовательском институте космических систем им. А. А. Максимова.

Основные результаты диссертационной работы докладывались и обсуждались на следующих международных и всероссийских научно-практических конференциях и симпозиумах:

1. Вторая международная научно-практическая конференция "Исследование, разработка и применение высоких технологий в промышленности". 07-09.01.2006, Санкт-Петербург, Россия.

2. Научно-техническая конференция ФГУП "РНИИ КП", посвященной. 60-летию предприятия (10-12 октября 2006 г.).

3. 9th International Conference "Pattern Recognition and image analysis: New Information Technologies" (PRIA-9-2008) (Nizhni Novgorod, 14-20.09.2008).

4. First Specialized Symposium "Space & Global Security of Humanity" (November 2-4, 2009, Amathus Beach Hotel, Limassol, Cyprus).

5. Ill Всероссийская научно-техническая конференция «Актуальные проблемы ракетно-космического приборостроения и информационных технологий» (1-3 июня 2010 года)

Кроме того, результаты работы докладывались и обсуждались на семинарах Исследовательского центра мультипроцессорных систем ИПС им. А.К. Айламазяна РАН в г. Переславль-Залесский (2005-2012).

Основные результаты диссертационной работы изложены в 15 печатных работах, в числе которых 7 статей опубликованы в рецензируемых изданиях, рекомендованных ВАК РФ.

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы, включающего 75 наименований. Основная часть изложена на 112 страницах машинописного текста, иллюстрируется 27 рисунками и 16 таблицами.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Талалаев, Александр Анатольевич

3.3. Основные выводы

Предлагаемый алгоритм диспетчеризации нагрузки основан на системе управляющих команд, что позволяет унифицировать протокол общения «диспетчер-вычислитель» и сделать эти компоненты ядра заменяемыми. Кроме того, организация управляющего механизма в виде системы сообщений, позволяет использовать единый подход при работе на системах с общей и разделяемой памятью.

Предложенный алгоритм диспетчеризации является «жадным» алгоритмом локально оптимального выбора применимых команд, но, не смотря на простоту, является достаточно эффективным решением, позволяющим задать ограничения на количество используемых аппаратных ресурсов МВС. Говоря об аналогичных системах, следует указать, что используемые в них принципы диспетчеризации, по мнению автора, уступают предложенному. Система CODE не имеет диспетчера нагрузки, поскольку является, по своей сути, системой кодогенерации. Технология Microsoft Workflow Foundation использует принцип очереди заданий без приоритетов, последовательно запуская

75 компоненты входящие в схему решения задачи в рамках одного потока исполнения, однако, позволяет задать пул потоков для исполнения, либо реализовать многопоточный сервис, что может обеспечить параллелизм, но требует от прикладного программиста большей квалификации. Система Kepler, обладающая наиболее широкими возможностями из всех рассмотренных, в конвейерно-параллельном режиме работы исполняет каждый модуль, входящий в схему решения задачи, в независимом потоке, что при увеличении сложности решаемых прикладных задач (включающих большое количество модулей) приведет к излишним затратам вызванным конкуренцией потоков.

Глава 4. Реализация прикладных систем с использованием инструментальных средств и исследование эффективности комплекса

С использованием ПС, в рамках нескольких научно исследовательских проектов, были построены прикладные системы решающие следующие задачи:

• задача поиска и классификации объектов на изображениях, базирующейся на аппарате искусственных нейронных сетей. Данная задача, помимо реализации ИНС, включает в себя набор модулей предобработки (включая и параллельные реализации) и использует практически все функциональные возможности, предоставляемые разработанным инструментальным комплексом;

• задача обработки снимков ДЗЗ;

• задача контроля и диагностики подсистем космического аппарата.

В рамках Государственного контракта № 07.514.11.4048 от 06 октября 2011 г. на тему «Разработка интеллектуальных методов автоматизированного обнаружения и предотвращения распределенных сетевых атак и их реализация в современных системах облачных вычислений» (Шифр «2011-1.4-514-017-004») указанная ПС была использована в составе тестового стенда, выступая в качестве атакуемой распределенной системы.

4.1. Библиотека модулей для решения прикладных задач

Для решения прикладных задач, в ПС реализовано 26 программных модулей. Их краткое описание (включая параметры их настройки) приведено в таблице 7.

Заключение

Основным результатом диссертации явилось создание алгоритмического и программного обеспечения, представляющего собой программно-инструментальные средства для организации конвейерно-параллельных вычислений на МВС.

В ходе работы над диссертацией были решены следующие задачи:

1. Проведены исследования существующих методов организации конвейерно-параллельных вычислений на МВС, инструментальных средств и комплексов на их основе;

2. Разработана структурная модель программно-инструментального комплекса поддержки конвейерно-параллельных вычислений на МВС;

3. Разработан алгоритм диспетчеризации, обеспечивающий динамическую балансировку нагрузки на вычислительные узлы МВС, действующий в условиях отсутствия информации об априорных оценках времени, требуемого для выполнения отдельных подзадач и позволяющий получить преимущество от использования МВС.

4. Разработан и реализован прототип комплекса программно-инструментальных средств, для организации конвейерно-параллельных вычислений на мультипроцессорных системах.

Для обеспечения функционирования предлагаемого в работе комплекса на различных аппаратных и программных платформах была выбрана модульная структура организации системы. Общая ориентация системы на работу с декларативными описаниями в хт1-формате, организация модулей обработки в виде независимых динамических библиотек, реализующих специфичные для прикладной задачи алгоритмы, поддержка механизмов сериализации данных (ресурсов), передаваемых между модулями, выделение в структуре вычислительного ядра специфичных для конкретной платформы элементов и сокрытие их с помощью унифицированных программных интерфейсов позволяет с легкостью адаптировать указанное ПО к различным программным платформам.

На основании предложенных в рамках диссертационной работы программных средств был построен ряд прикладных систем решающих актуальные задачи обработки данных в

104 различных областях науки. Проведенное тестирование подтверждает достаточную эффективность предлагаемых программных средств.

Список литературы диссертационного исследования кандидат технических наук Талалаев, Александр Анатольевич, 2012 год

Список литературы

1. Валях Е. Последовательно-параллельные вычисления. М.: Мир, 1985. - 456 с.

2. Прангишвили И.В., Виленкин С.Я., Медведев И.Л. Параллельные вычислительные системы с общим управлением. // М.: Энергатомиздат, 1983. - 312 с.

3. Трахтенгерц, Э.А. Введение в теорию анализа и распараллеливания программ ЭВМ в процессе трансляции // М.: Наука, 1981. - 256 с.

4. Трахтенгерц, Э.А. Программное обеспечение параллельных процессов // М.: Наука, 1987. - 272 с.

5. Гергель В.П., Стронгин Р.Г. Основы параллельных вычислений для многопроцессорных вычислительных систем // Н.Новгород: ННГУ, 2000. - 121 с.

6. Гергель В.П., Сибирякова А. Программная система для изучения и исследования параллельных методов решения сложных вычислительных задач. Параллельные рекурсивные алгоритмы многоэкстремальной оптимизации. Высокопроизводительные параллельные вычисления на кластерных системах.. Материалы Второго Международного научно-практического семинара. / Под ред. проф. Р.Г.Стронгина. Нижний Новгород: Изд-во Нижегородского университета, 2002, с. 82-88.

7. Воеводин В.В. Математические модели и методы в параллельных процессах // М.: Наука, 1986. - 296 с.

8. Воеводин, В.В. Параллельные вычисления // В.В. Воеводин, Вл.В Воеводин. СПб.: БХВ-Петербург, 2002. - 608 с.

9. Карцев М. А. Вычислительные системы и синхронная арифметика // М. А. Карцев, В. А. Брик - М.: Радио и связь, 1981. - 360 с.

10. С. М. Абрамов, А. И. Адамович 1999. Т-система - среда программирования с поддержкой автоматического динамического распараллеливания программ // Программные системы. Теоретические основы и приложения, Наука-Физматлит, М„ 1999, с. 201-213.

11. Sergey Abramov, Alexei Adamovich, Alexander Inyukhin, Alexander Moskovsky, Vladimir Roganov, Elena Shevchuk, Yuri Shevchuk, and Alexander Vodomerov. 2005. OpenTS: An Outline of Dynamic Parallelization Approach. Parallel Computing Technologies: 8th International Conference, PaCT 2005, Krasnoyarsk, Russia, September 5-9, 2005. Proceedings. Editors: Victor Malyshkin - Berlin etc. Springer, 2005. - Lecture Notes in Computer Science: Volume 3606, pp. 303-312

12. Абрамов C.M., Кузнецов A.A., Роганов B.A.. Кроссплатформенная версия Т-системы с открытой архитектурой //Вычислительные методы и программирование.

- 2007. - Т. 8. - No 1. - Раздел 2. стр. 175-180 (электронная версия журнала http://num-meth.srcc.msu.su/)

13. Долинский М., Толкачев А. Обзор аппаратных и программных средств реализации параллельной обработки // Компоненты и технологии, №6, 2004

14. Афанасьев К.Е., Стуколов С.В. Многопроцессорные вычислительные системы и параллельное программирование: Учебное пособие с грифом СибРУМЦ. Кемеровский госуниверситет. Кемерово: Кузбассвузиздат, 2003. - 233с.

15. Богданов А.В., Станкова Е.Н., Павлова М.И. Высокопроизводительные алгоритмы

— Электронный текстовый документ http://www.csa.rU/analitik/distant/q starthtml

16. А. А. Букатов, В. Н. Дацюк, А. И. Жегуло. Программирование многопроцессорных вычислительных систем // Ростов-на-Дону. Издательство ООО «ЦВВР», 2003. - 208 с.

17. Классификации архитектур вычислительных систем (на основе пособия Вл. В.Воеводин, А. П. Капитонова. «Методы описания и классификации вычислительных систем». Издательство МГУ, 1994) — Электронный текстовый документ http://www.parallel.ru/computers/taxonomy/

18. Steam - Опрос о конфигурации компьютера — Электронный текстовый документ http://store.steampowered.com/hwsurvey/

19. SGI official website — Электронный текстовый документ http://www.sgi.com

20. OpenCL official website — Электронный текстовый документ http://www.khronos.org/opencl/

21. Designing and Building Parallel Programs, by Ian Foster 1995 — Электронный текстовый документ http://www.mcs.anl.gov/~itf/dbpp/

22. Грегори Р. Эидрюе Основы многопоточного, параллельного и распределенного программирования: Пер. с англ. — М. и др.: Вильяме, 2003. - 512 с.

23. Домашняя страница MPI в Argonne National Labs — Электронный текстовый документ http://www.mcs.anl.gov/research/proiects/mpi/

24. Корнеев В. Д. Параллельное программирование в MPI : учебное пособие / В. Д. Корнеев. - Новосибирск: Изд-во ИВМиМГ СО РАН, 2002. - 215 с.

25. MPI 1.0: A Message-Passing Interface Standard Электронный ресурс. — Режим доступа: http://www.mpi-forum.org/docs/mpi-10.ps, свободный.— Электрон, версия печ. публикации.

26. MPI 2.0: A Message-Passing Interface Standard Электронный ресурс. — Режим доступа: http://www.mpi-forum.org/docs/mpi-20.ps, свободный.— Электрон, версия печ. публикации.

27. PVM official website — Электронный текстовый документ http://www.csm.ornl. gov/pvm/pvm home.html

28. Евсеев И. Использование PVM. Введение в программирование — Электронный текстовый документ http://chaos.ssu.runnet.ru/dvnamics/books/pvm/using PVM.htm

29. Никое Дракос. Практическое использование высокоуровневых средств параллельного программирования DIPC, MPI, PETSc и PVM — Электронный текстовый документ http://skif.bas-net.bv/bsuir/parbook/mainfile2.html

30. OpenMP official website — Электронный текстовый документ http://openmp.org/wp/

31. Антонов, А. С. Параллельное программирование с использованием технологии OpenMP: учеб. пособие // М.: Изд-во МГУ, 2009.-77 с.

32. Ластовецкий A.JL, Калинов А.Я., Дедовских И.Н., Арапов Д.М., Посыпкин М.А.. Язык и система программирования для высокопроизводительных параллельных вычислений на неоднородных сетях // Труды Института системного программирования РАН, том 1, 2000 г., с. 5-25.

33. Коновалов Н.А., Крюков В.А., Погребцов А.А., Сазанов Ю.Л. C-DVM - язык разработки мобильных параллельных программ // Препринт ИПМ им. М.В.Келдыша РАН, №86, Москва, 1997 г. (http://www.keldvsh.ru/dvm/dvmhtml 107/publishr/cdvml wf.html)

34. Коновалов Н.А., Крюков В.А., Михайлов С.Н., Погребцов JI.A. Fortran-DVM — язык разработки мобильных параллельных программ // Программирование. 1995, № 1, с. 49-54. (http://www.keldvsh.ru/dvm/dvmhtml 107/publishr/fdvm94 r.html)

35. OpenTS official website — Электронный текстовый документ http://www.opents.net/index.php/ru

36. Абрамов С. М., Адамович А. И., Инюхин А. В. Московский А.А., Роганов А.В.. Шевчук Ю. А., Шевчук Е. В. Т-система с открытой архитектурой // Тр. Междунар. науч. конф. «Суперкомпьютерные системы и их применение SSA'2004» (26-28 октября 2004, г. Минск). Минск: ОИПИ НАЛ Беларуси, 2004, с. 18-22.

37. OpenTS: An Outline of Dynamic Parallelization Approach / S. Abramov, A. Adamovich, A. Inyukhin et al. // Parallel Computing Technologies. 8th International Conference, Krasnoyarsk, Russia, September 5-9, 2005 / Ed. by Y. Malyshkin. — Springer-Verlag, 2005. — Vol. 3606 of Lecture Notes in Computer Science. — pp. 303-312.

38. Джоунз Г. Программирование на языке Оккам / Пер. с англ. JI. В. Шабанова, под ред. Ю. Г. Дадаева. — М: Мир, 1989. - 208с.

39. CODE official website — Электронный текстовый документ http://www.cs.utexas.edu/users/code/

40. HeNCE official website — Электронный текстовый документ http://www.netlib.org/hence/

41. GRADE - Graphical Environment for Parallel Programming by Péter Kacsuk and Sândor Forrai ERCIM News No.36 - January 1999 — Электронный текстовый документ http://www.ercim.eu/publication/Ercim News/enw36/kacsuk.html

42. An Environment for the Design and Performance Evaluation of Portable Parallel Software: Final EDPEPPS Simulator: Report / Center for Parallel Computing University of Westminster. EDPEPPS/41. London, July 1997.

43. DEEP: A Development Environment for Parallel Programs Brian Q. Brode and Chris R.Warber — Электронный текстовый документ http://ipdps.cc. gatech.edu/1998/it/brode.pdf

44. BMDFM official website — Электронный текстовый документ http://bmdfm.de/

45. Дхарма Шукла, Боб Шмидт Основы Windows Workflow Foundation — M.: «ДМК Пресс», 2008.

46. ANSYS official website — Электронный текстовый документ http://www.ansvs.com/

47. Triana official website — Электронный текстовый документ http://www.trianacode.org/index.html

48. The Triana Workflow Environment: Architecture and Applications. I. Taylor, M. Shields, I. Wang, and A. Harrison. In I. Taylor, E. Deelman, D. Gannon, and M. Shields, editors, Workflows for e-Science, pages 320-339. Springer, New York, Secaucus, NJ, USA, 2007.

49. Kepler official website — Электронный текстовый документ https://kepler-proiect.org/

50. Kepler: an extensible system for design and execution of scientific workflows. Altintas, I. and Berkley, C. and Jaeger, E. and Jones, M. and Ludascher, B. and Mock, S. (2004) Scientific and Statistical Database Management, 2004. Proceedings. 16th International Conference on. Pages: 423—424.

51. Талалаев А.А. Особенности архитектуры параллельной программной системы распознавания графических образов на основе искусственных нейронных сетей - «Нейрокомпьютеры: разработка, применение», 2008, №9, с.43-51.

52. Константинов К.А., Талалаев А.А., Тищенко И.П., Хачумов В.М. Концепция архитектуры нейросетевой системы контроля, диагностики и обработки изображений космического назначения - Авиакосмическое приборостроение, 2009, №5, с.39-47.

53. Талалаев А.А. Организация конвейерно-параллельных вычислений для обработки потоков данных - Информационные технологии и вычислительные системы, №1, 2011, с.8-13.

54. Khachumov V.M., Talalaev А.А., Tishenko I.P., Fralenko V.P., Emelyanova J.G., Konstantinov K.A., Pogodin S.V. Program neural network system of telemetric information control, spacecraft subsystems diagnostic and space images processing. -First Specialized Symposium "Spase & Global Security of Humanity" (November 2-4, 2009, Amathus Beach Hotel, Limassol, Cyprus).

55. Тищенко И.П., Емельянова Ю.Г., Тимошина H.E., Гвоздяков Ю.А., Полтавец Ю.И., Крылов И.А. Построение интеллектуального графического интерфейса для контроля и диагностики космических подсистем. - Ракетно-космическое приборостроение и информационные технологии. 2010. Труды III Всероссийской

научно-технической конференции «Актуальные проблемы ракетно-космического приборостроения и информационных технологий» (1-3 июня 2010 г.) / под ред. Ю.М. Урличича, A.A. Романова. М.: Радиотехника, 2011, с. 272-281, ISBN 978-588070-299-2.

56. Питерсон Джи. Теория сетей Петри и моделирование систем: Пер. с англ. - М.: Мир, 1984. - 264 с.

57. Захаров Н.Г., Рогов В.Н. Синтез цифровых автоматов: Учебное пособие / Н.Г. Захаров, В.Н. Рогов. - Ульяновск: УлГТУ, 2003. - 135 с. ISBN 5-89146-300-0

58. Котов В.Е. Сети Петри. - М.: Наука. Главная редакция физико-математической литературы, 1984. - 160 с.

59. Омаров О.М. Теория вычислительных процессов и структур. Учебное пособие -Махачкала: РИО ДГТУ, 2005. - 268 с.

60. Страуструп Б. Дизайн и эволюция языка С++. - 1-ое изд. - П.: Издательский дом "Питер", 2006. - 448 с.

61. Boost С++ libraries - Электронный текстовый документ http.7/www.boost.org/.

62. Виноградов А.Н., Калугин Ф.В., Недев М.Д., Погодин C.B., Талалаев A.A., Тищенко И.П., Фраленко В.П., Хачумов В.М. Выделение и распознавание локальных объектов на аэрокосмических снимках. - Авиакосмическое приборостроение, 2007, №9, с.39-45.

63. Ватутин В.М., Круглов A.B., Сашов A.A., Заднепровский В.Ф., Недев М.Д., Талалаев A.A., Фраленко В.П., Хромов О.В., Хачумов В.М., Снегирев В.М. Использование нейронных сетей и средств распараллеливания для высокопроизводительной обработки данных. - Информационно-измерительные и управляющие системы, 2007, №7, т.5, с.48-53.

64. Виноградов А.Н., Коданев И.В., Талалаев A.A., Хачумов В.М. Программная система для распознавания графических образов с помощью моделей искусственных нейронных сетей. - Высокие технологии, фундаментальные и прикладные исследования, образование. Сборник трудов Второй международной научно-практической конференции "Исследование, разработка и применение высоких технологий в промышленности". 07-09.01.2006, Санкт-Петербург, Россия. /

Под ред. А.П. Кудинова, Г.Г. Матвиенко, В.Ф. Самохина. СПб.: Изд-во Политехи, ун-та, Т. 6:, 2006, с. 6.

65. Виноградов А.Н., Коданев И.В., Талалаев A.A., Тищенко И.П., Хачумов В.М., Щербаков A.B. Библиотека нейронных сетей для распознавания графических образов на кластерном вычислительном устройстве. - Сб. трудов 2-ой Международной научн.-практической конференции «Исследование, разработка и применение высоких технологий в промышленности» (07-09.02.2006, Санкт-Петербург) - Санкт-Петербург: Издат.-во Политехнического университета, 2006, с.8-10.

66. Виноградов А.Н., Недев М.Д., Талалаев A.A., Фраленко В.П., Хачумов В.М. Распознавание графических образов на основе искусственных нейронных сетей. - В сб. трудов международной конференции «Программные системы: теория и приложения». - М.: Физматлит, т.1, 2006, с. 309 - 322.

67. Talalaev A.A., Tishchenko I.P., Fralenko V.P., Khachumov V.M.. Neural methods in aerospace systems. - 9th International Conference "Pattern Recognition and image analysis: New Information Technologies" (PRIA-9-2008): Conference proceedings. (Nizhni Novgorod, 14-20.09.2008) - H. Новгород, издательство "Диалог Культур", т. 2, с.193-196.

68. Круглов A.B., Ватутин В.М., Заднепровский В.Ф., Талалаев A.A. Применение нейронных сетей и средств распараллеливания для высокоскоростной обработки потоков данных. - Тезисы докладов научно-технической конференции ФГУП "РНИИ КП", посвященной. 60-летию предприятия (10-12 октября 2006 г.) - М.: ФГУП "РНИИ КП", 2006, с.79-80.

69. Недев М.Д., Талалаев A.A., Тищенко И.П., Хачумов В.М. Задачи распознавания, географической привязки и наблюдения объектов на основе анализа полутоновых снимков - Авиакосмическое приборостроение, 2009, №12, с. 19-24.

70. Талалаев A.A., Тищенко И.П., Хачумов М.В. Выделение и кластеризация текстовых и графических элементов на полутоновых снимках. - Искусственный интеллект и принятие решений, 2008, №3, с.72-84.

71. Хачумов В.М. Талалаев A.A. Технические характеристики кластерных вычислителей и анализ эффективности параллельных программных средств обработки потоков данных - Авиакосмическое приборостроение, 2011, №12, с.3-17.

72. Талалаев A.A., Фраленко В.П. Контроль и диагностика датчиков положения космического аппарата - Искусственный интеллект и принятие решений, 2009, №3, с.49-52.

73. Емельянова Ю.Г., Константинов К.А., Погодин C.B., Талалаев A.A., Тищенко И.П., Фраленко В.П., Хачумов В.М. Нейросетевая система контроля датчиков углов ориентации и дальности космического аппарата - Электронный научный журнал «Программные системы: Теория и приложения», №1, 2010 (http://psta.psiras .ru/2010/01 (001Vcontent-01 (001 ) .html) (не ВАК)

74. Емельянова Ю.Г., Талалаев A.A., Фраленко В.П., Хачумов В.М. Нейросетевой метод обнаружения неисправностей в космических подсистемах - в сборнике трудов международной конференции "Программные системы: теория и приложения" (PSTA2009), ИПС РАН им. А.К. Айламазяна, г. Переславль-Залесский, май 2009 / Под редакцией С.М. Абрамова и C.B. Знаменского. В двух томах. -Переславль-Залесский: Изд-во "Университет города Переславля", 2009. - Т. 1. - С. 133-143.

75. Круглов A.B., Ватутин В.М., Попов C.B., Заднепровский В.Ф., Талалаев A.A., Хачумов В.М. Методы контроля и диагностики космических подсистем с применением суперкомпьютерных технологий - тезисы трудов III Всероссийской научно-технической конференции «Актуальные проблемы ракетно-космического приборостроения и информационных технологий» (электронный сборник, 1-3 июня 2010 года)