Разработка и исследование элементов и устройств для повышения производительности параллельных вычислителей ориентированных на обработку многомерных задач тема диссертации и автореферата по ВАК РФ 05.13.05, кандидат технических наук Цветкова, Юлия Александровна

• Цветкова, Юлия Александровна
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Цветкова, Юлия Александровна

ВВЕДЕНИЕ

ГЛАВА I. АНАЛИЗ ВЫЧИСЛИТЕЛЬНЫХ СРЕДСТВ ДЛЯ

РЕШЕНИЯ МНОГОМЕРНЫХ ЗАДАЧ

1.1. Классы решаемых многомерных задач

1.2.Анализ возможностей суперкомпьютеров различных классов для решения многомерных задач

1.3. Исследование возможностей кластеров ЭВМ для решения многомерных задач

1.4. Пути повышения производительности кластеров ЭВМ

1.5. Выводы

ГЛАВА 2. РАЗРАБОТКА И ИССЛЕДОВАНИЕ ЭЛЕМЕНТОВ И

УСТРОЙСТВ КЛАСТЕРА ЭВМ НА ОСНОВЕ многослойной КОММУТАЦИИ

2.1. Разработка элементов и устройств высокопроизводительного кластера на основе многослойных вычислении

2.2. Выбор типа коммутатора для организации кластера

2.3. Исследование характеристик разработанной структуры кластера на примере моделирования разработки нефтесодержащего пласта

2.4. Выводы

ГЛАВА 3. ПОВЫШЕНИЕ ПРОИЗВОДИТЕЛЬНОСТИ

КЛАСТЕРОВ ЭВМ НА ОСНОВЕ СТАТИЧЕСКОГО

ОПТИМАЛЬНОГО ПЛАНИРОВАНИЯ ПРИ ОБРАБОТКЕ

МНОГОМЕРНЫХ ЗАДАЧ

3.1. Задачи, методы и проблемы исследования сложных систем

3.2. Разработка алгоритма моделирования параллельной обработки задач и методики его применения для статического оптимального планирования

3.2.1.Общая характеристика выбранного метода планирования

3.2.2. Матричные последовательности (модели) задач

3.2.3. Расчет основных параметров параллельной обработки задачи на основе ее матричной групповой модели

3.2.4.Методика применения алгоритма для статического оптимального планирования параллельной обработки задач

3.3.Применение алгоритма для повышения производительности кластера на основе многослойной коммутации при решении задачи моделирования разработки нефтесодержащих пластов

3.4. Выводы

ГЛАВА 4. ПРОГРАММНАЯ РЕАЛИЗАЦИЯ И

ЭКСПЕРИМЕНТАЛЬНОЕ ИССЛЕДОВАНИЕ

ХАРАКТЕРИСТИК ЭЛЕМЕНТОВ И УСТРОЙСТВ

РАЗРАБОТАННОГО КЛАСТЕРА ПРИ РЕШЕНИИ ЗАДАЧИ

МОДЕЛИРОВАНИЯ РАЗРАБОТКИ НЕФТЕСОДЕРЖАЩЕГО

ПЛАСТА

4.1.Задача моделирования разработки нефтесодержащего пласта

4.2. Выбор программно-технических средств

4.3.Разработка модели программной реализации основных алгоритмов системы

4.4 .Разработка и описание программы моделирования основных алгоритмов системы

4.5. Руководство пользователя

4.6. Выводы

Введение диссертации (часть автореферата) на тему «Разработка и исследование элементов и устройств для повышения производительности параллельных вычислителей ориентированных на обработку многомерных задач»

Актуальность темы. Повышение производительности вычислительной техники имеет определяющее значение для развития фундаментальной науки, техники, производства и обороноспособности страны. Создание объектов с высокими техническими показателями требует разработки качественных многофакторных моделей, что невозможно без высокопроизводительных ЭВМ, поэтому проблема повышения их производительности является наиболее существенной и актуальной.

Постоянно возрастающая сложность моделируемых многомерных объектов требует от ЭВМ всё большей производительности. Недостаточная производительность современных универсальных ЭВМ не позволяет принимать эффективные решения в отношении сложных многомерных объектов за приемлемое время.

При достигнутом уровне технологий, структурных и программных решений производительность процессоров можно считать практически постоянной, близкой к теоретическому пределу, поэтому повышение производительности вычислителей идёт по пути объединения процессоров, однопроцессорных и многопроцессорных ЭВМ в разнообразные параллельные вычислители и повышения эффективности использования вычислительных ресурсов [28].

При переходе к параллельным вычислениям возникает проблема отображения графа алгоритма задачи на структуру параллельного вычислителя. От качества решения проблемы отображения зависит эффективность использования вычислительных ресурсов и производительность параллельного вычислителя. Для решения этой проблемы необходимо исследовать сложную информационную структуру задачи в целом, что требует разработки эффективных по временной сложности алгоритмов. Накопленный опыт разработки высокопроизводительных компьютеров показывает, что проблема отображения решается наиболее эффективно созданием проблемно-ориентированных параллельных вычислителей и реализацией структурного подхода к параллельному решению задач. При этом остро стоит проблема повышения их производительности при увеличении числа процессоров. Возрастающая сложность управления параллельной обработкой данных для многомерных задач, обусловленная большим количеством разнообразных операторов и логических связей между ними, а также неадекватностью структуры параллельного вычислителя структуре обрабатываемых задач, приводит к увеличению времени обменных операций, простою процессоров и резкому падению реальной производительности параллельного вычислителя по сравнению с теоретической. В этих условиях резко возрастает значение структурных и программных методов повышения производительности параллельных вычислителей [18].

Комплексный подход к повышению производительности параллельных вычислителей на основе структурных и программных методов является в настоящее время одним из перспективных направлений развития информационных технологий, которое включено в новые университетские Государственные образовательные стандарты третьего поколения [11].

Актуальность темы исследований определяется важностью комплексного решения проблем разработки высокопроизводительных параллельных вычислителей, ориентированных на решение многомерных задач. Работа выполнялась в рамках исследований по высокопроизводительным проблемно-ориентированным системам структурного моделирования, проводимых на кафедре Вычислительной техники Таганрогского технологического института Южного Федерального университета.

Цель работы. Целью работы является разработка и исследование элементов и устройств вычислительной техники и программных методов для повышения производительности параллельных вычислителей.

Основные задачи исследования. Достижение поставленной цели предполагает решение следующих основных задач:

1. Анализ проблем построения высокопроизводительных параллельных вычислителей и определение путей их решения на основе разработки элементов и устройств вычислительной техники.

2. Синтез масштабируемой структуры высокопроизводительного параллельного вычислителя на основе комплексной разработки элементов и устройств вычислительной техники.

3. Разработка алгоритма моделирования параллельного решения задач и методики его применения для статического оптимального планирования.

Объект исследования. Объектом исследования являются элементы, устройства и методы организации высокопроизводительных параллельных вычислителей.

Методы исследования. Для решения поставленных задач и достижения намеченной цели были использованы основы теории вычислительных машин, теории матриц и графов, теории алгоритмов, численных методов и параллельных вычислений. Экспериментальные исследования проводились на разработанной практической системе моделирования.

Достоверность и обоснованность полученных в работе результатов подтверждается корректностью исходных посылок, а также корректностью применения математического аппарата, численными расчетами, результатами проведённых экспериментальных исследований, внедрением научных и практических результатов диссертационной работы.

Научная новизна работы. Научная новизна работы состоит в следующем:

1. На базе кластера универсальных ЭВМ и параллельного вычислителя БМР-структуры (симметричный мультипроцессор) синтезирована масштабируемая структура кластера с использованием многослойной коммутации, отличающаяся от существующих структур кластеров универсальных ЭВМ наличием нескольких слоев акселераторов, что позволяет повысить производительность кластера при параллельном решении многомерных задач.

2. Предложен коммутатор, структурно объединяющий несколько многослойных коммутаторов, отличающийся от аналогов тем, что обеспечивает взаимодействие акселераторов разных слоев и повышение производительности кластера при решении сложных по структуре многомерных задач.

3. Синтезирован алгоритм матрично-группового моделирования параллельного решения сложных по структуре задач, отличающийся от известных алгоритмов моделирования параллельных процессов совмещением одновременно процессов вычисления и обмена, что позволяет на основе результатов моделирования повысить производительность кластера путем выполнения операций обмена на фоне процессов вычислений.

4. Разработана методика применения алгоритма матрично-группового моделирования для оптимального статического планирования параллельного решения задач со сложной структурой, которая отличается от известных методик учетом процессов обмена, что позволяет повысить эффективность планирования и производительность кластера.

Практическая значимость полученных результатов.

Практическая значимость полученных результатов заключается в инновационном способе создания параллельного вычислителя. Структура кластера с использованием многослойной коммутации, позволяет наращивать производительность кластера с помощью увеличения числа акселераторов и количества универсальных ЭВМ на основе схемы коммутации, структурно объединяющей несколько многослойных коммутаторов. Предложенная схема коммутации позволяет на аппаратном уровне объединить несколько многослойных коммутаторов, что повышает производительность кластера при решении сложных по структуре и плохо распараллеливаемых многомерных задач. При этом синтезированный в диссертации алгоритм матрично-группового моделирования параллельного решения задач позволяет автоматизировать процесс оптимального статического планирования при решении больших по объему и сложных по структуре задач. На данной основе уменьшается время планирования параллельных вычислений и достигается уменьшение времени решения задачи путем выполнения операций обмена на фоне процессов вычислений.

Реализация результатов работы. Научные и практические результаты диссертационной работы использованы в федеральном Научно-производственном центре ОАО «Марс» (г.Ульяновск), в «ООО АРМСофт» (г.Волгоград), на линейном ледоколе «Капитан Демидов», в учебном процессе на кафедре Автоматизированных систем обработки информации и управления Ижевского государственного технического университета, на факультете Электроники и вычислительной техники Волгоградского государственного технического университета, а также в научно-исследовательских работах и в учебном процессе на кафедре Вычислительной техники Таганрогского технологического института Южного Федерального университета, что подтверждено соответствующими актами об использовании.

Основные положения и результаты, выносимые на защиту:

1. Масштабируемая структура кластера на основе многослойной коммутации, позволяющая повысить производительность кластера при параллельном решении задач со сложной структурой, за счет введения специализированных элементов и устройств.

2. Алгоритм матрично-группового моделирования параллельного решения задач со сложной структурой, который позволяет осуществлять планирование параллельной обработки в статическом режиме с учетом процессов обмена.

3. Методика применения алгоритма матрично-группового моделирования для оптимального статического планирования параллельного решения сложных по структуре задач с учетом процессов обмена для повышения эффективности планирования и производительности кластера.

Структура и объем работы. Результаты работы изложены во введении, четырех главах и заключении. Общий объем диссертации 158 страниц, включая 43 иллюстрации, 16 таблиц, список литературы из 101 наименования и 2 приложения.

Апробация, публикация результатов работы.

Основные результаты диссертации докладывались и обсуждались на Конгрессе по интеллектуальным системам и информационным технологиям, Международных и Всероссийских научно-технических конференциях, в том числе на:

1.VIII -ой Международной научно-технической конференции «Интеллектуальные системы» (AIS'08) и ХХШ-ой Международной научно-технической конференции «Интеллектуальные САПР» (CAD-2008), Дивноморское, 2008.

2.Международной молодежной научно-технической конференции «Высокопроизводительные вычислительные системы», Таганрог, 2008.

3.Конгрессе по интеллектуальным системам и информационным технологиям (AIS-IT 09) - (IX-ая Международная научно-техническая конференция «Интеллектуальные системы4 09» (AIS09), XXIV-ая Международная научно-техническая конференция «Интеллектуальные САПР-2009» (CAD-2009)), Дивноморское, 2009.

4.Конгрессе по интеллектуальным системам и информационным технологиям (AIS-IT 09) - (IX-ая Международная научно-техническая конференция «Интеллектуальные системы'09» (AIS'09), Молодежная научно-техническая конференция «Интеллектуальные системы - 2009»), Дивноморское, 2009.

5.Международной конференции «Информационные технологии в образовании, технике и медицине», Волгоград, 2009.

6.Международной научно-практической конференции «Инновационная экономика и промышленная политика региона (ЭКОПРОМ-2009)», Санкт-Петербург, 2009.

7.УП-0Й Всероссийской научной конференции молодых ученых, аспирантов и студентов «Информационные технологии, системный анализ и управление», Таганрог, 2009.

8.Всероссийской конференции с элементами научной школы для молодежи «Проведение научных исследований в области обработки, хранения, передачи и защиты информации», Ульяновск, 2009.

9.17-й Всероссийской межвузовской научно-технической конференции студентов и аспирантов «Микроэлектроника и информатика - 2010», Москва, 2010.

10.Всероссийской научно-технической конференции аспирантов, студентов и молодых учёных «Информатика и вычислительная техника», Ульяновск, 2010.

11 .Российской школе-семинаре аспирантов, студентов и молодых учёных «Информатика, моделирование, автоматизация проектирования», Ульяновск, 2010.

По результатам проведенных исследований опубликовано 14 печатных работ [35-37; 87-97], из них 3 - в журналах, включенных в список изданий, рекомендованных ВАК [35, 87, 88].

Заключение диссертации по теме «Элементы и устройства вычислительной техники и систем управления», Цветкова, Юлия Александровна

4.6. Выводы

1. Разработанная практическая система моделирования позволяет исследовать многомерные задачи на кластере ЭВМ с высокой временной эффективностью. Экспериментальная проверка основных результатов работы осуществлена на примере моделирования разработки неоднородного нефтесодержащего пласта произвольной формы.

Результаты, полученные путем моделирования, подтверждают верность расчета параметров разработанного кластера на основе многослойной коммутации и поэтому он может быть аппаратно реализован на практике для решения задачи моделирования разработки нефтесо держащего пласта и подобного класса задач.

2. На основе предложенной методики проверена эффективность применения разработанного алгоритма для статического оптимального планирования параллельной обработки задач. Результаты моделирования показали работоспособность системы и программного обеспечения, позволяющего динамически определить оптимальное число процессоров для параллельной обработки и обеспечить приемлемое для практики время обработки многомерных задач за счет выполнения процессов обмена на фоне процессов счета.

3. Практическое использование описанных в главе алгоритмов и функций позволят применять предложенную методику в широком кругу аналогичных задач, используя предложенные алгоритмы, структуру программного обеспечения и исходный код приложения.

ЗАКЛЮЧЕНИЕ

В данной диссертационной работе комплексно решена актуальная проблема повышения производительности параллельных вычислителей на основе разработки элементов и устройств и программных методов.

В ходе выполнения работы были получены следующие результаты:

1. Установлено, что наиболее перспективным классом параллельных вычислителей по критерию «производительность/цена» для создания высокопроизводительных комплексов структурного моделирования, ориентированных на обработку многомерных задач, являются кластеры ЭВМ. Так, два кластерных двухпроцессорных узла в среднем на 35% дешевле, чем один четырёхпроцессорный SMP-сервер, причём с ростом количества процессоров преимущества кластерных решений по этому показателю увеличиваются. Например, производительность мощного сервера в 2-3 раза превышает производительность среднего персонального компьютера, а стоит он дороже обычно в 5-10 раз. Перспективность кластерной структуры подтверждается резким ростом за последнее десятилетие кластеров в списке ТОР500. На июнь 2010 года их доля составляет 84,8%.

2. Показано, что при разработке кластеров ЭВМ, ориентированных на обработку многомерных задач, для повышения их производительности необходимо принимать специальные меры: оснащение универсальных ЭВМ специализированными акселераторами; выбор топологии, обеспечивающей одновременно несколько альтернативных путей между вычислителями кластера; обеспечение выполнения процессов обмена на фоне процессов счёта; выбор интерконнекта с малой латентностью и высокой пропускной способностью; оптимальное планирование процесса обработки с учетом процессов обмена.

3. На базе кластера универсальных ЭВМ и параллельного вычислителя SMP -структуры (симметричный мультипроцессор) синтезирована масштабируемая структура кластера с использованием многослойной коммутации, отличающаяся от существующих структур кластеров универсальных ЭВМ наличием нескольких слоев акселераторов, что позволяет повысить производительность кластера при параллельном решении многомерных задач. Структура кластера позволяет при необходимости наращивать его производительность увеличением числа и производительности универсальных ЭВМ, а также числа и производительности акселераторов в них, что позволяет выбирать оптимальный состав кластера при решении многомерных задач. Наличие нескольких уровней обмена, отличающихся задержками, соответствует принципам структурного моделирования.

4. Предложен многомерный коммутатор, отличающийся от многослойного коммутатора тем, что обеспечивает взаимодействие акселераторов разных слоев между собой, что позволяет повысить производительность кластера при решении сложных по структуре многомерных задач.

5. Исследование характеристик разработанного кластера на задаче моделирования разработки нефтесодержащего пласта показало, что наращивание вычислительной мощности кластера увеличением числа вычислителей и(или) их производительности должно сопровождаться соответственно выбором более производительного интерконнекта, обеспечивающего в условиях обрабатываемой задачи эффективность использования вычислительных ресурсов кластера близкую к единице.

6. Синтезирован алгоритм матрично-группового моделирования параллельного решения сложных по структуре задач, отличающийся от известных алгоритмов моделирования параллельных процессов совмещением одновременно процессов вычисления и обмена, что позволяет на основе результатов моделирования повысить производительность кластера путем выполнения операций обмена на фоне процессов вычислений. Особенностью данного алгоритма является использование фиктивных операторов для перехода от нерегулярного графа алгоритма задачи к регулярному алгоритму моделирования параллельного решения задачи. Это позволяет представить алгоритм последовательным выполнением одинаковых спецопераций с матрицами групп в порядке возрастания их номера на единицу. Алгоритм моделирования параллельной обработки сложных по структуре задач позволяет автоматизировать процесс статического планирования и составлять расписание параллельной обработки на операторном уровне, как одновременно по процессам счёта и обмена, так и отдельно. Информация для составления операторного расписания формируется в динамических матрицах групп. Расчёт только критического времени счёта, обмена, критического времени обработки задачи одновременно по процессам счёта и обмена, а также расчёт элементов динамических матриц групп может для сокращения времени планирования выполняться параллельно.

Сложность алгоритма, оцененная по наибольшему количеству операций при расчёте динамических матриц определяется выражением V ~ т2 -I, где I - общее число операторов задачи, am- среднее число операторов в одной группе. Работоспособность алгоритма подтверждена расчётами.

7. Разработана методика применения разработанного алгоритма для статического оптимального планирования параллельной обработки сложных по структуре задач, позволяющая целенаправленно выбирать приемлемый вариант параллельной обработки с учетом процессов обмена, составлять расписания на операторном и аппаратном уровнях.

8. Разработанные алгоритм матрично-группового моделирования параллельной обработки задач и методика его применения для статического оптимального планирования имеют широкую сферу применения и могут быть использованы для исследования информационных структур при проектировании элементов и устройств вычислительной техники и систем управления сложными техническими объектами.

9. Показано, что разработанная структура кластера с многослойной коммутацией позволяет создавать высокопроизводительные проблемно-ориентированные комплексы структурного моделирования при меньших затратах средств и времени. Это подтверждено разработкой практической системы моделирования, которая позволяет моделировать разработку неоднородного нефтесодержащего пласта произвольной формы и визуально представлять процесс его фильтрации в статике и динамике в трехмерном виде. Результаты проведенных экспериментов подтвердили выводы теоретических исследований характеристик кластера, а также эффективность применения разработанного алгоритма для статического оптимального планирования параллельной обработки сложных по структуре многомерных задач на основе предложенной методики.

Таким образом, в диссертационной работе на основе комплексной разработки элементов и устройств вычислительной техники и программных методов решена актуальная задача, которая вносит значительный вклад в развитие высокопроизводительных комплексов структурного моделирования, ориентированных на решение многомерных задач.

Список литературы диссертационного исследования кандидат технических наук Цветкова, Юлия Александровна, 2011 год

1. Азиз X., Сеттари Э. Математическое моделирование пластовых систем.1. М.: Недра, 1982.-407с.

2. Александров А.Г., Артемьев В.М. и др. Справочник по теорииавтоматического управления. /Под ред. А.А.Красовского. М.: Наука, 1987.-712с.

3. Андреев А.Н.; Воеводин Вл.В., Жуматий С.А. Кластеры и суперкомпьютеры- близнецы или братья? // Открытые системы. 2000. - №5-6. - с.9 - 14.

4. Арсенин В.Я. Методы математической физики и специальные функции. -2-е изд., перераб. и доп. М.: Наука, 1984. - 384с.

5. Арбиб М.А. Искусственный интеллект: вычисления на основе кооперации и симбиоз человека и вычислительной машины (перев. с англ.) М.: Знание (Сер. «Математика, кибернетика», №12), 1980. с.42 - 61.

6. Бусленко Н. П. Моделирование сложных систем. М.: Наука, 1978. - 400с.

7. Барский А. Б. Параллельные информационные технологии: Учебноепособие. М.: Интернет - Университет Информационных Технологий; БИНОМ. Лаборатория знаний, 2007. - 503с.

8. Балашов Е. П. и др. Микро- и мини- ЭВМ. Учебное пособие для вузов. Л.:

9. Энергоатомиздат. Ленинградское отделение, 1984. 376с.

10. Бобрыщев Д. Н., Нисевич Е. В. Сетевые методы в управлении. М.: Моск.1. Рабочий, 1973. 160с.

11. Браверман Э.М., Мучник И.Б. Структурные методы обработки эмпирических данных. М.: Наука, 1983. - 464с.

12. Воролевский В.Р., Максимов М.М. Система обработки информации при разработке нефтяных месторождений.- М., Недра,- 1975.

13. Васильев В. И. Распознающие системы. Справочник. Издание второе, переработанное и дополненное. Киев, Наукова думка, 1983. 424с.

14. Василенко Г.И. Теория восстановления сигналов: О редукции к идеальному прибору в физике и технике. М.: Сов. Радио, 1979. - 272с.

15. Василенко Г. И., Тараторин А. М. Восстановление изображений. М.: Радио и связь, 1986. - 304с.

16. Вальков В. М. Микроэлектронные управляющие вычислительные комплексы: Системное проектирование и конструирование. 2е изд. Перераб. и доп. - Л.: Машиностроение, Ленингр. отд-ние, 1990. -224с.

17. Волков А.М. Решение практических задач геологии на ЭВМ. -М.: Недра, 1980. -224с.

18. Воеводин В. В., Воеводин Вл. В. Параллельные вычисления. СПБ.: БХВ -Петербург, 2004. 608с.

19. Гантмахер Ф. Р. Теория матриц. 4-е изд. -М.: Наука, 1988. - 552с.

20. Глушков В. М. Основы безбумажной информатики. М.: Наука, 1982. -552с.

21. Гузик В.Ф. Модульные интегрирующие вычислительные структуры. М.: Радио и связь, 1984. 216с.

22. Гузик В.Ф., Золотовский В. Е. Многопроцессорные вычислительные системы с матрично-потоковой организацией архитектуры. Труды ТРТУ, Таганрог, 1995.

23. ГузикВ.Ф., ЗолотовскийВ.Е. Проблемно-ориентированные вычислительные системы: Учебное пособие. Таганрог: Изд-во Технологического института ЮФУ, 2007. - 306с.

24. Гузик В.Ф. Проектирование проблемно-ориентированных вычислительных систем. Часть 1: Монография:-Таганрог : Изд-во ТТИЮФУ, 2009.-463с.

25. Демидович Б. П., Марон И. А., Шувалова Э. 3. Численные методы анализа. М.: Физматгиз, 1963. - 400с .

26. Дружинин В.В., Конторов Д. С. Системотехника. М.: Радио и связь, 1985.-200с.

27. Емельянов В.В., Курейчик В. В., Курейчик В. М. Теория и практика эволюционного моделирования. -М.: Физматлит, 2003. 432с.

28. Ершов В.А., Кузнецов H.A. Мультисервисные телекоммуникационные сети.-М.: Изд-во МГТУ им. А.Э. Баумана, 2003. 432с.

29. Желтов Ю.П.Разработка нефтяных месторождений. М.: Недра, 1988, 333с.

30. Завьялов Ю. С. и др. Сплайны в инженерной геометрии. М.: Машиностроение, 1985. -224с.

31. ЗеловС. Кластерные технологии Электронный ресурс. Режим доступа: http://www.compress.ru/article.aspx?id=9958&iid=416

32. Золотовский В.Е. Проблемно-ориентированные системы структурного моделирования,- Таганрог: Изд-во ТРТУ, 2006. 178с.

33. Золотовский В. Е. Разработка теории и методов структурной организации функционально-ориентированных многопроцессорных систем с программируемой архитектурой. Диссертация на соискание учёной степени доктора технических наук. Таганрог, 1986. 399с.

34. Золотовский В.Е., Цветкова Ю.А. К вопросу о моделировании параллельной обработки задач в вычислительных системах. //Известия высших учебных заведений. Северо-кавказский регион. Технические науки. 2008, №3(145).- с.5-10.

35. Каляев A.B. Многопроцессорные системы с программируемой архитектурой. М.: Радио и связь, 1984. 240с.

36. Каляев И.А., Лохин В.М., Макаров И.М. и др. /под общей ред. Юревича Е.И./. Интеллектуальные роботы: учебное пособие для вузов,- М.: Машиностроение, 2007. 360с.

37. Корнеев В.В. Параллельные вычислительные системы. М.: «Нолидж», 1999.-320с.

38. Корн Г., Корн Т. Справочник по математике (для научных работников и инженеров). Перевод со 2-го переработанного американского издания. -М.: Наука, 1974. 832с.

39. Кузьминский М.Б., Волков Д. Современные суперкомпьютеры: состояния и перспективы // открытые системы,- 2004.-№9.

40. Крянев Д. Эффективность разработки нефтяных месторождений. Электронный ресурс. : [статья] / Крянев Д. 2010. - Режим доступа: http ://www. energyland. info/new/news/ neftgaz/neftegaz/52660

41. Кричлоу Г.Б. Современная разработка .нефтяных месторождений -проблемы моделирования-М.: Недра, 1979.

42. Левайн Р.Д. Суперкомпьютеры. // Современный компьютер: Пер. с англ. под ред. В. М. Курочкина. М.: Мир, 1986. - с. 9 - 31.

43. Шеннон Р. Имитационное моделирование систем искусство и наука. -М.: Мир, 1978. -418с.

44. ТОР500 Supercomputing Sites. Электронный ресурс. Режим доступа: http://www.top500.org

45. ТЮВЕ Programming Community Index for March 2011. Электронный ресурс. Режим доступа: http://www.tiobe.com/index.php/content/paperinfo/tpci/index.html