Оценка производительности распределенных вычислительных комплексов на основе модели эталонных систем тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат физико-математических наук Хританков, Антон Сергеевич

• Хританков, Антон Сергеевич
• кандидат физико-математических наук
• 2010

Оглавление диссертации кандидат физико-математических наук Хританков, Антон Сергеевич

Введение

Цели и задачи работы

Научная новизна

Методы исследования

Практическая ценность работы

Апробация работы

Структура работы

Благодарности

Глава 1. Модели производительности распределенных вычислительных комплексов

1.1. Модель однородной вычислительной системы без структуры

1.2. Модель коллектива вычислителей

1.3. Модели системы функциональных устройств и сети неодинаковых процессоров

1.4. Модель производительности сети рабочих станций

1.5. Модели структуры вычислительных задач

1.6. Постановка задачи оценки производительности распределенных вычислительных комплексов

Глава 2. Модель производительности распределенных вычислительных комплексов

2.1. Линейная модель для задач без внутренней структуры

2.1.1. Основные определения модели производительности

2.1.2. Линейная эталонная модель для произвольно делимых задач

2.1.3. Модель внутренней структуры задачи в линейной эталонной модели

2.1.4. Характеристики производительности. Коэффициент эффективности и вектор ускорений

2.1.5. Учет затрат на вычисления. Ресурсная модель производительности

2.2. Модели для неоднородных вычислительных комплексов

2.2.1. Применение модели систем с расписанием к анализу производительности неоднородных комплексов

2.2.2. Пример верификации характеристик производительности

2.2.3. Эталонная модель для задач с последовательной частью

2.2.4. Применимость модели задач с последовательной частью к распределенным системам

Глава 3. Декомпозируемые задачи и интервальная модель, вычислений

3.1. Понятие декомпозируемой задачи

3.2. Модель интервальных систем в простом случае

3.2.1. Постановка задачи

3.2.2. Оптимальный алгоритм управления процессом вычислений

3.3. Интервальная модель для задач переменной трудоемкости

3.3.1. Моделирование решения задач глобальной оптимизации стохастическими методами

3.3.2. Обобщение интервальной модели на случай задач переменной трудоемкости

3.3.3. Оценка структурной неэффективности и расчет функции изоэффективности

3.3.4. Метод экспериментальной оценки трудоемкости задачи

3.3.5. Оценка вида распределения трудоемкости для одного алгоритма глобальной оптимизации

3.3.6. Приближение функции распределения максимума малого количества логнормально распределенных случайных величин 89 ,3.3.7. Результаты экспериментов

Глава 4. Структура и методика применения подхода эталонных систем

4.1. Классификация моделей в подходе эталонных систем

4.1.1. Структура моделей и использованные допущения

4.1.2. Параметры и допущения моделей систем и эталонных моделей

4.1.3. Анализ взаимосвязей и отношений между моделями интервальных систем и систем с расписанием

4.2. Методика оценки производительности распределенных вычислительных комплексов на основе моделей эталонных систем

Глава 5. Применение подхода к анализу производительности распределенных вычислительных комплексов

5.1. Оценка производительности вычислительной инфраструктуры BnB-Грид в задаче конформации атомных кластеров

5.1.1. Описание распределенной вычислительной инфраструктуры ВпВ-Грид

5.1.2. Описание программного компонента управления процессом решения задачи

5.1.3. Применение линейной эталонной модели для анализа производительности комплекса ВпВ-Грид

5.2. Оценка эффективности работы программного комплекса HPC-NASIS

5.2.1. Компонент управления платформами исполнения

5.2.2. Описание работы модуля Трансивер

5.2.3. Компонент управления параллельным исполнением (PES)

5.2.4. Цель эксперимента и постановка задачи

5.2.5. Результаты экспериментов

5.3. Исследование производительности системы метакомпьютинга Х-Сош2 в эксперименте по докингу

5.3.1. Описание системы и постановка задачи исследования

5.3.2. Анализ производительности системы метакомпьютинга Х-Сош

5.3.3. Анализ результатов и правила организации вычислений

5.4. Оценка производительности CAS Maxima Desktop Grid

Введение диссертации (часть автореферата) на тему «Оценка производительности распределенных вычислительных комплексов на основе модели эталонных систем»

Распределенные вычисления и Грид-технологии применяются для решения многих сложных вычислительных задач науки и техники, которые не могут быть решены за приемлемое время на однопроцессорной рабочей станции или даже в рамках одного многопроцессорного вычислительного комплекса. Однако, применение распределенных вычислительных комплексов (РВК) и Грид-систем осложняется тем, что они имеют неоднородную структуру вычислительного пространства, которая может изменяться с течением времени и не допускает централизованного управления всеми аспектами процесса решения задачи, то есть являются сложными неоднородными системами.

Вследствие указанных особенностей, численные алгоритмы решения, допускающие эффективную реализацию на распределенных системах, должны быть основаны на декомпозиции исходной задачи на достаточно независимые подзадачи, которые могут выполняться одновременно. К таким методам можно отнести классические методы оптимизации: метод ветвей и границ, широко применяемый в различных задачах дискретной и глобальной оптимизации, методы стохастической оптимизации. Многие важные прикладные задачи могут быть сформулированы как задачи оптимизации большой размерности, решение которых на последовательных вычислительных машинах не позволяет достичь требуемой точности получаемого результата или требует недопустимо большого времени расчета, что связано с перебором большого числа вариантов, включая решение многочисленных «оценочных» вспомогательных задач, работой эвристических алгоритмов улучшения ранее найденных решений. Поэтому задачи данного класса могут быть достаточно просто декомпозированы для решения на распределенных вычислительных комплексах. Различные возможные области применения распределенных и параллельных вычислений представлены в работах [1, 2, 3].

Следует также выделить класс мультикластерных распределенных вычислительных комплексов, объединяющих ресурсы нескольких географически удаленных многопроцессорных систем коллективного доступа и обладающих двухуровневой структурой вычислительного пространства. На нижнем уровне располагаются процессоры и вычислительные ядра, на верхнем - «виртуальные кластеры», совокупности процессоров, выделенные на данной многопроцессорной системе для использования в рамках распределенного вычислительного комплекса.

Одна из наиболее существенных проблем, связанных с управлением вычислениями на РВК состоит в обеспечении скоординированного использования разнородных вычислительных ресурсов для решения одной или группы сложных задач. Эта проблема включает себя задачи обеспечения взаимодействия вычислительных ресурсов посредством унифицированных интерфейсов, формирование вычислительного пространства, управления распределением вычислительной нагрузки (балансировки) [3]. Вследствие того, что распределенные вычислительные комплексы не являются типовыми и часто разрабатываются для решения конкретной задачи или класса.задач, для выбора комплекса и конфигурации вычислительного пространства необходимо средство анализа эффективности и производительности данных комплексов. Поэтому оценка эффективности и анализ производительности является не только важной и актуальной задачей.

Цели и задачи работы

Целями настоящей работы являются:

• Проведение анализа текущего состояния исследований в области оценки производительности параллельных и распределенных вычислительных комплексов, выявление основных системообразующих факторов и, как следствие, постановка задачи оценки производительности.

• Разработка универсального подхода к решению задачи оценки производительности распределенных вычислительных комплексов. При этом подход должен быть применим также к многопроцессорным и мультикластерным комплексам. Определение и формулировка количественных характеристик производительности.

• Применение разработанного подхода к анализу производительности при решении декомпозируемых задач на распределенных вычислительных комплексах. Получение оценок эффективности, ускорения и других характеристик производительности. Разработка алгоритмов управления процессом вычислений при решении декомпозируемых задач и получение оценок эффективности применения данных алгоритмов.

• Разработка программного комплекса для расчета характеристик производительности распределенных вычислительных комплексов, реализующего предложенный подход. Применение комплекса к оценке производительности нескольких распределенных вычислительных систем.

Научная новизна

Для изучения данной проблемы был произведен анализ состояния исследований. Результаты анализа показали, что к настоящему моменту задача оценки производительности решается для каждого распределенного комплекса на основе особенностей его структуры. При этом задача оценки эффективности всех комплексов данного класса на основе универсального подхода не была решена вследствие ее сложности по указанным ранее причинам и ориентации исследований на анализ систем по-отдельности.

Как следствие широкого применения и накопления- опыта разработки распределенных вычислительных комплексов, стало возможным рассмотреть задачу оценки производительности с точки зрения методов системного анализа как целостную задачу для класса систем, что и было сделано в данной работе.

Предлагаемый новый универсальный подход к оценке эффективности и производительности на основе сравнения с эталонными моделями позволяет сравнивать различные вычислительные комплексы на основе общего набора характеристик. По сравнению с распространенным методом применения тестовых программ (бенчмаркинга), предлагаемый подход не имеет ограничений на размер оцениваемого комплекса, а также учитывает изменения времен выделения ресурсов в распределенных комплексах. В отличие от других методов, применение системного подхода позволило выделить промежуточные абстракции процесса решения задачи комплексом в виде различных моделей систем с расписанием, используемых для построения эталонных моделей.

Подход был разработан в виде совокупности моделей, характеристики производительности и схемы применения. Процедуры расчета характеристик были реализованы в программном комплексе, примененном к анализу нескольких распределенных вычислительных систем. Таким образом, предлагаемый подход обоснован тем, что все утверждения строго доказаны и проведены необходимые вычислительные эксперименты.

По-результатам анализа-состояния исследований можно судить, что данный подход ранее не применялся в полной мере к анализу производительности вычислительных комплексов. Сходные идеи использовались при анализе производительности многопроцессорных комплексов в работах [4, 5].

Методы исследования

В данной диссертационной работе используются методы математического моделирования и системного анализа, методы оптимизации, математической статистики и теории вероятностей, анализа производительности параллельных вычислительных комплексов. При разработке программного комплекса использованы современные методы инженерии программного обеспечения с использованием средств UML, технологий разработки распределенных систем Java и ICE.

Практическая ценность работы

Разработанный подход к оценке производительности на основе эталонных систем может быть применен к анализу существующих распределенных вычислительных комплексов, при выборе: оптимальных схем управления при разработке новых комплексов и принятии решения о целесообразности решения задачи на РВК.

Разработанные модели эталонных систем могут быть применены для анализа производительности распределенных вычислительных комплексов, как в рамках предлагаемого подхода, так и вне него. Кроме того, разработанные модели и. введенные характеристики могут служить основой для построения более точных моделей для специальных случаев и типов задач, а также при разработке алгоритмов и систем управления процессом решения задач на распределенных вычислительных комплексах.

Апробация работы

Результаты диссертации и материалы исследований докладывались, обсуждались и получили одобрение специалистов на:

• 24-ой «Международной конференции- по суперкомпьютерам» (Гамбург, Германия, 2009);

• Х и XI Всероссийских научных конференциях «Научный сервис в сети Интернет» (Новороссийск, 2008^ 2009);

•• III и IV Международных научно-практических конференциях «Современные информационные технологии и ИТ-образование» (Москва, 2008, 2009);

• III Международной научной конференции- «Параллельные вычислительные технологии» (Нижний Новгород; 2009);

• 50, 51 и 52-ой научных конференциях Московского физико-технического института (государственного университета), (Долгопрудный, 2007, 2008, 2009);

•' 17-ой Международной научной конференции «Математика. Компьютер. Образование» (Дубна, 2010);

• II сессии научной школы-практикума «Технологии высокопроизводительных вычислений и компьютерного моделирования» В; рамках VI Всероссийской межвузовской конференции молодых ученых Санкт-Петербургского государственного университета, Институт точной механики и оптики (Санкт-Петербург, 2009);

• научных семинарах кафедры прикладной математики и моделирования систем Московского государственного,университета печати.

По материалам работы, опубликовано 14 печатных работ, пять из них в изданиях из списка ВАК [6, 7, 39, 44, 59].

Структура работы

Работа состоитиз данного введения, пяти глав и заключения.

В главе 1 анализируется состояние исследований в области анализа производительности параллельных и распределенных вычислительных комплексов. Подробно рассмотрены модели однородной вычислительной системы, функциональных устройств и сети рабочих станций, имеющие непосредственное отношение в тематике работы: В?результате анализа было, обнаружено; что для распределенных систем отсутствует целостный подход к оценке, производительности. Была исследована возможность развития и: обобщения; известных подходов, в результате были сформулированы требования к моделям процесса решения и выработана постановка задачи оценки производительности РВК.

В главе 2 представлены разработанные в рамках подхода эталонных систем линейные модели процесса решения задач на распределенных вычислительных комплексах, для которых известно, в какие моменты времени для решения задачи использовались элементы системы. Показано, что предлагаемая модель, называемая системой с расписанием, является обобщением модели для однородных систем на-распределенные вычислительные системы. Модель применена к анализу параллельных вычислительных комплексов, включающих различные по характеристикам элементы, а также разработана эталонная модель для решения частично распараллеливаемых задач.

Глава 3 посвящена моделированию решения декомпозируемых задач на распределенных вычислительных комплексах. В главе вводится формальное определение декомпозируемой задачи, представлены интервальные эталонные модели для задач, декомпозируемых на однородные подзадачи, и задач переменной трудоемкости. В рамках последней модели предложен экспериментальный метод оценки производительности элементов вычислительного комплекса, получены оценки сверху на возможные значения характеристик эффективности.

В главе 4 разработанные в рамках подхода эталонных систем модели рассматриваются в совокупности, с точки зрения связей и отношений между ними. В результате, на основе выделенных связей между моделями сформулирована методика анализа производительности распределенных вычислительных комплексов с помощью-подхода эталонных систем.

В главе 5 приводится описание комплекса программ, реализующих данные модели, представлены результаты исследования производительности различных РВК на основе данного подхода, показана применимость предлагаемого подхода к оценке производительности.

Благодарности

Результаты, представленные в разделах 2.1.4, 2.2.3, 5.1.1 и 5.1.3, получены в соавторстве с Посыпкиным М.А. Необходимые данные для исследования производительности системы Х-Com , проведенного в разделе 5.3, были предоставлены Соболевым С.И. Результаты численных экспериментов, использованных для анализа производительности системы CAS Maxima Desktop Grid в разделе 5.4, были предоставлены Волошиновым В.В.

Автор выражает благодарность своему научному руководителю, Афанасьеву А.П. за формирование общего курса исследования, критические замечания и помощь в организации работ.

Следует также упомянуть важную роль и участие моего коллеги, Посыпки-на М.А., в подготовке нескольких совместных статей по теме данной работы. Критический подход к тексту, готовность доводить его до практически идеального состояния и обоснованные требования к простоте понимания текста, несомненно, способствовали повышению качества данной работы.

Результаты работы были получены при поддержке программы № 15П фундаментальных исследований Президиума РАН «Разработка фундаментальных основ создания научной распределенной информационно — вычислительной среды на основе технологий GRID», проектов РФФИ 08-07-00072-а, 09-07-12076-офи м, 09-07-00352-а, 09-07-09232-мобз, 09-07-16022-мобзрос. Результаты раздела 5.2 получены за время научной стажировки в СПбГУ ИТМО в рамках мероприятия 1.4 программы «Кадры» в области «Мобильность молодых ученых».

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Хританков, Антон Сергеевич

Основные результаты работы состоят в следующем:

1) Системно проанализировано состояние исследований в области оценки производительности распределенных вычислительных комплексов, выявлено отсутствие целостного универсального подхода. Сформулирована общая задача оценки производительности и предложен новый подход на основе сравнения с эталонными моделями процесса решения задач, который позволяет проводить количественную оценку с помощью общих для всех комплексов данного класса характеристик и методов.

2) Для реализации данного подхода были разработаны линейная эталонная модель систем с расписанием, модель для задач с последовательной частью, являющиеся обобщением известной модели для многопроцессорных вычислительных комплексов. Определены количественные характеристики эффективности и ускорения, применимые к распределенным вычислительным комплексам и соответствующие общепринятым для случая однородных систем. Получены оценки эффективности и максимального сокращения времени решения для нескольких классов систем и важные соотношения между характеристиками производительности.

3) Для описания процесса решения важного с прикладной точки зрения класса декомпозируемых задач разработана эталонная модель, в рамках которой разработан алгоритм управления процессом вычислений, минимизирующий время решения, и получены оценки структурной неэффективности. Модель также обобщена на случай декомпозируемых задач переменного размера, таких как задачи глобальной оптимизации, решаемые методами типа Монте-Карло. Получены новые аналитические выражения для эффективности в зависимости от конфигурации вычислительного пространства, а также функция изоэффективности. Предложен экспериментальный метод оценки трудоемкости решения декомпозируемых задач переменного размера по небольшому набору подзадач и получены оценки точности данного метода. Применимость модели и метода для анализа производительности показана на примере вычислительной инфраструктуры ВпВ-Грид.

4) Разработан комплекс программ, реализующий линейную эталонную модель и позволяющий рассчитывать значения характеристик производительности. Сформулирована схема применения разработанных методов оценки производительности и комплекса программ, которая была успешно применена к анализу производительности вычислительной инфраструктуры ВпВ-Грид, вычислительного комплекса HPC-NASIS, распределенной системы CAS Maxima Desktop Grid и системы метакомпьютинга Х-Сот2.

Направления дальнейших исследований

Вследствие того, что предложенный подход к оценке производительности распределенных вычислительных комплексов является новым, имеется множество возможных направлений его развития и применения. Упомянем некоторые из них.

Одним из наиболее важных направлений является постановка и решение задачи оптимального управления процессом вычислений в смысле минимизации общего времени решения задачи при обеспечении требуемого уровня эффективности в рамках одной или нескольких построенных моделей. На данный момент перспективной и востребованной на практике представляется эталонная модель для задач переменной трудоемкости, так как ее применимость к описанию процесса решения реальных вычислительных задач была продемонстрирована.

Для решения задачи управления необходимо получить оценки трудоемкости решения задач различных типов в дополнение к оценкам, полученным в данное работе для алгоритма локальной оптимизации SMBH в некоторых частных случаях. Возможно, будут полезны некоторые результаты работы [42].

В связи с тем, что в состав распределенного вычислительного комплекса будут входить многопроцессорные машины с коллективным доступом, необходимо разработать модели выделения ресурсов и получить оценки времени ожидания их предоставления в зависимости от запрашиваемого количества процессоров и сроков выделения. Имеется множество результатов в данном направлении, например, [87, 88, 89].

Другим важным направлением дальнейших исследований является развитие модели систем с расписанием. Предполагается, что получение утверждения, аналогичного закону Амдала, для распределенных систем потребует рассмотрения структуры задачи и использования «интегральных» характеристик функции расписания. Получаемое при этом выражение для максимального ускорения может быть использовано для оценки времени решения задачи на распределенном вычислительном комплексе. Данная задача будет частично решена при исследовании проблем оптимального управления процессом вычислений.

Учитывая опыт применения подхода эталонных систем к оценке производительности можно сделать вывод, что в будущем потребуется разработать эталонные модели для описания вычислительных комплексов, не рассмотренных в данной работе типов, и структур задач. На данный момент представляется важным с прикладной точки зрения разработка эталонной модели для решения задач методом ветвей и границ на распределенных вычислительных комплексах. В более общем случае, в разрабатываемых эталонных моделях будут учитываться различные зависимости между подзадачами, которые на данный момент полагаются независимыми в интервальной модели решения декомпозируемых задач. С точки зрения применимости, важным результатом будет обобщение модели на случай совместно используемых вычислительных ресурсов. На данный момент функция расписания описывает предоставление ресурсов в выделенном режиме. Модель, учитывающая возможность совместного с другими программами, использования узлов распределенных вычислительных комплексов позволит более точно описать процесс решения задачи в системах массовых добровольных вычислений (public computing). Эталонная модель, явно учитывающая задержки при коммуникации через вычислительную сеть, скорее всего, также будет востребована при описании данного класса систем.

Не менее важным является исследование возможностей по совместному использованию предложенных моделей с другими методами анализа параллельных вычислительных комплексов, использования полученных в данном подходе результатов в других методах, например, переход к рассмотрению процесса решения групп и последовательностей задач.

Заключение

Полученные результаты

В настоящей работе была исследована проблема оценки производительности распределенных вычислительных комплексов при решении вычислительной задачи, разработан подход к оценке производительности с использованием эталонных моделей процесса решения.

Список литературы диссертационного исследования кандидат физико-математических наук Хританков, Антон Сергеевич, 2010 год

1. Воеводин Вл.В. НИВЦ МГУ: широким фронтом совместных дел // Численные методы, параллельные вычисления и информационные технологии: Сборник научных трудов. - М.: МГУ, 2008.

2. Emelyanov S.V., Afanasiev А.Р., Grinberg Y.R., Krivtsov V.Y., Peltsverger В.V., Sukhoroslov О. V., Taylor R.G., Voloshinov V.V. Distributed Computing and Its Applications. Bristol, ME, USA: Felicity Press, 2005.

3. Проблемы вычислений в распределенной среде: организация вычислений в глобальных сетях // Труды ИСА РАН / под. ред. Емельянова С.В., Афанасьева А.П. М.: РОХОС, 2004.

4. Nussbaum D., Agarwal A. Scalability of parallel machines // Commun. ACM. -1991.- vol. 34, no. 3 (Mar. 1991). pp. 57-61.

5. Van-Catledge F.A. Toward a General Model for Evaluating the Relative Performance of Computer Systems // International Journal of High Performance Computing Applications. 1989. - vol. 3, no. 2. - pp. 100-108.

6. Хританков A.C. Модели и алгоритмы балансировки нагрузки. Модели коллектива вычислителей. Модели с соперником // Информационные Технологии и Вычислительные Системы. 2009. - № 2. - с. 65-80.

7. Хританков А. С. Модели и алгоритмы распределения нагрузки. Алгоритмы на основе сетей СМО // Информационные Технологии и Вычислительные Системы. 2009. - № 3. - с. 33-48.

8. Grama A., Gupta A., Karypis G., Kumar V. Introduction to Parallel Computing. -2nd ed. USA: Addison Wesley, 2003.

9. Kotsis G. Interconnection Topologies for Parallel Processing Systems // In Proc. of Parallele Systeme und Algorithmen. 1993.

10. Flynn M, Some Computer Organizations and Their Effectiveness // IEEE Trans. Comput.- 1972.-vol. C-21.-p. 948.

11. Darema F., George D.A., Norton V.A., Pfister G.F. A single-program-multiple-data computational model for epex/fortran // Parallel Computing. -1988. vol. 7. -pp. 11-24.

12. Donaldson V., Berman F., Paturi R. Program speedup in a heterogeneous computing network // J. Parallel Distrib. Comput. vol. 21, no. 3 (Jun. 1994). - pp. 316-322.

13. Market-Based Control: a Paradigm for Distributed Resource Allocation / S. H. Clearwater, Ed. River Edge, NJ: World Scientific Publishing Co., Inc., 1996.

14. Yan Y., Zhang X., Song Y. An Effective Performance Prediction Model for Parallel Computing on Non-dedicated Heterogeneous Networks of Workstations // J. of Parallel and Distributed Computing. 1996. - vol. 38, no. 1. - p. 63-80.

15. Culler D., Karp R., Patterson D., Sahay A., Schauser К. E., Santos E., Subramo-nian R., von Eicken T. LogP: towards a realistic model of parallel computation // SIGPLAN Not. vol. 28, no. 7 (Jul. 1993). - p. 1-12.

16. Valiant L. G. A bridging model for parallel computation // Commun. ACM. -vol. 33, no. 8 (Aug. 1990).-p. 103-111.

17. Bosque J. L., Pastor L. A Parallel Computational Model for Heterogeneous Clusters // IEEE Trans. Parallel Distrib. Syst. vol. 17, no. 12 (Dec. 2006). - pp. 1390-1400.

18. Drozdowski M. Scheduling for Parallel Processing. (s.l.): Springer, 2009. - 388 P

19. Robertazzi T.G. Networks and Grids: Technology and Theory. New York: Springer, 2007.

20. Bharadwaj V., Ghose D., Robertazzi T. G. Divisible Load Theory: A New Paradigm for Load Scheduling in Distributed Systems // Cluster Computing. vol. 6, no. 1 (Jan. 2003).-pp. 7-17.

21. Febish G. J. Experimental software physics // Experimental computer performance evaluation. Amsterdam, North-Holland, 1981. - pp. 33-55.

22. Muthukrishnan S., Rajamaran R. An Adversarial Model for Distributed Dynamic Load Balancing I I In Proceedings of the 10th Annual ACM Symposium on Parallel Algorithms and Architectures. June 1998. - pp. 47-54.

23. Kwok Y., Ahmad I. Static scheduling algorithms for allocating directed task graphs to multiprocessors // ACM Comput. Surv. vol. 31, no. 4 (Dec. 1999). -pp. 406-471.

24. High-Performance LINPACK Benchmark Электронный ресурс.: http://www.netlib.org/benchmark/hpl/

25. NAS Parallel Benchmarks Электронный ресурс.: http://www.nas.nasa.gov/Resources/Software/npb.html38. van der Wijngaart R. NAS Parallel Benchmarks Version 2.4: NAS Technical Report NAS-02-00 / NASA Ames Research Center. Moffett Field, CA: (s.n), 2002.

26. Хританков А. С. Оценка характеристик производительности распределенных вычислительных систем // Труды XV Научной конференции студентов, аспирантов и молодых ученых «Ломоносов». — 2008. с. 53-54.

27. Ульянов М.В. Ресурсно-эффективные компьютерные алгоритмы. Разработка и анализ. М.:ФИЗМАТЛИТ, 2008. - 304 с.

28. Посыпкин М.А., Хританков А. С. О понятии ускорения и эффективности в распределенных системах // Труды Всероссийской научной конференции «Научный сервис в сети Интернет: решение больших задач». — 2008. с. 149-155.

29. Соболев С.И. Использование распределенных компьютерных ресурсов для решения вычислительно сложных задач // Системы управления и информационные технологии. 2007. - №1.3 (27). - с. 391-395.

30. Афанасьев А.П., Волошинов В.В., Посыпкин М.А., Сигал И.Х., Хуторной Д.А. Программный комплекс для решения задач оптимизации методом ветвей и границ на распределенных вычислительных системах // Труды ИСА РАН. -2006.-Т. 25.-с. 5-17.

31. Афанасьев А.П., Посыпкин М.А., Сигал И.Х. Проект BNB-Grid: решение задач глобальной оптимизации в распределенной среде // Труды второй международной конференции "Системный анализ и информационные технологии" (САИТ-2007). Т. 2. - с. 177-181.

32. Павловский Ю.Н. Проблема декомпозиции в математическом моделировании // Матем. моделирование. — 1991. Т.З. № 6. - с. 93-122.5\.Павловский Ю.Н., Смирнова Т.Г. Проблема декомпозиции в математическом моделировании. М.: Фазис, 1998. - 272 с.

33. Leary R.H. Global Optimization on Funneling Landscapes // Journal of Global Optimization. 2000. - vol. 18, no. 4. - pp. 367-383.

34. Хританков А.С. Оценка эффективности распределенных систем при решении задач переменного размера. // Научно-технический вестник СПбГУ ИТМО. 2010. - № 2(66). - с. 66-71

35. Крамер Г. Математические методы статистики. 2-е изд. - М.:Мир, 1975. -648 с.

36. Посыпкин М.А. Архитектура и программная организация библиотеки для решения задач дискретной оптимизации методом ветвей и границ на многопроцессорных вычислительных комплексах // Труды ИСА РАН. 2006. -Т. 25.-с. 18-25.

37. ByrdR.H., Lu P., Nocedal J. A Limited Memory Algorithm for Bound Constrained Optimization 11 SIAM Journal on Scientific and Statistical Computing. -1995. vol. 16, no. 5. - pp. 1190-1208.

38. Суперкомпьютер "MBC-100K" / Межведомственный Суперкомпьютерный Центр РАН Электронный ресурс.: http://www.jscc.ru.

39. Ивченко Г.И., Медведев Ю.И. Математическая статистика: Учеб. Пособие для втузов. М.: Высш. Шк., 1984. - 248 е., ил.

40. Гамма Э., Хелм Р., Джонсон Р. Приемы объектно-ориентированного проектирования. Паттерны проектирования. — СПб.:Питер, 2001. 368 с.

41. Суперкомпьютер "MBC-6000IM" / Межведомственный Суперкомпьютерный Центр РАН Электронный ресурс.: http://www.iscc.ru.

42. Вычислительный кластер Тамбовского государственного технического университета Электронный ресурс.: http://www.tstu.ru

43. А.Ковальчук С.В. и др. Особенности проектирования высокопроизводительных программных комплексов для моделирования сложных систем // Информационно-управляющие системы. 2008. - 3(34). - с. 10-18.

44. Бухановский А.В., Ковальчук С.В., Марьин С.В. Интеллектуальные высокопроизводительные программные комплексы моделирования сложных систем: концепция, архитектура и примеры реализации. // Изв. Вузов. Приборостроение. 2009. - т. 52, № 10. - с. 5-24.

45. Суперкомпьютерный комплекс МГУ Электронный ресурс.: http://parallel.ru/cluster/.

46. Суперкомпьютерный центр Южно-Уральского государственного университета Электронный ресурс.: http://supercomputer.susu.ru/.

47. Сибирский Суперкомпьютерный Центр Коллективного Пользования (ССКЦКП) Электронный ресурс.: http://www2.sscc.ru.

48. Веб-сайт разработчиков системы CAS Maxima Электронный ресурс.: http://maxima.sourceforge.net.

49. Henning М. A New Approach to Object-Oriented Middleware // IEEE Internet Computing. 2004. - vol. 8, no. 1, (Jan 2004). - pp. 66-75.

50. BrevikJ., Nurmi D., Wolski R. Predicting bounds on queuing delay for batch-scheduled parallel machines // In Proceedings of the Eleventh ACM SIGPLAN