Технология и инструментальные средства организации распределенных пакетов прикладных программ тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Сидоров, Иван Александрович

• Сидоров, Иван Александрович
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Сидоров, Иван Александрович

Список принятых сокращений.

Введение.

Глава 1. Распределенные пакеты прикладных программ.

1.1. Основные характеристики РППП.

1.2. Описание предметной области, постановка и схема решения задачи

1.3. Интерпретация СРЗ.

1.4. Языковые средства описания предметной области РППП.

1.4.1. Параметры.

1.4.2. Модули.

1.4.3. Процедурная постановка задачи.

1.4.4. Управляющие конструкции.

1.5. Требования к инструментальным средствам.

1.6. Выводы.

Глава 2. Инструментальный комплекс DISCOMP.

2.1. Общая схема ИК DISCOMP.

2.2. Распределенный вычислительный процесс.

2.3. Вычислительный клиент.

2.4. Система управления РВС.

2.4.1. Системное ядро.

2.4.2. Менеджер вычислительных процессов.

2.4.3. Менеджер вычислительных ресурсов.

2.4.4. Диспетчер очереди задач.

2.4.5. Подсистема журнализации.

2.5. Система хранения данных.

2.6. Средства доступа пользователей к РППП.

2.6.1. XML-RPC-сервис.

2.6.2. Пользовательский web-интерфейс.

2.6.3. Утилиты командной строки.

2.7. Протокол сетевого взаимодействия.

2.8. Средства реализации.

2.9. Выводы.

Глава 3. Технология организации РППП и примеры ее применения.

3.1. Технологические этапы создания и применения РППП.

3.2. Использование вычислительного кластера для проведения многовариантных расчетов с использованием ИК DISCOMP.

3.2.1. Специализированный РППП для проведения многовариантных вычислительных экспериментов.

3.2.2. Установка ИК DISCOMP на вычислительном кластере.

3.3. Расчет оптимального управления и построения множеств достижимости управляемых систем.

3.3.1. Постановка задачи.

3.3.2. Методы и средства реализации РППП КОНУС.

3.3.3. Результаты вычислений.

3.4. Применение инструментального комплекса DISCOMP для решения SAT-задач в РВС.

3.4.1. Технология крупноблочного распараллеливания SAT-задач.

3.4.2. Функциональное наполнение РППП D-SAT.

3.4.3. Схема решения задачи.

3.4.4. Применение параметров-констант.

3.4.5. Вычислительные эксперименты.

3.5. Доступ к вычислительной среде ИК DISCOMP из внешних программных комплексов.

3.5.1. Концептуальная схема предметной области ИК РЕБУС.

3.5.2. Технические аспекты.

3.6. Выводы.

Введение диссертации (часть автореферата) на тему «Технология и инструментальные средства организации распределенных пакетов прикладных программ»

Актуальность темы. Появление и развитие ЭВМ привело к существенному ускорению темпов научно-технического прогресса и позволило во многих исследовательских задачах перейти от натурного эксперимента к вычислительному. Вычислительный эксперимент над математической моделью позволяет изучить поведение исследуемого объекта в различных условиях и модификациях, которые невозможно реализовать на практике [46]. Это обстоятельство характеризует вычислительный эксперимент как наиболее практически значимую технологию и методологию научных и прикладных исследований. Математические модели, описывающие реальные физические объекты и процессы, зачастую включают совокупность сложных систем дифференциальных, разностных и алгебраических уравнений, которые оформляются в виде множества взаимосвязанных процедур [41]. Программное обеспечение (ПО), предназначенное для автоматизации решения определенного класса задач, как правило, разрабатывается и оформляется в виде пакета прикладных программ (ППП), включающего различные реализации численного решения необходимых математических подзадач и средств системного обеспечения (программных и языковых) [17]. В качестве самостоятельного научного направления пакетная проблематика сложилась в 70-х годах прошлого столетия (см., например, [2, 19, 37, 47, 58]). • Первые ППП представляли собой простые тематические подборки программ для решения отдельных задач в той или иной прикладной области. Современный ППП является сложным программным комплексом, включающим: функциональное (прикладное) наполнение, развитые высокоуровневые языковые средства описания исследуемой предметной области и системное ПО, предназначенное для организации процесса решения исследовательской задачи на требуемой вычислительной установке.

Одной из главных особенностей ППП является его ориентация на широкий класс задач предметной области, с которой работает исследователь-специалист. Сочетание в пакете разнообразных сложных моделей, алгоритмов и методик их исследования достигается путем использования принципа модульной организации функционального наполнения пакета. Модуль, как правило, оформляется в виде программной единицы на языке программирования высокого уровня (например, в виде исполняемой программы или подпрограммы-функции), обеспечивающей решение некоторой самостоятельной задачи. Каждый модуль является независимым и связан с другими модулями лишь по входным и выходным параметрам. На программном уровне использование принципа модульности позволяет заменить программирование (в его традиционном понимании) конструированием из разработанных, автономно оттранслированных и отлаженных блоков. Расширение класса решаемых пакетом задач может достигаться в основном за счет "безболезненного" подключения к пакету дополнительных (вновь создаваемых) модулей и конструирования новых схем выполнения. Решение сформулированной пользователем задачи осуществляется композицией сравнительно небольшого числа базисных модулей в так называемые цепочки выполнения, которые представляют собой последовательность выполнения модулей для получения выходных параметров из множества входных. Более развитым подходом к формированию вычислений в пакете считается принцип каркасной организации схем решения задач. Каркас несет в себе гнезда для размещения сменных вычислительных модулей (с совпадающими входными и выходными параметрами), которые могут варьироваться в различных комбинациях [16].

Другой особенностью ППП является наличие в его составе специализированных языковых средств, обеспечивающих удобную работу пользователя с пакетом. Как правило, развитый пакет обладает несколькими входными языками, ориентированными на выполнение различных функций и различные категории пользователей. Языковые средства необходимы для формулировки исходной задачи, описания алгоритма решения и начальных данных, организации доступа к информационной базе ППП, разработки программных модулей, описания модели предметной области, управления процессом решения в диалоговом режиме и других целей. В качестве входных языков могут использоваться как универсальные, так и специализированные языки программирования. Например, в качестве входного языка разработчика ППП для написания прикладных и системных программ пакета обычно используется один из традиционных языков программирования (Си, Фортран, Паскаль и др.). В то же время, входной язык конечного пользователя в развитом пакете, как правило, является языком качественно более высокого уровня по сравнению с традиционными языками. Изобразительные средства такого языка учитывают особенности задач предметной области и специализацию пользователей. Подобные языки называют предметно-ориентированными.

Еще одна особенность ППП состоит в наличии специальных системных средств, обеспечивающих принятую в предметной области дисциплину работы. Управление 111111 осуществляется через входной язык и реализуется его системной частью, в состав которой могут входить монитор, транслятор, интерпретатор, генератор, база данных, средства поддержки диалога, средства управления памятью, планировщик и другие компоненты. Важными свойствами системных компонентов является их полная инвариантность по отношению к предметной области и конкретному прикладному наполнению пакета или возможность адаптации к конкретной предметной области с помощью набора специальных инструментальных средств, главными из которых являются языки спецификации 111111 и реализующие эти языки трансляторы [39]. В целом можно говорить, что системное наполнение организует использование потенциала знаний, заложенных в функциональное наполнение, в соответствии с возможностями, предусмотренными в языке заданий пакета.

Исторически сложилось четыре этапа развития ППП:

- ППП библиотечного типа;

- ППП с развитой системной частью;

- ППП, создаваемые на основе инструментальных систем;

- интеллектуальные ППП.

Каждый из этих типов ППП характеризуется определенными особенностями входящих в его состав компонентов — входных языков, функционального и системного наполнения. В основу такой классификации положен уровень автоматизации решения задач и тесно связанный с ним уровень необходимой программистской квалификации пользователя ППП: степень автоматизации решения задач повышается при переходе от ППП библиотечного типа к интеллектуальным ППП, а требуемый уровень необходимой программистской квалификации пользователя при таком движении снижается [39].

Функциональное наполнение ППП библиотечного типа, как правило, организуется в виде наборов (пакетов) независимых программ на некотором базовом языке программирования (отсюда впервые возник и сам термин пакет). Такие ППП иногда называют пакетами простой структуры. В качестве системного обеспечения пакетов первого поколения обычно использовались штатные компоненты программного обеспечения ЭВМ: компиляторы с алгоритмических языков, редакторы текстов, средства организации библиотек программ, архивные системы и т. д. Решение задачи с помощью 111111 данного типа сопряжено с ручным написанием программы на одном из языков программирования и требует высокой программистской квалификации.

ППП с развитой системной частью характеризуются наличием следующих компонентов: монитор, трансляторы с входных языков, специализированные банки данных, языковые средства описания модели предметной области и др. В качестве модулей в пакетах этого класса используются не только программные единицы (т. е. законченные программы на том или ином языке программирования), но и такие объекты как последовательность операторов языка программирования, совокупность данных, схема счета и др. Это привело к появлению специализированных входных языков (их называют встроенными языками) на базе универсальных языков программирования. Проблемная ориентация таких языков достигалась не только за счет использования определенной мнемоники, но также применением соответствующих языковых конструкций, которые упрощали формулировку задачи и делали ее более наглядной. В достаточно развитых пакетах второго поколения можно выделить элементы системного обеспечения, характерные для современных пакетов: монитор, трансляторы с входных языков, специализированные банки данных, средства описания модели предметной области и др.

Создание ППП с помощью специально разработанных для этой цели инструментальных систем позволяет ускорить и упростить процесс создания пакета, а также снизить стоимость разработки. Инструментальные системы обычно реализуются таким образом, что их можно использовать в качестве базы (готовых компонентов) для системного обеспечения разрабатываемых пакетов (поэтому их иногда называют инструментально базовыми системами). Как правило, при использовании таких систем от разработчика требуется только наполнение функциональной части пакета. Язык заданий и системное наполнение пакета реализуются средствами инструментария и переходят в его состав без существенных изменений. Кроме того, в инструментальных системах особое внимание уделяется созданию средств, позволяющих использовать в качестве функционального обеспечения ППП написанные ранее прикладные программы. Из наиболее известных инструментальных систем для построения ППП (с развитой системной частью) можно выделить: систему OLYMPUS [84], охватывающую широкий класс задач математической физики; отечественную систему автоматизации физических многовариантных расчетов САФРА [15], которая базируется на каркасной методологии построения пакетов программ [16].

Для интеллектуальных ППП основной особенностью является наличие концептуальной модели (схемы) предметной области, под которой понимается совокупность сведений об объектах предметной области и отношениях между ними, а также возможность постановки задач пакету в непроцедурном виде: «по известным значениям объектов с именами Xj, х2, х^ вычислить значения объектов с именами уь у2, ., ут». С помощью средств планирования непроцедурная постановка задачи преобразуется в схему решения задачи, которая, как и в случае ППП с развитой системной частью, далее интерпретируется, или для нее генерируется программа на некотором языке программирования. Кроме того, в таких пакетах хорошо развиты средства информационно-справочного обслуживания, облегчающие процесс создания и применения пакета. Одними из первых систем, относящихся к данному классу, можно выделить системы СПОРА [2], ПРИЗ [24] и САТУРН [42].

На основе приведенного обзора можно сделать вывод, что применение специализированных инструментальных систем является неотъемлемой частью процесса проектирования и создания современных 111111. Большое разнообразие существующего программного обеспечения, реализованного на различных языках программирования и функционирующего под управлением различных операционных и аппаратных платформ, требует развитых средств инструментальной системы, позволяющих с наименьшими трудозатратами объединить имеющееся (унаследованное1) наукоемкое прикладное обеспечение и реализовать на его основе ППП. Помимо этого средства инструментальной системы должны обеспечивать корректность и отказоустойчивость вычислений, предоставлять диалоговые интерактивные режимы взаимодействия с пользователем, эффективно использовать функциональное наполнение пакета, а также обеспечивать должный уровень интеллектуализации. Однако на сегодняшний день большинство известных инструментальных систем для создания ППП не удовлетворяют современным требованиям, тенденциям и технологиям в области разработки Под унаследованным по (legacy systems) понимают системы или комплексы, которые перестали соответствовать изменившимся со временем потребностям, но, тем не менее, продолжают эксплуатироваться ввиду значительных финансовых, организационных, технических и прочих затруднений, возникающих при попытке их замены [31].

10 программного обеспечения. Поэтому создание инструментальных средств, упi рогцаюгцих разработку ППП в различных предметных областях, представляет собой одно из актуальных направлений системного программирования в пакетной проблематике.

В последние 10—15 лет отмечается интенсивное развитие сетевых технологий, позволивших многократно повысить производительность современных вычислительных систем с распределенной памятью, основанных на идее массового параллелизма. Несомненно, актуальными становятся также специальные программы, рассчитанные на параллельную работу в таких системах. Одна из основных идей распараллеливания вычислений в прикладных программах основана на возможностях независимой, одновременной (параллельной) обработки определенных блоков программ и соответствующих им блоков данных на доступном множестве вычислительных устройств. Такой подход к решению некоторых задач позволяет многократно повысить объемы обрабатываемых данных, снизить общее время вычислений, организовать крупномасштабные вычислительные эксперименты, которые нереализуемы на персональном компьютере. Поэтому одним из наиболее перспективных и актуальных направлений развития пакетной проблематики является создание таких инструментальных средств, которые обеспечивают разработку и применение ППП для параллельных и распределенных вычислительных систем.

В области распараллеливания вычислений имеется обширная библиография (см., например, [6, 12, 27, 29, 57]). Качественные требования к реализации процесса параллельной обработки данных в прикладных программах (например, необходимость обеспечения эффективности, масштабируемости, переносимости и т.д.) породили большое многообразие систем для организации параллельных вычислений. Такие системы, как правило, требуют от специалиста-предметника достаточно высокого уровня программистской квалификации и навыков разработки параллельных программ. В процессе проектирования и разработки параллельных программ специалисту-предметнику приходится следовать тем или иным технологиям и моделям параллельного программирования, а также учитывать архитектуру и особенности используемой вычислительной системы.

Обычно выделяют два основных вида параллелизма (см. [3]) - мелкозернистый и крупноблочный. Это деление достаточно условно, но, тем не менее, позволяет классифицировать подходы к распараллеливанию вычислений. Мелкозернистый параллелизм характеризуется большим количеством параллельно выполняемых простых, часто одинаковых вычислений, при этом обмен результатами происходит на каждом шаге. Применение данного подхода требует такой трансформации исходной задачи на уровне ее содержания и постановки, чтобы алгоритм решения мог быть представлен в виде совокупности распределенных, параллельно выполняемых процессов, взаимодействующих между собой [30]. Данное требование накладывает ряд ограничений: во-первых, не позволяет использовать существующее программное обеспечение без его модификации; во-вторых, ставит ряд сложностей выявления параллелизма алгоритма решаемой задачи; в-третьих, вынуждает учитывать все специфические особенности аппаратного обеспечения и коммуникационной среды при разработке программного обеспечения. Крупноблочный параллелизм характеризуется небольшим числом сложных последовательных вычислений с редкими обменами промежуточными результатами. В большинстве случаев область данных задачи разбивается на множество слабо зависимых блоков (декомпозиция исходной задачи), которые могут обрабатываться независимо друг от друга. Наиболее значимой областью использования крупноблочного параллелизма является проведение многовариантных расчетов, предполагающих выполнение одной программы с различными вариантами входных данных, что наиболее соответствует модели SPMD [5].

После выявления вида параллелизма, характерного для алгоритма решения задачи, встает вопрос выбора модели параллельных вычислений и технологии параллельного программирования для ее реализации. Среди основных моделей параллельного программирования выделяют: модель с общей памятью, при которой все параллельные процессы асинхронно обращаются к общей памяти с запросами на чтение и запись; модель обмена сообщениями, при которой программы обмениваются между собой данными, используя подпрограммы приема/передачи данных некоторой коммуникационной системы; модель параллелизма по данным, при которой применяется одна и та же операция к множеству структур данных. В табл. 1 приводятся различные характеристики приведенных моделей параллелизма, программных и аппаратных сред, на которых возможно их применение.

Таблица 1. Характеристики моделей параллелизма

Характеристика Общая память Обмен сообщениями Параллелизм по данным

Аппаратная среда Однородные процессорные устройства (ядра) Как правило, однородные по производительности и архитектуре вычислительные узлы Неоднородные по производительности и архитектуре вычислительные узлы

Степень связности процессов (синхронизация) Очень высокая степень связности: процессы работают с общей структурой данных Высокая степень связности: процессы взаимодействуют через высокопроизводительную сеть (ин-терконнект) Слабая связность: процессы взаимодействуют через каналы с относительно низкими показателями пропускной способности

Готовность выполнять вычисления Выделенные процессоры доступны в течение всего времени вычислений Выделенные процессоры доступны в течение всего времени вычислений Узлы могут выходить из состава или, наоборот, добавляться в процессе вычислений

Свойствен- На уровне процес- Мелкозернистый Крупноблочный

Характеристика Общая память Обмен сообщениями Параллелизм по данным ный вид параллелизма сов при совместном доступе к памяти

Технология ОрепМР и др. MPI, PVM и др. Распределенные среды (Condor и др.)

Масштабируемость распараллеливания Ограничивается числом процессоров (ядер) SMP-машины Ограничивается как возможностями распараллеливания задачи, так и количеством процессоров Ограничивается только возможностями распараллеливания задачи

Использование крупноблочного параллелизма в сочетании с моделью распараллеливания по данным в ППП обладает рядом преимуществ: во-первых, не требует существенной трансформации алгоритмов и модулей, входящих в состав ППП, что позволяет использовать унаследованное ПО; во-вторых, имеется возможность обеспечить взаимодействие по данным между различными модулями, составляющими функциональное наполнение пакета; в-третьих, отсутствуют жесткие ограничения по масштабируемости распараллеливания, ограничения на используемые программно-аппаратные платформы и пр. Таким образом, для распределенных систем наиболее приемлемым подходом распараллеливания вычислений, применяемым в инструментальных средах для создания ППП, является использование крупноблочного параллелизма по данным.

Распределенная вычислительная среда (РВС) рассматривается в традиционном понимании (см., например, [13, 25]) как совокупность вычислительных узлов, объединенных коммуникационной сетью. Вычислительный узел представляет собой программно-аппаратный ресурс, включающий модуль оперативной памяти, один или несколько процессоров, жесткий диск, системное и прикладное программное обеспечение, поддерживающие функционирование узла в РВС. Один из вычислительных узлов назначается главным узлом и наделяется функциями управления заданиями пользователей и ресурсами РВС.

Многие из существующих проектов по организации распределенных вычислений ориентированы на решение частных, узкоспециализированных задач. К таким проектам можно отнести проект SETI@home, объединивший миллионы компьютеров по всему миру для решения задачи поиска внеземных цивилизаций; проект GIMPS, направленный на поиск чисел Мерсена и др. Среди универсальных систем для проведения распределенных вычислений можно выделить: Globus Toolkit [72], который является стандартом для построения специализированных вычислительных сетей Grid [73]; систему Condor [11], предназначенную для создания мобильных кластеров из доступных невыделенных рабочих станций. Но большинство универсальных систем крайне сложны в установке, администрировании и сопровождении. Организация расчетов на доступных компьютерах требует привилегированных административных полномочий, что значительно усложняет их применение для рядовых пользователей. Кроме того, существуют инструменты для быстрого создания распределенных вычислительных сред, позволяющих решать широкий класс задач вычислительного эксперимента. К их числу можно отнести: событийно-управляемую среду для разработки распределенных приложений ALua [91], созданную на основе языка Lua; инструментарий Х-Сош [14] для организации распределенных вычислительных экспериментов, разрабатываемый в Научно-исследовательском вычислительном центре МГУ; программный комплекс NetStart [18], представляющий собой полнофункциональное средство для организации масштабируемых распределенных вычислительных комплексов; среду пакетно-ориентированных распределенных вычислений [1], разрабатываемую в Институте систем энергетики СО РАН и позволяющую организовать распределенные вычисления на основе унаследованного ПО путем установки различных вычислительных программ в узлах распределенной среды и построения схемы взаимодействия по данным между различными вычислителями; среду непроцедурного программирования СиКрус [44], предназначенную для синтеза эффективных параллельных программ на языке Fortran-DVM [70]; инструментальный комплекс (ИК) ORLANDO TOOLS [34], предназначенный для конструирования параллельных прикладных программ с использованием коммуникационной библиотеки PVM [82].

Главный вывод этого обзора состоит в том, что список инструментальных систем, ориентированных на задачи автоматизации процессов разработки и эксплуатации ППП в распределенных вычислительных средах, является весьма узким. Каждая из таких инструментальных систем либо ориентируется на специфику проблемной области, либо не обеспечивает всех необходимых функций системного обеспечения ППП. Также к недостаткам имеющихся систем стоит отнести низкий уровень средств для динамического управления ходом вычислительного процесса в распределенной среде.

Цель работы состоит в разработке технологии и реализации инструментальных средств, обеспечивающих автоматизацию построения распределенных пакетов прикладных программ (РППП) в разнородных РВС на основе методологии модульного программирования.

Основными задачами исследования являются:

1. Проведение анализа существующих методов и средств организации распределенных вычислений. Разработка технологии организации РППП в разнородных РВС.

2. Создание языковых средств описания предметной области РППП и процедурных постановок задач.

3. Разработка и реализация методов и средств управления процессом решения задач в РППП, основанных на механизмах обработки событий, возникающих при выполнении вычислений.

4. Разработка и реализация инструментальных средств организации и функционирования системной части РППП, базирующейся на клиент-серверной архитектуре.

Объектом исследования являются теория и практика организации распределенных вычислений.

Предметом исследования являются методы и инструментальные средства создания пакетов прикладных программ в разнородных РВС.

Методы исследования. При решении поставленных задач использовались методы системного и прикладного программирования, характерные для разработки инструментальных программных комплексов; методы объектно-ориентированного и модульного (сборочного) программирования; технологии построения РВС и разработки web-приложений.

На защиту выносятся следующие основные результаты:

- технология организации РППП в разнородных РВС, основанная на методах модульного программирования и автоматизации построения 111111 и обеспечивающая использование модулей, реализованных на различных языках программирования, нетиражируемых программных комплексов, а также унаследованного ПО;

- программные средства организации динамического управления процессом решения задач в РППП, базирующиеся на специализированных языковых конструкциях процедурной постановки задачи, обеспечивающих возможность определения, анализа и обработки событий вычислительного процесса;

- архитектура и программная реализация инструментального комплекса (ИК) DISCOMP, обеспечивающие функционирование прикладного и системного ПО РППП на различных аппаратных платформах и под управлением разных операционных систем (ОС).

Научная новизна. Разработан ИК DISCOMP и предложена технология, ориентированные (в отличие от известных) на автоматизацию разработки и применения РППП в разнородных РВС. Функциональное наполнение таких РППП может включать модули, реализованные на различных языках программирования, нетиражируемые программных комплексов, а также унаследованное ПО. ИК DISCOMP обеспечивает возможность создания как автономных РППП, так и интеграцию данного инструментария с другими программными комплексами для автоматизации этапа проведения распределенных вычислений при решении исследовательских задач. В РППП впервые реализован подход к организации динамического управления распределенными процессами решения взаимосвязанных задач на основе механизмов обработки событий и анализа текущих расчетных данных.

Практическая значимость. Разработанное программное обеспечение позволяет сократить сроки и повысить эффективность разработки и применения РППП. Созданные программные средства зарегистрированы в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам [53] и применяются для проведения экспериментальных расчетов по плановым научно-исследовательским работам в Институте динамики систем и теории управления (ИДСТУ) СО РАН, а также учебном процессе в Институте математики, экономики и информатики Иркутского государственного университета.

Разработка и применение рассматриваемых в диссертации программных средств выполнялись в рамках проекта СО РАН № 6 «Планирование и оптимизация схем решения задач в распределенной мультиагентной вычислительной среде» программы фундаментальных исследований Президиума РАН № 21 «Разработка фундаментальных основ создания научной распределенной информационно-вычислительной среды на основе технологий GRID» (2004 г.); интеграционного проекта № 3 СО РАН «Методы, технологии и инструментальные средства создания вычислительной инфраструктуры в Internet» (2003-2005 гг.); проекта СО РАН 3.2.6 «Интегрированные информационно-вычислительные и коммуникационные ресурсы: интеллектные методы организации, автоматизации разработки и применения» (2004-2006 гг.); проекта СО РАН «Разработка научных основ распределенной информационноаналитической системы на основе ГИС и Веб-технологий для междисциплинарных исследований» междисциплинарной программы 4.5.2 (2007-2009 гг.); проекта РФФИ № 06-01-00340 «Разработка и исследование булевых моделей предметной области в задаче планирования при синтезе программ»; проекта РФФИ № 08-07-00163 «Технологии интеллектуального анализа данных и высокопроизводительных информационно-вычислительных ресурсов для поддержки междисциплинарных фундаментальных исследований в области геоэкологии и природопользования» (2008-2010 гг.); проекта № 3 «Концептуальные основы и программные средства разработки проблемно-ориентированных распределенных вычислительных сред» программы фундаментальных исследований Президиума РАН № 1 «Проблемы создания национальной научной распределенной информационно-вычислительной среды на основе развития GRID технологий и современных телекоммуникационных сетей» (2009-2011 гг.); проекта «Технология интеллектуальной обработки пространственно-распределенных данных и создания высокопроизводительных информационно-вычислительных ресурсов для поддержки междисциплинарных фундаментальных исследований» программы Отделения нанотехнологий и информационных технологий РАН (2009-2011 гг.).

Достоверность и эффективность полученных в работе результатов подтверждается опытом успешной практической эксплуатации разработанного автором диссертации ИК DISCOMP в Суперкомпьютерном центре коллективного пользования ИДСТУ СО РАН при решении ряда ресурсоемких прикладных задач.

Апробация. Основные результаты работы были представлены на V и VIII Школах-семинарах молодых ученых «Математическое моделирование, управление и информационные технологии» (Иркутск, 2004 г., 2006 г.), на V Межрегиональной школе-семинаре «Распределенные и кластерные вычисления» (Красноярск, 2005 г.), на III Международной конференции «Параллельные вычисления и задачи управления (РАСО)» (Москва, 2006 г.), на XI и XII Байкальских всероссийских конференциях «Информационные и математические технологии в научных исследованиях» (Иркутск, 2006 г., 2007 г.), на II Всероссийской конференции с международным участием «Инфокоммуникационные и вычислительные технологии и системы» (Улан-Удэ, 2006 г.), на конференции «Ляпуновские чтения» (Иркутск, 2007 г.), на Международных научных конференциях «Параллельные вычислительные технологии (PAVT)» (Челябинск, 2007 г.; Санкт-Петербург, 2008 г.), на восьмом Международном симпозиуме Интеллектуальные системы (Нижний Новгород, 2008 г.), на Всероссийской конференции «Винеровские чтения» (Иркутск, 2009 г.), на Всероссийской конференции «Математическое моделирование и вычислительно-информационные технологии в междисциплинарных научных исследованиях» (Иркутск, 2009 г.), на семинарах ИДСТУ СО РАН.

Публикации. Результаты научных исследований Сидорова И.А. отражены в 15-ти научных работах, включая 2 статьи [8, 52] в журналах, рекомендованных ВАК для опубликования научных результатов диссертации на соискание ученой степени доктора или кандидата наук, 12 публикаций [9, 21, 23, 35, 36, 38, 48-51, 63, 64] в трудах региональных, всероссийских и международных конференций, 1 свидетельство [53] об официальной регистрации программ в Федеральной службе по интеллектуальной собственности, патентам и товарным знакам. В перечисленных публикациях все результаты, связанные с алгоритмизацией, программной реализацией и проведением вычислительных экспериментах на высокопроизводительных системах, получены автором лично. Результаты по моделям и методам организации распределенных пакетов прикладных программ получены совместно с Феоктистовым А.Г. и являются неделимыми. Из совместных работ с Васильевым С.Н., Опариным Г.А, Тятюшки-ным А.И., Семеновым А.А., Богдановой В.Г., Заикиным О.С. в диссертацию включены только те результаты, которые принадлежат лично автору.

Структура работы. Диссертация состоит из введения, трех глав, заключения, библиографии из 91 наименования, глоссария и 7 приложений. Общий объем работы - 140 страниц, из которых 110 страниц основного текста, включающего 13 рисунков и 4 таблицы.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Сидоров, Иван Александрович

3.6. Выводы

Использование ИК DISCOMP в технологическом процессе создания и применения, описанных в данной главе РППП, подтвердило высокий уровень и эффективность входящих в его состав инструментальных средств, позволяющих существенно сократить время на разработку распределенных программ.

В представленных РППП использовались возможности ИК DISCOMP, которые в совокупности не реализованы в известных системах подобного типа. К таким возможностям относятся: повторное использование унаследованного ПО и реализация на его основе распределенных вычислений; включение в вычислительный процесс платформо-зависимых модулей; использование управляющих конструкций для снижения избыточности вычислений; использование параметров-констант, позволяющих сократить время на инициализацию повторного запуска модуля на вычислительном узле; возможность формирования нескольких однотипных СРЗ, на основе каркасной структуры. возможность интеграции ИК DISCOMP с внешними программными комплексами для автоматизации проведения необходимых распределенных вычислений.

Лично автором был организован РППП для решения задач оптимального управления и построения множеств достижимости. Некоторые технические аспекты организации вычислений в РППП D-SAT (механизм минимизации транспортных расходов, управляющие конструкции для устранения избыточных вычислений и пр.) были получены и реализованы в неделимом соавторстве с О.С. Заикиным. Автором были проведены вычислительные эксперименты для большинства рассмотренных РППП.

Заключение

Главным результатом диссертации является создание методов и инструментальных средств автоматизации разработки и применения РППП в разнородных РВС. Архитектура и принципы функционирования ИК DISCOMP, а также способы и средства его реализации обеспечивают широкий спектр функциональных возможностей данного комплекса для организации распределенных вычислений. Компоненты ИК DISCOMP являются кросс-платформенными и позволяют использовать весь потенциал доступных разнородных узлов РВС.

Перечислим основные результаты диссертационной работы.

1. Разработана технология организации РППП в разнородных РВС, основанная на методах модульного программирования и автоматизации построения ППП и обеспечивающая использование модулей, реализованных на различных языках программирования, нетиражируемых программных комплексов, а также унаследованного ПО.

2. Разработаны программные средства организации динамического управления процессом решения задач в РППП, базирующиеся на специализированных языковых конструкциях процедурной постановки задачи, обеспечивающих возможность определения, анализа и обработки событий вычислительного процесса.

3. Разработана архитектура и выполнена программная реализация инструментального комплекса DISCOMP, обеспечивающие функционирование прикладного и системного ПО РППП на различных аппаратных платформах и под управлением разных ОС.

Разработанные в диссертации способы и инструментальные средства организации РППП допускают естественное развитие и обобщение для базовых технологий распределенных вычислений и новых классов фундаментальных и прикладных исследовательских задач.

Список литературы диссертационного исследования кандидат технических наук Сидоров, Иван Александрович, 2009 год

1. Абасов Н.В. Долгосрочный прогноз природообусловленных факторов энергетики в информационно-прогностической системе ГИПСАР / Н.В. Абасов, Т.В. Бережных, А.П. Резников // Известия РАН, Энергетика. - 2000. - № 6. - С. 22-30.

2. Бабаев И.О. СПОРА — система программирования с автоматическим синтезом программ / И.О. Бабаев, С.С. Лавров, Г.А. Нецветаева, Ф.А. Новиков, Г.М. Шувалов // Применение методов математической логики. — Таллин: ИК АН ЭССР, 1983. С. 29-41.

3. Бандман О.Л. Мелкозернистый параллелизм в вычислительной математике / О.Л. Бандман // Программирование. — 2001. — № 4. — С. 1-18.

4. Баранов А.В. Руководство администратора системы управления прохождением задач МВС-1000/16 / А.В. Баранов, А.О. Лацис, С.В. Сажин, М.Ю. Храмцов // Документация по МВС-1000/16. М.: ИПМ им. Келдыша РАН, 2007. - 25 с.

5. Барский А.Б. SPMD-архитектура и параллельная обработка структур данных / А.Б. Барский, В.В. Шилов // Информационные технологии. 1999. — №6.-С. 11-17.

6. Бэбб Р. Программирование на параллельных вычислительных системах / Р. Бэбб, Дж. Мак-Гроу, Т. Аксельрод. -М.: Мир, 1991. 376 с.

7. Вальковский В.А. Элементы современного программирования и суперЭВМ / В.А. Вальковский, В.Э. Малышкин. — Новосибирск: Наука. Сиб. отд-ние, 1990.- 150 с.

8. Вигерс К. Разработка требований к программному обеспечению / К. Вигерс.- М.: Русская Редакция, 2004. — 576 с.

9. Владимиров Д. Кластерная система Condor / Д. Владимиров // Открытые системы. 2000. - № 7-8. - С. 20-26.

10. Воеводин В.В. Параллельные вычисления /В.В. Воеводин, Вл.В. Воеводин.- СПб.: БХВ-Петербург, 2002. 608 с.

11. Воеводин Вл.В. Суперкомпьютер на выходные / Вл.В. Воеводин, М.П'. Фи-ламофитский // Открытые системы. — 2003. — № 5. — С. 48-56.

12. Воеводин Вл.В. Х-Сош проект организации распределенных вычислений / Вл.В. Воеводин, М.П Филамофитский // Научный сервис в сети Интернет: Тр. всерос. науч. конф. -М.: МГУ, 2001. - С. 11-13.

13. Горбунов-Посадов М.М. Расширяемые программы / М.М. Горбунов-Посадов. М.: Полиптих, 1999. — 336 с.

14. Горбунов-Посадов М.М. Системное обеспечение пакетов прикладных программ / М.М. Горбунов-Посадов, Д.А. Корягин, В.В. Мартынюк. М.: Наука, 1990.-208 с.

15. Грошенков К.С. Сервисно-ориентированные решения в системах организации параллельных вычислений / К.С. Грошенков, А.Н. Кузнецов // Тр. Ме-ждунаро. науч. конф. ПАВТ'07. Челябинск: ЮУрГУ, 2007. - Т. 1. - С. 237-243.

16. Ершов А.П. Пакеты программ — технология решения прикладных задач / А.П. Ершов, В.П. Ильин. Новосибирск: ВЦ СО АН СССР, 1978. - 22 с.

17. Жуматий С. Система РагСоп — ассистент в работе пользователя и администратора вычислительного кластера / С. Жуматий // Методы и средства обработки информации: Тр. Всерос. науч. конф. — МГУ им. М.В. Ломоновова, 2005.-С. 252-255.

18. Заикин О.С. Параллельная технология решения SAT-задач с применением пакета прикладных программ D-SAT / О.С. Заикин, А.А. Семенов, И.А. Сидоров, А.Г. Феоктистов // Вестник ТГУ. Приложение. — 2007. № 23. - С. 83-95.

19. Заикин О.С. Технология крупноблочного параллелизма в SAT-задачах / О.С. Заикин, А.А. Семенов // Проблемы управления. 2008. - № 1. С. 43-50.

20. Заикин О.С. Технология крупноблочного распараллеливания в криптоанализе некоторых генераторов двоичных последовательностей / О.С. Заикин, И.А. Сидоров // Тр. междунар. науч. конф. — Челябинск: ЮУрГУ, 2007. -Т. 1.-С. 158-169.

21. Кахро М.И. Инструментальная система программирования ЕС ЭВМ (ПРИЗ) / М.И. Кахро, А.П. Калья, Э.Х. Тыугу. М.: Финансы и статистика, 1988. -180 с.

22. Коваленко В.Н. Вычислительная инфраструктура будущего / В.Н. Коваленко, Д.А. Корягин // Открытые системы. 1999. — № 11-12. — С. 45-53.

23. Коваленко В.Н. Планирование ресурсов Grid на основе локальных расписаний / В.Н. Коваленко, Е.И. Коваленко, Д.А. Корягин и др. // Методы и средства обработки информации: Тр. I Всерос. науч. конф. — М.: МГУ, 2003. С. 205-211.

24. Корнеев В.В. Параллельные вычислительные системы / В.В. Корнеев. М.: Нолидж, 1999.-320 с.

25. Кузнецов М. Объектно-ориентированное программирование на РНР / М. Кузнецов, И. Симдянов. СПб.: БХВ-Петербург, 2007. - 608 с.

26. Малышкин В.Э. Введение в параллельное программирование мультиком-пьютеров / В.Э. Малышкин. Новосибирск: ИВМиМГ, 2003. - 268 с.

27. Малышкин В.Э. Мощности вычислительных систем прирастают с параллелизмом / В.Э. Малышкин // Наука в Сибири. 2001. - № 32-33. - 3 с.

28. Массель Л.В. Тенденции развития и инструменты создания программных комплексов для решения больших задач в исследованиях энергетики / Л.В. Массель, А.В. Черноусов // Научный сервис в сети Интернет: решение больших задач. Абрау-Дюрсо, 2008. - С. 403-406.

29. Новак Л.Г. Свойства схем данных XML / Л.Г. Новак, С.Д. Кузнецов // Тр. Института Системного Программирования РАН. — 2003. — 24 с.

30. Олейников А .Я. Методика тестирования на соответствие стандартам, обеспечивающим переносимость прикладных программ (POSIX) / А.Я. Олейников, В.Н. Корниенко // Научные телекоммуникации и информационная ин-. фраструктура. М., 1999. - 31 с.

31. Опарин Г.А. Инструментальный комплекс ORLANDO TOOLS / Г.А. Опарин, А.Г. Феоктистов, А.П. Новопашин, С.А. Горский // Программные продукты и системы. 2007. - № 4. - С. 63-65.

32. Опарин Г.А. Интеллектуальный решатель задач в булевых ограничениях в распределенной вычислительной среде / Г.А. Опарин, В.Г. Богданова, И.А. Сидоров // Тр. XII Байкальской Всерос. конф.: в 2-х ч. Иркутск: Изд-во ИСЭМ СО РАН, 2007. - Ч. 2. - С. 12-19.

33. Опарин Г.А. К теории планирования вычислительного процесса в пакетах прикладных программ / Г.А. Опарин // Пакеты прикладных программ. Методы и разработки. Новосибирск: Наука, 1981. — С. 5-20.

34. Опарин Г.А. Организация распределенных вычислений в инструментальном комплексе DISCOMP / Г.А. Опарин, А.Г. Феоктистов, И.А. Сидоров // Винеровские чтения: Материалы II Всерос. конф. — Иркутск: Изд-во Ир1. ГТУ, 2009. -4 с.

35. Опарин Г.А. САТУРН метасистема для построения пакетов прикладных программ / Г.А. Опарин // Разработка пакетов прикладных программ. - Новосибирск: Наука, 1982. - С. 130-160.

36. Опарин Г.А. Технология синтеза модульных параллельных программ для DVM-системы / Г.А. Опарин, А.П. Новопашин // Интеллектуальные системы: Тр. VII Междунар. симпоз. Под ред. И.А. Пупкова. М.: РУСАКИ, 2006.-С. 468-471.

37. Савин Г.И. Создание распределенной инфраструктуры для суперкомпыо-терных приложений / Г.И. Савин, В.В. Корнеев, Шабанов Б.М. и др. // Статьи Межведомственного Суперкомпьютерного Центра РАН. 2008. — 14 с.

38. Самарский А.А. Математическое моделирование и вычислительный эксперимент / А.А. Самарский // Вестник АН СССР. 1979. - № 5. - С. 38-49.

39. Самарский А.А. Пакеты прикладных программ как средство обеспечения сложных физических расчетов / А.А. Самарский // Перспективы системного и теоретического программирования: Тр. Всесоюз. симпоз. — Новосибирск: ВЦ СО АН СССР, 1978. С. 5-14.

40. Сидоров И.А. Описание вычислительного процесса в инструментальном комплексе DISCOMP / И.А. Сидоров // Ляпуновские чтения: Материалы конф. Иркутск: ИДСТУ СО РАН, 2007. - С. 31.

41. Сидоров И.А. Распределенная информационно-вычислительная среда модульного программирования / И.А. Сидоров, А.Г. Феоктистов, А.И. Тятюш-кин // Параллельные вычисления и задачи управления: Тр. III Междунар. конф. М.: ИПУ РАН, 2006. - С. 505-521.

42. Сидоров И.А. Технология организации распределенных вычислений в инструментальном комплексе DISCOMP / Г.А. Опарин, А.Г. Феоктистов, И.А. Сидоров // Современные технологии. Системный анализ. Моделирование. — 2009.-№2.-С. 175-180.

43. Сидоров И.А., Феоктистов А.Г. Инструментальный комплекс DISCOMP: Свидетельство об официальной регистрации программы для ЭВМ №2008615180.- М.: Федеральная служба по интеллектуальной собственности, патентам и товарным знакам, 2008.

44. Суперкомпьютерный центр коллективного пользования ИДСТУ СО РАН Электронный ресурс. — Электрон, дан. Режим доступа: http://mvs.icc.ru/, свободный.

45. Таненбаум Э. Распределенные системы. Принципы и парадигмы / Э. Танен-баум, В. Стен. СПб.: Питер, 2003. - 877 с.

46. ТОП 50 Суперкомпьютеры Электронный ресурс. Электрон, дан. - Ре1жим доступа: http://supercomputers.ru/?page=archive&rating=9, свободный.

47. Топорков В.В. Модели распределенных вычислений / В.В. Топорков. М.: ФИЗМАТЛИТ, 2004. - 320 с.

48. Тыугу Э.Х. Концептуальное программирование / Э.Х. Тыугу. — М.: Наука, 1984.-256 с.

49. Тятюшкин А.И. ППП КОНУС для оптимизации непрерывных управляемых систем / А.И. Тятюшкин // Пакеты прикладных программ: Опыт использования. М.: Наука. - 1989. - С. 63-83.

50. Тятюшкин А.И. Численное исследование свойств оптимального управления в одной задаче преследования / А.И. Тятюшкин, Б.Е. Федунов // Изв. РАН, ТиСУ. 2005. - № 3. — С. 104-113.

51. Тятюшкин А.И. Численные методы и программные средства оптимизации управляемых систем / А.И. Тятюшкин. — Новосибирск: Наука, 1992. 193 с.

52. Федунов Б.Е. Максимально быстрое торможение объекта, осуществляющего управляемое движение под действием сил аэродинамического сопротивления и тяжести / Б.Е. Федунов // ПММ. 1990. - Т. 54, № 5. - С. 88-95.

53. Blanchette Jl С++ GUIProgramming with Qt 4' / J. Blanchette, M. Summerfield. -Prentice Hall, 2008. 668 p.

54. DIMACS Электронный ресурс.! Электрон., дан. — Режим доступа: http://www.cs.ubc.ca/~hoos/SATLIB/beiichm.html, свободный.

55. Doxy gen Электронный ресурс. — Электрон.' дан:. — Режим, доступа: http://doxygen.org/, свободный. •

56. Ferguson N. Practical Cryptography: Designing and Implementing Secure Cryptographic Systems / N. Ferguson, B. Schncier. Willey, 2003. — 432 p.

57. Fortran-DVM a language for portable program development / N.A. Konovalov, V.A. Krukov, S.N. .Mihailov, A.A. Pogrebtsov // Proceedings, of Software For Multiprocessors & Supercomputers: Theory, Practice, Experience: Institute for

58. System Programming, RAS. Moscow, 1994.- P. 124-133.

59. Ferraiolo D.F. Role-based Access Control?/ D.F. Ferraiolo, D.R. Kuhn. Artech House, 2007. - 400 p.

60. FosterT. Globus Toolkit Version 4: Software for Service-Oriented^ Systems / I. Foster // IFIP; International Conference on- Network, and Parallel Computing. -Springer, 2006.-P. 2-13.

61. Foster I. The Anatomy of the Grid: : Enabling Scalable Virtual Organizations / I. Foster, C. Kcsselman, S. Tuecke // Intern. J. of High Performance Computing Applications. 2001. - Vol. 15, № 3. - P. 200-222.

62. General Public License Электронный ресурс. . — Электрон, дан. — Режим доступа: /, свободный.:

63. GNU coding standard: Электронный ресурс. — Электрон, дан. Режим доступа: http://www.gnu.org/prep/standards/, свободный.

64. Griffith A. GCC: The Complete Reference / A. Griffith. McGraw-Hill, 2002. -515 p.

65. Laurent S. Programming Web Services with XML-RPC / S. Laurent, J. Johnston, E. Dumbill. O'Reilly, 2001. - 452 p.

66. MiniSat Электронный- ресурс. Электрон, дан. - Режим доступа: http://minisat.se/MiniSat.html, свободный.

67. POSIX (Portable Operating System Interface for UNIX) Электронный ресурс. Электрон, дан. - Режим доступа: http://standards.ieee.org/regauth/posix/, свободный.

68. PVM: Parallel Virtual Machine. A Users' Guide and Tutorial for Networked Parallel Computing / A. Geist., A. Beguelin, J. Dongarra, W. Jiang, R. Manchek, V. Sunderam. Cambridge: The MIT Press, 1994. - 298 p.

69. Raymond. E.S. The Art of UNIX Programming / E.S. Raymond. Addison-Wesley, 2003.-511 p.

70. Roberts K.V. An introduction to the OLYMPUS system / K.V. Roberts // Computer physics communication, 1974. V. 7. — 237 p.

71. SATLIB Электронный ресурс. Электрон, дан. - Режим доступа: http://www.lri.fr/~simon/satex/satex.php3, свободный.

72. Stroustrup В. The С++ Programming Language: Special Edition / В. Stroustrup. -Addison-Wesley, 2000. 1104 p.

73. The Common Gateway Interface (CGI) Version 1.1 Электронный ресурс. — Электрон, дан. Режим доступа: http://www.ietf.org/rfc/rfc3875.txt, свободный.

74. Thomas A. JavaScript: The Complete Reference / A. Thomas, F. Schneider. -McGraw-Hill, 2001. 960 p.

75. Thomas D. Pragmatic Version Control Using CVS / D. Thomas, A. Hunt. The pragmatic programmers, 2002. - 362 p.

76. Ururhay C. ALua: Flexibility for parallel programming / C. Ururahy, N. Rodri-gyez; R. Ierusalimschy // Computer Languages, Elsevier Science Ltd. 2002. -Vol. 28.-№2.-P. 155-180.1. Глоссарий

77. Вычислительный кластер — это совокупность вычислительных узлов, объединенных в рамках некоторой коммуникационной среды и представляющих с точки зрения пользователя единый аппаратный ресурс для решения определенного класса задач.

78. Вычислительный модуль — программная реализация определенного алгоритма в ППП, включающая исполняемую программу, спецификации по назначению, применению, формату входных и выходных формальных параметров, времени выполнения и пр.

79. Вычислительный узел РВС — программно-аппаратный ресурс, включающий модуль оперативной памяти, один или несколько процессоров, жесткий диск и системное программное обеспечение (комплекс программных средств, поддерживающих функционирование узла в РВС).

80. Входной язык — язык описания предметной области пакета прикладных программ, постановок задач, заданий по их решению.

81. Гетерогенность разнородность вычислительных ресурсов (как* программных, так и аппаратных), входящих в состав РВС.

82. Интерпретатор программное средство; осуществляющее пооператорную обработку и выполнение СРЗ.

83. Коммуникационная среда — совокупность программно-аппаратных средств (сетевых устройств, транспортных протоколов) для обеспечения сетевого взаимодействия двух и более компьютеров.

84. Латентность время между инициированием передачи данных в процессе посылки и прибытия первого байта в процессе приема.

85. Масштабируемость — это способность системы увеличивать вычислительную мощность без существенного снижения производительности за счет включениягв состав РВС большего числа вычислительных узлов.

86. Мелкозернистый параллелизм — подход к реализации параллельных вычислений, характеризующийся большим количеством параллельно выполняемых простых, часто одинаковых, вычислений с межпроцессорными обменами на каждом шаге выполнения.

87. Модуль — это объект концептуальной схемы предметной области пакета прикладных программ, реализующий абстрактную операцию над параметром данной предметной области.

88. Непроцедурная постановка задачи задача ставится в следующем виде: «зная вычислительную модель, по заданным значениям параметров xl, х2, ., хк вычислить значения параметров yl, у2, ., уг».

89. Пакет прикладных программ — это комплекс взаимосвязанных прикладных программ и средств системного обеспечения (программных и языковых), предназначенный для автоматизации решения определенного класса задач конкретной предметной области.

90. Параметр это объект концептуальной схемы предметной области пакета прикладных программ, представляющий собой значимую характеристику данной предметной области.

91. Предметная область — это сфера научной, экономической, информационной или другой деятельности являющаяся объектом исследования в пакетах прикладных программ.

92. Распределенный пакет прикладных программ — пакет, прикладные программы которого размещены в различных узлах РВС.

93. Ресурсоемкая задача задача вычислительного характера, решение которой требует выполнения прикладного ПО и использования достаточно больших объемов вычислительных ресурсов (процессорного времени, оперативной памяти, дискового пространства).

94. Система управления прохождением заданий — системное программное обеспечение, предназначенное для поддержания очередей и планирования работ на вычислительном кластере.

95. Системное программное обеспечение — это комплекс программ, которые обеспечивают эффективное управление компонентами вычислительной системы, такими как процессор, память, каналы,ввода-вывода, сетевое и коммуникационное оборудование и т. п.