Обеспечение отказоустойчивости вычислительной системы с автоматическим распределением ресурсов тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат технических наук Градов, Евгений Сергеевич

• Градов, Евгений Сергеевич
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Градов, Евгений Сергеевич

Введение.

Глава 1. Обзор методов обеспечения отказоустойчивости в современных вычислительных системах.

1.1. Основные понятия отказоустойчивости вычислительных систем.

1.2. Исследование методов обнаружения ошибок и восстановления функционирования вычислительных систем после обнаружения сбоя.

1.3. Исследование практически реализованных отказоустойчивых вычислительных систем.

Выводы к первой главе.

Глава 2. Исследование архитектуры и особенностей организации отказоустойчивого функционирования вычислительной системы с автоматическим распределением ресурсов.

2.1. Исследование принципов организации вычислительных процессов в системе с автоматическим распределением ресурсов.

2.2. Анализ архитектуры и определение роли и задач системы контроля и обеспечения отказоустойчивости вычислительной системы с автоматическим распределением ресурсов.

2.3. Параметры надежности вычислительной системы с автоматическим распределением ресурсов.

2.4. Исследование вариантов реализации структуры отказоустойчивого исполнительного устройства ВСАРР.

Выводы ко второй главе.

Глава 3. Разработка алгоритмов функционирования системы обеспечения отказоустойчивости вычислительной системы с автоматическим распределением ресурсов.

3.1.Разработка алгоритмов работы системы аппаратного контроля МИУ.

3.2. Разработка алгоритма передачи информации, необходимой для восстановления вычислительного процесса, на исправный модуль МИУ в случае возникновения отказа одного из модулей.

3.3. Разработка алгоритма передачи информации, необходимой для восстановления вычислительного процесса, на исправное МИУ в случае возникновения отказа одного из МИУ.

3.4. Разработка алгоритмов работы системы аппаратного контроля МАП.

3.5. Разработка алгоритма реализации контрольных точек в графе задачи, выполняемой на

ВСАРР.

Выводы к третьей главе.

Глава 4. Создание аппаратных средств для контроля выполнения операций в макете блока вещественной арифметики ИУ ВСАРР и пересылки сообщений о возникающих неисправностях на HOST-машину.

4.1. Анализ современных тенденций развития элементной базы цифровой схемотехники.

4.2. Выбор элементной базы и определение конструктивов для реализации макета ВСАРР.

4.3. Инструментальные средства и методика проектирования макета ВСАРР.

4.4. Разработка аппаратных средств для контроля выполнения операций в макете блока вещественной арифметики ИУ ВСАРР и пересылки сообщений о возникающих неисправностях на HOST-машину.

Выводы к четвертой главе.

Введение диссертации (часть автореферата) на тему «Обеспечение отказоустойчивости вычислительной системы с автоматическим распределением ресурсов»

Актуальность проблемы.

Для решения большинства современных фундаментальных задач в различных областях

12 15 науки и техники требуются многопроцессорные супер-ЭВМ с производительностью 10 -10 операций в секунду. Однако реальная производительность универсальных многопроцессорных вычислительных систем на задачах проблемного характера составляет в среднем лишь 12-15 процентов от пиковой производительности. Эффективность использования современных систем массового параллелизма падает с увеличением числа процессоров в системе, так как резко падает коэффициент их загрузки, при работе с глобальными данными.

Для решения проблем синхронизации вычислительных процессов по данным и равномерной загрузки процессоров необходимо исследование новых методов организации параллельных вычислительных процессов и разработка методов создания вычислительных систем с принципиально новой архитектурой, отличной от традиционной архитектуры фон-Неймана, которые обеспечат эффективное и автоматическое распределение вычислительных процессов по ресурсам вычислительной системы.

Однако с ростом сложности структуры вычислительных систем и повышением их быстродействия резко растут требования к достоверности результатов решения задач, поставленных перед вычислительной системой, а, следовательно, к системе контроля производимых вычислений. Эффективность системы контроля становится одной из наиболее важных характеристик вычислительного комплекса. Наиболее естественный путь повышения надежности вычислительной системы - это повышение надежности ее составляющих элементов, однако, как показывает опыт развития вычислительной техники, это не решит поставленной задачи для больших ЭВМ. Кардинально проблема обеспечения надежного и отказоустойчивого функционирования таких вычислительных комплексов (в особенности для вычислительных систем реального времени, требующих высокой достоверности результатов вычислений) может быть решена только структурным способом на аппаратном уровне.

Одним из таких способов является модульный принцип построения вычислительной системы, где каждый модуль охвачен полным аппаратным контролем, обеспечивающим высокую достоверность получаемых результатов. Отключение неисправного модуля в такой системе производится автоматически по срабатыванию встроенного аппаратного контроля.

На данный момент в отделе Построения информационно-вычислительных систем высокого параллелизма Института проблем информатики Российской Академии Наук разработан и отлажен макет машины нетрадиционной архитектуры с автоматическим распределением ресурсов (ВСАРР).

При разработке структуры и алгоритмов функционирования ВСАРР возникает проблема организации системы автоматического контроля и обеспечения отказоустойчивости при выполнении вычислений. В такой вычислительной системе параллельные вычислительные процессы имеют сложную структуру, основанную на принципе потока данных. В случае возникновения неисправности (сбоя, отказа) при выполнении таких процессов возникают трудности с локализацией источника ошибки, возникает опасность распространения ошибки по всей системе до момента ее обнаружения и изоляции отказавшего модуля, а также возникают проблемы реконфигурации системы после отказов и восстановления нормального функционирования. На данный момент эти проблемы являются наименее проработанными.

Данная диссертационная работа посвящена проблемам обеспечения отказоустойчивого функционирования и достоверности выдаваемой информации вычислительной системы нетрадиционной архитектуры, обеспечивающей автоматическое распределение ресурсов системы между вычислительными процессами. Актуальность этих проблем, определяется тем, что новая архитектура и сложные алгоритмы организации вычислительных процессов в вычислительном комплексе предъявляют новые требования и определяют новые задачи для системы аппаратного контроля и обеспечения отказоустойчивости устройств ВСАРР.

Цель и задачи работы.

Настоящая диссертационная работа посвящена решению задачи организации обеспечения отказоустойчивости вычислительной, системы с автоматическим распределением ресурсов, разработке методов контроля вычислительных процессов и созданию алгоритмов восстановления вычислений в исследуемой вычислительной системе.

Для достижения поставленной цели в работе поставлены и решаются следующие основные задачи:

1. Исследование и анализ методов контроля вычислений и обеспечения отказоустойчивости современных вычислительных систем, позволяющий определить возможность их применения для вычислительной системы принципиально новой архитектуры.

2. Исследование архитектуры вычислительной системы с автоматическим распределением ресурсов с целью выявления проблем контроля вычислений, присущих исследуемой вычислительной системе.

3. Разработка методов контроля вычислительных процессов для исследуемой вычислительной системы, позволяющих обеспечить высокую достоверность выдаваемых результатов.

4. Разработка алгоритмов восстановления вычислений в исследуемой вычислительной системе в случае возникновения отказа какого-либо из устройств системы.

5. Создание аппаратных средств контроля выполнения операций в блоке вещественной арифметики исполнительного устройства макета вычислительной системы и аппаратных средств выдачи сообщений о возникающих неисправностях на НОБТ-машину.

Объект и предмет исследования.

Объектом исследования является вычислительная система новой нетрадиционной архитектуры с автоматическим распределением ресурсов. Предметом исследования является организация аппаратного контроля параллельных вычислительных процессов с целью обеспечения отказоустойчивого функционирования и достоверности выдаваемой информации ВСАРР.

Методы исследования.

Исследования проводились с использованием теории отказоустойчивости, надежности и технической диагностики вычислительных систем, теории высокопроизводительных параллельных вычислений и методик проектирования сложных вычислительных комплексов с применением систем автоматизированного проектирования. Аппаратная реализация макета ВСАРР велась с применением принципов нисходящего проектирования электронных систем с использованием объектно-ориентированного подхода.

Научная новизна.

Впервые предложены и разработаны методы аппаратного контроля параллельных вычислительных процессов и обеспечения отказоустойчивости вычислительной системы с нетрадиционным подходом к организации процесса вычислений. Научная новизна работы состоит в следующем:

• в результате проведенного исследования принципиально новой архитектуры вычислительной системы с автоматическим распределением ресурсов определены роль и задачи системы контроля вычислений в исследуемой вычислительной системе;

• предложены принципы и разработаны методы организации аппаратного контроля вычислительных процессов и обеспечения отказоустойчивого функционирования устройств, входящих в состав ВСАРР;

• разработаны алгоритмы восстановления параллельных вычислительных процессов в исследуемой вычислительной системе в случае возникновения отказа устройств системы;

• в системе контроля вычислительных процессов и обеспечения отказоустойчивой работы устройств ВСАРР учтены особенности новой архитектуры при применении традиционных методов аппаратного контроля вычислительных процессов, наряду с оригинальными разработками.

Положения, выносимые на защиту.

1. Разработанные методы контроля вычислительных процессов для вычислительной системы принципиально новой архитектуры, позволяющие обеспечить высокую достоверность выдаваемых результатов.

2. Предложенная методика проектирования встроенного аппаратного контроля устройств вычислительной системы с автоматическим распределением ресурсов.

3. Разработанные алгоритмы, обеспечивающие восстановление параллельных вычислительных процессов в вычислительной системе с автоматическим распределением ресурсов в случае возникновения отказа какого-либо из устройств системы, а также в случае возникновения отказа какого-либо из блоков внутри устройств системы;

4. Созданные аппаратные средства для контроля выполнения операций в блоке вещественной арифметики исполнительного устройства макета ВСАРР и выдачи сообщений о возникающих неисправностях на НОБТ-машину.

Публикации.

По материалам диссертационной работы опубликовано 9 научных работ.

Структура и объем диссертации.

Диссертационная работа состоит из введения, четырех глав, списка литературы из 75

Заключение диссертации по теме «Вычислительные машины и системы», Градов, Евгений Сергеевич

Основные результаты диссертационной работы.

1. В работе проведен анализ методов контроля вычислений и обеспечения отказоустойчивости современных вычислительных систем, позволивший определить возможность их применения для вычислительной системы принципиально новой архитектуры, возникающих при обнаружении неисправностей и устранении их последствий.

2. Проведено исследование архитектуры вычислительной системы с автоматическим распределением ресурсов, позволившее определить роль и задачи системы контроля вычислительных процессов в исследуемой вычислительной системе.

3. Разработаны методы контроля вычислительных процессов для вычислительной системы принципиально новой архитектуры, позволяющие обеспечить высокую достоверность выдаваемых результатов и повысить надежностные характеристики вычислительных средств за счет сокращения времени диагностики.

4. Предложена методика проектирования встроенного аппаратного контроля устройств вычислительной системы с автоматическим распределением ресурсов.

5. Разработан алгоритм восстановления вычислительных процессов в исследуемой вычислительной системе в случае отказа какого-либо из исполнительных устройств системы.

6. Предложен алгоритм восстановления вычислительных процессов на уровне исполнительного устройства в случае отказа какого-либо из блоков, входящих в его состав.

7. Разработан алгоритм восстановления вычислительных процессов вычислительной системы с автоматическим распределением ресурсов в реальном масштабе времени в случае отказа устройств, входящих в ее состав с использованием резервных копий токенов и пар задачи, сохраняемых в контрольных точках виртуального графа задачи.

8. Созданы аппаратные средства для контроля выполнения операций в блоке вещественной арифметики исполнительного устройства макета ВСАРР и аппаратные средства для выдачи сообщений о возникающих неисправностях на НОвТ-машину.

Практическая значимость. Практическая значимость работы заключается в следующем:

• разработанные в диссертационной работе методы организации аппаратного контроля вычислительных процессов и алгоритмы обеспечения отказоустойчивого функционирования устройств вычислительной системы с автоматическим распределением ресурсов обеспечивают высокую достоверность выдаваемой информации;

• разработанные и реализованные аппаратные средства для контроля выполнения операций в блоке вещественной арифметики исполнительного устройства макета ВСАРР и аппаратные средства выдачи сообщений о возникающих неисправностях на НОБТ-машину, делают возможным дальнейшее развитие и модернизацию макета, а также апробацию на нем алгоритмов предлагаемых для реализации в макетах новых версий и впоследствии - полномасштабной ВСАРР;

• разработанные методы проектирования макета устройств, основанные на модульном принципе построения с применением программируемых логических интегральных схем (ПЛИС) позволяют существенно сократить временные и аппаратные затраты, необходимые для разработки новых версий отказоустойчивых устройств макета, а в дальнейшем - отказоустойчивых устройств полномасштабной системы.

Реализация результатов работы.

Новые теоретические положения и технические решения опробованы экспериментально на макете ВСАРР. Результаты работы реализованы в Институте проблем информатики РАН (ИПИ РАН) в отделе Проблем построения информационно-вычислительных систем высокого параллелизма при исследовании и разработке нетрадиционной архитектуры вычислительных систем с автоматическим распределением ресурсов, а также при реализации проекта по созданию макета вычислительной машины данной архитектуры.

Апробация работы.

Основные положения и результаты работы докладывались и обсуждались на научных семинарах в ИПИ РАН в 2000-2004 гг., а также на ряде международных и всероссийских конференций в период с 2000 года по 2003 год: на международных молодежных научных конференциях "XXV Гагаринские чтения" (Москва, 2000) и "XXVI Гагаринские чтения" (Москва, 2001); на международной научной конференции "С.А. Лебедев и развитие отечественной вычислительной техники" (Москва, 2002); на международной научнотехнической конференции Интеллектуальные и многопроцессорные системы ИМС'2003 (пос. Дивноморское, 2003).

Исследование разработанных методик, алгоритмов и схемотехнических решений проводились в отделе Проблем построения информационно-вычислительных систем высокого параллелизма Института проблем информатики РАН при реализации проекта по созданию макета ВСАРР.

Заключение

Список литературы диссертационного исследования кандидат технических наук Градов, Евгений Сергеевич, 2004 год

1. Курейчик В.М., Родзин С.И. Контролепригодное проектирование и самотестирование СБИС: проблемы и перспективы. М.: Радио и связь, 1994.

2. Родзин С.И. Программно-аппаратные методы и модели обеспечения отказоустойчивости и самотестируемости вычислительных систем/ Проблемы и перспективы развития устройств автоматики, связи и ВТ. Ростов-Дон: РГУПС, 2000.

3. Согомонян Е.С., Слабаков Е.В. Самопроверяемые устройства и отказоустойчивые системы. — М.: Радио и связь, 1989.

4. Журавлев Ю.П., Котелюк Л.А., Циклинский Н.И. Надежность и контроль ЭВМ. — М.: Сов. Радио, 1978.

5. Селлерс Ф. Методы обнаружения ошибок в работе ЭЦВМ. М.: Мир, 1972.

6. N.Suri, C.Walter, M.Hugue. Advances in Ultra-Dependable Distributed Systems// IEEE Computer Society Press, Los Alamitos, Ca. 1995

7. Akers S., Krishnamurthy B. A Group-Thoretic Model for Symmmetric Interconnection Networks/ЛЕЕЕ Tr. On Сотр., V.38, N 4, April 1989, pp.555-565.

8. Smith T. High Performance Fault-Tolerant Real Time Computer Architecture.//FTCS-16, Vienna, Austria, 1986.

9. Jonson D. The Intel 432: A VLSI Architecture for Computer Systems.//Computer, V.17, N3, August 1984, pp. 40-48

10. Васильев Н.П. и др. Самовосстанавливаемая управляющая ВС.// В книге III Всесоюзное совещание по технической диагностике. М., Наука, 1975.

11. Согомонян Е.С. Отказоустойчивые избыточные структуры.// Автоматика и телемеханика, 1986, N10.

12. Wakerly J. Trippled Modular System Organization.// IFIP Congress, Stokholm, Sweden, 1974.

13. Ведешенков В. А. Об организации само диагностируемых цифровых систем.// Автоматика и телемеханика, N7,1983.

14. Гарднер X. Полностью аппаратное резервирование без участия программ// Электроника, 1983, N2, стр. 39-43.

15. Wallance J.J. Barnes W.W. Designing for Ultrahigh Availability: the Unix RTR Operating System// Computer, 1984, N8, pp. 31-39.

16. Харченко B.C. Модели и алгоритмы реконфигурации отказоустойчивых систем с адаптивной многоярусной мажоритарно-резервированной структурой.// Автоматика и телемеханика, N8,2000.

17. Кривоносое А.И., Меховской Н.Ф. и другие. Эскизный проект. Бортовая цифроваявычислительная машина унифицированной космической платформы. КБЭ (г.Харьков), 1990, печ.

18. Каравай М.Ф., Согомонян Е.С. Reliability Analysis of Redundant Systems.// FTCS-8, Toulouse, France, 1978.

19. Веселовский Г.Г., Куприянова M.B. Анализ некоторых комбинаторных свойств двоичного гиперкуба.// Автоматика и телемеханика, N8, 1997, стр. 178-187.

20. J. R. Sklaroff, "Redundancy Management Technique for Space Shuttle Computers," IBM J. Res. Develop. 20, pp. 20-28 (Jan. 1976).

21. Preparata F. On the Connection Assignment Problem of Diagnosable System.// IEEE Tr. On Electr. Computers, EC-16,1967.

22. Кеннет А. Многопроцессорная архитектура для обработки транзакций.// Электроника, т. 56, N2, 1983.

23. Сагг R. The Tandem global update protocol.// Tandem Syst. Rev. 1,2,1985.

24. Rennels D. FT computing Concepts and Examples.// IEEE Tr. On Сотр., V. C-33, N 12, Dec., 1984.

25. Lala J. et al. A Design Appoach for Ultra-Reliable Real-Time Systems.// Computer, V 24, N 5, May, 1991.

26. Cristian F. Understanding Fault-Tolerant Distributed Systems.// Communication of ACM, V 34, N2, Febr. 1991, pp. 57-78.

27. Lapri J. et al. Definition and Analysis of Hardware- and Software- Fault Tolerant Architecture.// Computer, V 23, N 7, July 1992.

28. Analog Devices: New Product Applications ADSP 21xx SHARC Processors, 1999.

29. Шнитман В.З. Современные высокопроизводительные компьютеры Электронный ресурс. // Центр Информационных Технологий. 1996. — Режим доступа: http://citforum.ru/hardware/svk/contents.shtml. - Загл. с экрана.

30. Каравай М.Ф. Математические основы отказоустойчивости.// Методы и системы технической диагностики. Саратов: изд. СГУ, 1990. Вып. 14. 4.1 С.3-7.

31. Agerwala Т., J.L.Martin, J.H.Mirza and others "SP2 System Architecture" // IBM Systems Journal, Vol. 34, M 2,1995.

32. Кузьминский M., Волков Д. Современные суперкомпьютеры: состояние и перспективы // Открытые Системы. 1995. - №6

33. Мокрушин JI.A. Концепция компьютеров потока данных: Обзор-реферат. // JL: ЛЭТИ, каф. ИИТ, 1990

34. Agervala Т., Arvind. Data Flow Systems // Computer. Vol.15. - No.2. Feb, 1982. - P. 10-13

35. Buck J.T., Scheduling dynamic dataflow graphs with bounded memory using the token flowmodel // Thesis of dissertation for the degree of Doctor of Philosophy, University of California at Berkeley, 1993

36. Dennis J., Data Flow Supercomputers // Computer. Vol.13. - No.l 1. Nov, 1980. - P.48-56

37. Dennis J.,. The Evolution of'Static' Data-Flow Architecture // Advanced Topics in Dataflow Computing, ed. L. Bic and J.-L. Gaudiot, Prentice Hall, 1991. P.35-91

38. Kavi K.M., J. Arul, R. Giorgi. Execution and Cache Performance of the Scheduled Dataflow Architecture // Journal of Universal Computer Science, Vol. 6, no. 10,2000

39. Culler D., "The Explicit Token Store" // Journal of Parallel and Distributed Computing, vol.10,289-308,1990.

40. Гиндбург A., M. Милчев, Ю. Солоницын, «Периферийные устройства» // СПб: ПИТЕР, 2001

41. Гордеев А.В., Молчанов А.Ю. "Системное программное обеспечение" // СПб: ПИТЕР, 2002

42. J. Silc, В. Robic, Т. Ungerer. Asynchrony in parallel computing: From dataflow to multithreading // Parallel and Distributed Computing Practices. March 1998. - Vol.1, No.l. -P.56-82.

43. J.B. Denis, G.R. Gao. Multithreaded Architectures: Principles, Projects and Issues // ACAPS Technical Memo 29, MIT, 1994.

44. Arvind, A.T. Dahbura, A. Caro. Computer Architecture Research and the Real World // Computation Structures Group Memo 397, MIT Laboratory for Computer Science, Cambridge, MA, April 23,1997.

45. Фетисов H.C. Архитектура многопроцессорной вычислительной системы потока данных // Препринт №11. м.: ВЦКП АН СССР, 1991.

46. С. Ruggiero, J Sargeant. Control of Parallelism in the Manchester Dataflow Machine // In Functional Programming Languages and Computer Architecture, number 274 in Lecture Notes in Computer Science, P.l-15. SpringerVerlag, 1987.

47. Мокрушин JI.A. Концепция компьютеров потока данных: Обзор-реферат. JL: ЛЭТИ, каф. ИИТ, 1990.

48. K.R. Traub, G.M. Popadopoulos, M.J. Beckerle, J.E. Hicks, J. Young. Overview of the Monsoon Project // Proceedings of the 1991 IEEE International Conference on Computer Design, Cambridge, MA, October 1991.

49. Бурцев B.C.,"Система массового параллелизма с автоматическим распределением аппаратных средств суперЭВМ в процессе решения задачи." В сб. Вычислительные машины с нетрадиционной архитектурой.// СуперЭВМ. Выпуск 2, М. ВЦКП РАН, 1994г., с.3-37.

50. Клямко Э.И. Схемный и тестовый контроль автоматических цифровых вычислительных машин. М.: Советское радио, 1963.

51. Akers S.B., On a Theory of Boolean Functions, J. Soc. Ind. Math., 7,4, 1959.

52. Hsiao M.Y., An Algebraic Transformation Method of Simplifying Boolean Functions, Nat. Electron. Conf., Chicago, CP, 63-1468, October, 1963.

53. Г.Чжен, Е.Мэннинг, Г.Метц, Диагностика отказов цифровых вычислительных систем. М.: Мир, 1972.

54. Сапожников Р.А., Бессонов А.А., Шоломицкий А.Г., Надежность автоматических управляющих систем. М.: Высшая школа, 1964.

55. Янкевич Е.А., Градов Е.С., Торчигин С.В., Макетирование исполнительного устройства процессора гибридной архитектуры // С.А. Лебедев и развитие отечественной вычислительной техники, Москва, 2002, стр. 176-180

56. Армстронг Ж.П. Моделирование цифровых систем на языке VHDL. М.: Мир, 1992.

57. Соловьев В.В. Проектирование цифровых систем на основе программируемых логических интегральных схем. М.: "Горячая линия-Телеком, Радио и связь", 2001.

58. Стешенко В.Б. ПЛИС фирмы "Altera": Элементная база, система проектирования и языки описания аппаратуры. М.: "Додэка-ХХГ, 2002.

59. Яицков А.С. VHDL язык описания аппаратных средств: Учеб. пособие. — М.: МАТИ-РГТУ "ЛАТМЭС", 1998.

60. Разевиг В.Д. Система проектирования цифровых устройств OrCAD. М.:"Солон-Р", 2000.

61. Антонов А.П., Мелехин В.Ф., Филиппов А.С. Обзор элементной базы фирмы ALTERA. -СПб.: Файнстрит, 1997.

62. Altera Corporation. APEX 20К Programmable Logic Device Family. Data Sheet. August 1999. ver.2.02.

63. Altera Corporation. Hardcopy Stratix device family. Data sheet. June 2003.

64. Altera Corporation. FLEX 10KE Embedded Programmable Logic Family. Data Sheet. June1999. ver.2.01.

65. Altera Corporation. Quartus Brochure. October 1999.

66. Шнитман B.3., Кузнецов С.Д. Аппаратно-программные платформы корпоративных информационных систем Электронный ресурс. // Центр Информационных Технологий. 1996. - Режим доступа: http://citforum.ru/hardware/appkis/contents.shtml. -Загл. с экрана.

67. Шнитман В.З., Кузнецов С.Д. Серверы корпоративных баз данных Электронный ресурс. // Центр Информационных Технологий. 1997. - Режим доступа: http://citforum.ru/database/skbd/contents.shtml. - Загл. с экрана.

68. Пескова С.А., Гуров А.И., Кузин A.B. Центральные и периферийные устройства электронных вычислительных средств; под ред. О.П. Глудкина. — М.: Радио и связь, 1999.

69. Опадчий Ю.Ф., Глудкин О.П., Гуров А.И. Аналоговая и цифровая электроника. М.: Радио и связь, 1996.

70. Левин И.И. Модульно-наращиваемая многопроцессорная вычислительная система со структурно-процедурной организацией вычислений на основе ПЛИС-технологии. // Научно-теоретический журнал "Искусственный интеллект".- 2003. №4. - С. 446-453.

71. Кузьминский М., Волков Д. Современные суперкомпьютеры: состояние и перспективы // Открытые Системы. 1995. - №6. - С.33-40.

72. Гиндбург А., М. Милчев, Ю. Солоницын, «Переферийные устройства» // СПб: ПИТЕР, 2001

73. БВО блок вещественных операций1. БГП буфер готовых пар

74. БПЦСО блок простых целочисленных и специальных операций1. БК буфер команд

75. БЦО блок целочисленных операций1. ВМ вычислительная машина

76. ВСАРР вычислительная система с автоматическим распределением ресурсов1. ИС интегральная схема

77. ИУ исполнительное устройство

78. КМАП коммутатор модулей ассоциативной памяти

79. МАП модуль ассоциативной памяти

80. МИУ многопоточное исполнительное устройство

81. ООЗУ общее оперативное запоминающее устройство

82. ПЛИС программируемые логические интегральные схемы

83. САПР система автоматизированного проектирования

84. СВК схема встроенного контроля1. УУ устройство управления

85. УУСК устройство управления системой контроля

86. ФУ функциональное устройство