Исследование методов отладки аппаратуры и программного обеспечения на процессоре с автоматическим распределением ресурсов тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат технических наук Торчигин, Сергей Владимирович

• Торчигин, Сергей Владимирович
• кандидат технических наук
• 2003

Оглавление диссертации кандидат технических наук Торчигин, Сергей Владимирович

Введение.

ГЛАВА 1. Обзор современных высокопроизводительных вычислительных комплексов и методов их отладки.

Архитектуры современных многопроцессорных систем.

Сравнительный анализ современных многопроцессорных вычислительных систем.

Вычислительные системы, управляемые потоком данных.

Основные проблемы, связанные с отладкой задач и аппаратуры современных вычислительных систем.

Общая методика отладки аппаратных средств вычислительных систем.

Трудности при отладке задач на многопроцессорных вычислительных системах традиционных архитектур.

Обзор средств для отладки программ на современных многопроцессорных вычислительных системах.

Методы отладки многопоточных программ на вычислительных системах с массовым параллелизмом.

Выводы.

ГЛАВА 2. Особенности организации вычислительных процессов и архитектура вычислительной системы с автоматическим распределением ресурсов.

Исследование принципов организации вычислений при автоматическом распределении ресурсов.

Основные архитектурные особенности вычислительной системы с автоматическим распределением ресурсов.

Исследование и разработка принципов взаимодействия между вычислительной системой с автоматическим распределением ресурсов и ХОСТ - машиной.

Выводы.

ГЛАВА 3. Методы отладки вычислительной системы с автоматическим распределением ресурсов.

Исследование необходимых аппаратных средств для отладки устройств вычислительной системы с автоматическим распределением ресурсов.

Обоснование дополнительной аппаратной поддержки в вычислительной системе с автоматическим распределением ресурсов для отладки задач пользователей и аппаратуры самой системы.

Обоснование методики автономной отладки аппаратуры вычислительной системы с автоматическим распределением ресурсов.

Обоснование необходимых средств для отладки задач в вычислительной системе с автоматическим распределением ресурсов.

Исследование подходов к отладке задач на вычислительной системе с автоматическим распределением ресурсов.

Выводы.

ГЛАВА 4 Реализация предложенных методов в виде набора сервисных программ для вычислительной системы с автоматическим распределением ресурсов.

Состав и функциональные возможности разработанных программных средств для обмена информацией между макетом вычислительной системы с автоматическим распределением ресурсов и инженерным персональным компьютером.

Особенности реализации программного обеспечение инженерного персонального компьютера.

Особенности реализации программных средств для отладки макета вычислительной системы с автоматическим распределением ресурсов.

Особенности реализации программного обеспечения для отладки задач, выполняемых на макете вычислительной системы с автоматическим распределением ресурсов.

Введение диссертации (часть автореферата) на тему «Исследование методов отладки аппаратуры и программного обеспечения на процессоре с автоматическим распределением ресурсов»

Актуальность темы

В настоящее время в различных областях науки и техники, таких как энергетика, аэродинамика, биология, информатика, экономика и других существует большое количество сложных вычислительных задач. Эти задачи требуют огромных вычислительных мощностей и, как правило, имеют большое количество глобальных (разделяемых) данных, что приводит к снижению реальной производительность суперЭВМ и вычислительных комплексов. Можно назвать две основные проблемы, тормозящие рост реальной производительности вычислительных комплексов:

1. Необходимость поддержки когерентности КЭШ памяти.

2. Необходимость синхронизации вычислительных процессов по данным.

Это приводит к тому, что реальная производительность универсальных суперЭВМ и многопроцессорных вычислительных комплексов на задачах с относительно большим количеством глобальных данных составляет в среднем лишь 12-15 процентов от пиковой производительности комплексов [37, 38]. Для устранения этих серьезных недостатков необходима разработка совершенно новых методов организации вычислительного процесса и аппаратных средств, реализующих эти методы.

В этой связи весьма перспективным выглядит подход, в котором вычислительный процесс управляется потоками готовых к обработке данных [35, 36]. Этот подход в течение длительного времени привлекает к себе внимание разработчиков компьютеров многими весьма ценными для получения предельной производительности особенностями. В первую очередь, это связано с тем, что уже на стадии изложения алгоритма в максимальной степени исключается взаимосвязь операций, и провозглашается принцип «можно выполнять одновременно все операции, для которых в этот момент готовы операнды». Выполнение этого принципа обеспечивает предельную степень параллелизма, который имеется у конкретной задачи.

В настоящее время спроектирован, изготовлен, отлажен и прошел всесторонние испытания макет вычислительной системы с автоматическим распределением ресурсов (ВСАРР), который позволил исследовать, как на программном, так и на аппаратном уровнях большинство проблем, возникающих при разработке полномасштабной ВСАРР. Одной из основных таких проблем является исследование и разработка современных методов отладки аппаратуры ВСАРР и выполняемых на ней задач. Эти вопросы рассматриваются в настоящей работе.

Отличительной особенностью ВСАРР является автоматическое (без вмешательства программиста) распределение ресурсов системы и распараллеливание вычислительных процессов. Еще одной отличительной особенностью ВСАРР является то, что организацию параллельных вычислительных процессов выполняет ассоциативная память. Проведенные исследования на имитационной модели и макете ВСАРР на задачах с относительно большим количеством глобальных данных показали, что при увеличении числа исполнительных устройств и модулей ассоциативной памяти производительность всей системы в целом возрастает пропорционально количеству процессоров, если параллелизм самой задачи достаточно высок. ВСАРР может эффективно работать, как в многозадачном режиме, так и в режиме управления процессами внутри большой задачи. На аппаратном уровне, без затраты времени исполнительных устройств, решена проблема синхронизации вычислительных процессов как по данным внутри системы, так и по данным, которые приходят от внешних объектов, работающих в реальном масштабе времени.

Исполняемая на ВСАРР задача может быть представлена в виде графа вычислений, каждый узел которого имеет не более двух входов и практически неограниченное количество выходов. Так как в ВСАРР последовательность выполнения большинства операций не определена и ход их выполнения может изменяться при различных запусках одной и той же задачи, то отладка задач на ВСАРРР требует принципиально новых подходов, которые исследуются в настоящей работе. Весьма актуальными являются следующие новые вопросы, возникающие при отладке задач:

• разработка методов отладки задач на ВСАРР;

• разработка принципов организации системного программного обеспечения для отладки задач на ВСАРР;

• разработка методов отладки аппаратуры ВСАРР;

• аппаратная поддержка методов отладки задач, проходящих на ВСАРР;

• аппаратная поддержка методов отладки системного программного обеспечения, расположенного на ВСАРР.

Наряду со средствами отладки задач необходимо разработать средства для автономной отладки следующих компонентов аппаратуры ВСАРР:

• ассоциативной памяти;

• многопоточных исполнительных устройств;

• всей системы в целом.

Цель диссертационной работы

Цель работы - исследовать новые методы отладки системного программного обеспечения и прикладных задач для новой вычислительной системы с автоматическим распределением ресурсов. Разработать принципы отладки задач для указанной архитектуры. Создать программное обеспечение для отладки прикладных задач, выполняемых на рассматриваемой архитектуре, а также для отладки аппаратуры указанной вычислительной системы. Создать необходимую аппаратную поддержку разработанных методов отладки.

Методы исследования

Исследования проводились с использованием теории операционных систем, теории параллельных вычислительных процессов. Программное обеспечение для отладки ВСАРР создавалось на основе современных принципов объектно-ориентированного программирования.

Степень научной новизны

Впервые исследованы и разработаны методы, позволяющие отлаживать программное обеспечение и аппаратуру для новой вычислительной системы с автоматическим распределением ресурсов и с новыми подходами к организации процесса вычислений. Научная новизна работы состоит в следующем:

• предложены методы отладки системных и прикладных задач на ВСАРР;

• предложена аппаратная поддержка для методов отладки системных и прикладных задач;

• выявлены специфические компоненты системного программного обеспечения, необходимые для отладки задач на ВСАРР;

• сформулированы принципы разработки программно-аппаратных средств для отладки аппаратуры ВСАРР;

• исследованы и разработаны структура и алгоритмы функционирования сервисных программ, выполняющих следующие функции: о получение и визуализация результатов; о сбор статистики о работе ВСАРР; о загрузка данных и кода программ в память рассматриваемой вычислительной системы, а также их модификации; о считывание содержимого логических анализаторов с устройств ВСАРР.

Практическая значимость

Практическая значимость заключается в следующем:

• разработано программное обеспечение для отладки системных и прикладных задач запускаемых на ВСАРР;

• определены особенности аппаратной поддержки ВСАРР, необходимые для обеспечения эффективной отладки системных и прикладных задач;

• реализовано и апробировано на макете разработанное программное обеспечение для отладки аппаратуры макета ВСАРР.

Все перечисленное выше было разработано, отлажено и практически апробировано при отладке макета ВСАРР.

Полученные результаты диссертационной работы могут быть использованы при отладке аппаратуры полномасштабной суперЭВМ с автоматическим распределением ресурсов, а также сложных задач, требующих больших объемов вычислений, выполняемых на этой суперЭВМ. Кроме того, полученные результаты могут быть использованы при отладке аппаратуры и задач на суперЭВМ подобной архитектуры.

Апробация результатов

Основные положения и результаты работы докладывались и обсуждались на научных семинарах в ИПИ РАН 2000-2003 г., на международных конференциях «Информационные технологии в науки, образовании, телекоммуникации, бизнесе» 2001 и 2002 годах, на международной конференции «Интеллектуальные и многопроцессорные системы ИМС'2003» в 2003 году. Исследование разработанных методик и механизмов отладки проводилось в Институте проблем информатики РАН при отладке макета ВСАРР.

Объем работы

Диссертационная работа состоит из введения, четырех глав, заключения, списка литературы и приложения. Объем диссертации: всего 178 е., из них основного текста 147с., список литературы из 80 наименований, 50 рисунков.

Заключение диссертации по теме «Вычислительные машины и системы», Торчигин, Сергей Владимирович

Основные результаты работы

1. Разработана методика отладки аппаратуры ВСАРР.

2. Предложена аппаратная и программная поддержка автономной отладки устройств ВСАРР.

3. Предложена аппаратная поддержка для отладки аппаратуры, системного программного обеспечения и прикладных задач,

4. Разработано и создано программное обеспечение для отладки аппаратуры ВСАРР.

5. Разработана методика отладки системных и прикладных задач на ВСАРР.

6. Разработано и создано программное обеспечение для отладки системных и прикладных задач на ВСАРР.

7. Намечены пути дальнейшего развития разработанных средств для использования их в полномасштабной ВСАРР.

Заключение

Опыт отладки макета ВСАРР подтвердил правильность методов и подходов, разработанных в ходе диссертационной работы, и помог сформировать направления дальнейшего развития программно- аппаратных средств для ВСАРР. На практике получены следующие результаты: определены архитектурные особенности аппаратной поддержки ВСАРР, необходимые для обеспечения эффективной отладки задач; разработано программное обеспечение для отладки системных и прикладных задач; разработано программное обеспечение для отладки аппаратуры ВСАРР.

Все перечисленные программно-аппаратные средства были разработаны, отлажены и апробированы при отладке макета ВСАРР. В рамках диссертационной работы, на основе опыта разработки и отладки макета, выявлены и проанализированы возникающие при отладке проблемы и намечены пути их решения. Созданы необходимые аппаратные средства поддержки методов отладки. Для полномасштабной ВСАРР необходимо лишь развитие предлагаемых средств.

Практическая реализация комплекса программного обеспечения и средств аппаратной поддержки для отладки системных и прикладных программ, а также для отладки аппаратуры макета ВСАРР, подтвердила работоспособность и эффективность разработанных средств.

Список литературы диссертационного исследования кандидат технических наук Торчигин, Сергей Владимирович, 2003 год

1. «Архитектура и языки программирования для машин, управляемых потоком данных», // Отчет отдела системного программирования ВЦКП АН СССР за 1989 г.

2. Agervala Т., Arvind. Data Flow Systems // Computer. Vol.15. - No.2. Feb, 1982. -P.10-13

3. Agerwala Т., J.L.Martin, J.H.Mirza and others "SP2 System Architecture" // IBM Systems Journal, Vol. 34, M 2,1995.

4. Amos В., S. Deshpande, M. Mayfield, F. O'Connell "RS/6000 SP 375MHz POWER3 SMP High Node", White paper, IBM Corporation // http://www-l.ibm.com/servers/eserver/ pseries/hardware/whitepapers/nighthawk.pdf August 2000.

5. Buck J.T., Scheduling dynamic dataflow graphs with bounded memory using the token flow model // Thesis of dissertation for the degree of Doctor of Philosophy, University of California at Berkeley, 1993

6. Culler D., "The Explicit Token Store" // Jurnal of Parallel and Distributed Computing, vol.10, 289-308,1990.

7. Culler D.E., K.E. Schauser, T. von Eicken. Two Fundamental Limits on Dataflow Multiprocessing // Computer Science Division University of California, Berkeley : Report No. UCB/CSD 92/716

8. Dennis J., Data Flow Supercomputers // Computer. Vol.13. - No.l 1. Nov, 1980. - P.48-56

9. Dennis J.,. The Evolution of 'Static' Data-Flow Architecture // Advanced Topics in Dataflow Computing, ed. L. Bic and J.-L. Gaudiot, Prentice Hall, 1991. P.35-91

10. Dennis J.B., "First Version of s Data Flow Procedure Language" // Lecture Notes in Computer Science, vol.19,1974.

11. Dorojevets M., COOL multithreading in HTMT SPELL-1 processors // International Journal of High Speed Electronics and Systems. Vol. 10. - No. 1, 2000

12. Gurd J.R. et al., "Fine grain Parallel Computing: the Dataflow Approach" // Lecture Notes in Computers Science, vol.272, 1987

13. Gurd J.R. et al., "The Manchester Prototipe Dataflow Computer" // Communication of the ACM, vol.28, no. 1,1985

14. Kavi K.M., J. Arul, R. Giorgi. Execution and Cache Performance of the Scheduled Dataflow Architecture // Journal of Universal Computer Science, Vol. 6, no. 10,2000

15. Kawakanvi K., Gurd J.R., " A Scalable Dataflow Structure Store" // Proceedings of the 13th Annual Simposium on Computer Architecture, June 1986

16. Sakai S. et al., "An Architecture of a Dataflow Single Chip Processor" // 16 Annual Symposium on Computer Architecture, 1989.

17. Sakai S. et al., "Pipeline Optimisation of a Data-flow Machine" in "Advanced Topics in Data-Flow Computing".

18. Sargeant J. and Kirkham C.C., "Stored Data Structure on the Manchester Dataflow Machine" // Proceedings of the 13th Annual Simposium on Computer Architecture, June 1986.

19. Silc J.„ B. Robic, T. Ungerer. Asynchrony in parallel computing: From dataflow to multithreading // Parallel and Distributed Computing Practices. March 1998. - Vol.1, No.l

20. Sterling Т., L. Bergman. A design analysis of a Hybrid Technology Multithreaded Architecture for Petaflops scale computation // Jet propulsion laboratory California Institute of Technology Pasadena, California, 1999

21. Ungerer Т., В. Robic, J. Silc. Multithreaded processors // The Computer Journal. -Vol.45. No.3. 2002. - P.320-348

22. Ween A.H., "Dataflow Machine Architecture" // ACM Computing Surveys, vol.18, no.4,1986.

23. Yamaguchi Y. et al., "An Architectural Design of a Higly Parallel Dataflow Machine" // in Information Processing 89 (IFIP Congress Proceedings), 1989 Elsevier Sc.Publ.

24. Амосов A.A., Ю.А.Дубинский, Н.В.Копченова "Вычислительные методы для инженеров" учеб. пособие // М.: Высш. шк,, 1994.

25. Антонов А.П., «Язак описания цифровых устройств AlteraHDL» // Москва: РадиоСофт, 2001

26. Антонов А.П., В.Ф.Мелехин, А.С.Филиппов "Обзор элементной базы фирмы ALTERA."//СПб : Файнстрит, 1997.

27. Армстронг Ж.П., "Моделирование цифровых систем на языке VHDL" // М.,МИР, 1992.

28. Архангельский А.Я., «Delphi 7 справочное пособие» // Москва: БИНОМ, 2003

29. Берд К. Петафлопсные вычисления: дорого, но реально (часть1) // Компьютерра. -2000.- 13 дек.

30. Бибило П.Н., «Синтез логических схем с использованием языка VHDL» // Москва: СОЛОН-Р, 2002

31. Букатов А.А. Разработка средств непроцедурной реализации распараллеливающих преобразований программ. // Труды Всероссийской научной конференции

32. Фундаментальные и прикладные аспекты разработки больших распределенных комплексов». Абрау-Дюрсо. 1998.-е. 109-116.

33. Бурцев B.C., Л.Г.Тарасенко "Использование стандартных микропроцессоров в системе потока данных" В сб. Вычислительные машины с нетрадиционной архитектурой.// СуперЭВМ. Выпуск 3, М., ИВВС РАН, 1995г., с.3-30.

34. Бурцев В.С.,"Система массового параллелизма с автоматическим распределением аппаратных средств суперЭВМ в процессе решения задачи." В сб. Вычислительные машины с нетрадиционной архитектурой.// СуперЭВМ. Выпуск 2, М. ВЦКП РАН, 1994г., с.3-37.

35. Воеводин Вл.В. Архитектура массивно-параллельных компьютеров (на примере CRAY T3D). Особенности программирования: // Курс лекций. Параллельная обработка данных. http://parallel.ru/

36. Гиндбург А., М. Милчев, Ю. Солоницын, «Переферийные устройства» // СПб: ПИТЕР, 2001

37. Гордеев А.В., Молчанов А.Ю. "Системное программное обеспечение" // СПб: ПИТЕР, 2002

38. Гук М.,"Интерфейсы ПК: справочник" // СПб: ЗАО "Издательство "Питер"", 1999.

39. Данилов П. IBM POWER4 процессор из параллельного мира // http://www.ixbt.com/cpu/ibm-power4.shtml. - 2002. - 12 марта

40. Жилин И. Голубой ключик // Компьютерный мир Харькова. Независимый информационно-аналитический еженедельник. Сетевая версия. 2000. - 14 февр. -№1

41. Иртегов Д., "Введение в операционные системы" // СПб: БХВ-Санкт-Петербург, 2002

42. Каляев А.В. Многопроцессорные системы с программируемой архитектурой. -М.: Радио и связь. 1984. -240 с.

43. Каляев А.В., Левин И.И., Пономарев И.М. Базовый модуль многопроцессорной вычислительной системы с программируемой архитектурой для эффективного решения исследовательских и производственных задач. // Наука производству, М.,№ 11, 1999. -с 33 -39.

44. Каляев А.В., Станишевский О.Б. Принципы построения программно-аппаратных средств супермакрокомпьютеров. // Информатика, М., №2, 1990. -с. 13-21.

45. Каляев А.В., Фрадкин Б.Г., Левин И.И. Унифицированная элементная база для построения реконфигурируемых под задачу вычислительных систем. // Известия ВУЗов, Электроника, М.,№ 1, 1997. -с. 74-83.

46. Каляев А.В., Каляев И.А., Левин И.И., Пономарев И.М. Параллельный компьютер с программируемой под структуру задачи архитектурой. // Труды шестого международного семинара "Распределенная обработка информации", Новосибирск. 1998. -с. 25-29.

47. Картунов В. Еще раз о Hyper Threading // http://www.ixbt.com/cpu/hyperthreading-tech.shtml. 2002. - 10 мая

48. Комолов Д.А., Р.А. Мальяк, А.С. Филиппов «Системы автоматизированного проектирования фирмы ALTERA MAX+PLUS II и QuartusII» // Москва: РАДИОСОФТ, 2002

49. Корнеев В.В., "Параллельные вычислительные системы" // М.: "Нолидж",1999.

50. Корнеев В.В. Архитектуры с распределенной разделяемой памятью // Открытые Системы. -2001. -№3

51. Корнеев В.В. Параллельные вычислительные системы. // М.: "Нолидж", 1999

52. Корнеев В.В. Эволюция микропроцессорных архитектур // Открытые системы.2000. №4

53. Корнеев В.В., А.В. Киселев "Современные микропроцессоры"// М.: "Нолидж",1998.

54. Кузьминский М. Архитектура S2MP свежий взгляд на cc-NUMA // Открытые системы. - 1997. - №2

55. Кузьминский М. Векторно-параллельные суперкомпьютеры NEC // Открытые системы. 1999. - №3

56. Кузьминский М. Дорога к высоким тактовым частотам // Открытые системы.2001.-№2

57. Кузьминский М., Волков Д. Современные суперкомпьютеры: состояние и перспективы // Открытые Системы. 1995. - №6

58. Мокрушин Л.А. Концепция компьютеров потока данных: Обзор-реферат. // Л.: ЛЭТИ, каф. ИИТ, 1990

59. Молчадский В.Д., "Сравнение архитектур SMP и NUMA" // Открытые Технологии. http://www.ot.ru/ru/news/interesting/numa smp.html

60. Новиков Ю.В., «Основы цифровой схемотехники» // Москва: МИР 2001

61. Новиков Ю.В., О.А. Калашников, С.Э. Гуляев, «Разработка устройств сопряжения» //Москва: ЭКОМ, 1997

62. Опадчий Ю.Ф., О.П.Глудкин, А.И.Гуров "Аналоговая и цифровая электроника" // М.,1996, Радио и связь.

63. Пескова С.А., "Курс лекций по дисциплине "Техническое обеспечение и внешние устройства ЭВС" // МАТИ-РГТУ, кафедра МПС, Э и Э.

64. Разевиг В.Д., "Система проектирования цифровых устройств OrCAD" // М.:"Солон-Р", 2000.

65. Севериновский Е. Hyper-Threading: "два-в-одном" от Intel, или Скрытые возможности Хеоп // Компьютерное Обозрение. 2002. - 27 марта. - №12

66. Стешенко В.Б.,"ПЛИС фирмы "Altera": Элементная база, система проектирования и языки описания аппаратуры"// М.: "Додэка-ХХГ, 2002.

67. Тэллес М., Ю. Хсих, «Наука отладки» // Москва: КУДИЦ-ОБРАЗ, 2003

68. Угрюмов Е., «Цифровая схемотехника» // СПб : БХВ-Санкт-Петербург, 2000

69. Харман Э., «Разработка СОМ Приложений в среде Delphi» // Москва: Вильяме, 2000

70. Хетагуров Я. А. Проектирование информационно-вычислительных комплексов -М.: Высшая школа. 1977 г.

71. Хетагуров Я.А., Древе Ю.Г. Проектирование информационно-вычислительных комплексов. М. 1987.- 280с.

72. Хетагуров Я.А. Основы проектирования управляющих вычислительных систем // М.: Радио и связь, 1991,с. 287.

73. Чмырь Игорь Алексеевич. "Теория операционных систем" // курс лекций 10/06/1997 Одесская Государственная Академия Холода.

74. Шмидт В. Системы IBM SP2 // Открытые системы. 1995. - №6

75. Шнитман В.З. Современные высокопроизводительные компьютеры // Центр Информационных Технологий. 1996. - http://citforum.ru/hardware/svk/contents.shtml

76. Шнитман В.З., Кузнецов С.Д. Аппаратно-программные платформы корпоративных информационных систем // Центр Информационных Технологий. 1996. -http://citforum.ru/hardware/appkis/contents.shtml

77. Шнитман В.З., Кузнецов С.Д. Серверы корпоративных баз данных // Центр Информационных Технологий. ^ 1997. http://citforum.ru/database/skbd/contents.shtml

78. Яицков А.С., "VHDL — язык описания аппаратных средств: Учебное пособие" // , МАТИ-РГТУ "ЛАТМЭС",М., 1998.

79. Ясинявичус Р.Ю. Параллельные пространственно-временные вычислительные структуры. //Вильнюс: Мокслас. 1988 г. -с. 181.el- оч- <57a1. Российская академия наук

80. Q Институт проблем информатики1. На правах рукописи

81. Торчигин Сергей Владимирович

82. ИССЛЕДОВАНИЕ МЕТОДОВ ОТЛАДКИ АППАРАТУРЫ И ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ НА ПРОЦЕССОРЕ С АВТОМАТИЧЕСКИМ РАСПРЕДЕЛЕНИЕМ РЕСУРСОВ0Jt±щ7с/1с/if1. G ifc1. Hit? ictc^rerycL^

83. KcCttftyCfa"^ длительные машины и системы»

84. Дата Читательский билет № Диспетчерский № Сот𠹕