Методы и средства создания эффективного параллельно-конвейерного программного обеспечения вычислительных систем, построенных на основе плис-технологии тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Иванов, Андрей Игоревич

• Иванов, Андрей Игоревич
• кандидат технических наук
• 2005

Оглавление диссертации кандидат технических наук Иванов, Андрей Игоревич

Введение.

1. АНАЛИЗ ПРОЦЕССОВ ВЫСОКОСКОРОСТНОЙ ОБРАБОТКИ ДАННЫХ.

1.1. Определение задач больших размерностей.

1.2. Анализ эффективности решения задач больших размерностей на высокопроизводительных вычислительных системах с традиционной архитектурой.

1.3. Анализ путей построения проблемно-ориентированного вычислителя для решения вычислительно трудоемких задач.

1.4. Архитектура ПЛИС-систем.

1.5. Принципы построения проблемно-ориентированного вычислителя для решения вычислительно трудоемких задач.

1.6. Выводы.

2. МЕТОДЫ ОРГАНИЗАЦИИ ПАРАЛЛЕЛЬНО-КОНВЕЙЕРНЫХ ВЫЧИСЛЕНИЙ НА ОСНОВЕ ПЛИС-ТЕХНОЛОГИИ ДЛЯ РЕШЕНИЯ РАСЧЕТОЕМКИХ ЗАДАЧ. ф 2.1. Конвейерная реализация трудновычислимых фрагментов задачи.

2.2. Параллельно-конвейерная реализация условных операторов.

2.3. Реализация рекуррентных выражений.

2.4. Реализация параллельных вычислений синхронизируемых макроконвейером.

2.5. Выводы.

3. СРЕДСТВА ОРГАНИЗАЦИИ ПАРАЛЛЕЛЬНО-КОНВЕЙЕРНЫХ ВЫЧИСЛЕНИЙ НА ОСНОВЕ ПЛИС-ТЕХНОЛОГИИ ДЛЯ а РЕШЕНИЯ ВЫЧИСЛИТЕЛЬНО ТРУДОЕМКИХ ЗАДАЧ.

3.1. Методы организации параллельно-конвейерных вычислений в вычислительных системах на основе ПЛИС.

3.2. Средства программирования вычислительных устройств, построенных на основе ПЛИС-технологии, сочетающих конвейерные и параллельные методы одновременной обработки

V информации.

3.3. Реализация генетического алгоритма на вычислительном устройстве, построенном на основе ПЛИС-технологии при сочетании параллельной и конвейерной одновременной обработки информации.

3.4. Выводы.

Введение диссертации (часть автореферата) на тему «Методы и средства создания эффективного параллельно-конвейерного программного обеспечения вычислительных систем, построенных на основе плис-технологии»

Актуальность темы. Бурное развитие науки и технологии порождает адекватный, а во многих случаях, и опережающий рост размерности актуальных хозяйственных, оборонных и научных задач.

Для решения таких вычислительно сложных задач в разумные промежутки времени, в том числе, в режиме on-line часто необходимы сверхвысокопроизводительные системы. Повышение производительности вычислительных систем в последние десятилетия XX века и начале XXI века определялось, прежде всего, прогрессом в микроэлектронной технологии. В то же время известно, что ресурс повышения производительности за счет одновременного выполнения операций во много раз превышает аналогичный ресурс за счет развития микроэлектронной технологии.

Один из подходов к созданию высокопроизводительных систем известен это построение конвейерных специализированных вычислительных устройств. Структура таких вычислителей изоморфна информационной структуре алгоритма, что обеспечивает естественное распараллеливание вычислительных процессов и минимизацию доли накладного времени до времени заполнения структуры конвейера. В то же время не вызывает сомнения, что создание множества специализированных дорогостоящих устройств, эффективно решающих единственную задачу, экономически нецелесообразно. Кроме того, не каждая задача допускает эффективную конвейерную реализацию.

Другим традиционным путем является создание решающего поля с помощью объединения некоторого множества процессорных элементов. Даже при существенном увеличении темпов обмена, которое может дать размещение указанных процессоров в одном кристалле, неизбежны проблемы согласования межпроцессорного взаимодействия, особенно при несбалансированной загрузке процессоров.

Естественной мерой эффективности той или иной формы одновременных вычислений представляется удельная производительность, являющаяся отношением реальной производительности к затратам аппаратных ресурсов.

Для эффективной одновременной обработки необходимо создавать устройства нового типа, которые обеспечивали бы реализацию совместной обработки сложной функции группой вычислительных устройств, при этом накладное время не должно быть выше собственно времени вычислений.

В последние годы появились ПЛИС, которые дают пользователям возможность создавать новые вычислительные структуры, которые реализуют как параллельный, как и конвейерный тип одновременных вычислений.

В настоящее время не существует математических методов и программных средств, которые позволили бы совмещать для единого устройства конвейерные и параллельные методы одновременных вычислений.

Объект исследований. Объектом исследования являются методы и программные средства, позволяющие сочетать параллельные и конвейерные методы одновременной обработки информации.

Целью работы является сокращение времени решения расчетоемких задач за счет создания методов и программного обеспечения, позволяющих эффективно совмещать конвейерные и параллельные методы одновременных вычислений в одном устройстве, построенном на базе ПЛИС.

Методы исследований. При проведении исследований были использованы элементы теории вычислительных систем, теория графов, теория множеств. Экспериментальные исследования проведены на действующих образцах вычислительных систем, построенных на основе ПЛИС-технологии.

Научная задача, решаемая в диссертации, - это создание методов и программных средств, позволяющих сочетать в едином вычислительном устройстве параллельные и конвейерные методы одновременной обработки информации для повышения производительности систем при решении расчетоемких задач и, как следствие, снижение времени решения таких задач до допустимых или требуемых пределов.

Для достижения указанной цели должны быть решены следующие научные задачи.

1) Проведен анализ методов и моделей одновременных вычислений.

2) Разработаны методы оценки эффективности реализации параллельных и конвейерных вычислений.

3) Разработана методика организации гибридных одновременных вычислений, сочетающих параллельные и конвейерные вычисления в едином вычислительном устройстве.

4) Разработаны программные средства для поддержки гибридных одновременных вычислений, сочетающих параллельные и конвейерные вычисления в едином вычислительном устройстве.

5) Разработаны алгоритмы решения прикладных задач на основе гибридных одновременных вычислений, сочетающих параллельные и конвейерные вычисления в едином вычислительном устройстве.

Научная новизна работы состоит в том, что в ней разработаны:

1) Новые методы анализа и выбора рационального варианта одновременной обработки для фрагмента задачи, содержащего условные операторы. Эти методы отличаются от известных анализом вероятности выполнения ветви условного оператора.

2) Новые методы анализа и выбора рационального варианта одновременной формы обработки для фрагмента задачи, содержащего рекуррентные выражения. В отличие от известных предлагаемые методы допускают параллельную, конвейерную, макроконвейерную или параллельно-конвейерную организацию вычислений для рекуррентных вычислений.

3) Новая методика организации гибридных одновременных вычислений, которая в отличие от известных методик сочетает параллельные и конвейерные вычисления в едином вычислительном устройстве.

Практическая значимость. Использование созданных методов и программных средств позволяет повысить производительность при решении ряда вычислительно сложных задач в 1,5 - 2 раза.

Созданные программные средства позволяют в 1,3 раза сократить время создания гибридных программ, сочетающих параллельные и конвейерные вычисления в едином вычислительном устройстве.

Созданные методы и программные средства обеспечивают расширение класса решаемых задач.

Новые алгоритмы одновременной обработки позволяют повысить скорость преобразования информации для процедур, использующих генетические алгоритмы, в 2-3 раза.

Использование результатов работы. Теоретические и практические результаты диссертационной работы использованы при выполнении НИОКР "Фактор", "Начинка", "Радикал", "Прокол-Б1", выполняемыми ЗАО "Эврика" и ОАО "СКБ Топаз", а также при разработке специального программного обеспечения в войсковой части 26165. Кроме того, созданные программные средства были использованы при разработке и отладке программно-технических средств перегрузочной машины ядерного реактора, выполняемых в рамках ОКР "Контроль", что подтверждается соответствующими актами внедрения.

Апробация работы. Основные результаты работы докладывались и обсуждались на всероссийских и международных научно-технических конференциях:

- Научная международная школа "Высокопроизводительные вычислительные системы (ВПВС-2004)", Москва-Ростов-на-Дону-Таганрог, 2004 г.;

- Всероссийская Научно-Техническая Конференция "Параллельные вычисления в задачах математической физики", Ростов-на-Дону, 2004 г.;

- Международная конференция "Интеллектуальные и многопроцессорные системы-2004", Украина, пос. Кацивели, 2004 г.

Наиболее важными из публикаций являются:

1) Иванов А.И. Требования к проблемно-ориентированным комплексам, предназначенным для решения задач, обладающих высокой емкостной и временной сложностью // Высокопроизводительные вычислительные системы (ВГТВС-2004). Материалы научной международной школы. - Таганрог: Изд-во ТРТУ, 2004. - С. 75-79.

2) Иванов А.И. О создании и применении проблемно-ориентированных комплексов, предназначенных для решения задач, обладающих высокой емкостной и временной сложностью // Искусственный интеллект. — Донецк: Наука \ осв1та, 2004. - Т 4. - С. 15-26.

3) Иванов А.И. Требования к проблемно-ориентированным комплексам, предназначенным для решения задач, обладающих высокой емкостной и временной сложностью // Искусственный интеллект. Интеллектуальные и многопроцессорные системы. Материалы международной научно-технической конференции. - Таганрог: Изд-во ТРТУ, 2004. -Т 1. - С. 101-106.

4) Иванов А.И., Коновальчик П.М., Левин И.И., Малеванчук А.Д. Модульно-наращиваемые многопроцессорные вычислительные системы для решения задач математической физики // Материалы Всероссийской Научно-Технической Конференции "Параллельные вычисления в задачах математической физики". - Ростов-на-Дону: Изд-во ЮГИНФО РГУ, 2004. -С. 77-83.

5) Иванов А.И., Коновальчик П.М., Левин И.И., Малеванчук А.Д. Многопроцессорная система, адаптируемая под структуру задач различных проблемных областей // Искусственный интеллект. Интеллектуальные и многопроцессорные системы. Материалы международной научно-технической конференции. - Таганрог: Изд-во ТРТУ, 2004. - Т 1. - С. 34-38.

6) Иванов А.И., Коновальчик П.М., Левин И.И., Малеванчук А.Д. Многопроцессорная система, адаптируемая под структуру задач различных проблемных областей // Высокопроизводительные вычислительные системы

ВПВС-2004). Материалы научной международной школы. - Таганрог: Изд-во ТРТУ, 2004. - С. 44-49.

7) Иванов А.И., Коновальчик П.М., Левин И.И., Малеванчук А.Д. Многопроцессорная система, адаптируемая под информационную структуру задач различных классов // Искусственный интеллект. — Донецк: Наука i освгга, 2004.-ТЗ.-С. 140-148.

8) Иванов А.И., Коновальчик П.М., Левин И.И., Малеванчук А.Д. Макрообъектная вычислительная система // Тематический выпуск "Интеллектуальные и многопроцессорные системы". Известия ТРТУ. -Таганрог: Изд-во ТРТУ, 2004. - С. 28-36.

9. Иванов А.И., Коновальчик П.М. Методы организации параллельно-конвейерных вычислений для решения расчетоемких задач // Информационные технологии. Москва, 2004. - № 12. - С. 38-43.

Из работ, выполненных в составе коллектива авторов, в диссертации использованы результаты, полученные автором лично.

Структура диссертации. Диссертация состоит из введения, трех глав, библиографического списка и приложений.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Иванов, Андрей Игоревич

3.4. Выводы

Вычислительные устройства на основе ПЛИС позволяют совместить параллельную (мультипроцессовую) и конвейерную формы обработки информации в одном устройстве. Предложена функциональная схема такого устройства.

2) Проектирование вычислительных устройств на основе ПЛИС требует рационального сочетания следующих принципов:

- использование триггеров позволяет сократить длину операционных цепочек, тем самым увеличить тактовую частоту и упростить построение вычислительных схем;

- использование связей с триггера на триггер приводит к потерям аппаратных ресурсов, в частности, к потерям логических элементов. В результате аппаратных ресурсов для организации конвейерных вычислений может потребоваться больше, чем собственно вычислений.

В этом случае имеет смысл произвести свертку конвейерной схемы, осуществить вычисление элемента не за один такт, а за несколько тактов, при этом соответственно снижаются аппаратные затраты.

3) Для реализации совместных параллельных и конвейерных вычислений разработаны и созданы оригинальные программные средства, которые подразделяются на средства описания и средства исполнения одновременных вычислений для вычислительных устройств, построенных на основе ПЛИС.

4) В состав средств описания входят: графический редактор описания фрагмента конвейерного вычисления, программы анализа синхронизации, программа оптимизации информационного графа конвейера, а также транслятор конвейерного графа в УЬГОЬ-описание.

Средства исполнения, прежде всего, включают в себя компоненты ядра встраиваемой ОС.

В качестве примера преимуществ совмещения параллельной и конвейерной форм обработки в одном устройстве приведена реализация генетического алгоритма. Показано соответствие ГА сформулированной в первой главе схеме модельной задачи. Выбраны параметры организации вычислений, обеспечивающие эффективный вариант реализации ГА на основе ПЛИС и сокращающие время выполнения ГА в несколько раз по сравнению с известными параллельными решениями в несколько раз при тех же аппаратных затратах.

172

ЗАКЛЮЧЕНИЕ

Основной научный результат диссертации заключается в разработке методов и программных средств комбинированных конвейерных и параллельных (мультипроцессовых) вычислений в едином вычислительном комплексе, построенном на основе ПЛИС, с целью сокращения времени решения класса расчетоемких задач и как следствие, расширения класса решаемых задач за допустимое время.

При проведении исследований и разработок по диссертации получены следующие теоретические и прикладные результаты.

1) Показано, что максимальная скорость обработки информации может быть обеспечена в специализированном вычислителе, конвейерно реализующем решение задачи. В тоже время не создание множества специализированных дорогостоящих устройств, эффективно решающих единственную задачу, экономически не целесообразно. В связи с чем актуальными являются разработка и создание реконфигурируемых вычислительных систем, в рамках архитектуры которых программист мог бы синтезировать виртуальные параллельно-конвейерные вычислители, структура которых была бы адекватна информационной структуре задачи или ее фрагменту.

2) При реализации вычислительно трудоемких фрагментов, сложность которых находится на пределе возможностей современных научно-технических достижений, наиболее значимым показателем меры эффективности устройства представляется удельная производительность, являющаяся отношением производительности к затратам аппаратных ресурсов. Максимизация этого показателя при реализации алгоритма может сделать возможным решение задачи ранее недоступной размерности.

3) Показано, что при конвейерной реализации вычислений на ПЛИС основными препятствиями повышению производительности являются:

- условные операторы;

- обратные связи (рекурсии);

- необходимость обработки значительных объемов данных на каждой ступени конвейера;

- большой объем информационно-незначимых пересылок.

4) Для каждого из этих препятствий определены методы преодоления.

5) Разработана обобщенная методика создания математического обеспечения, обеспечивающего максимум удельной производительности вычислительной системы.

6) Показано, что применение ПЛИС для решения вычислительно сложных задач обусловлено возможностью перестройки внутренней структуры ПЛИС для обеспечения адекватности решаемой в данный момент задачи или ее фрагменту. Ни одно из существующих микроэлектронных устройств (микропроцессоры, ASIC) такими качествами не обладает. Таким образом, V реализационной основой для построения эффективного программного обеспечения может быть только ПЛИС-технология. Вычислительные устройства на основе ПЛИС позволяют совместить параллельную и конвейерную формы обработки информации в одном устройстве. Предложена функциональная схема такого устройства.

7) Разработаны оригинальные программные средства, обеспечивающие сжатое описание и эффективную реализацию совмещенных конвейерных и параллельных (мультипроцессовых) в едином вычислительном устройстве на основе ПЛИС.

8) В качестве примера преимуществ совмещения параллельной и конвейерной форм обработки в одном устройстве приведена оригинальная реализация параллельного генетического алгоритма.

Список литературы диссертационного исследования кандидат технических наук Иванов, Андрей Игоревич, 2005 год

1. Евреинов Э., Хорошевский В. Однородные вычислительные системы. -Новосибирск: Наука, 1978.

2. Каляев A.B., Каляев И.А. СТОРК-компьютер многопроцессорная вычислительная система со структурной организацией вычислений. // Электронное моделирование. - Киев, 1996. - № 4. - С.5-14.

3. Gordon Е. Moore. Cramming more components onto integrated circuits. Electronics, Volume 38, Number 8, April 19, 1965.

4. Мизин И.А., Махиборода A.B. Архитектура самоопределяемых данных в среде взаимодействия открытых систем. // Материалы Н-ой Международной Конференции «Развитие и применение открытых систем», Петрозаводск, 1995.

5. Каляев A.B. Многопроцессорные однородные вычислительные структуры. // Радиоэлектроника. -М., 1978. № 12. - С. 5-17.

6. Иванов А.И. О создании и применении проблемно-ориентированных комплексов, предназначенных для решения задач, обладающих высокой емкостной и временной сложностью // Искусственный интеллект. Донецк: Наука i ocBiTa, 2004. - Т 4. - С. 15-26.

7. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. Спб.: БХВ-Петербург, 2004. - 600 с.

8. Каляев A.B., Левин И.И. Модульно-наращиваемые многопроцессорные системы со структурно-процедурной организацией вычислений. М.: Янус-К, 2003.-380 с.

9. Ю.Каляев A.B., Левин И.И. Многопроцессорные системы с перестраиваемой архитектурой: концепции развития и применения. // Наука -производству, 1999. № 11.-С.11-19.

10. Поспелов Д.А. Введение в теорию вычислительных систем. М.: Сов. радио, 1972.-280 с.

11. Коуги П.М. Архитектура конвейерных ЭВМ. / Пер. с англ. М.: Радио и связь, 1985.

12. П.Емельянов В.В., Курейчик В.В., Курейчик В.М. Теория и практика эволюционного моделирования. М.: ФИЗМАТЛИТ, 2003. - 432 с.

13. Бурцев B.C. Новые подходы к созданию высокопараллельных вычислительных структур. // Искусственный интеллект 2000. Тез. докл. науч. конф. - Таганрог: ТРТУ, 2000.

14. Бурцев B.C. Новые методы организации вычислительных процессов для задач, обладающих высоким параллелизмом. // Труды международного симпозиума ICSNET' .-М.,2001.-С.61 -64.

15. M.Bolotski. Abacus: A Reconfigurable Bit Parallel Architectures. Ph.Dd.Thesis //. Massachusetts Insitut of Tehnologe, 1996. 126 PP.

16. Бабаян Б.А., Бочаров A.B., Волин A.C. и др. Многопроцессорные ЭВМ и методы их проектирования. / Под ред. Смирнова Ю.М. М.: Высшая школа, 1990.

17. Корнеев В.В., Киселев A.B. Современные микропроцессоры. М.: Нолидж, 1998.

18. Ясинявичус Р. Параллельные пространственно-временные вычислительные структуры. Вильнюс: Мокслас, 1988. - 183 с.

19. Джон Т. Архитектуры вычислительных систем. // Электроника, 1989. -№2. -С. 11-20.

20. Хуан К. Перспективные методы параллельной обработки и архитектура суперЭВМ. //ТИИЭР, 1987. № 10. - С.4-41.22. http://www.beowulf.org23. http://clusters.top500.org.

21. Савин Г.И., Телегин П.Н., Шабанов Б.М. Кластеры Беовульф. // Известия Вузов. Электроника, 2004. №1. - С.7-12.

22. MPI: the message passing interface //http://parallel.ru/tech/techdev/mpi.html.

23. Flynn M.J. Some computer organizations and their effectivenss. IEEE Trans., 1972, v. 6-21, p. 948-960

24. Хэндлер В. Новая архитектура ЭВМ как увеличить параллелизм, не увеличивая сложности. // Системы параллельной обработки. / Под ред. Ивенса Д.-М.: Мир, 1985.-С. 10-44.

25. Handler W. Zur Geneslogie, Stuktur und Klasssifizieren von Rechern Arbeitsbetdeiberichte des IMMD, 1976. № 9. - Ss. 1-30.

26. Kuch D.J. ILLIAC IV. Software and Application Programming. // IEEE Trans. Computer, 1968. - V С17. - № 8. - Pp. 758-770.

27. Connection Mashine. Model CM-2. Technicae Summarg. Thinking Mashine Corporation, Cambridge, MA, 1989.

28. Бурцев B.C. Вычислительные процессы с массовым параллелизмом. Электроника. Наука, Технология, бизнес, 2002. №1.

29. Кохонен Т. Ассоциативная память. М.: Мир, 1980.34. http://www.cray.com/products/systems/.

30. Грушвицкий Р.И., Мурсаев А. X., Угрюмов Е. П. Проектирование систем на микросхемах программируемой логики. СПб.: БХВ-Петербург, 2002. - 608 с.

31. Соловьев В. В. Проектирование цифровых систем на основе программируемых логических интегральных схем. М.: Горячая линия-Телеком, 2001. - 636 с.

32. ГОСТ Р 50754-95. Язык описания аппаратуры цифровых систем VHDL. Описание языка.

33. Суворова Е. А., Шейнин Ю. Е. Язык VHDL для проектирования систем на СБИС: Учебное пособие. / ГУ АЛ, СПб., 2001. 212 с.

34. IEEE Std 1076-1993 // IEEE Standart VHDL Language Reference Manual. IEEE New York, USA, 1994. 632 p.

35. Kalyaev A.V. The Programming of Virtual Problem-Oriented Parallel Supercomputers in the Structure of Universal Supercomputers with Massive Parallelism. // High-Performance Computing. San Diego, California, USA, 1999. -Pp.249-255.

36. Каляев A.B. Принципы и методы программирования виртуальных архитектур в многопроцессорных суперкомпьютерах. // Высокопроизводительные вычисления и их приложения. Черноголовка, 2000. -С.12-16.

37. Каляев А.В. Программирование виртуальных архитектур в суперкомпьютерах с массовым параллелизмом. //Информационные технологии и вычислительные системы. Москва, 2000. № 2.- С.5-21.

38. Аладышев О.С., Дикарев Н.И., Овсянников А.П., Телегин П.Н., Шабанов Б.М. СуперЭВМ: области применения и требования к производительности. // Известия ВУЗов. Электроника, 2004. №1. с. 13-17.

39. Каляев А.В. Программирование виртуальных архитектур в суперкомпьютерах с массовым параллелизмом. //Информационные технологии и вычислительные системы. Москва, 2000. № 2.

40. Т. Makimito. The Rising Wave of Field Programmability. Proceeding of Tehth International Conference on Field-Programmable Logic and Applications FLP-2000. Villach. Austria. August 2000.Springer Lecture Notes in Computer Science 1996. P. 1-6.

41. Станишевский О.Б. Сверхскоростные СБИС для многопроцессорных вычислительных систем. // XXX Всесоюзная школа семинар им. М.А. Гаврилова "Развитие теории дискретных систем и проблема логического проектирования СБИС". Кишинев, 1988.

42. Воеводин B.B. Математические основы параллельных вычислений. -М.: МГУ, 1991.-345 с.

43. Каляев A.B., Левин И.И. Структурно-процедурная организация параллельных вычислений. // Труды межд. конф. "Параллельные вычисления и задачи управления (РАСО'2001)". М: ИПУ РАН им. В.А.Трапезникова, 2001. -Т.5. - С.112-119.

44. Тербер К. Дж. Архитектура высокопроизводительных вычислительных систем. / Пер. с англ. М.: Наука, 1985.

45. Корнеев В.В., Киселев A.B. Современные микропроцессоры. М.: Нолидж, 1998.

46. Майника Э. Алгоритмы оптимизации на сетях и графах. М.: Мир,1981.

47. Иванов А.И., Коновальчик П.М., Левин И.И., Малеванчук А.Д. Многопроцессорная система, адаптируемая под информационную структуру задач различных классов // Искусственный интеллект. Донецк: Наука i освгга, 2004.-ТЗ.-С. 140-148.

48. Иванов А.И., Коновальчик П.М., Левин И.И., Малеванчук А.Д. Макрообъектная вычислительная система // Тематический выпуск

49. Интеллектуальные и многопроцессорные системы». Известия ТРТУ. -Таганрог: Изд-во ТРТУ, 2004. С. 28-36.

50. Евреинов Э.В. Однородные вычислительные системы, структуры и среды. М.: Радио и связь, 1981.

51. Kuck D. The structure of computers and computations. John Wiley and Sons. Inc., New York, NY, 1978.

52. Самофалов К.Г., Луцкий Г.М. Основы теории многоуровневых конвейерных вычислительных систем. Москва: Радио и связь, 1989. - 272 с.

53. Станишевский О.Б. Эффективность арифметической обработки при конвейерных и нейроконвейерных вычислениях. // Конвейерные вычислительные системы. Тезисы докладов. Кишинев, 1988.

54. Сергиенко A.M. VHDL для проектирования вычислительных устройств. Киев: ЧП «Корнейчук», ООО «ТИД «ДС», 2003. - 208 с.

55. Рао С.К., Кайлат Т. Регулярные итеративные алгоритмы и их реализация в процессорных матрицах // ТИИЭР, 1988. Т. 76. - №3. - С. 58-69.

56. Левин И.И. Структурно-процедурная реализация электрического моделирования на многопроцессорной системе. // Известия ВУЗов "Электромеханика", 2002. №1. - С. 27-30.

57. Левин И.И., Пономарев И.М. Структурно-процедурная реализация задачи трассировки. // Искусственный интеллект. Донецк: Наука i освгга, 2003. -№3. - С.121-129.

58. Иванов А.И. О создании и применении проблемно-ориентированных комплексов, предназначенных для решения задач, обладающих высокой емкостной и временной сложностью // Искусственный интеллект. Донецк: Наука i освгга, 2004. - Т 4. - С. 15-26.

59. Иванов А.И., Коновальчик П.М. Методы организации параллельно-конвейерных вычислений для решения расчетоемких задач // Информационные технологии. Москва, 2004. № 12. - С. 38-43.

60. Шейнин Ю.Е. Организация асинхронного вычислительного процесса над структурными данными / В кн.: Параллельное программирование и высокопроизводительные системы. Новосибирск: ВЦ СО АН СССР, 1980. -Ч. 2.-С. 107-116.

61. Мясников В.А., Игнатьев М.Б., Кочкин A.A., Шейнин Ю.Е. Микропроцессоры: системы программирования и отладки. М.: Энергоатомиздат, 1985. - 272 с.

62. Шейнин Ю.Е. Формальная модель динамических параллельных вычислений в параллельных вычислительных системах обработки экспериментальных данных. Научное Приборостроение, 1999. - Т. 9. - № 2. -С. 22-29.

63. Sheynin Y., Novoselova a.I. Object-orientation in parallel VSIPL architecture. Object-Oriented Real-Time Distributed Computing, 2001. ISORC -2001.Proceedings. Fourth IEEE International Symposium on Object-Oriented RealTime Distributed.

64. Котов B.E. Сети Петри. M.: Наука. Главная редакция физико-математической литературы, 1984. - 160 с.

65. VHDL'93. IEEE Standard VHDL Language Reference Manual. IEEE Std 1076-1993.-264 p.

66. Beveridge & Wiener. Multithreading Applications in Win32 / Addison-Wesley, 1997.-368 p.

67. Курейчик B.M. Генетические алгоритмы: Монография. Таганрог: Изд-воТРТУ, 1998.

68. Курейчик В.М. Генетические алгоритмы и их применение: Монография. Таганрог: Изд-во ТРТУ, 2002.

69. Эволюционные вычисления и генетические алгоритмы. Составители Гудман Э.Д., Коваленко А.П. Обозрение прикладной и промышленной математики. М.: Изд-во ТВП, 1966.

70. Искусственный интеллект: В 3 кн. Кн. 2. Модели и методы . Справочник / Под ред. Д.А. Поспелова. М.: Радио и связь, 1990.

71. Попов Э.В., Фирдман Г.Р. Алгоритмические основы интеллектуальных роботов и искусственного интеллекта. М.: Наука, 1976.

72. Курейчик В.В. Эволюционные методы решения оптимизационных задач. Монография. Таганрог: Изд-во ТРТУ, 1999.

73. Нейронные сети, генетические алгоритмы и нечеткие системы М. Пилиньский, Д. Рутковская. 452 стр., 2004 г. Издательство: Горячая Линия -Телеком. ISBN 5-93517-103-1

74. Goldberg,Deb. A comparative analysis of selection schemes used in genetic algorithms. 1991.

75. De Jong, K. (1975). An analysis of the behaviour of a class of genetic adaptive systems. PhD thesis, University of Michigan.

76. Cavicchio, Daniel J. (1970). Adaptive Search Using Simulated Evolution. Ph.D. Dissertation, Ann Arbor: University of Michigan.

77. Syswerda, 1989 Syswerda, G. (1989). Uniform crossover in genetic algorithms. In Proceedings of the Third International Conference on Genetic Algorithms, pages 2-8. Morgan Kauffman.

78. D. E. Goldberg, 1989c. Genetic Algorithms in Search, Optimization & Machine Learning Addison-Wesley (Reading, Mass).

79. Holland John H., Adaptation in Natural and Artificial Systems: An Introductory Analysis with Application to Biology, Control, and Artificial Intelligence. USA: University of Michigan, 1975.

80. Goldberg, D. (1983). Computer-Aided Gas Pipeline Operation using Genetic Algorithms and Rule Learning. PhD thesis, The University of Michigan.

81. Genetic Algorithms and the Variance of Fitness (1991) David E. Goldberg, Mike Rudnick

82. Genetics Algorithms. Editor T.Back. Proceedings of the 7th International conf., San Francisco, USA, Morgan Kaufman Publishers, Inc, 1997.

83. Эволюционные вычисления и генетические алгоритмы. Составители Гудман Э.Д., Коваленко А.П. Обозрение прикладной и промышленной математики. М.: Изд-во ТВП, 1966.