Разработка и исследование методов повышения скорости доступа к удалённым данным в распределённых вычислительных системах тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Кинсбурский, Станислав Александрович

• Кинсбурский, Станислав Александрович
• кандидат технических наук
• 2008

Оглавление диссертации кандидат технических наук Кинсбурский, Станислав Александрович

Введение.

Глава 1. Современные методы доступа к удалённым данным в распределённых вычислительных системах.I.

1.1 Общий обзор структуры распределённых вычислительных систем.

1.2 Анализ требований к методам доступа к удалённым данным в современных распределённых вычислительных системах.

1.3 Характеристики современных методов хранения и доступа к данным.

1.4 Анализ методов доступа к удалённым данным.

1.4.1 Распределённая операционная система Sprite.

1.4.2 Сетевая файловая система Network File System (NFS).

1.4.3 Распределённая файловая система Andrew File System (AFS).

1.4.4 Распределённая файловая система Coda.

1.4.5 Распределённая файловая система xFS.

1.4.6 Распределённая файловая система CIFS.

1.4.7 Распределённая файловая система Lustre.

1.4.8 Распределённая файловая система GPFS.

1.5 Обобщённые выводы по анализу методов доступа к удалённым данным.

1.6 Постановка задачи диссертационной работы.

1.7 Выводы.

Глава 2. Методы повышения скорости доступа к удалённым данным.

2.1 Разработка архитектуры быстрой распределённой файловой системы.

2.2 Аналитическая оценка эффективности архитектуры быстрой распределённой файловой системы.^.

2.3 Анализ дополнительного преимущества блочной адресации в быстрой распределённой файловой системе.

2.4 Выводы.

Глава 3. Реализация быстрой распределённой файловой системы в ОС Linux.

3.1 Реализация протокола обмена данными с драйвером каналов связи.

3.2 Реализация протокола SRPC.

3.3 Реализация клиента БРФС.

3.4 Реализация сервера БРФС.

3.5 Выводы.

Глава 4. Результаты исследования.

4.1 Сравнение быстрой распределённой файловой системы и NFS.

4.2 Выводы.

Введение диссертации (часть автореферата) на тему «Разработка и исследование методов повышения скорости доступа к удалённым данным в распределённых вычислительных системах»

Актуальность работы. С появлением малых ЭВМ, микроЭВМ и, наконец, персональных компьютеров возникло логически обоснованное требование разработки нового подхода к организации систем обработки данных, а именно к переходу от использования отдельных ЭВМ в централизованных системах к распределенной обработке данных.

Под распределенной обработкой данных будем понимать обработку данных многомашинным вычислительным комплексом (МВК). МВК представляют собой объединённые в сеть для совместной работы компьютеры (узлы МВК), которые не имеют доступа к общей памяти или шине, и обладают доступом только к своим собственным ресурсам.

МВК имеют самое широкое распространение. Они востребованы во всех отраслях производства, где требуется высокая производительность вычислительных систем. Они нашли применение как в гражданских отраслях народного хозяйства — автомобилестроении, медицине, телекоммуникационных и банковских системах, так и в системах вооружения: в системах противоздушной обороны, авиации, ракетостроении, на флоте.

Современное развитие микроэлектронных технологий позволяет создавать производительные и при этом компактные многомашинные комплексы, предназначенные для встраиваемых применений. Компактность многомашинных комплексов достигается путем предоставления доступа к периферийным устройствам (в том числе к носителям информации) только одному из узлов многомашинного комплекса.

Примером современного отечественного компактного МВК является вычислительный комплекс, построенный на основе процессорных модулей «МВС/С» разработки ЗАО «МЦСТ» [1]. Он разработан для встраиваемых применений и ориентирован на работу в режиме реального времени и состоит из четырёх узлов, соединённых между собой быстрыми каналами связи. При этом доступом к внешним устройствам обладает только один из узлов МВК. Для загрузки всего МВК необходимо обеспечить возможность загрузки и рестарта бездисковых узлов, которые не имеют прямого доступа к данным. Причём в системах реального времени скорость загрузки и рестарта МВК являются особенно важными параметрами.

Под временем загрузки и рестарта будем понимать время, необходимое для приведения МВК в состояние готовности к работе после сигнала сброса. Под готовностью МВК к работе будем понимать возможность запуска целевой задачи на любом из его узлов. Под сигналом сброса будем понимать аппаратный сигнал, инициирующий старт либо перезапуск вычислительного комплекса.

Загрузка бездисковых узлов многомашинного комплекса предполагает использование программных методов передачи данных от узла, имеющего аппаратный доступ к носителям информации (сервера), к узлу, не имеющему такового (клиенту). Для передачи данных используются каналы связи, объединяющие вычислительные узлы в МВК. Передача данных по каналам связи приводит к дополнительным задержкам получения данных бездисковым узлом. То есть, загрузка бездискового узла всегда происходит медленнее, чем загрузка узла, имеющего доступ к носителю информации. Однако эта задержка зависит не только от скорости передачи данных по каналам связи, но и от эффективности программного обеспечения (ПО), ответственного за обмен.

Таким образом, задача повышения скорости обработки, передачи и приёма данных между узлами МВК обладает высокой степенью актуальности, особенно для многомашинных вычислительных систем реального времени.

Целью диссертационной работы является разработка и исследование методов доступа к удалённым данным в многомашинных системах с бездисковыми узлами, обеспечивающих высокую производительность, высокую скорость доступа (реактивность) к удалённым данным и низкую нагрузку на сервер. В соответствии с этой целью были определены следующие задачи:

• Исследование особенностей существующих методов доступа к удалённым данным, оценка их преимуществ и недостатков. Основными критериями оценки являются время, необходимое для приведения МВК к готовности к работе после рестарта системы, скорость доступа к удалённым данным и нагрузка, оказываемая на сервер.

• Разработка методов и алгоритмов доступа к удалённым данным в распределённых вычислительных системах, позволяющих увеличить скорость доступа, уменьшить время загрузки и рестарта, а также снизить нагрузку на сервер по сравнению с известными аналогами.

• Реализация предложенных методов и алгоритмов в виде комплекса программных средств и технологий.

Таким образом, объектом исследования являлись методы организации доступа к удалённым данным, а предметом исследования - разработка методов повышения скорости доступа к данным по сравнению с существующими методами.

Для достижения указанной цели, в диссертационной работе применялись следующие методы исследований:

• Обзор существующих методов доступа к удалённым данным.

• Анализ существующих методов доступа к удалённым данным с точки зрения скорости доступа к данным, времени загрузки и рестарта, а также оказываемой нагрузки на сервер.

• Синтез усовершенствованных методов доступа к удалённым данным, позволяющих добиться большей скорости доступа, уменьшения времени готовности к работе и уменьшения нагрузки на сервер.

• Оценка эффективности предложенных методов посредством сравнения реализации предложенных методов и наиболее распространенного аналога.

Научная новизна исследования. К составляющим научную новизну диссертационной работы решениям можно отнести:

• Реализация доступа к удалённым данным на уровне блоков файловой системы.

• Реализация методов доступа к данным полностью в пространстве ядра (или драйверов) операционной системы (ОС).

• Реализация алгоритмов единого прозрачного доступа к данным, расположенным на разных носителях.

Теоретическую значимость диссертационной работы составляют разработка методов и алгоритмов организации программного обеспечения, которые позволяют улучшить по сравнению с известными аналогами такие характеристики доступа к удалённым данным, как скорость доступа, время готовности к работе и нагрузка на сервер.

Практическая значимость диссертационной работы заключается в реализации предложенных методов и алгоритмов в виде клиентского и серверного модулей ядра операционной системы Linux и доказательстве их эффективности по сравнению с аналогами.

В частности, на основе исследований, выполненных по теме диссертации, была реализована модель «клиент-сервер» для процессорного модуля «МВС/С» в ядре ОС Linux.

Апробация. Основные положения и результаты работы докладывались на Международных и других научных конференциях: XXXII Гагаринские чтения (Москва, 2006 г.); XXXIII Гагаринские чтения (Москва, 2007 г.); XXXIV Гагаринские чтения (Москва, 2008 г.); XXIII научно-техническая конференция на тему "Направление развития и применения перспективных вычислительных систем и новых информационных технологий в ВВТ РКО" (Москва, 2007 г.), а также на семинарах НТС ИМВС РАН, ЗАО "МЦСТ" и ОАО "ИНЭУМ".

По теме диссертационной работы опубликованы семь печатных работ, в том числе в издании, рекомендованном ВАК РФ:

Кинсбурский С.А. Распределённая виртуальная файловая система для многомашинных комплексов // XXXII Гагаринские чтения. Научные труды Международной молодежной научной конференции в 8 т. Т. 6. М.: "МАТИ"-РГТУ, 2006. С. 159-161.

Кинсбурский С.А. Подход к реализации распределённой виртуальной файловой системы для многомашинных комплексов // XXXIII Гагаринские чтения. Научные труды Международной молодежной научной конференции в 8 т. Т. 6. М.: "МАТИ"-РГТУ, 2007. С. 234-235.

Кинсбурский С.А. Концепция виртуальной файловой системы на распределенных носителях // Информационные технологии, № 12, 2007. С. 12-15.

Кинсбурский С.А. Распределённая виртуальная файловая система // в/ч 03425 (НИЦ 4ЦНИИ МО РВ), XXIII научно-техническая конференция на тему "Направление развития и применения перспективных вычислительных систем и новых информационных технологий в ВВТ РКО", 2007 г.

Кинсбурский С.А. Характеристики распределённой виртуальной файловой системы // XXXIV Гагаринские чтения. Научные труды Международной молодежной научной конференции в 8 т. Т. 6. М.: "МАТИ"— РГТУ, 2008. С. 188-190.

Кинсбурский С.А. Распределённые файловые системы и основные проблемы повышения скорости доступа к удалённым данным // Компьютеры в учебном процессе. 2008. № 5. С. 3-12.

Кинсбурский С.А., ОКР "Созвездие — М 2", «Разработка предложений по использованию средств вычислительной техники в составе мобильного сервера, мобильных, переносных и переносимых ПТК», Шифр "Созвездие -М 2 - МЦСТ", ТВГИ.460659.018 ПЗ, 2008 г.

Краткое содержание работы

Во введении обоснована актуальность работы, поставлена цель исследования и определены задачи, решаемые для её достижения. Отмечена научная новизна исследования и дана краткая характеристика содержания работы и её результатов.

В первой главе диссертации производится общий обзор распределённых вычислительных систем, проводится анализ требований к методам доступа к удалённым данным. Далее приводятся характеристики и анализ современных методов хранения и доступа к данным в вычислительных системах. Завершает главу обзор и анализ существующих методов доступа к удалённым данным. На основе анализа осуществляется постановка задачи диссертационной работы.

Во второй главе диссертации описываются новые методы и алгоритмы, позволяющие повысить эффективность доступа к удалённым данным в распределённых вычислительных системах. Описываются этапы разработки новой архитектуры распределённой файловой системы, характеризующейся быстрым временем доступа к данным, загрузки и рестарта и также низкой нагрузкой на сервер. Проводится аналитическая оценка эффективности предложенной архитектуры быстрой распределённой файловой системы на основе модели взаимодействия открытых систем OSI. Приводится анализ дополнительного преимущества блочной адресации данных, реализованного в новой архитектуре.

В третьей главе описывается реализация быстрой распределённой файловой системы. Приводится реализация методов взаимодействия программ обслуживания быстрой распределённой файловой системы с драйвером каналов связи. Описывается реализация протокола взаимодействия между сервером и клиентом быстрой распределённой файловой системы. Далее приводится описание реализации клиента быстрой распределённой файловой системы. Завершает главу описание реализации сервера быстрой распределённой файловой системы.

В четвёртой главе приводятся результаты сравнения характеристик быстрой распределённой файловой системы и сетевой файловой системы NFS.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Кинсбурский, Станислав Александрович

8. Основные результаты имитационного моделирования быстрой распределённой файловой системы показали эффективность следующих характеристик системы: высокая скорость доступа к удалённым данным, составляющая порядка 90% от скорости доступа к локальным данным; высокая предсказуемость времени доступа к данным: разброс составляет порядка 4%; высокая скорость инициализации после старта/рестарта; низкая нагрузка на узел-сервер — уменьшение производительности узла-сервера составляет не более 10% при интенсивном обмене данными с одним узлом-клиентом.

Заключение

Список литературы диссертационного исследования кандидат технических наук Кинсбурский, Станислав Александрович, 2008 год

1. Процессорный модуль «МВС/С» // http://www.mcst.ru/b 20-21 .shtml, ЗАО МЦСТ.

2. X. М. Дейтел, П. Дж. Дейтел, Д. Р. Чофнес Операционные системы. Распределённые системы, сети, безопасность: Третье издание. Пер. с англ. М.: ООО «Бином-Пресс», 2006 г. - 704.с:ил

3. Высокопроизводительная система на кристалле «MCST-R500S» // http://www.rncst.ru/doc/6-7.zip

4. Bovet D.P., Cesati М. Understanding the Linux Kernel: O'Relly // http://www.oreilly.com/catalog/linuxkernelA 2000.

5. Vahalia Uresh, Unix Internals, The new Frontiers: Prentice Hall, 1996

6. Ousterhout J., Cherenson A., Douglis F. et al. The Sprite Network Operating System // IEEE Computer, Vol. 21, No. 2, Feb. 1988, pp. 23-36.

7. Pawlowski В., Juszczak C., Staubach P. et al. NFS Version 3 Design and Implementation // Proceedings of the Summer USENIX Conference, USENIX, 1994.

8. Pawlowski В., Shepler S., Beame C. et al. The NFS Version 4 Protocol // Proceedings of the 2nd International System Administration and Networking Conference (SANE2000), Maastricht, The Netherlands, May 2000.

9. Silberschatz A., Galvin P., Gagne G. Operating System Concepts. Sixth Edition, John Wiley & Sons, Inc., NY, 2002.

10. Satyanarayanan M. A Survey of Distributed File Systems // Annual Review of Computer Science, Vol. 4, 1990.

11. Shepler S., Eisler M., Noveck D. NFSv4 Minor Version 1, Internet-Draft // http://www.nfsv4-editor.org/draft-l 3/draft-ietf-nfsv4-minorversion 113.txt, July 2007.

12. NFS Version 4 Design Considerations // http://www.ietf.org/rfc/rfc2624.txt

13. Satyanarayanan M. Scalable, Secure, and Highly Available Distributed File Access // IEEE Computer, Vol. 23, No. 5, May 1990.

14. Spasojevic M., Satyanarayanan M. An Empirical Study of a Wide Area Distributed File System// ACM Transactions on Computer Science, Vol.14, No. 2, May 1996.

15. Satyanarayanan M., Spasojevic M. AFS and the Web: Competitors or Collaborators // Proceedings of the Seventh ACM SIGOPS European Workshop, Connemara, Ireland, 1996.

16. OpenAFS // http://www.openafs.org/

17. Satyanarayanan M., Kistler J., Kumar P. et al. Coda: A Highly Available File System for a Distributed Workstation Environment // IEEE Transactions on Computers, Vol. 39, No. 4, April 1990.

18. Wang R.Y., Anderson Т.Е. xfs: A Wide Area Mass Storage File System 11 Proceedings on the Fourth Workshop on Workstation Operating Systems, Oct. 1993

19. CIFS Explained // http://www.codefx.com/CIFS Explained.pdf

20. Distributed File Service SMB Administration // http://publibz.boulder.ibm.com/epubs/pdf/fcxd4a40.pdf

21. Lustre file system. High-Performance Storage Architecture and Scalable Cluster File System White Paper. Sun Microsystems, Inc // http://www.sun.com/software/products/lustre/docs/lustrefilesystem wp.pdf , December 2007

22. Fadden S. An Introduction to GPFS Version 3.2 // ftp://ftp.software.ibm.com/common/ssi/rer> wh/n/CLW03005USEN/CLW 03005USEN.PDF , IBM Corporation, September, 2007.

23. Open Systems Interconnection (OSI) Protocols // http://www.cisco.com/en/US/docs/internetworking/technology/handbook/ OSI-Protocols.html#wp 1022227

24. Open Systems Interconnection // http://en.wikipedia.org/wiki/Open Systems Interconnection

25. Робачевский A.M. Операционная система UNIX. СПб.: BHV -Санкт-Петербург, 1997.

26. XDR: External Data Representation Standard // http://tools.ietf.org/html/rfc450627. 28 -38. Rubini A., Corbet J. Linux Device Drivers, Second Edition: O'Rellv // http://www.xml.com/ldd/chapter/book/, 2001.

27. Hard Disks // http://www.pctechguide.com/31HardDisk.htm

28. Hitachi Introduces 1-Terabyte Hard Drive // http://www.pcworld.com/article/id. 128400-page. 1 /article.html

29. Seagate Initiates Shipments of 1TB Hard Disk Drive // http://www.xbitlabs.com/news/storage/displav/20070607230819.html

30. Seagate Cheetah Datashit // http://www.seagate.com/docs/pdf/datasheet/disc/ds cheetah 15k 5.pdf

31. Hard disk drive // http://linuxreviews.org/dictionary/Harddrive/

32. Information Technology — AT Attachment with Packet Interface Extension (ATA/ATAPI-4) // http://tl3.org/project/dl 153rl 8-ATA-ATAPI-4.pdf.

33. Solid State Drive. Wikipedia // http://en.wikipedia.org/wiki/Solidstate drive

34. Samsung Solid-State Drive (SSD) // http://www.samsung.com/global/business/semiconductor/products/flash/ss d/ssd products/solidchoice.html.

35. Dumitru D. Understanding Flash SSD Performance // http://www.storagesearch.com/easyco-flashperformance-art.pdf,, August 16, 2007.

36. The Fastest Solid State Disks (SSDs) // http://www.storagesearch.com/ssd-fastest.html, July 2008