Алгоритмы миграции данных в высокомасштабируемых облачных системах хранения тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Петров, Дмитрий Леонидович

• Петров, Дмитрий Леонидович
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Петров, Дмитрий Леонидович

Введение

Глава 1. Особенности построения современных систем хранения данных.

1.1. Архитектуры современных систем хранения данных.

1.2. Особенности реализации облачных систем хранения данных

1.3. Выявление связи между процедурой миграции данных и масштабированием

1.4. Выводы.

Глава 2. Задача миграции данных в высокомасштабируемых облачных системах хранения данных.

2.1. Принципы организации высокомасштабируемых облачных систем хранения данных

2.2. Требования к задаче миграции данных в высокомасштабируемых облачных системах хранения.

2.3. Качественная постановка задачи.

2.4. Выводы.

Глава 3. Анализ известных моделей и алгоритмов миграции данных в системах хранения.

3.1. Обобщенная модель систем хранения данных.

3.2. Математическая модель миграции данных в системах хранения

3.3. Сведение задачи миграции данных к задаче раскраски ребер мультиграфа.

3.4. Выводы.

Глава 4. Разработка моделей и алгоритмов миграции данных в высокомасштабируемых облачных системах хранения

4.1. Модель миграции данных в высокомасштабируемых облачных системах хранения.

4.2. Алгоритмы миграции данных в высокомасштабируемых облачных системах хранения.

4.3. Доказательство свойств предложенных алгоритмов.

4.4. Выводы.

Глава 5. Экспериментальная оценка эффективности предложенных алгоритмов.

5.1. Методика проведения эксперимента.

5.2. Особенности реализации алгоритмов миграции данных.

5.3. Результаты эксперимента.

5.4. Выводы.

Введение диссертации (часть автореферата) на тему «Алгоритмы миграции данных в высокомасштабируемых облачных системах хранения»

Актуальность работы

В последние годы произошло сильное изменение в практике и теории организации распределенных вычислительных систем связанное с появлением концепции cloud computing, или «облачных вычислений». Согласно этой концепции, вычислительные ресурсы арендуются по требованию через Интернет, а вычислительные системы лишь временно используют их для выполнения своих функций. Уже сегодня имеется возможность аренды вычислительных ресурсов с поминутной, и даже посекундной оплатой. Это позволяет создавать новые типы вычислительных систем-с уникальными технико-экономическими характеристиками- за счет гибкости в оплате и возможности арендовать потенциально бесконечное количество ресурсов.

Одними из самых востребованных современным бизнесом типов вычислительных систем являются системы хранения данных (СХД), которые представляют собой множество распределенных устройств хранения, объединенных вычислительной сетью и представленных пользователям в виде одного логического устройства большой емкости. Концепция облачных вычислений оказывает сильное влияние на современные СХД, что привело к появлению нового класса систем хранения - высокомасштабируемые облачные системы хранения данных (ВО-СХД, Scalable Storage Cloud). ВО-СХД, в отличие от традиционных СХД; используют в своем составе не фиксированное количество устройств хранения, а арендуют устройства по мере необходимости, или же высвобождают ряд устройств, когда необходимость в них отпадает. Для эффективного использования арендованных ресурсов ВО-СХД вынуждены регулярно производить процедуру масштабирования, т.е. изменения количества устройств хранения, входящих в систему.

Масштабирование выполняется операционной системой (ОС) ВО-СХД, оно связано с переконфигурацией хранилища, т.е. с перемещением огромного количества элементов данных (блоков данных) между устройствами хранения. Масштабирование и переконфигурация неразрывно связаны с алгоритмами миграции данных, которые строят план миграции (перемещения элементов данных) на основе текущего и целевого распределения элементов данных по устройствам хранения. Выполнение миграции данных не должно приводить к снижению качества обслуживания клиентов системы хранения, для чего в алгоритмах необходимо учитывать пропускную способность сети и максимальный объем данных, который можно передавать в один момент времени с одного устройства хранения на другое.

Существующие алгоритмы миграции данных не учитывают особенности ВО-СХД, и высвобождение лишних устройств хранения (добавление новых устройств) возможно производить лишь после полного завершения процедуры переконфигурации. Во время выполнения этого длительного этапа лишние устройства остаются задействованными, а новые устройства - не до конца использованными. Разработка специализированных алгоритмов миграции данных для управления арендованными ресурсами в ВО-СХД, способных сократить время масштабирования, позволит повысить эффективность использования ресурсов и понизить затраты на аренду устройств хранения, что представляет собой важную научную задачу, имеющую большое практическое значение.

Целью диссертационной работы является разработка алгоритмов миграции данных в ВО-СХД, способных уменьшить время масштабирования, по сравнению с традиционными алгоритмами миграции. В соответствии с указанной целью, в работе сформулированы и решены следующие задачи:

1. анализ существующих моделей СХД и алгоритмов миграции данных;

2. анализ особенностей ВО-СХД;

3. разработка модели ВО-СХД;

4. разработка алгоритмов миграции данных для ОС ВО-СХД;

5. анализ свойств разработанных алгоритмов.

Методы исследования. В исследовании формализация моделей производилась с помощью методов теории вычислительных систем и теории графов. Для описания и анализа алгоритмов в работе были использованы методы теории графов и теории алгоритмов.

Научная новизна работы заключается в следующем:

1. предложена математическая модель задачи миграции данных ВО-СХД, способная менять состав устройств хранения, и на основе модели сформулирована задача миграции данных в ВО-СХД в виде многокритериальной оптимизационной задачи;

2. предложены переборный и полиномиальный аппроксимационный алгоритмы миграции данных для управления вычислительными ресурсами ОС ВО-СХД, позволяющие предельно быстро производить масштабирование ВО-СХД;

3. произведен анализ свойств разработанных алгоритмов: доказана оптимальность алгоритмов по основному критерию «время масштабирования»; доказана полиномиальность вычислительной сложности аппрок-симационного алгоритма; экспериментально показана эффективность алгоритмов, по сравнению с существующими.

Практическая значимость. Предложенные модель и алгоритмы могут быть использованы при разработке ОС промышленных ВО-СХД, что позволит улучшить такой технико-экономический показатель ВО-СХД, как затраты на аренду вычислительных ресурсов.

На защиту выносятся следующие результаты и положения:

1. математическая модель миграции данных в ВО-СХД;

2. аппроксимационный алгоритм миграции данных для управления вычислительными ресурсами в ВО-СХД;

3. доказательство оптимальности предложенного алгоритма по первому критерию задачи миграции данных в ВО-СХД, а также доказательство его полиномиальности.

Апробация работы. Предлагаемые решения и результаты диссертационной работы докладывались и обсуждались на международных и всероссийских научно-технических конференциях в 2008-2011 гг.

Публикации. Материалы диссертации опубликованы в 5 научных работах, из них 2 статьи в рецензируемых журналах, рекомендованных ВАК, 3 работы в научных трудах конференций, из которых одна работа на английском языке в трудах международной конференции сообщества IEEE.

Структура и объем диссертации. Диссертация состоит из введения, пяти глав, заключения, списка литературы, включающего 77 наименований. Основная часть работы изложена на 113 страницах машинописного текста. Работа содержит 23 рисунка, 5 таблиц и 4 приложения общим объемом 18 страниц.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Петров, Дмитрий Леонидович

5.4 Выводы В главе приводится описание реализации разработанного алгоритма миграции данных в ВО-СХД. Разработана структура программы и механизмы взаимодействия различных модулей. Подробно описаны модули программы, реализующие алгоритм разделения графа хранилища и алгоритм раскраски ребер мультиграфа. В частности, описан модуль, реализующий алгоритм раскраски ребер * двудольного мультиграфа, и модуль раскраски ребер произвольного мультиграфа алгоритмом Шеннона. Реализация алгоритма выполнена на языке программирования Python.

Разработанный и реализованный алгоритм миграции данных, специализированный под ВО-СХД, сравнивается с существющими алгоритмами миграции. Для оценки эффективности разработанного алгоритма используются критерии относительного выигрыша от масштабирования Prei и относительного проигрыша от остаточной миграции Lrei. Экспериментально показано, что предложенный алгоритм способен обеспечивать экономию времени масштабирования на 16-57%, по сравнению с существующими алгоритмами. При этом, общее время миграции данных может увеличиться на 8-50%. Также в главе предложены способы улучшения разработанного алгоритма.

Результаты пятой главы опубликованы в работе [77].

Заключение

Высокая консолидация вычислительных мощностей в современных ЦОД и высокие скорости обмена данными сети Интернет повышают доступность и снижают себестоимость вычислительных ресурсов. Концепция облачных вычислений, используя эти особености текущего состояния техники, позволяет создавать новые типы приложений и устройств на основе арендованных ресурсов, расположенных во внешних ЦОД. Это приводит к необходимости разработки научных основ для новых типов «облачных» приложений и устройств. Требуются новые модели построения устройств и приложений, новые алгоритмы управления ресурсами, новые методы взаимодействия приложений с пользователями.

Особый интерес представляют ВО-СХД, т.е. СХД, построенные на основе концепции облачных вычислений, арендующие внешние вычислительные устройства для хранения данных и предоставляющие ресурсы хранения для пользователей через Интернет. С технической и научной точки зрения, наибольший интерес представляют алгоритмы управления вычислительными ресурсами ОС ВО-СХД. Эффективное использование арендованных ресурсов требует регурлярного масштабирования системы, т.е. изменения состава устройств хранения. В разультате масштабирования система хранения должна адаптироваться к новым требованиям со стороны пользователей и высвобождать лишние устройства хранения, либо арендовать новые. Эти особености ВО-СХД требуют разработки принципиально новых алгоритмов управления вычислительными ресурсами, чему и посвящено данное диссертационное исследование.

ВО-СХД имеют сложную организацию и относятся к классу больших систем, что требует системного подхода к их проектированию. В работе производится разработка только первой стадии процесса проектирования сложных систем - макропроектирования, которое разбито на этапы анализа и синтеза. Результатом макропроектирования является модель системы и алгоритмы ее функционирования без учета специфики реализации системы и без детального описания ее подсистем.

Целью работы является разработка эффективных алгоритмов миграции данных для ОС ВО-СХД, сокращающих время масштабирования системы. На этапе анализа изучаются существующие СХД, технологии для их реализации, модели, а также алгоритмы миграции данных в системах хранения. Критерием оценки эффективности ВО-СХД является время масштабирования системы, т.е. время изменения состава устройств хранения, входящих в неё. В ходе анализа выявлена связь между масштабированием хранилища и оптимизационной задачей миграции данных, решаемой с целью оптимальной переконфигурации хранилища. Показано, что задачу масштабирования можно сформулировать в терминах задачи миграции данных, изменив критерий оптимизации. На основе проведенного анализа предложена модель ВО-СХД и сформулирована задача миграции данных как многокритериальная оптимизационная задача, основным критерием которой является время масштабирования.

На этапе синтеза были разработаны алгоритмы миграции данных ВО-СХД - переборный и аппроксимационный, которые, в отличие от существующих алгоритмов миграции, способны сократить время масштабирования хранилища и повысить за счет этого эффективность использования арендованных вычислительных ресурсов. Произведен анализ разработанных алгоритмов. Доказано, что разработанные алгоритмы дают оптимальный результат по основному критерию задачи миграции данных в ВО-СХД - времени масштабирования. Также доказана полиномиальность вычислительной сложности аппроксимационного алгоритма.

Предложенные алгоритмы реализованы и произведена экспериментальная оценка их эффективности по основному критерию сформулированной задачи миграции данных. Экспериментально показано, что предложенные алгоритмы способны обеспечивать экономию времени масштабирования на 16-57%, по сравнению с существующими алгоритмами. При этом общее время миграции данных может увеличиться на 8-50%. Описаны возможные способы улучшения разработанных алгоритмов.

По результатам работы опубликовано 2 статьи в изданиях перечня ВАК: «Управление большими системами» и «Известия СПбГЭТУ «ЛЭТИ». Основные положения и результаты работы докладывались и обсуждались на российских и международных конференциях: международная конференция сообщества IEEE «International Conference on Ultra Modern Telecommunication» 2009 (публикация на английском языке), IX международная конференция-семинар «Высокопроизводительные параллельные вычисления на кластерных системах» 2009, XVI международная открытая научная конференция «Современные проблемы информатизации в анализе и синтезе технологических и программно-телекоммуникационных систем» 2011.

Дальнейшее развитие работы может быть направлено на стадию микропроектирования модуля переконфигурации ОС ВО-СХД способного сократить время масштабирования системы за счет внедрения разработанных алгоритмов миграции данных. Для этого необходим детальный анализ существующих технологий СХД, построение более детальной модели системы и проработка подсистем.

Список литературы диссертационного исследования кандидат технических наук Петров, Дмитрий Леонидович, 2011 год

1. Farley М. Storage Networking Fundamentals: An 1.troduction to Storage Devices, Subsystems, Applications, Management, and File Systems. Cisco Press, 2005. P. 480.

2. Preston W. C. Using SANs and NAS. O'Reilly Media, 2002. P. 250.

3. Chirillo J., Blaul S. Storage Security: Protecting SANs, NAS and DAS. Indianapolis, USA: Wiley Publishing, 2003. P. 362.

4. Олифер H. А., Олифер В. Г. Сетевые операционные системы. СПб: Питер, 2008. С. 669.

5. Захаркина О. Как хранить данные: SAN, NAS или DAS // CNews. 2005. Т. 9.

6. Гук М. Энциклопедия Интерфейсы устройств хранения: ATA, SCSI и другие. СПб: Питер, 2006. С. 448.

7. Таненбаум Э., ван Стеен М. Распределенные системы. Принципы и парадигмы. СПб: Питер, 2003. С. 877.

8. Ouchi N. К. System for recovering data stored in failed memory unit // U.S. patent 4,092,732. 1978. P. 1-13.

9. Patterson D. A., Gibson G., Katz R. A case for redundant arrays of inexpensive disks (RAID) // ACM, International Conference on Management of Data. 1988. P. 109-116.

10. Chen P., Lee E. Striping in a RAID level 5 disk array // ACM SIGMETRICS Performance Evaluation Review. 1995. Vol. 23, Issue 1. P. 136—145.

11. Somasundaram G., Shrivastava A. Information Storage and Management: Storing, Managing, and Protecting Digital Information. John Wiley & Sons, 2009. P. 476.

12. Kashyap S., Khuller S. Algorithms for Non-Uniform Size Data Placement on Parallel Disks // Conference on Foundations of Software technology and Theoretical Computer Science. 2003. P. 265-276.

13. Khuller S., Kim Y. A. Algorithms for Data Migration with Cloning // SIAM Journal on Computing. 2004. Vol. 2. P. 448-461.

14. Wolf J. The placement optimization program: a practical solution to the disk file assignment problem // ACM, SIGMETRICS Performance Evaluation Review. 1989. Vol. 17, Issue 1. P. 1-10.

15. Anderson E., Hobbs M., Keeton K. et al. Hippodrome: Running Circles Around Storage Administration // Conference On File And Storage Technologies. 2002. Vol. 13. P. 175-188.

16. Borowsky E., Golding R., Jacobson P. et al. Capacity Planning With Phased Workloads //In Proceedings of the First Workshop on Software and Performance (WOSP'98). 1998. Vol. 1. P. 199-207.

17. Sundaram V., Wood T., Shenoy P. Efficient Data Migration in Self-managing Storage Systems // IEEE International Conference on Autonomic Computing (ICAC). 2006. P. 297-300.

18. Golubchik L., Khanna S., Khuller S. et al. Approximation Algorithms for Data Placement on Parallel Disks // ACM-SIAM, SODA. 2000. P. 223-232.

19. Golubchik L., Khuller S., Kim Y. A. et al. Data Migration on Parallel Disks: Algorithms and Evaluation // Algorithmica. 2006. Vol. 45(1). P. 137-158.

20. Hall J., Hartline J., Karlin A. et al. On Algorithms for Efficient Data Migration // ACM-SIAM, SODA. 2001. P. 620-629.

21. Petrov D. L., Tatarinov Y. Data migration in the scalable storage cloud (Миграция данных в масштабируемых облачных хранилищах) // IEEE International Conference on Ultra Modern Telecommunications. 2009. P. 1—4.

22. Chenyang L., Guillermo A., Wilkes J. Aqueduct: Online Data Migration with Performance Guarantees // USENIX Conference on File and Storage Technologies. 2002. Vol. 1. P. 219-230.

23. Ghemawat S., Gobioff H., Leung S.-T. The Google File System // ACM 19th Symposium on Operating Systems Principles. 2003. Vol. 37, Issue 5. P. 29—43.

24. Ying Z. Research on Management of Data Flow in the Cloud Storage Node Based on Data Block // 3th International Conference on Information and Computing. 2010. Vol. 4. P. 333-335.

25. Catlett С. E., Smarr L. Metacomputing // Communications of the ACM. 1992. Vol. 35, Issue 6. P. 44-52.

26. Foster I. T. The Anatomy of the Grid: Enabling Scalable Virtual Organizations // International Journal of High Performance Computing Applications. 2001. Vol. 15. Issue 3. P. 200-222.

27. Ferris C., Farrell J. What are Web services? // Communications of the ACM. 2003. Vol. 46, Issue 6. P. 1-31.

28. Huhns M. N., Singh M. P. Service-Oriented Computing: Key Concepts and Principles // IEEE Internet Computing. 2005. Vol. 9, Issue 1. P. 75-81.

29. Carr N. Does IT Matter? Information Technology and the Corrosion of Competitive Advantage. Harvard: Harvard Business Press, 2004.

30. Гофф М. К. Сетевые распределенные вычисления: достижения и проблемы. Москва: КУДИЦ-Образ, 2005. С. 320.

31. Воеводин В. В., Воеводин В. В. Паралельные вычисления. СПб: БХВ-Петербург, 2004. С. 608.

32. Пономаренко В. С., Листровой С. В., Минухин С. В., Знахур С. В. Методы и модели планирования ресурсов в GRID-системах. Москва: ИНЖЕК, 2008. С. 408.

33. Fouquet М., Niedermayer Н., Carle G. Cloud computing for the masses // ACM CoNEXT. 2009. P. 31-36.

34. Ньюкомер Э. Веб-сервисы: XML, WSDL, SOAP и UDDI. Спб: Питер, 2003. С. 256.

35. Tai S., Nimis J., Lenk A., Klems M. Cloud service engineering // International Conference on Software Engineerin. 2010. Vol. 2. P. 475-476.

36. Robison S. A Bright Future in the Cloud // Financial Times. 2008. Vol. 4.

37. Delic K. A., Walker M. A. Emergence of the academic computing clouds // ACM Ubiquity. 2008. Vol. 9, Iss. 31.

38. Chiu G. Z., Liu L. L. Adaptive Data Migration in Multi-tiered Storage Based Cloud Environment // 3rd International Conference on Cloud Computing (CLOUD), 2010. IEEE. 2010. P. 148-155.

39. Schwan K., Eisenhauer G., Gavrilovska A. et al. Managing large-scale utility cloud // IEEE International Symposium on Parallel &; Distributed Processing, Workshops and Phd Forum (IPDPSW). 2010. P. 1-1.

40. Xue W., Shi J., Yang B. X-RIME: Cloud-Based Large Scale Social Network Analysis // IEEE International Conference on Services Computing (SCC). 2010. Vol. 2010. P. 506-513.

41. Xu K., Song M., Zhang X., Song J. A Cloud Computing Platform Based on P2P // IEEE International Symposium on IT in Medicine & Education (ITIME). 2009. Vol. 1. P. 427-432.

42. Ying Z., Yong S. Cloud Storage Management Technology // IEEE ICIC. 2009. P. 309-311.

43. Gopisetty S., Butler E., Jaquet S., etc M. K. Automated planners for storage provisioning and disaster recovery // IBM Journal of Research and Development. 2008. Vol. 52, Iss. 4. P. 353-365.

44. Gupta K., Sarkar P., Mbogo L. MIRAGE: storage provisioning in large data centers using balanced component utilizations // ACM SIGOPS Operating Systems Review. 2008. Vol. 42, Iss. 1. P. 104-105.

45. Kamoun F. Virtualizing the Datacenter Without Compromising Server Performance // ACM Ubiquity. 2009. Vol. Aug.

46. Brynjolfsson E., Hofmann P., Jordan J. Cloud Computing and Electricity: Beyond the Utility Model // Communications of the ACM. 2010. Vol. 53, No. 5. P. 32-34.

47. Chang V., Bacigalupo D., Wills G., Roure D. D. A Categorisation of Cloud Computing Business Models // 10th IEEE/ACM CCGRID, International Conference on Cluster, Cloud and Grid Computing. 2010. P. 509—512.

48. Zuckerman B. Scalable storage in the cloud // Cloud Slam Conference. 2009.

49. McCullough J. С., Dunagan J., Wolman A., Snoeren A. C. Stout: an adaptive interface to scalable cloud storage // USENIXATC'10 Proceedings of the 2010 USENIX conference on USENIX annual technical conference. 2010. P. 4-4.

50. Bonvin N., Papaioannou T. G., Aberer K. A self-organized, fault-tolerant and scalable replication scheme for cloud storage // ACM SoCC '10 Proceedings of the 1st ACM symposium on Cloud computing. 2010. P. 205-216.

51. Shiflett C. HTTP Developer's Handbook. Sams, 2003. P. 312.

52. Смирнов С. H. XML и JDBC. Практическое введение. Москва: Гелиос АРВ, 2010. С. 188.

53. Ghandeharizadeh S., Ramos L., Asad Z., Qureshi W. Object Placement in Parallel Hypermedia Systems // Proceedings of the 17th International Conference on Very Large Data Bases. 1991. Vol. 03-06. P. 243-254.

54. Советов В., Яковлев С. Моделирование систем (4-е издание). Москва: Высшая школа, 2005. С. 343.

55. Бусленко Н. Моделирование сложных систем. Москва: Наука, 1988. С. 356.

56. Шеннон Р. Имитационное моделирование систем. Искусство и наука. Москва: Мир, 1978. С. 424.

57. Frieze А. М., Clarke R. В. Approximation algorithms for the m-dimensional knapsack problem: worst case and probabilistic analyses // European Journal of Operational Research. 1984. P. 100-109.

58. Chekuri C., Khanna S. On multidimensional packing problems // SODA. 1999. P. 185-194.

59. Евстигнеев В., Касьянов В. Графы в программировании: обработка, визуализация и применение. СПб: БХВ-Петербург, 2003. С. 1104.

60. Корман Т. X., Лейзерсон Ч. И., Ривест P. JL, Штайн К. Алгоритмы: построение и анализ. 2-ое издание. Перевод с англ. М.: Вильяме, 2007. С. 1296.

61. Goldberg М. К. Edge-coloring of multigraphs: Recoloring technique // Graph Theory. 1984. Vol. 8. P. 121-137.

62. Holyer I. The NP-completeness of Edge-Coloring // SIAM Journal on Computing. 1982. Vol. 11. P. 117-129.

63. Shannon С. E. A theorem on colouring lines of a network // Journal of Mathematics and Physics. 1949. Vol. 28. P. 148-151.

64. Hochbaum D. S., Nishizeki Т., Shmoys D. B. A better than "Best Possible" algorithm to edge color multigraphs // J. off Algorithms. 1986. Vol. 7. P. 79-104.

65. Hopcroft J., Karp R. An n. 5/2 algorithm for maximum matchings in bipartite graphs // SIAM Journal on Computing. 1973. Vol. 2. P. 225-231.

66. Cole R., Ost K., Schirra S. Edge-coloring bipartite multigraphs in 0(E log D) time // Combinatorica. 2001. Vol. 21. P. 5-12.

67. Alon N. A simple algorithm for edge-coloring bipartite multigraphs // Information Processing Letters. 2003. Vol. 85, Issue 6.

68. Визинг В. Хроматический класс мультиграфа // Кибернетика. 1965. Т. 3. С. 29-39.

69. Berger M., Bokhari S. Partitioning strategy for nonuniform problems on multiprocessors // IEEE Transactions on Computers. 1987. Vol. 36, Iss. 5. P. 570-580.

70. George A., Liu J. Computer Solution of Large Sparse Positive Definite Systems. Prentice Hall Professional Technical Reference, 1981.

71. Петров Д. JI. Динамическая модель консолидированного облачного хранилища данных // Известия СПбГЭТУ "ЛЭТИ". №4. 2010. С. 17-21.

72. Петров Д. Л. Оптимальный алгоритм миграции данных в масштабируемых облачных хранилищах // Управление большими системами: сборник трудов (электронный журнал). №30. М. Институт проблем управления РАН. 2010. С. 180-197.

73. Бизли Д. М., ван Россум Г. Язык программирования Python. Справочник. Москва: ДиаСофт, 2000.

74. Сузи P. Python. Наиболее полное руководство. Санкт-Петербург: БХВ-Петербург, 2002.

75. Буч Г., Максимчук Р. А., Энгл М. У. и др. Объектно-ориентированный анализ и проектирование с примерами приложений. М.: Вильяме, 2008.

76. Орлов С. Технологии разработки программного обеспечения. СПб: Питер, 2002. С. 464.