Анализ и оценка производительности дисковых систем сетей хранения данных тема диссертации и автореферата по ВАК РФ 05.13.13, кандидат технических наук Архангельский, Андрей Витальевич

• Архангельский, Андрей Витальевич
• кандидат технических наук
• 2002

Оглавление диссертации кандидат технических наук Архангельский, Андрей Витальевич

Введение.

Глава 1. Обзор дисковых систем.

1.1. Тенденции развития систем хранения данных.

1.2. Существующие стандарты RAID.

1.2.1. Основные определения.

1.2.2. Классификация существующих RAID систем.

1.2.3. RAID-0 (Без избыточности).

1.2.4. RAID-1 (Зеркалирование).

1.2.5. RAID-2 (Код Хэмминга).

1.2.6. RAID-3 (Четность с чередованием битов).

1.2.7. RAID-4 (Четность с чередованием блоков).

1.2.8. RAID-5 (Чередованием блоков с распределенной четностью).

1.2.9. RAID-6 (Защита кодом Рида-Соломона).

1.3. Практическая реализация RAID-массивов.

1.4. Сети хранения данных.

1.5. Интерфейсы сетей хранения данных.

1.6. Существующие дисковые интерфейсы.

1.6.1. Интерфейс FC-AL.

1.6.2. Интерфейс SCSI.

1.6.3. Интерфейс SSA.

Выводы

Глава 2. Сравнение и анализ дисковых массивов.

2.1. Надежность дисковых массивов.

2.2. Эффективная емкость дисковых массивов.

2.3. Производительность RAID-массивов.

Выводы

Глава 3. Универсальная модель RAID-систем.

3.1. Модель жесткого диска.

3.2. Модель RAID-5.

3.3. Обобщение модели на другие типы RAID-массивов.

3.3.1. Модель массива RAID-0.

3.3.2. Модель массива RAID-1.

3.3.3. Модель массива RAID-2.

3.3.4. Модель массива RAID-3.

3.3.5. Модель массива RAID-4.

3.3.6. Модель массива RAID-6.

3.4. Исследование модели.

Выводы

Глава 4. Аналитическая оценка производительности.

4.1. Оценка производительности одиночного диска.

4.2. Верхняя оценка производительности дискового массива.

4.2.1. Производительность массива RAID-0.

4.2.2. Производительность массива RAID-1.

4.2.3. Производительность массива RAID-3.

4.2.4. Производительность массива RAID-4.

4.2.5. Производительность массива RAID-5.

4.2.6. Производительность массива RAID-6.

4.2.7. Производительность массива RAID-2.

4.3. Имитационная модель.

4.4. Экспериментальная проверка результатов.

4.4.1. Экспериментальная система.

4.4.2. Измерение производительности массивов RAID-5 и RAID-0.

4.5. Анализ результатов.

4.6. Границы применимости модели.

Введение диссертации (часть автореферата) на тему «Анализ и оценка производительности дисковых систем сетей хранения данных»

Актуальность темы. В настоящее время наиболее распространенными устройствами долговременного хранения данных в вычислительных системах являются жесткие диски. Несмотря на существование различных технологий долговременного хранения данных, только магнитные диски обладают одновременно такими качествами, как быстрый произвольный доступ к данным, высокая скорость передачи данных, большая емкость и, наконец, относительно невысокая стоимость хранения информации.

Однако темпы роста производительности процессоров, оперативной памяти и других полупроводниковых компонентов значительно превышают рост производительности жестких дисков, зависящей в значительной степени от совершенства их механической системы. С каждым годом увеличивается отставание производительности жестких дисков от полупроводниковых компонентов. Объем данных, хранимых и обрабатываемых вычислительными системами, постоянно возрастает. Стандартный путь создания запоминающих устройств большой емкости состоит в подключении к вычислительной системе большого количества жестких дисков, каждый из которых доступен системе как отдельное устройство. Существенными недостатками такого решения являются низкая надежность набора дисков, неравномерность распределения нагрузки между дисками и достаточно невысокое быстродействие отдельных дисков.

Для повышения производительности и надежности систем хранения данных на жестких дисках в 1987 году группой исследователей во главе с Д. Паттерсоном была предложена концепция дисковых массивов, получивших название RAID - Redundant Array of Independent Disks (Массив 5

Независимых Дисков с Избыточностью). Выделяется три основных признака RAID-массивов, отличающие их от простого набора дисков:

- RAID-массив с точки зрения пользователя представляет собой единый виртуальный диск большой емкости;

- данные распределены по дискам, обеспечивая равномерную нагрузку на все диски массива;

- в массиве, кроме данных, хранится дополнительная (избыточная) информация, обеспечивающая возможность восстановления данных при отказе одного или нескольких дисков.

Значение дисковых массивов существенно возросло с появлением и развитием сетей хранения данных (SAN - Storage Area Networks), являющих собой новый эффективный метод организации хранения и доступа к большим объемам данных в крупных гетерогенных вычислительных комплексах. Сеть хранения данных представляет собой высокоскоростную сеть, устанавливающую прямое соединение между устройствами хранения данных и системами обработки данных (серверами). Отчасти сети хранения данных можно рассматривать как развитие высокоскоростных шин ввода-вывода, перешедших на качественно новую ступень, где использование таких устройств как концентраторы, коммутаторы, маршрутизаторы и шлюзы позволяет строить сетевую инфраструктуру, аналогичную локальной вычислительной сети (ЛВС).

Применение сетей хранения данных позволяет централизовать хранение данных, обеспечить к ним скоростной высоконадежный доступ и их совместное использование различными вычислительными платформами. Централизация и увеличение объемов хранимой информации предъявляют повышенные требования к надежности и производительности систем хранения данных. Именно поэтому все ведущие производители систем хранения данных для использования в 6 сетях хранения данных рекомендуют решения на базе дисковых массивов RAID.

Производительность дисковых массивов зависит от большого числа факторов. Такими факторами являются параметры собственно дискового массива и режима его работы (характер нагрузки). Практика показывает, что режим обращения к данным, хранящимся в RAID массиве, сильно зависит от конкретных приложений, работающих в системе, и один и тот же дисковый массив на разных задачах может иметь разную производительность.

С ростом популярности систем хранения данных на базе RAID становится все более и более актуальной необходимость в средствах моделирования и анализа их производительности. Такие средства позволят наиболее эффективно использовать потенциал существующих RAID систем и способствуют разработке новых решений.

Целью диссертационной работы является анализ принципов работы дисковых массивов, выявление параметров, влияющих на их производительность, и разработка универсальной модели для анализа производительности дисковых массивов различных типов в зависимости от параметров массива и характера нагрузки. Модель даст возможность выбирать оптимальный тип дискового массива и его параметры для достижения максимальной производительности вычислительной системы.

На защиту выносятся:

- результаты анализа применения дисковых массивов, типичных режимов работы в различных приложениях и факторов, влияющих на производительность;

- результаты исследования работы жестких дисков - базового элемента дисковых массивов и построение модели их функционирования;

- разработанные алгоритмы работы дисковых массивов всех существующих типов в различных режимах; 7

- универсальная модель функционирования дисковых массивов, полученная по результатам обобщения алгоритмов работы дисковых массивов и описывающая массивы всех известных типов;

- аналитическая оценка верхней границы производительности дисковых массивов;

- имитационная модель, позволяющая получить оценки производительности дисковых массивов;

- анализ влияния различных параметров дисковых массивов и составляющих их жестких дисков на производительность дисковых массивов.

Научная новизна. В диссертации на основе анализа особенностей функционирования и использования дисковых массивов сформулирована и решена актуальная задача создания универсальной модели функционирования дисковых массивов, описывающей различные типы массивов и получение на ее основе аналитической оценки производительности массивов в зависимости от различных их параметров и характера нагрузки.

Практическая ценность. Разработанная универсальная модель работы дисковых массивов, а также полученные на ее основе аналитические оценки производительности и система имитационного моделирования позволяют более эффективно использовать существующие RAID системы, определяя для них оптимальную конфигурацию и режимы работы, и способствуют разработке новых решений.

Достоверность полученных в диссертации результатов и выводов подтверждается экспериментальными данными, хорошо согласующимися как с результатами исследования имитационной модели, так и с полученными на основе анализа универсальной модели дисковых массивов аналитическими оценками. Полученные результаты согласуются с 8 известными данными, полученными в работах отечественных и зарубежных авторов.

Методы исследования. При решении поставленных в диссертации задач использован аппарат теории вероятностей и теории массового обслуживания, методы имитационного моделирования.

Апробация работы. Основные положения и результаты диссертационной работы представлялись и обсуждались на Научно-технических конференциях студентов, аспирантов и молодых специалистов МГИЭМ (г. Москва, 1999, 2000), Международном научно-техническом семинаре «Проблемы Передачи и обработки информации в сетях и системах телекоммуникаций» (г. Рязань, РГРА, 1999), Научно-практическом семинаре «Новые информационные технологии» (г. Москва, МГИЭМ, 2001), 10-й Международной научно-технической конференции «Проблемы передачи и обработки информации в сетях и системах телекоммуникаций» (г. Рязань, РГРА, 2001).

Публикации. По теме диссертации имеется 5 публикаций.

Структура и объем диссертации. Диссертация имеет объем 147 страниц, состоит из четырех глав и списка литературы из 116 наименований, содержит 38 рисунков. 9

Заключение диссертации по теме «Телекоммуникационные системы и компьютерные сети», Архангельский, Андрей Витальевич

Заключение

По результатам данной работы можно сделать следующие выводы:

1. Проведено исследование использования дисковых массивов в различных приложениях и особенностей их применения в сетях хранения данных, рассмотрена классификация массивов и выделены их основные характеристики. Сформулированы направления исследований.

2. Построена универсальная модель функционирования дисковых массивов различных типов, позволяющая исследовать зависимость производительности массива от параметров массива и составляющих его жестких дисков, а также характера обращений к данным. На базе универсальной модели получены аналитические оценки верхней границы производительности для существующих типов дисковых массивов. Данные оценки позволяют проводить инженерные расчеты при выборе массивов и их параметров.

3. Разработан программный пакет имитационного моделирования дисковых массивов, позволяющий исследовать их производительность с учетом таких факторов, как неполная загрузка дисков при некоторых режимах работы и обработка параллельных потоков запросов различных типов, которые невозможно учесть при построении аналитических моделей. Пакет дополняет созданные аналитические методы анализа работы дисковых массивов.

4. Проведено сравнение результатов аналитической оценки и имитационного моделирования с экспериментальными данными для различных типов массивов, показавшее достаточно высокую точность полученных результатов, что делает возможным их применение на практике.

5. Выполненное исследование и результаты моделирования позволяют сделать выводы о характере зависимости и степени влияния

138 различных факторов на производительность дисковых массивов, обоснованно выбирать параметры и типы массивов для различных приложений.

139

Список литературы диссертационного исследования кандидат технических наук Архангельский, Андрей Витальевич, 2002 год

1. Архангельский А.В. Анализ Производительности дисковых массивов. Тез. докл. Проблемы передачи и обработки информации в сетях и системах телекоммуникаций: Материалы 10-й Международной науч,-техн. конф. Рязань, РГРА, 2001. - С. 196-197.

2. Архангельский А.В. Модель для исследования RAID-систем: Тез. докл. Междунар. научн.-тех. семинар Проблемы Передачи и обработки информации в сетях и системах телекоммуникаций Рязань, РГРА, 1999. - С.38-40.

3. Архангельский А.В. Применение RAID-массивов в вычислительных системах: Тез. докл. Научн.-тех. конференция студентов, аспирантов и молодых специалистов М., МГИЭМ, 1999. - С.61-64.

4. Архангельский А.В. Универсальная имитационная модель для исследования RAID-систем: Тез. докл. Новые информационные технологии: Научн.-практический семинар М., МГИЭМ, 2001. - С.79-81.

5. Архангельский А.В. Универсальная модель для исследования RAID-систем: Тез. докл. Научн.-тех. конференция студентов, аспирантов и молодых специалистов М., МГИЭМ, 2000. - С.153-155.

6. Ахо А., Хопкрофт Д., Ульман Д. Структуры данных и алгоритмы М.: Вильяме, 2000.-384 с.

7. Байкова И., Кулагин М. Современные дисковые системы RAID // Открытые системы 1995, N 3. - С.9-14

8. Вентцель Е.С. Теория Вероятностей. Москва, 1962. - 564 с.

9. Ганьжа Д. Как работает FC-AL // Журнал Сетевых Решений/LAN.- 2001, №1.-С. 14-21

10. Ганьжа Д. От SCSI-2 к SCSI-3 // Журнал Сетевых Решений/LAN. 1999, №7. С.21-28140

11. Ганьжа Д. Сеть устройств хранения // Журнал Сетевых Решений/LAN.-2001, №2. С.15-21

12. Дисковые накопители с SSA// Вестник RS/6000, IBM Corporation, ноябрь1995.-24 с.

13. И.Иванов E.JL, Степанов И.М., Хомяков К.С. Периферийные устройства ЭВМ и систем. М.: Высшая школа, 1987. - 288 с.

14. Керниган Б., Ритчи Д. Язык программирования Си. Невский Диалект, 2000.-430 с.

15. Кларк Ч., Сети хранения данных становятся глобальными. // ComputerWorld Россия, 21 Августа 2001. С. 17-22

16. Кнут Д.Э. Искусство программирования. Том 1 М.: Вильяме, 2000. -712 с.

17. Кузьминский М. Эволюция подсистемы ввода-вывода мэйнфреймов IBM. // Открытые системы, Январь 1999. С. 16-27

18. Майер Э., Перси К. Коммутаторы для сетей хранения данных. // Сети, Октябрь 2000.-С. 22-35

19. Майнази М., Андерсон К., Криган Э. Введение в Windows NT Server 4. -М.: Лори, 1997.-548 с.

20. Нил Д., Ване Э., Род J1. Федеративные системы хранения.// Computerworld Россия, 25 Сентября 2001. С. 19-2521.0лсон К. Дисковые массивы RAID // Computerworld, 2000, №22. С.8-13

21. Робинсон Б., Межсоединения в сетях хранения.// Computerworld Россия, 2000, № 16-17. -С.31-35

22. Романчиков С. Новые стандарты RAID.// Открытые системы, 1996, N 4. С.14-19

23. Романчиков С. Современные RAID-контроллеры.// Открытые системы,1996, N 2. С.5-10

24. Серверная Система Хранения EMC Symmetrix 8730.// Журнал Сетевых Решений/LAN, 2001, №6. С.6-8141

25. Советов Б.Я., Яковлев С.А. Моделирование систем М.: Высшая школа, 1998.-344 с.

26. Флоридо Х.С. Журнальные файловые системы.// Открытые системы, Сентябрь 2001. С.28-34

27. Чепурной В. Устройства хранения информации С-Пб.: BHV - Санкт-Петербург, 1998.-208 с.

28. Чернобровцев А. Для SAN и NAS.// Computerworld Россия, 24 Июля 2001.-С. 17-23

29. ЗО.Эрглис К.Э. Интерфейсы открытых систем. Учебный курс М.: Телеком, 2000. - 256 с.

30. Яновски Д.Д., Бэннан К.Дж. Сетевые системы хранения данных.// PC Magazine/Russian Edition, Август 2001. С. 13-19

31. АМ29040 High-Performance RISC Microprocessor with Instruction and Data Caches.// Advanced Micro Devices, Inc., Publication # 18459, Июнь 1995. -31 с.

32. Amdahl G.M. Validity of the single processor approach to archiving large scale computer capabilities.// Proceedings AFIPS 1967 Spring Joint Computer Conference Vol. 30, Atlantic City, New Jersey, Апрель 1967. -C.34-52

33. Applying Networking to Storage Challenges.// Sun Journal, Volume 2, No 1, 1998. C.21-28

34. Bach M.J. The Design of The Unix Operating System. Prentice Hall, 1990. -472 c.

35. Barrett A. SCSI Stays Inside the Box For Now.// SW Expert, February 2000. - C.52-58

36. Benway A. Essential Storage Concepts.// SW Expert, June 2000. C.34-39

37. Benway A. Experiments in the SAN-Box.// SW Expert, November 2000. -C.32-42

38. Benway A. Negotiating the SCSI Swamps.// SW Expert, May 2000. C.34-40142

39. O.Ben way A. RAID Anatomy 101.// SW Expert, October 2000. C.36-45

40. Benway A. RAID Is in the Details.// SW Expert, July 2000. C.32-39

41. Blunden M., Duffoo G., Mason S., Pong L. Configuring and Implementing the IBM Fibre Channel RAID Storage Server.// IBM Corporation, International Technical Support Organization, Publication SG24-5414-00, Апрель 1999.- 152 c.

42. Blunden M., Staples P. Understanding SSA Subsystems in Your Environment.// IBM Corporation, International Technical Support Organization, Publication SG24-5750-00, Апрель 2000. 166 с.

43. Brown A., Towards Availability and Maintainability Benchmarks: A Case Study of Software RAID Systems.// Computer Science Division University of California at Berkeley, Report No. UCB//CSD-01-1132, Январь 2001. -107 с.

44. Castets G., Laing D., Myyrylainen J., Williams D. IBM TotalStorage Enterprise Storage Server. Implementing the ESS in Your Environment // IBM Corporation, International Technical Support Organization, Publication SG24-5420-01, December 2001. 334 c.

45. Chandeharizadeh S., Kim S.H. Striping in Multi-disk Video Servers.// Proceedings of the SPIE High-Density Data Recording and Retrieval Technologies Conference, Октябрь 1995. С. 11-30

46. Cheetah X15-36LP drive datasheet.// Seagate Technology LLC, Publication 1536-001, Июнь 2001.-5 с.

47. Chen P., Lee E. Striping in RAID Level 5 Disk Array.// Electrical Engineering and Computer Science Department, University of Michigan, 1995,- 14 c.

48. Chen P., Lee E., Gibson G., Katz R., Patterson D. RAID: High-Performance, Reliable Secondary Storage. 1993. 65 c.

49. Chen S., Towsley D. A Performance Evaluation of RAID Architectures.// Department of Computer Science, University of Massachusetts, Amherst, 1995.-38 c.143

50. Columbus L. Exploring the World of SCSI. PROMPT Publications, 2000 -372 c.

51. Compaq SCSI Hard Drive Option Kits QuickSpecs.// Compaq Computer Corporation, Publication DA-10260-01-007, 2000. -9 c.

52. Compaq Storage Works Smart Array 5300 Controller.// Compaq Computer Corporation, Publication DA-10640, Июль 2001. 9 с.

53. Courtright II W. V., Gibson G., Holland M., Zelenka J. A Structured Approach to Redundant Disk Array Implementation.// International Computer Performance and Dependability Symposium (IPSD), 1996. C. 135-163

54. Dan A., Yu P.S., Chung J. Characterization of Database Access Pattern for Analytic Prediction of Buffer Hit Probability.// VLDB Journal, Volume 4, 1995. C.127-154

55. Davis G. RAID: Is our Data Safe Yet ? // SunExpert Magazine, Май 1998. -С.50-58

56. EMC CLARiiON FC4700 System Specifications.// EMC Corporation, Publication C809.2, Июль 2001. 6 с.

57. EMC Symmetrix 8730-36/-73/-181 Open System and Mainframe Specifications.// EMC Corporation, Publication C758.1, Июнь 2001. 2 с.

58. Fatto L. Two parallel queues created by arrivals with two demands. // SIAM Journal Applied Mathematics, Vol. 45, Октябрь 1985. C.21-28

59. Gafsi J. Design and Performance of Large Scale Video Server.// Ecole Nationale Superieure des Telecommunications, Paris, 1999. -219 c.

60. Gibson T.J., Miller E.L. Long-Term File Activity Patterns in a UNIX Workstation Environment. 15lh IEEE Mass Storage Systems Symposium, College Park, Март 1998. C.355-371144

61. Grochowski E., IBM Hard Disk Drive Evolution.// IBM Almaden Research Center, San Jose, California, 1997. 44 c.

62. Hamming R.W. Error Detecting and Correcting Codes.// The Bell System Technical Journal, Vol XXVI, No. 2, April 1950. C.147-16065.i960 KA/KB 32-Bit Embedded Microprocessors.// Intel Corporation, Order 272233-004, 2000.-2 c.

63. IBM PC Information Brief Hard Drive Interfaces.// IBM Corporation, 1996. -12 c.

64. IBM Ultrastar family of hard disk drives.// IBM Corporation, 1999. -4 c.

65. Judd I. D., Murfet P. J., Palmer M. J. Serial Storage Architecture.// The Journal of Research and Development, Volume 40, No 6, IBM Corporation, 1996. C.15-30

66. Khattar R.K., Murphy M.S., Tarella G.J., Introduction to Storage Area Network, SAN.// IBM Corporation, International Technical Support Organization, Publication SG24-5470-00, Август 1999. 154 с.

67. Kim С., Agrawaia A.K. Analysis of the fork-join queue.// IEEE Transaction on Computers, Vol. 38, Ноябрь 1989. С. 13-59

68. Kim M. Synchronized disk interleaving.// IEEE Transactions on Computers. C-35(l 1), November 1986. C.61-73

69. Kotz D., Nieuwejaar N. Dynamic File-Access Characteristics of a Production Parallel Scientific Workload.// IEEE Supercomputing, 1994. C.640-649

70. Krishnamurthy A., Suri R., Vernon M. Two-Moment Approximations for Fork/Join Stations with Finite Queues: Issues & Insights. 11th INFORMS Applied Probability Society Conference, Июль 2001. С. 16-22

71. Lawton G. New I/O Technologies Seek to End Bottlenecks.// Computer, June 2001. C.16-19

72. Lee E. Performance Modeling and Analysis of Disk Arrays.// University of California at Berkeley, Report No. UCB/CSD-93-770, September 1993. -124 c.145

73. Lee E., Katz R. Performance consequences of parity placement in disk arrays. Proceedings ASPLOS, Апрель 1991. C.21-29

74. Leutenegger S.T. A Modeling Study of the TPC-C Benchmark.// ICASE: Institute for Computer Applications in Science and Engineering, 1993. 28 c.

75. Levine D.D. Iometer User's Guide.// Intel Server Architecture Lab, 8 Октября 1998. 68 с.

76. Levine R., The time of SANs.// Server/Workstation Expert, Augustl999. -C.59-64

77. Levine R., Gervais M. Building a SAN.// SunExpert Magazine, March 1999. C.50-64

78. Lui J.C.S., Muntz R.R., Towsley D. Computing Performance Bounds for Fork-Join Queueing Models.// Computer Science Department, The Chinese University of Hong Kong, 1994. 38 c.

79. Massiglia P. The Challenging Role Of Disk Array Controllers.// CTR, May 1998.-25 c.

80. McLean P., An Introduction to RAID Redundant Arrays of Inexpensive Disks.// Digital Equipment Corporation, 1991. 25 c.

81. Miller D. Intranets are mission critical requirement for storage.// Unisys World, Июль 2001. C.21-27

82. More efficient command and data transfer with packetized SCSI.// IBM Corporation, Publication G522-2475-00, Ноябрь 1999. 6 с.

83. Nelson R., Tantawi A.N. Approximate Analysis of Fork/Join Synchronization in Parallel Queues.// IEEE Transaction on Computers, Vol. 37, No. 6, Июнь 1988. C.47-75

84. New Advanced RAID Level for Today's Larger Storage Capacities: Advanced Data Guarding.// Compaq Computer Corporation, Publication 13JE-1000A-WWEN, 2000. -8 c.

85. Newman H. Application Performance and I/O.// SW Expert, April 2001. -C.26-30

86. Newman H. Exploring File Systems.// SW Expert, May 2001. C.30-33146

87. Newman H. I/O and Data Management.// SW Expert, December 2000. -C.32-36

88. Newman H. Secondary Storage.// SW Expert, August 2001. C.24-26

89. Newman H. Volume Management and I/O.// SW Expert, June 2001. C.28-30

90. Patterson D., Garth G., Katz R. A Case for RAID Redundant Arrays of Inexpensive Disks (RAID).// University of California at Berkeley, Report No. UCB/CSD-87-391, December 1987. 27 c.

91. Patterson D., Gibson G., Katz R. A Case for RAID Redundant Arrays of Inexpensive Disks (RAID). Proceedings ACM SIGMOD Conference, July 1988.-24 c.

92. Peterson M. Storage Networking. // Strategic Research Corporation, 1998. -11 c.

93. Plank J.S. A Tutorial on Reed-Solomon Coding for Fault-Tolerance in RAIDlike Systems.// Department of Computer Science, University of Tennessee, 1999.-19 c.

94. Poor A. Does SCSI Have a Future ? // PC Magazine, Август 2001. C.31-37

95. Purdy M., Serial Storage Architecture Management.// SysAdmin, Сентябрь 2001.-С. 10-22

96. Quinn В. RAID-S Technical Overview.// EMC Corporation, 1996. -17 c.

97. Ra E. Operating Systems and Benchmarks. http://www.StorageReview.com, 13 Марта 2000.

98. Ridge P.M. The Book of SCSI: I/O For The New Millenium. No Starch Press, 2000. - 476 c.

99. Riedel E., Faloutsos C., Gibson G.A., Nagle D. Active Disks for Large-Scale Data Processing.// IEEE Computer, June 2001. C.68-74

100. Ruemmler C., Wilkes J. An introduction to disk drive modeling.// IEEE Computer, Volume 27, No 3, Март 1994. C.67-84147

101. Russell S., Arzensek J., Muhlhoff M., Wong K.W. NetFinity Server Disk Subsystems.// IBM Corporation, International Technical Support Organization, Publication SG24-2098-03, Июнь 2000. 366 с.

102. Sacks D. IBM TotalStorage Enterprise Storage Server Proven High Performance.// IBM Corporation, Апрель 2001. - 10 с.

103. Salem К., Garcia-Molina H. Disk striping. Proceedings IEEE Data Engineering Conference. Los Angeles, CA, February 1986. C.31-43

104. Smart Array 5300 Controller User Guide.// Compaq Computer Corporation, Publication 135606-003, 2001. 9 c.

105. SMART-2DH Array Controller Reference Guide.// Compaq Computer Corporation, Publication 295469-001, 1997. 196 c.

106. ST-39173LW Ultra2 SCSI Wide (Barracuda 9LP, LVD) Configuration and Specifications.// Seagate Technology LLC, 1999. -4 c.

107. SPECweb99 Release 1.02.// Standard Performance Evaluation Corporation (SPEC), http://www.spec.org/osg/web99/. 2000. -12 c.

108. Stamm K. Surviving RAID in the UNIX/NT Environment. Systems & Network Administration Conference, Ноябрь 1997. 36 с.

109. Stodolsky D., Gibson G., Holland M. Parity Logging. Overcoming the Small Write Problem in Redundant Disk Arrays. 20th Annual International Symposium on Computer Architecture, San Diego, С A. May 16-19, 1993. -12 c.

110. Sun Enterprise Volume Manager 2.5 System Administrator's Guide.// Sun Microsystems Computer Company, Part No.: 805-1607-10, August 1997. -268 c.

111. Wilmot R.B. File Usage Patterns from SMF Data: Highly Skewed Usage. 20th International Conference on Management and Performance Evaluation of Computer Systems, 1989. C.215-232