Анализ и синтез распределенных систем хранения данных тема диссертации и автореферата по ВАК РФ 05.13.15, кандидат наук Гантимуров Андрей Павлович

• Гантимуров Андрей Павлович
• кандидат наук
• 2022

Оглавление диссертации кандидат наук Гантимуров Андрей Павлович

Введение

Глава 1. Архитектурные решения построения систем хранения данных

1.1 Существующие архитектурные решения

1.2 Анализ перспективных решений

1.3 Разработка кластера проектируемой РСХД

Выводы по Главе

Глава 2. Параметры и характеристики РСХД

2.1 Время обработки данных в подсистеме кодирования информации

2.2 Раннее диагностирование отключения жесткого диска в РСХД

2.3 РСХД как многоканальная система массового обслуживания с отказами

2.4 Соответствие структуры РСХД известному профилю нагрузки . 41 Выводы по Главе

Глава 3. Методика проектирования РСХД для заданного профиля нагрузки и определение коэффициента полезности информационного обмена

3.1 Методика проектирования РСХД для заданного профиля нагрузки

3.2 Методика расчета характеристик служебного информационного потока и коэффициента полезности информационного обмена

в РСХД

Выводы по Главе

Глава 4. Планирование и проведение эксперимента. Приоритетность информационных потоков

4.1 Планирование и схема проведения эксперимента

4.2 Результаты экспериментальных исследований и их анализ

4.3 Приоритетность информационных потоков в РСХД

4.4 Выводы по Главе

Общие выводы и заключение

Список литературы

ПРИЛОЖЕНИЕ

Введение диссертации (часть автореферата) на тему «Анализ и синтез распределенных систем хранения данных»

Введение

В последние годы экономика стал присущ инновационный характер, т.е. управление интеллектуальным капиталом предприятия теперь играет ключевую роль. Благодаря информационным технологиям происходит глубокая интеграция различных сфер деятельности: исследования, производство, коммерциализация, маркетинг, управление, логистика и т.д. Сейчас информационные технологии без которых невозможно добиться успеха, приобретают глобальный характер практически во всех областях. Грамотное внедрение информационных технологий может привести к улучшению позиции на рынке и увеличить конкурентоспособность предприятия.

Информационные технологии сегодня становятся единой сферой деятельности и жизненно необходимой отраслью. В крупных предприятиях России стала проявляется проблема организации информационного взаимодействия, так как характерные для производства организационные структуры - холдинги, компании и т.д. предполагают сложные взаимосвязи между отдельными, часто финансово независимыми предприятиями.

Одной из основных и важных проблем при разработке и внедрении информационных систем управления производственно-экономической деятельностью всегда являлось значительное увеличение объемов информации с высокой степенью важности, которую конечно же следует тщательно отбирать и аккумулировать, достаточно надежно хранить и оперативно обрабатывать. Разработка информационных систем от всемирно известных вендоров: HP, IBM, BMC, Oracle, SAP,1C, Microsoft, стала решением выше отмеченной проблемы.

Однако, в ходе развития экономики, основанного на выстраивании взаимодействия многих производителей и поставщиков в рамках систем управления жизненным циклом продукции и соответствующих цепей поставок, создания на этой основе групп предприятий (ГПР), актуализировалась проблема обработки множества различных информационных потоков и часто неформализованной информации как внутри такой группы, так и

при взаимодействии с внешними предприятиями. Указанное привело к тому, что анализировать, хранить эти данные и принимать правильные эффективные управленческие решения становится трудно ввиду переизбытка данных и неструктурированности информации.

В настоящее время переход к «цифровой» экономике — это не только инвестиции в ИТ- инфраструктуру. Для интенсивного инновационного развития экономики необходимо создания эффективных комплексных информационных систем на национальном уровне, обеспечивающих высокую реакцию при сборе, анализе и обмене данными о введении новых продуктов и процессов, а также производственных технологиях.

Прогнозируемый общий мировой объем хранимых данных на 2022 год ориентировочно составляет по нашим оценкам, порядка 40 зеттабайт [1]. Следует указать, что доля данных, генерируемых и хранимых в Российской Федерации, составляет порядка 980 экзабайт [2, 3]. Такой рост ставит перед разработчиками задачу нахождения решений, позволяющих осуществлять долгосрочное надежное хранение больших массивов данных с быстрой скоростью отклика и минимальными задержками передачи информации [2, 4]. Если рассматривать ГПР с множеством подразделений и филиалов, то такое объединение обладает сложной информационной системой, в которой должны храниться и обрабатываться все данные, обеспечивающие управление производственными процессами, материальными и денежными потоками, кадрами, электронным документооборотом и другими необходимыми для производства процессами. Но именно эффективность обмена информационными данными лежит в основе инновационного развития экономики - от скорости вывода на рынок качественной и современной продукции зависит конкурентоспособность экономики в целом. Рекомендуемая структура управления такими сложными группами предприятий должна быть горизонтальной. Разработка инновационных видов продукции является сейчас результатом работы многих научно-производственных объединений, и

к настоящему моменту уже существует четкое понимание важности эффективной организации процессов сбора, обработки и анализа информации.

Цели и задачи работы. Целью диссертационной работы является создание методики проектирования и разработки распределенных систем хранения данных с заданными характеристиками.

Для достижения поставленной цели была разработана система взаимосвязанных задач исследования:

- Анализ основных характеристик РСХД, влияющих на ее производительность.

- Разработка методик проектирования РСХД для заданного профиля нагрузки.

- Разработка методик расчета характеристик служебного информационного потока с целью определения коэффициента полезности информационного обмена в РСХД.

Актуальность работы. Очевидная сложность информационных систем в ГПР - междисциплинарный характер решаемых задач. Преобладающее наличие западных информационных технологий и инструментов указывают на отсутствие системного подхода к проектированию СХД и недостаточность отечественных методов для решения задачи эффективной организации информационного взаимодействия, надежного хранения и обработки информации в крупной ГПР. Таким образом, вышесказанное обуславливает актуальность темы диссертационного исследования.

Настоящей проблемой проектирования систем хранения данных и ее решением занимались такие исследователи как: Sangyong Yoon [5], Kitae PARK, Jinman Han [5], Wonseok Lee [5], James N. Malina [6], Albert H. Chen [6], Michael Howard Miller [7], Martin Ragnar Furuhjelm [7], Jonathan Williams Haines [7], Guy David Frick [7], Alan W. Sinclair [8], Arunprasad Ramiya Mothilal [9], Arnon Amir, David A. Pease, Rainer Richter [10].

Практическая значимость. Заключается в разработке и совершенствовании моделей, методов и создания инструментария разработки и

проектирования РСХД. Изложены новые модели, методы и методики проектирования РСХД для группы предприятий, имеющее существенное значение для экономики страны.

Положения, выносимые на защиту. В соответствии с пунктами области исследований паспорта специальности 05.13.15 «Вычислительные машины, комплексы и компьютерные сети»:

«Разработка научных методов и алгоритмов организации параллельной и распределенной обработки информации, многопроцессорных, многомашинных и специальных вычислительных систем»

на защиту выносятся следующие положения:

1. Технология минимизации времени обработки данных в подсистеме кодирования.

2. Алгоритм раннего диагностирования отключения жесткого диска в РСХД позволяющий, заблаговременно минимизировать потери общей производительности РСХД.

3. Методика проектирования РСХД для заданного профиля нагрузки, в частности расчета количества модулей управления ЫсоШ и числа модулей хранения Мтойи1е , позволяющую рассчитать минимальную конфигурацию модулей управления и модулей хранения.

4. Методика расчета характеристик служебного информационного потока и коэффициента полезности информационного обмена в РСХД удовлетворяющих потребности пользователей.

5. Технология подбора оптимальных значений коэффициентов групп приоритетности QoS для предлагаемой структуры РСХД.

Методы исследований. Для решения поставленных задач используются современные методы теории информации и теоретической информатики, математические методы теории вероятностей, теории очередей и массового обслуживания, планирования эксперимента и статистической обработки результатов экспериментальных данных.

Научная новизна. Научная новизна работы заключается в:

- предложении новых принципов организации СХД, аналогичных принципам построения коммутируемых компьютерных сетей технологии Ethernet на иерархическом уровне доступа. При этом в качестве клиента сетей рассматривается связка «модуль управления - модуль хранения»;

- разработке методик анализа производительности структурных элементов РСХД и системы в целом с учетом объема дополнительного служебного трафика;

- создании методики синтеза РСХД как многоканальной системы массового обслуживания с отказами для заданного профиля нагрузки на нижнем иерархическом уровне ее построения.

Внедрение результатов исследований. Разработанная методика проектирования РСХД для заданного профиля и расчета характеристик служебного информационного потока была применена в компании ООО «СК-СХД» при проектировании СХД для целей обеспечения виртуальной инфраструктуры (акт внедрения № 1346781).

Публикации по теме. По теме диссертационной работы опубликовано 13 научных статей, в т.ч. 12 статей в ведущих рецензируемых журналах, определенных ВАК РФ и 1 статья опубликована в издании Web of Science.

Апробация работы. Основные результаты диссертационного исследования были представлены на научно-практических конференциях, опубликованы тезисы:

1. Гантимуров А.П. Основы создания информационно-коммуникативной системы обмена инновациями // III Международная заочная научно-практическая конференция «Глобальные и локальные проблемы экономики: новые вызовы и решения» / Сборник материалов конференции. Москва, 2012. С. 82-87.

2. Гантимуров А.П. Основы создания информационно-коммуникативной системы обмена инновациями // VI ежегодная всероссийская с международным участием научно-практическая конференция

студентов «Человек. Общество. Экономика: проблемы и перспективы взаимодействия» / Сборник статей. Пермь, 2012. С. 512-513.

3. Гантимуров А.П., Бром А.Е. Разработка методов и инструментов информационного взаимодействия промышленных предприятий на основе коммуникативной системы // Materialy IX mezinarodni vedecko - prakticka conference «Moderni vymozenosti vedy - 2013» / Dil 13. Ekonomicke vedy: Praha. Publishing House «Education and Science» s.r.o - 104 stran. Прага, 2013. P. 71-75.

4. Гантимуров А.П. Исследование и анализ информационного взаимодействия промышленный предприятий // XXXI Международная научно-практическая конференция для студентов, аспирантов и молодых ученых «Актуальные проблемы экономики в XXI веке: причины и решения». / Электронный сборник статей. Часть 1. Санкт-Петербург, 2015. С. 65-67.

5. Гантимуров А.П. Анализ возможного применения системы обмена инноваций в группе промышленных предприятий // XXVI Международная (заочная) научно-практическая конференция «Тенденции развития мировой экономики в XXI веке (Э-26)» [Электронный ресурс] / Электронный сборник статей. 1 CD ROM. Казань, 2015.

6. Гантимуров А.П. Вопросы надежности при построении информационного взаимодействия промышленных предприятий на основе распределенной системы хранения данных// Тезисы к материалам// [Электронный ресурс] // Science: Discoveries and progress. Москва, 2019. №76.

Структура диссертационной работы. Диссертация состоит из введения, четырех глав, заключения и списка литературы. Работа изложена на 94 страницах, проиллюстрирована 36 рисунками, 9 таблицами. Список использованной литературы составляет 46 наименований.

Глава 1. Архитектурные решения построения систем хранения данных

1.1 Существующие архитектурные решения

Существующие на сегодня требования к проектированию и разработке систем хранения данных (СХД), обеспечивающих приемлемые надежность и производительность, обуславливаются объективной тенденцией высокого роста объема данных, которые требуют долговременного хранения. Примеры данных: значительные объемы неструктурированной информации, получаемой от датчиков, систем наблюдения и регистрации и пр.; архивные и статистические данные и т.п., регулярно пополняемые в процессе работы различных сетевых сервисов. Прогнозируемые величины объема и интенсивности информационного обмена [1, 11, 12] предъявляют конкретные требования к показателям надежности и производительности в используемых и проектируемых СХД.

Агентством Gartner был предложен термин Web-Scale IT для описания технологии построения наиболее перспективных СХД, а позже агентством было спрогнозировано, что данный подход к построению непосредственно архитектуры СХД будет использован более чем 50 % всех основных компаний. Сегодня данный подход к разработке СХД всемирно принято и практически опробовано многими ведущими компаниями в этой области [11]. Поясним, что под термином Web-Scale IT подразумевается концепция проектирования довольно крупной вычислительной инфраструктуры (аналогичной по масштабам крупнейшим мировым провайдерам ИТ-сервисов), которая предоставляет организациям возможности облачного сервиса внутри корпоративной сети [13].

Специалисты многих организаций отмечают, что Web-Scale IT включает в себя реализацию разных подходов к построению ИТ-инфраструктуры

компаний и имеет следующие преимущества: за короткий срок вывод новых продуктов на рынок, возможность проведения значительного числа внесения изменений в сжатые сроки, использование открытого аппаратного и программного обеспечения в соответствии с известными и применяемыми методологиями Agile и DevOps [14]. Основным отличием Web-Scale IT является реализация отказоустойчивости на уровне программного обеспечения и требует оптимизации кода под аппаратное обеспечение. Поясним, что отказ от любых технологий виртуализации, вносит ещё один слой взаимодействия с аппаратным обеспечением (и, вполне вероятно, соответствующие задержки). Аппаратное обеспечение разрабатывается с учетом архитектуры программного обеспечения. Аппаратное обеспечение может быть интегрированным или разделенным на компоненты. [14]. Т.о., архитектуры, построенные по Web-Scale IT, высоко масштабируемы, поскольку уровни производительности достигаются большими количествами эффективных неспециализированных узлов и использованием типовых серверов. Совокупные ресурсы множества этих узлов объединяются в пул для создания «вычислительной матрицы» (computing fabric) и распределения согласно потребности. Оборудование Web-масштаба -относительно недорогое и легкодоступно. При отказе узел просто заменяется. Управляет этой сетью узлов интегрированное программное обеспечение, которое - в отличие от аппаратных средств управления - может «перепрограммировать» систему, чтобы она отвечала меняющейся динамике. Такая система по сути своей эластична, так как данные, метаданные и операции распределяются на большое количество малых заменяемых узлов и, возможно, даже на несколько центров обработки данных [14]. Ключевыми элементами архитектурного решения СХД по Web-Scale IT являются следующие [15, 11, 16, 12]:

- ориентация на использование центров обработки данных (ЦОД);

- использование веб-ориентированной или микросервисной архитектуры предоставления услуг;

- наличие программируемого управления СХД;

- возможность настройки любых бизнес-процессов, ориентированных на высокую производительность;

- применение методологии «корпоративная культура обучающейся организации», сфокусированная на инновациях и непрерывном обучении.

Также отметим, что ряд специалистов, например согласно [14], выделяют два разных подхода к обеспечению масштабируемости. Вертикально-масштабируемые системы (scale-up), которым свойственно увеличение количества доступных ресурсов за счет увеличения мощности применяемых вычислительных средств, и горизонтально-масштабируемые системы (scale-out), характеризуемые наличием значительного числа небольших серверов, объединенных в кластер, на которых распределяется поставленная заказчиком прикладная задача. Несмотря на различие, scale-up и scale-out указанные подходы могут комбинироваться в рамках одной СХД [17].

Однако, масштабирование до большого количества узлов, в том числе с возможным распределением по географически разнесенным ЦОД, может привести к проблеме обеспечения доступности и консистентности данных.

В настоящее время наиболее характерными представителями горизонтально-масштабируемых систем, спроектированных согласно Web-Scale IT, являются СХД компаний EMC Isilon и IBM XIV. Кластер горизонтально-масштабируемой системы, указанных решений состоит из серверов, включающих в себя процессоры, кэш-память, диски, Ethernet-порты средств подключения. Помимо данных устройств, узел EMC Isilon содержит также порты Infiniband RDMA [18], при помощи которых серверы объединяются во внутреннюю сеть с целью обеспечения отказоустойчивости кластера [19]. Согласно [20, 21] архитектура кластера указанных СХД соответствует схеме, приведенной на Рисунке 1.1. Отметим, что общим для этих горизонтально-масштабируемых систем является единица масштабирования, представляющая собой аппаратный модуль с фиксированным количеством подсоединенных к нему дисков. Главные отличия этих систем друг от друга заключаются

в особенностях организации доступа к данным и способу их хранения. В одном случае обеспечивается доступ к данным через организацию файловой системы, в другом случае используется блочное устройство.

Рисунок 1.1. Архитектура кластера СХД EMC Isilon и IBM XIV

1.2 Анализ перспективных решений

На основе анализа СХД от компании EMC и IBM, и в частности Isilon, а также автором на основе собственного опыта, сделан вывод, что все данные распределены между всеми узлами данных СХД, и любой узел может на равных обслуживать запросы к любому файлу, независимо от того, на дисках или в кэше какого узла находятся данные. Тем самым достигается высокая производительность работы с любым файлом. Также стоит отметить, что ресурсы объединены в пул, архитектура параллельная. В данной концепции при использовании SSD (Solid-State Drive) должна достигаться максимальная эффективность в утилизации SSD дисков. Кроме указанного, должна быть предусмотрена возможность использование SSD для метаданных. При файловом доступе значительную часть операций составляют именно операции с метаданными, их доля часто, как правило, превышает 50%. Приведем пример, прежде чем начать читать блоки файла с сетевого диска, необходимо «пробежаться» по дереву каталогов, получить атрибуты файла, получить список

его физических блоков. Указанное требует определенных операций и добавляет задержки. В этом случае множество небольших обращений к метаданным моментально перенаправляется на обслуживание на SSD, а не теряет время вместе с большими запросами к данным в очереди к медленным дискам. Т.о., можно добавить в кластер всего 1-2% емкости на SSD (например, по одному SSD в каждый узел) и получить значительный прирост производительности файловых операций (до 30% на близких к случайным нагрузках при вдвое меньшем времени отклика) [22]. В традиционных системах нужно следить за загрузкой контроллеров, портов, дисковых групп, что становится практически невозможным с ростом объемов и числа систем. В описанной ситуации, предполагается всего один наиболее эффективный и приемлемый подход, а именно: равномерно распределить данные и нагрузку, что позволит достичь высокой эффективности как в смысле загрузки всех компонентов, так и в смысле полезной емкости [22].

Говоря о коэффициенте полезной емкости, часто учитывают только накладные расходы на RAID (Redundant Array of Independent Disks) и ФС (файловая система), забывая о второй составляющей общей эффективности. ПТК (программно-технический комплекс) благодаря своей схеме защиты данных и единой ФС может обеспечить реальный коэффициент полезной емкости более 80% [22].

Классические платформы хранения SAN [23, 24] и NAS, хотя и критически важны для корпоративных приложений, но не предназначены для работы с современными облачными приложениями и не соответствуют требованиям масштабирования в облаке. Кроме того, постоянный рост объемов неструктурированных данных требует создания более простой архитектуры хранения, которая предназначена для управления миллиардами и триллионами файлов, ускоряет разработку облачных и мобильных приложений и приложений для больших данных и при этом позволяет снизить издержки, связанные с хранением, и расходы в целом. Чтобы решить эти задачи, ИТ-службы и поставщики услуг начали тестировать и внедрять экономичные типовые и

открытые инфраструктуры. Типовые компоненты и открытые технологии на базе стандартов снижают затраты на хранение, но по отдельности обеспечивают более низкие показатели производительности и надежности. Также следует помнить, что инфраструктура удобна в обслуживании, если у ИТ-специалистов заказчика есть достаточный опыт ее эксплуатации [22].

Беспрецедентный рост объемов данных (структурированных и неструктурированных) приводит к тому, что файлы больших объемов (например, изображения, видео и т.п.) хранятся в дорогостоящих изолированных СХД. В классической инфраструктуре, как правило, часто данные изолируется, затрудняя тем самым обмен и управление ими и увеличивая издержки. Указанный фактор не поддерживают эффективное и экономичное масштабирование, что вынуждает заказчиков искать решение, которое сочетает в себе преимущества публичного и частного облака. Решения позволяют любой организации объединить несколько систем хранения и архивов содержания в единый глобально доступный и эффективный репозиторий содержания, который может обслуживать большое количество приложений [22].

Положенная в основу решения архитектура типа «активный-активный» с поддержкой нескольких площадок, единое глобальное пространство имен и универсальная доступность обеспечивают доступ к содержанию из любой точки для любого приложения или устройства. Благодаря распределению контейнеров данных между площадками операции записи и чтения могут выполняться в любой точке мира. Решения обеспечивают высокий уровень семантической согласованности, что позволяет упростить разработку приложений и получать доступ к данным из любой точки. Также в решении имеется функция геокэширования, которая определяет схемы доступа с нескольких площадок и кэширует данные на площадке, где эти данные используются чаще всего [22].

В общепринятых классических инфраструктурах хранения данных, как правило, внедрить системы бизнес-аналитики может быть непросто. Т.к., данные часто распределены между несколькими сложными системами, и затрудняет и увеличивает издержки на доступ и управление. Организации вынуждены

получать данные от операционных систем и затем загружать их в выделенный кластер для анализа. В основе эффективной аналитики лежат точность и своевременность данных. Решение предоставляет заказчикам возможность извлекать практически значимые данные бизнес-аналитики из больших объемов распределенного содержания, не используя рабочий процесс ETL (Extract, Transform, Load). Решения могут поддерживать озеро данных, предоставляя возможности доступа и управления любым содержанием организации с помощью нескольких дистрибутивов Hadoop [22].

При использовании привычных СХД с ростом объемов данных неизбежно возрастает число контроллеров, дисковых групп, томов, файловых систем, так или иначе появляются «островки» разнородных систем, становится все сложнее и сложнее поддерживать эффективность их использования. Наращивание систем требует предварительного анализа, сложных работ по конфигурации и миграции данных [22].

В последние годы становится актуальной задача анализа «больших данных». Т.е., необходима система, которая позволит получить ценные результатов из тех больших объемов информации, которые уже создавались различными системами и процессами, но которые было невозможно, либо трудно обработать используя классические методы [22]. Предполагается, что система должна позволять:

- захватывать и хранить исходные неструктурированные данные в относительно недорогой и масштабируемой платформе;

- хранить данные различных типов и из различных источников в едином репозитории;

- выполнять операции по трансформации данных в рамках единой системы;

- определять структуру данных в тот момент, когда эту информацию необходимо использовать, т.е. структура данных может, если необходимо, определяться схемой на чтение;

- легко внедрять и применять новые механизмы и инструменты по анализу данных;

- достаточно емко выполнять уникальные, под «единичную» конкретную задачу, аналитические запросы;

- предоставлять достаточно широкие возможности доступа к данным для всевозможного анализа.

При проектировании решений СХД, указанных в главе 1.1, их общая производительность определяется производительностью модуля управления, оказать влияние на который со стороны персонала (администраторов) практически не представляется возможным. А вот более перспективным вариантом управления производительностью является выделение двух уровней масштабирования: масштабирование по ресурсам, которое выполняется управлением количества аппаратно-управляемых массивов жестких дисков, и масштабирование по производительности - управлением количеством аппаратных блоков подготовки и обработки информации. Согласно вышеизложенному предлагается архитектурное решение на основе проанализированного подхода, представленное на Рисунке 1.2 [12].

Рисунок 1.2. Предлагаемая архитектура кластера проектируемой СХД

Отметим, что аппаратный модуль хранения данных содержит в себе, кроме контроллера управления и интерфейса обмена данными с массивом жестких дисков, также и резервируемую область памяти с хранимой информацией об адресном пространстве подключенного массива жестких дисков. Поэтому

в состав программного обеспечения аппаратного модуля подготовки и обработки информации, помимо модуля доступа и обмена данными, а также блока подготовки и распределения данных, входят реплицируемые области памяти, в которые осуществляется прием пользовательской информации и хранение идентификационных записей о структурах, хранимых в СХД.

Список литературы диссертационного исследования кандидат наук Гантимуров Андрей Павлович, 2022 год

Список литературы

1. Рост объема информации - реалии цифровой вселенной. Технологии и средства связи. 2013. № 1(94). URL: http://tssonline.ru/articles2/fix-corp/rost-obema-informatsii--realii-tsifrovoy-vselennoy (дата обращения: 24.02.2022).

2. IDC digital universe 2014 Russia. URL: https://russia.emc.com/collateral/analyst-reports/idc-digital-universe-2014-russia.pdf (дата обращения: 24.02.2022).

3. Бром А.Е., Гантимуров А.П. Методы оптимизации информационных потоков в бизнес-процессах с распределенной системой хранения данных // Проблемы теории и практики управления. 2019. № 3-4. С. 56.

4. Гантимуров А.П. Разработка методов и инструментов для построения и анализа информационного взаимодействия промышленных предприятий // Вестник ВУиТ. 2016. №1. URL: https://cyberleninka.ru/article/ (дата обращения: 24.02.2022).

5. Пат. US8976587B2 Data storagesystem having (52) u.s. cl. Mult-bit memory device and operating method thereof, Applicants: Sangyong Yoon, Seoul (KR); Kitae Park, Seongnam-si (KR). URL: https://patentimages.storage.googleapis.co (дата обращения: 24.02.202).

6. Пат. CA2937877A1 Garbage collection and data relocation for data storage system, Inventor: Albert H. ChenJames N. Malina, Current Assignee: Western Digital Technologies Inc. URL: https://patentimages.storage.googleapis.co (дата обращения: 24.02.2022).

7. Пат. US8468370B2 Systems, methods and devices for control of the operation of data storage devices using solid-state memory and monitoring energy used therein, Inventor: URL: https://patentimages.storage.googleapis.co (дата обращения: 24.02.2022).

8. Пат. EP2156299B1 Method and system for storage address re-mapping for a memory device, Inventor: Alan W. Sinclair, Barry Wright; Current Assignee: SanDisk Technologies LLC. URL: https://patentimages.storage.googleapis.co (дата обращения: 24.02.2022).

9. Пат. US8510532B2, Logical-to-physical address translation for a removable data storage device, Inventor: Arunprasad Ramiya Mothilal, Current Assignee: Kingston Digital Inc. URL: https://patentimages.storage.googleapis.com/ (дата обращения: 24.02.2022).

10. Пат. US9063666B2 File index, metadata storage, and file system management for magnetic tape, Inventor: Arnon Amir David A., PeaseRainer Richter; Current Assignee: International Business Machines Corp. URL: https://patentim (дата обращения: 24.02.2022).

11. Почему цифровой бизнес означает переход к Web-Scale ИТ]. URL: http://channel4it.com/publications/Pochemu-cifrovoy-biznes-oznachaet-perehod-k-Web-Scale-IT-7047.html (дата обращения: 24.02.2022).

12. Иванов И.П., Гантимуров А.П., Виниченко А.Д., Босов А.В. Выбор архитектурных решений построения системы хранения данных в технологии Wes-Scale IT // Перспективы науки. 2019. № 8(119). С. 6-7.

13. Раскладываем новые тренды в ИТ-инфраструктуре по полочкам: что такое scale-out, web-scale, гиперконвергентность. URL: https://habr.com/ru/company/ibm/blog/317844/ (дата обращения: 24.02.2022).

14. Gartner: цифровой бизнес требует перехода к ИТ Web-масштаба. URL: https://www.crn.ru/news/detail.php?ID=99177 (дата обращения: 24.02.2022).

15. Применение веб-технологий в разработке крупных проектов]. URL: http://2016.secrus.org/lang/ru/program/program-overview/web-scaled-it (дата обращения: 24.02.2022).

16. Enter Web-scale IT. URL: http://blogs.gartner.com/cameron_haight/2013/05/16/enter-web-scale-it (дата обращения: 24.02.2022).

17. Распределенные файловые системы. Технологический обзор. Продуктовый обзор. URL: https://itelon.ru/blog/raspredelennye-faylovye-sistemy-tekhnologicheskiy-obzor-produktovyy-obzor/ (дата обращения: 24.02.2022).

18. RDMA и RoCE для высокой производительности сетей Ethernet. URL: https://ru.mellanox.com/products/adapter-ethernet-SW/RDMA-RoCE-Ethernet-Network-Efficiency/ (дата обращения: 24.02.2022).

19. Красиков Е. EMC Isilon: Горизонтально-масштабируемая NAS-система / Красиков, Е. // Storage News. 2012. №1(49). С. 18-21.

20. Красиков Е. EMC Isilon: Кластерная система хранения для приложений нефтегазовой отрасли. URL: https://www.ospcon.ru/files/08._Krasikov_-_Isilon_v3.pdf (дата обращения: 24.02.2022).

21. IBM XIV Система хранения на основе grid-технологии, состоящая из независимых модулей. URL: https: //www.trinitygroup .ru/pro ducts/storage/ibm/di sk/highend/xiv/ (дата обращения: 24.02.2022).

22. Программно-определяемая объектная система хранения. URL: https://www.delltechnologies.com/ru-ru/storage/media-entertainment.htm (дата обращения: 24.02.2022).

23. Руководство по выживанию IBM SAN. URL: http://www.redbooks.ibm.com/redbooks/pdfs/sg246143.pdf (дата обращения: 24.02.2022).

24. FIBRE CHANNEL в теории и на практике. SAN - сети хранения данных. URL:

https: //web .archive.org/web/20130823102428/http: //fibrechannel .ru/fc.html (дата обращения: 24.02.2022).

25. Block Storage. URL: https://www.ibm.com/cloud/learn/block-storage (дата обращения 08.02.2022).

26. Бусленко Н.П., Калашников Н.Н., Коваленко И.Н. Лекции по теории сложных систем / Учебное пособие, - М.: Советское радио, 1973. - 441 с.

27. Иванов И.П., Гантимуров А.П., Виниченко А.Д., Босов А.В. Способ снижения времени обработки данных в подсистеме кодирования

информации распределенной системы хранения данных // Промышленные АСУ и контроллеры. 2019. №12. С. 36-39.

28. Сагалович Ю.Л. Введение в алгебраические коды: [учеб. пособие] / Ю. Л. Сагалович; Федер. агентство по образованию, Моск. физ.-техн. ин-т (гос. унт), Ин-т проблем передачи информ. им. А. А. Харкевича РАН. - Москва: МФТИ, 2007. - 261 с.

29. Sage A. Weil, Scott A. Brandt, Ethan L. Miller, Carlos Maltzahn CRUSH: Controlled, Scalable, Decentralized Placement of Replicated Data // SC '06: Proceedings of the 2006 ACM/IEEE Conference on Supercomputing. 2006.

30. Авиженис А. Отказоустойчивость - свойство, обеспечивающее постоянную работоспособность цифровых систем / А. Авиженис // ТИИЭР. 1978. Т. 66. №10. С. 5-25.

31. Ведешенков В.А. Самодиагностирование цифровых систем с реконфигурацией / В.А. Ведешенков // Проблемы управления. 2003. № 4. С. 39-51.

32. Федоров А.Р. Способы кодирования информации для построения программных отказоустойчивых дисковых массивов / А.Р. Федоров // Системное программирование. 2012. Т. 7. С. 6-31.

33. Круглов В.В., Дли М.И. Интеллектуальные информационные системы: компьютерная поддержка систем нечеткой логики и нечеткого вывода / В.В.Круглов, М.И. Дли. - М.: Физматлит, 2002. - 2002 с.

34. Леоленков А.В. Нечеткое моделирование в среде MATLAB и fuzzyTECH / А.В. Леоленков; Изд-во: СПб: БХВ, 2005 г.

35. Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: Пер. с польск. И.Д. Рудинского. - М.: Горячая линия -Телеком, 2006. - 452 c.

36. Иванов И.П., Гантимуров А.П., Виниченко А.Д., Босов А.В. Метод раннего диагностирования отключения жесткого диска в распределенной системе хранения данных // Радиотехника. 2019. Т. 83. № 12(19). С. 5-11.

37. Штовба С.Д. Проектирование нечетких систем средствами MATLAB / С.Д. Штовба. - Москва: Горячая линия - Телеком, 2007. - 288 с.

38. Самаров К.Л. Математика. Учебно-методическое пособие для студентов по разделу «Элементы теории массового обслуживания» / К.Л. Самаров. - М.: Учебный центр «Резольвента», 2009. - 18 с.

39. Лучшие SSD конца 2018 - начала 2019 года. URL: https://f1comp.ru/zhelezo/luchshie-ssd-2018-goda/ (дата обращения: 24.02.2022).

40. Huang L., Li J., Li X. InfoMall: A Large-Scale Storage System for Web Archiving // In: Gao Y. et al. (eds) Web-Age Information Management. WAIM 2013. Springer, Berlin, Heidelberg. Lecture Notes in Computer Science. Vol. 7901. P. 89-98.

41. Kotoulas S., van Harmelen F., Weaver J. KR and Reasoning on the Semantic Web // Web-Scale Reasoning. 2011. Handbook of Semantic Web Technologies. P. 441466.

42. Bouquet P., Palpanas T., Stoermer H., Vignolo M. A Conceptual Model for a Web-Scale Entity Name System // In: Gómez-Pérez A., Yu Y., Ding Y. (eds) The Semantic Web. ASWC 2009. Springer, Berlin, Heidelberg. Lecture Notes in Computer Science. Vol. 5926.

43. Качество обслуживания хранилища. URL: https://docs.microsoft.com/ru-ru/windows-server/storage/storage-qos/storage-qos-overview (дата обращения: 24.02.2022).

44. Sun J., Yu X., Wang R., Zhong N. A Model for Personalized Web-Scale Case Base Maintenance // In: Liu J., Wu J., Yao Y., Nishida T. (eds) Active Media Technology. AMT 2009. Springer, Berlin, Heidelberg. Lecture Notes in Computer Science. Vol. 5820. P. 44.

45. Zhang B., Qu Y., Peng J., Fan J. An automatic image-text alignment method for large-scale web image retrieval // Multimedia Tools and Applications. 2017.

46. Block Storage. URL: https://www.ibm.com/cloud/learn/block-storage (дата обращения: 24.02.2022).

Акт о внедрении

Общество о ограниченной ответственностью «СК — СХД»

12120$, город Москва, территория Ско.ткпвп шшнвинионнип! ценгрл, ул. Побели, дом 7, эт/пом/рай 4/67/5, ОГРП 1197746042933 ИНН 97Ш2Щ7

Писыи» Ио, № СК.|,4£.',12-21

об использовании (ннСДрСнии) речульгйтСш работы Гаитимурода Андрея Павловича на тему «Анализ и сии ген распределенных систем хрии-енин

Настил щим подтверждается, что методика проектирования распределенной системы ирвяЬния данных для ладанного профиля и расчету характеристик служебного информационное питиьса нЖдрсна и а предприятии м> 2 квартале 201У гйди. ^нные методики пшиолягот проектировать системы хранения данных с учетом детальных требований заказчики и.

АКТ

данных»

рабочем процессе ООО <:<СК-СХД>>

\\