Разработка методов и алгоритмов повышения эффективности автоматизированных систем охлаждения в центрах обработки данных тема диссертации и автореферата по ВАК РФ 00.00.00, кандидат наук Свиридов Алексей Николаевич

• Свиридов Алексей Николаевич
• кандидат наук
• 2024

Оглавление диссертации кандидат наук Свиридов Алексей Николаевич

Введение

ГЛАВА 1. АНАЛИТИЧЕСКИЙ ОБЗОР СУЩЕСТВУЮЩИХ МЕТОДОВ И СРЕДСТВ ПОВЫШЕНИЯ ЭНЕРГОЭФФЕКТИВНОСТИ АВТОМАТИЗИРОВАННЫХ СИСТЕМ ОХЛАЖДЕНИЯ В ЦОД

1.1. Основные требования к системам охлаждения в ЦОД

1.2. Современные подходы к решению задачи повышения энергоэффективности автоматизированных систем охлаждения в ЦОД

1.2.1. Моделирование с использованием вычислительной гидродинамики

1.2.2. Повышение детализации измерений температуры в ЦОД

1.3. Современные подходы к управлению температурным режимом ЦОД

1.3.1. Управление температурным режимом без учета данных с ИТ-оборудования ЦОД

1.3.2. Управление температурным режимом в ЦОД на уровне виртуализации

1.3.3. Управление температурным режимом в ЦОД на уровне приложений

1.3.4. Межуровневые взаимодействия для управления температурным режимом ЦОД

1.4. Проблемы современных подходов к управлению температурным режимом в ЦОД

1.5. Постановка задачи диссертационной работы

Выводы по главе

ГЛАВА 2. ФОРМАЛИЗАЦИЯ ПРОЦЕССА ПРЕВЕНТИВНОГО УПРАВЛЕНИЯ ТЕМПЕРАТУРНЫМ РЕЖИМОМ В ЦОД И МЕТОДОВ ЕГО РЕАЛИЗАЦИИ

2.1. Построение модели циркуляции воздуха в помещении ЦОД

2.2. Построение модели рабочих циклов автоматизированных систем охлаждения в ЦОД

2.3. Определение задачи повышения энергоэффективности автоматизированных

систем охлаждения в ЦОД

Выводы по главе

ГЛАВА 3. РАЗРАБОТКА АЛГОРИТМОВ И МЕТОДА ПРЕВЕНТИВНОГО УПРАВЛЕНИЯ ТЕМПЕРАТУРНЫМ РЕЖИМОМ В ЦОД

3.1. Разработка алгоритма взаимодействия автоматизированных систем охлаждения и логических уровней архитектуры ЦОД

3.1.1. Формализация задачи управления температурным режимом на основе шаблонов тепловыделения вычислительного оборудования

3.1.2. Общий вид алгоритма взаимодействия автоматизированной системы охлаждения и системы виртуализации

3.1.3. Требования к вычислительному оборудованию БСАОА-системы

3.1.4. Требования к обеспечению мер информационной безопасности при взаимодействии со БСАОА-системой

3.2. Разработка алгоритма оптимизации распределения нагрузки на вычислительное оборудование ЦОД

3.2.1. Формализация задачи оптимизации распределения нагрузки на вычислительное оборудование

3.2.2. Общий вид алгоритма оптимизации распределения нагрузки на вычислительное оборудование

3.3. Разработка методов превентивного управления температурным режимом

Выводы по главе

ГЛАВА 4. ВЕРИФИКАЦИЯ ПРЕДОЖЕННОГО МЕТОДА ПОВЫШЕНИЯ ЭНЕРГОЭФФЕКТИВНОСТИ АВТОМАТИЗИРОВАННЫХ СИСТЕМ ОХЛАЖДЕНИЯ В ЦОД

4.1. Требования к проведению экспериментальной оценки эффективности предложенного метода

4.2. Оценка эффективности разработанного алгоритма оптимизации распределения нагрузки на вычислительное оборудование путем СБО-моделирования

4.3. Оценка эффективности разработанного метода превентивного управления температурным режимом путем сравнения показателей энергоэффективности в рамках одного ЦОД

4.4. Оценка эффективности разработанного метода превентивного управления температурным режимом путем сравнения показателей энергоэффективности в

рамках трех ЦОД

Выводы по главе

Заключение

Список литературы

Приложение 1. Листинги фрагментов программ

Приложение 2. Акты внедрения

Введение диссертации (часть автореферата) на тему «Разработка методов и алгоритмов повышения эффективности автоматизированных систем охлаждения в центрах обработки данных»

ВВЕДЕНИЕ

Актуальность исследования. Задача хранения и обработки большого количества информации является ключевым фактором развития ИТ-инфраструктуры компаний практически любой отрасли.

Увеличение потребности в быстрых вычислениях и больших системах хранения данных привело к росту количества и размеров центров обработки данных (ЦОД).

Российский рынок ЦОД развивается намного быстрее мирового. Согласно исследованию компании «CNews Analytics», в 2020 году суммарное количество серверных стоек в российских ЦОД увеличилось на 30% [1].

Развитию российского рынка ЦОД способствует национальная программа «Цифровая экономика Российской Федерации», согласно которой планируется увеличение в России рынка услуг хранения и обработки данных [2, 3].

Центры обработки данных стали ключевыми компонентами современной ИТ-инфраструктуры, поэтому их требования к потреблению энергии и охлаждению стали критическими проблемами как с точки зрения растущих эксплуатационных расходов, так и с точки зрения их воздействия на окружающую среду.

Совокупное энергопотребление существующих коммерческих ЦОД России в августе 2020 года составило 123 МВт-ч [4].

Одним из основных параметров ЦОД является энергоэффективность. ГОСТ Р ИСО/МЭК 30134-2-2018 описывает коэффициент энергоэффективности (PUE -Power Utilization Efficiency), который используется для определения эффективности использования и распределения энергоресурсов в ЦОД. Энергоэффективность ЦОД определяется отношением общей мощности, потребляемой ЦОД, к мощности, потребляемой ИТ-оборудованием. Основным фактором, влияющим на энергоэффективность ЦОД, является эффективность автоматизированных систем охлаждения (АСО) [5].

Актуальные вопросы и способы повышения эффективности АСО ЦОД обширно освещены в современных научных исследованиях. Эта тема была

исследована как зарубежными, так и отечественными учеными: R.R. Schmidt, K.C. Karki, S.V. Patankar, H. Hayama, M. Nakao, В. А. Бройда, Н.С. Дорофеенко, С.Г. Ворончихин, В.А. Помыткин, А.Л. Флаксман, М.А. Земцов.

Однако они рассматривают только применение реактивного подхода к управлению температурным режимом и не учитывают пространственное распределение тепловыделения внутри центров обработки данных.

При реактивном управлении температурным режимом изменение мощности АСО происходит после фиксации того, что температура превысила заданное значение. Однако в условиях ЦОД при резком увеличении нагрузок на ИТ-оборудование происходит резкое увеличение тепловыделения. При реактивном подходе вследствие инертности системы охлаждения происходит задержка в реагировании системы охлаждения, что вызывает нарушение температурного режима.

Также одной из фундаментальных проблем в ЦОД является неравномерность тепловыделения. Это влечет за собой ложное увеличение мощности АСО и возникновение зон с нарушенным температурным режимом.

Решение описанных проблем возможно при применении превентивного подхода к управлению температурным режимом ЦОД. Превентивный подход к управлению температурным режимом основан на расчете прогнозируемого тепловыделения.

Следовательно, проведение исследований для определения возможности повышения эффективности АСО ЦОД, с учетом недостатков реактивного подхода и преимуществ превентивного подхода к управлению температурным режимом, является актуальным.

Цель диссертационной работы - повышение энергоэффективности автоматизированных систем охлаждения центров обработки данных за счет применения предложенных метода превентивного управления температурным режимом и алгоритма оптимизации распределения нагрузки на вычислительное оборудование.

В соответствии с поставленной целью в диссертации решаются следующие задачи:

1. Аналитический обзор методов соблюдения температурного режима центров обработки данных.

2. Разработка алгоритма оптимизации распределения нагрузки на вычислительное оборудование с учетом тепловыделения.

3. Разработка алгоритма взаимодействия автоматизированных систем охлаждения и систем виртуализации центров обработки данных.

4. Разработка метода превентивного управления температурным режимом в центрах обработки данных для соблюдения заданных параметров.

5. Реализация предложенных метода и алгоритмов в рамках действующих центров обработки данных.

6. Оценка эффективности предложенного решения путем расчета отношения энергопотребления систем охлаждения и вычислительного оборудования центров обработки данных.

Методы исследования. Для достижения целей, поставленных в рамках диссертационных исследований, был использован широкий набор методологических подходов, включая методы математического и системного анализа, принципы теории автоматического управления, методы оптимизации, численные методы для решения систем нелинейных уравнений, а также методы математического и имитационного моделирования.

Научная новизна диссертационного исследования заключается в научно-обоснованном наборе технических решений, направленных на улучшение показателей энергетической эффективности автоматизированных систем охлаждения центров обработки данных.

В процессе исследований получены следующие новые научные результаты:

1. Предложена математическая модель теплообмена в центрах обработки данных, основанная на уравнениях теплового дисбаланса, позволяющая проводить моделирование режимов теплообмена с целью повышения энергоэффективности автоматизированных систем охлаждения.

2. Разработаны алгоритм оптимизации распределения нагрузки на вычислительное оборудование центров обработки данных с учетом тепловыделения и алгоритм взаимодействия автоматизированных систем охлаждения центров обработки данных и систем виртуализации, обеспечивающие равномерность тепловыделения в рамках центра обработки данных и уменьшение времени нарушения температурного режима ИТ-оборудования.

3. Предложен метод превентивного управления температурным режимом центров обработки данных, обеспечивающий повышение энергоэффективности автоматизированных систем охлаждения.

4. Предложен метод оценки эффективности разработанных решений путем расчета показателя энергоэффективности автоматизированных систем охлаждения, коэффициента энергоэффективности центра обработки данных и средней длительности нарушения температурного режима вычислительного оборудования. Предложенные решения позволили улучшить эти показатели на 22%, 5% и 78%, соответственно.

Достоверность полученных результатов подтверждена результатами имитационного моделирования различными математическими аппаратами, экспериментальными исследованиями и практической реализацией полученных результатов, которые обеспечивают повышение энергоэффективности автоматизированных систем охлаждения центров обработки данных.

Практическая ценность работы заключается в том, что идеи, заключения и рекомендации данной диссертации направлены на обширное использование результатов исследований, обеспечивающих повышение энергоэффективности автоматизированных систем охлаждения центров обработки данных. Самостоятельное практическое значение имеют:

- метод превентивного управления температурным режимом центров обработки данных;

- алгоритм оптимизации распределения нагрузки на вычислительное оборудование центров обработки данных с учетом тепловыделения;

- алгоритм взаимодействия между автоматизированными системами охлаждения и системами виртуализации центров обработки данных.

Акты внедрения результатов диссертации в операционную деятельность ООО «АЛИБАБА.КОМ (РУ)» и в учебный процесс НИУ «МИЭТ» при проведении занятий по дисциплинам «Информационное обеспечение систем управления», «Программные средства систем управления технологическими процессами», «Программирование и основы алгоритмизации» подтверждают практическую значимость данного исследования.

Личный вклад автора. Автор лично осуществил все ключевые исследования и анализировал их результаты в рамках данной диссертации. В случае совместных работ, автор принимал активное участие в определении задач, разработке методологии, выполнении экспериментов, анализе данных, подготовке научных публикаций и презентации результатов на научных конференциях, а также в процессе внедрения полученных результатов.

Внедрение результатов диссертации. Результаты данной диссертации успешно интегрированы в операционную деятельность ООО «АЛИБАБА.КОМ (РУ)». Кроме того, эти результаты активно используются в рамках учебного процесса в НИУ «МИЭТ» в следующих дисциплинах: «Информационное обеспечение систем управления», «Программные средства систем управления технологическими процессами» и «Программирование и основы алгоритмизации».

На основе проведенных исследований были выведены и выносятся на защиту следующие ключевые научные положения:

1. Разработанный в процессе исследований метод превентивного управления температурным режимом позволяет повысить коэффициент энергоэффективности центров обработки данных.

2. Разработанный алгоритм оптимизации распределения нагрузки на вычислительное оборудование центров обработки данных позволяет уменьшить неравномерность тепловыделения и уменьшить риски нарушения температурного режима вычислительного оборудования.

3. Разработанный алгоритм взаимодействия автоматизированных систем охлаждения и систем виртуализации центров обработки данных для осуществления управления компонентами системы охлаждения позволяет улучшить показатели энергоэффективности автоматизированных систем охлаждения.

4. Оценка эффективности предложенных решений путем расчета показателя энергоэффективности автоматизированных систем охлаждения, коэффициента энергоэффективности центра обработки данных и средней длительности нарушения температурного режима вычислительного оборудования в действующих центрах обработки данных подтверждает достоверность результатов и возможность использования их для задачи повышения энергоэффективности автоматизированных систем охлаждения центров обработки данных.

Апробация исследования. Основные положения и результаты данной диссертации были представлены и обсуждались на семи научно-практических конференциях, как в всероссийских, так и международных:

1. IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, г. Москва, 2019.

2. IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, г. Москва, 2020.

3. IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, г. Москва, 2021.

4. 28-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов «Микроэлектроника и информатика - 2021», г. Москва, 2021.

5. II Международная научно-практическая конференция «Актуальные аспекты развития науки и общества в эпоху цифровой трансформации», г. Москва, 2022.

6. XXX Всероссийская межвузовская научно-техническая конференция студентов и аспирантов «Микроэлектроника и информатика - 2023», г. Москва, 2023.

7. Международная научно-практическая конференция «Философия в XXI веке: Социально-философские проблемы современной науки и техники», г. Москва, 2023.

Публикации. Результаты исследования по данной теме были опубликованы в 10 научных работах, в том числе:

- 4 статьи в научных журналах, входящих в перечень ВАК (из них 3 статьи по специальности 2.3.1 Системный анализ, управление и обработка информации, статистика (технические науки));

- 4 статьи в научных журналах, индексируемых в базе данных Scopus.

Структура и объем работы. Диссертация состоит из введения, четырех глав,

заключения, списка использованной литературы, а также приложений, в которых представлены акты о внедрении результатов исследования и листинги программ. Общий объем диссертации составляет 135 страниц, включая 7 таблиц и 41 рисунок.

Во введении выделена актуальность диссертационного исследования, определены его цели и задачи, указаны научная новизна и практическая значимость полученных результатов. Также представлен краткий обзор содержания глав диссертации, изложены основные положения, выносимые на защиту, приводится список публикаций и информация об апробации работы.

В первой главе представлены основные требования к системам охлаждения в центрах обработки данных.

Осуществлен аналитический обзор существующих подходов к решению задачи повышения энергоэффективности в ЦОД, который показал актуальность разработки методов и алгоритмов повышения эффективности автоматизированных систем охлаждения.

Проанализированы существующие подходы к управлению температурным режимом ЦОД. Рассмотрены их преимущества и недостатки.

Выявлены проблемы применения реактивного подхода к управлению температурным режимом в центрах обработки данных.

Сформулированы цель и задачи диссертационной работы. Цель заключается в повышении энергоэффективности автоматизированных систем охлаждения

центров обработки данных путем применения метода превентивного управления температурным режимом и алгоритма оптимизации распределения нагрузки на вычислительное оборудование.

Во второй главе построена модель рециркуляции воздуха в помещениях центров обработки данных.

Предложена модель рабочих циклов автоматизированных систем охлаждения центров обработки данных.

Представлено формализованное представление задачи повышения энергоэффективности автоматизированных систем охлаждения центров обработки данных, позволяющее применять для её анализа математические методы и методы информационных технологий.

В третьей главе выполнена формализация задачи управления температурным режимом на основе шаблонов тепловыделения вычислительного оборудования.

Представлен алгоритм взаимодействия автоматизированной системы охлаждения и системы виртуализации.

Сформированы требования к вычислительному оборудованию для БСАОА-систем и требования обеспечению мер информационной безопасности при взаимодействии со SCADA-системой.

Выполнена формализация задачи оптимизации распределения нагрузки на вычислительное оборудование.

Представлен алгоритм оптимизации распределения нагрузки на вычислительное оборудование.

Представлен метод превентивного управления температурным режимом в центрах обработки данных на основе алгоритма взаимодействия автоматизированной системы охлаждения и системой виртуализации и алгоритма оптимизации распределения нагрузки на вычислительное оборудование.

В четвертой главе сформированы требования к проведению экспериментальной оценки эффективности предложенного метода повышения энергоэффективности автоматизированных систем охлаждения в ЦОД.

Проведена оценка эффективности разработанного алгоритма оптимизации распределения нагрузки на вычислительное оборудование путем CFD-моделирования.

Проведена оценка эффективности разработанного метода превентивного управления температурным режимом путем сравнения показателей энергоэффективности в рамках трех ЦОД.

В результате применения предложенных решений получены следующие усредненные для трех центров обработки данных результаты:

- уменьшено время нарушения допустимого температурного режима ИТ-оборудования на ~78%;

- улучшен показатель энергоэффективности автоматизированной системы охлаждения на ~22%;

- улучшен коэффициент энергоэффективности центра обработки данных (PUE) на ~5%.

Даны практические рекомендации по применению предложенного метода повышения энергоэффективности автоматизированных систем охлаждения в ЦОД.

В заключении представлены основные выводы, полученные в ходе выполнения диссертации, относящиеся к решению научно-технической проблемы, рассматриваемой в исследовании.

В приложениях содержатся листинги программной реализации модуля распределения нагрузки на вычислительное оборудование с учетом тепловыделения и модуля управления температурным режимом на основе тепловыделения вычислительного оборудования (приложение 1), акты о внедрении проведенных в диссертации исследований (приложение 2).

ГЛАВА 1. АНАЛИТИЧЕСКИЙ ОБЗОР СУЩЕСТВУЮЩИХ МЕТОДОВ И СРЕДСТВ ПОВЫШЕНИЯ ЭНЕРГОЭФФЕКТИВНОСТИ АВТОМАТИЗИРОВАННЫХ СИСТЕМ ОХЛАЖДЕНИЯ В ЦОД

1.1. Основные требования к системам охлаждения в ЦОД

Растущий спрос на вычислительные ресурсы ЦОД привел к увеличению потребления энергии и тепловыделения в ЦОД.

Из-за увеличения тепловыделения в ЦОД поддержание рекомендованного температурного режима стало серьезной проблемой с точки зрения энергоэффективности АСО.

Для повышения энергоэффективности систем охлаждения и центров обработки данных в целом, необходимы решения, направленные на минимизацию затрат электроэнергии для поддержания рекомендованного температурного режима.

Перегрев компонентов вычислительного оборудования приводит к отказу устройства, что значительно увеличивает совокупную стоимость эксплуатации ЦОД [6].

Эмпирические данные показывают, что нарушение рекомендованного температурного режима на 10°С приводит к удвоению частоты отказов вычислительного оборудования [7].

Системы охлаждения нацелены на эффективное поддержание температуры в центре обработки данных. Для обеспечения надежности и гарантированного поддержания рекомендованного температурного режима, часто наблюдается избыточность мощностей систем охлаждения, что минимизирует риски выхода из строя вычислительного оборудования. Но избыточное энергопотребление систем охлаждения увеличивает совокупную стоимость эксплуатации ЦОД и уменьшает их энергоэффективность.

Согласно ГОСТ Р ИСО/МЭК 30134-2-2018, чтобы определить общую энергоэффективность использования ресурсов ЦОД, необходим комплексный набор показателей.

ГОСТ Р ИСО/МЭК 30134-2-2018 описывает коэффициент энергоэффективности (PUE - Power Utilization Efficiency), который используется для определения эффективности использования и распределения энергоресурсов в ЦОД [5, 6, 9, 10].

Особенности коэффициента PUE энергоэффективности согласно ГОСТ Р ИСО/МЭК 30134-2-2018:

- коэффициент PUE связан с инфраструктурой исключительно в границах

ЦОД;

- коэффициент PUE характеризует энергоэффективность инфраструктуры в сравнении с объектами с заданными условиями окружающей среды, параметрами ИТ-нагрузки, требованиями к доступности, техническому обслуживанию и безопасности;

- коэффициент PUE иллюстрирует распределение энергии в ЦОД.

PUE служит для получения полезной информации и предоставления рекомендаций в отношении разработки эффективных архитектур электроснабжения и охлаждения, развертывания и дальнейшей эксплуатации оборудования в рамках таких архитектур.

PUE помогает определить следующее:

- возможности для повышения операционной эффективности в ЦОД без ущерба для производительности;

- эффективность внедренных мер по оптимизации структур и процессов в ЦОД в динамике;

- проектные цели энергоэффективности для новых ЦОД с учетом всего ожидаемого диапазона ИТ-нагрузок.

PUE не учитывает:

- энергоэффективность ИТ-нагрузки, а также ее использование или производительность;

- эффективность локальной генерации электроэнергии;

- использование возобновляемых источников энергии или повторное использование побочных продуктов (таких как тепло).

PUE рассчитывают по формуле:

PUE =

edc

eit>

где:

- Edc- это общее энергопотребление ЦОД [кВт • ч];

- Е1Т- это энергопотребление ИТ-оборудования [кВт • ч].

По определению, рассчитанный PUE всегда больше 1.

Е1Т включает в себя следующие элементы, но не ограничивается ими:

- ИТ-оборудование (например, оборудование для обработки, хранения и передачи данных);

- дополнительное оборудование (например, KVM-переключатели, мониторы и рабочие станции, используемые для мониторинга, управления и контроля над центром обработки данных).

EDC включает в себя весь объем потребляемой энергии, необходимой для поддержки следующих инфраструктур:

- системы электроснабжения (например, источники бесперебойного питания, распределительные устройства, генераторы, блоки распределения электроэнергии, аккумуляторные батареи);

- системы охлаждения (например, блоки кондиционирования воздуха в машинных залах (КВМЗ));

- другие системы (например, освещение в ЦОД, лифт, система безопасности, пожарная сигнализация и система пожаротушения).

Категоризация ЦОД по PUE:

- PUE > 1,50 - категория 1;

- 1,20 < PUE < 1,50 - категория 2;

- PUE < 1,20 - категория 3.

Согласно исследованиям «Uptime Institute», среднее значение коэффициента PUE ЦОД в 2023 составило 1,58 (рис 1.1) [11].

I I

2007 2008 2009 2010 2011 2012 2013 201i 201Б 2016 2017 2018 2019 2020 2021 2022 2023

Рисунок 1.1 - Среднее значение коэффициента PUE по данным «Uptime Institute»

Архитектура и автоматизированные системы управления технологическим процессом (АСУ ТП) ЦОД стремительно развиваются и модернизируются, чтобы обеспечить эффективное управление температурным режимом для минимизации частоты отказов вычислительного оборудования из-за перегрева и для минимизации затрат энергии.

Инновации в архитектуре и АСУ ТП ЦОД можно отнести к одному из двух этапов. Первый этап длился с конца 1990-х до середины 2000-х, когда начали появляться небольшие ЦОД для поддержки первых онлайн-сервисов. Основное внимание при проектировании ЦОД в этот период уделялось надежности (обычно цель заключалась в обеспечении доступности на уровне 99,99%) [12].

Второй этап - начался с середины 2000-х годов, характеризуется растущей популярностью онлайн-поиска, социальных сетей, онлайн-игр и множества предложений облачных услуг (от облачных хранилищ до поддержки высокопроизводительных вычислений) [13].

В связи с появлением во время этого этапа ЦОД больших размеров, при проектировании и управлении ЦОД, наравне с надежностью приобрели

критическую важность такие аспекты, как сокращение затрат на эксплуатацию и уменьшение отрицательного воздействия ЦОД на окружающую среду [14].

Во время первого этапа исследования были направлены усилия на эффективное снижение температуры в машинных залах ЦОД для предотвращения перегрева вычислительного оборудования. Поскольку большинство ЦОД имеют воздушное охлаждение, методы управления системой охлаждения сосредоточены на оптимизации воздушного потока внутри ЦОД, путем предотвращения смешивания холодного воздуха, исходящего от КВМЗ, и горячего воздуха, выделяемого серверами [15].

Во время второго этапа исследований акцент делается на разработку модульной конструкции ЦОД для упрощения процесса управления и горизонтального масштабирования, а также на применение методов естественного охлаждения для повышения энергоэффективности.

Исследования, сделанные во время первого этапа по-прежнему актуальны, потому что современные ЦОД больших размеров все еще используют их принципы охлаждения (например, использование фальшпола для доставки холодного воздуха к вычислительному оборудованию), а также по тому, что до 70% малых и средних ЦОД в мире были построены в конце 1990-х - начале 2000-х годов [14].

На рисунке 1.2 показаны тенденции развития исследований в области управления температурным режимом. Используя ключевые слова «управление температурным режимом ЦОД», «энергоэффективность ЦОД», «оптимизация охлаждения ЦОД» в системе Google Scholar (https://scholar.google.com), было подсчитано количество работ, затрагивающих эти темы. Результаты демонстрируют растущий академический интерес к управлению температурным режимом в ЦОД.

Уменьшение PUE и минимизация рисков нарушения рекомендованного температурного режима вычислительного оборудования - это противоречивые задачи, которые требуют их комплексного рассмотрения и компромиссов [16].

—Управление температурным режимом ЦОД

— Энергоэффективность ЦОД

— Оптимизация охлаждения ЦОД

ГОД

Рисунок 1.2 - Количество работ, проиндексированных системой Google Scholar, по заданным ключевым словам: «управление температурным режимом ЦОД», «энергоэффективность ЦОД», «оптимизация охлаждения ЦОД»

1.2. Современные подходы к решению задачи повышения энергоэффективности автоматизированных систем охлаждения в ЦОД

Современные подходы к решению задачи повышения энергоэффективности действующих ЦОД с системами воздушного охлаждения путем оптимизации процесса управления температурным режимом можно разделить на две группы:

- применение моделирования вычислительной гидродинамики (CFD -Computational Fluid Dynamics);

- повышение энергоэффективности за счет повышения детализации измерений температуры.

1.2.1. Моделирование с использованием вычислительной гидродинамики

CFD-моделирование представляет собой численный метод, используемый для анализа и моделирования потоков жидкостей и газов в физических системах.

Он позволяет спрогнозировать поведение сред в различных условиях, включая турбулентные потоки, теплообмен, химические процессы и другие важные физические явления.

В рамках CFD-моделирования используются численные методы для решения уравнений Навье-Стокса и других уравнений, описывающих движение жидкостей и газов. Эти уравнения учитывают различные факторы, в том числе плотность, скорость потока, вязкость и давление, что позволяет описать течение среды в трехмерном пространстве и во времени.

Поскольку мощность и плотность размещения вычислительного оборудования продолжают расти, эффективное охлаждение стало ключевым аспектом к уменьшению совокупной стоимости эксплуатации. CFD-моделирование способствует оптимизации систем охлаждения в ЦОД, что ведет к повышению их эффективности, сокращению эксплуатационных расходов и соответствию как существующим, так и будущим требованиям к управлению температурным режимом [17].

Список литературы диссертационного исследования кандидат наук Свиридов Алексей Николаевич, 2024 год

СПИСОК ЛИТЕРАТУРЫ

[1] Обзор: Центры обработки данных 2021. Темпы ввода новых стойко-мест в российских ЦОДах вырастут более, чем в вдвое [Электронный ресурс]. Режим доступа:

https: //www.cnews .ru/reviews/rynok_tsod_2021/articles/rynok_kommercheskih_tsod_p rodolzhaet (дата обращения: 01.02.2022)

[2] Распоряжение Правительства Российской Федерации от 28 июля 2017 г. № 1632-р «Об утверждении программы «Цифровая экономика Российской Федерации». [Электронный ресурс]. Режим доступа: http://static.government.ru/media/files/9gFM4FHj4PsB79I5v7yLVuPgu4bvR7M0.pdf (дата обращения: 24.01.2022)

[3] Указ Президента Российской Федерации от 7 мая 2018 г № 204 «О национальных целях и стратегических задачах развития Российской Федерации на период до 2024 года». [Электронный ресурс]. Режим доступа: http://static.kremlin.ru/media/acts/files/0001201805070038.pdf (дата обращения: 24.01.2022).

[4] ЦОД (рынок России) Коммерческие дата-центры [Электронные ресурсы]. Режим доступа: https: //www.tadviser.ru/index.php/Статья: ЦОД_(рынок_России)_Коммерческие_дат а-центры (дата обращения: 01.02.2022)

[5] ГОСТ Р ИСО/МЭК 30134-1-2018. Центры обработки данных. Ключевые показатели эффективности. Часть 1. Основные положения и общие требования. -Введ. 01.05.2019. - М.: Стандартинформ, 2018. - 9 с.

[6] Srinivasan J., Adve S. V., Bose P., and Rivers J. A. The Impact of Technology Scaling on Lifetime Reliability. Proceedings of the the International Conference on Dependable Systems and Networks (DSN), June 2004. [Электронный ресурс]. - Режим доступа:

https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.4.269&rep=rep1&type=pdf (дата обращения: 01.02.2022).

[7] Hsu C., Feng Wu., and Archuleta J.S. Towards Efficient Supercomputing: A Quest for the Right Metric. Proceedings of the IEEE International Parallel and Distributed Processing Symposium (IPDPS), Denver, Colorado, April 2005. [Электронный ресурс].

- Режим доступа: https://public.lanl.gov/radiant/pubs/sss/hppac05.pdf (дата обращения: 01.02.2022)

[8] ГОСТ Р ИСО/МЭК 30134-2-2018. Центры обработки данных. Ключевые показатели эффективности. Часть 2. Коэффициент энергоэффективности (PUE). -Введ. 01.05.2019. - М.: Стандартинформ, 2018. - 20 с.

[9] ГОСТ Р ИСО/МЭК 30134-3-2018. Центры обработки данных. Ключевые показатели эффективности. Часть 3. Коэффициент возобновляемой энергии (REF).

- Введ. 01.05.2019. - М.: Стандартинформ, 2018. - 10 с.

[10] Быстров Д. Д., Бобков В. Д., Свиридов А. Н., Бобриков Д. А. Оценка вероятности отказа радиоэлектронной системы на основе данных о состоянии её компонентов // Электронные информационные системы, 2021 г. - №1. - С. 44-53

[11] Uptime Institute global data center survey 2020 // Uptime Institute Intelligence [Электронный ресурс]. - Электрон. журн. - 2020. - Режим доступа: https://www.missioncriticalmagazine.com/ext/resources/whitepapers/2020/2020Annual Survey_EndUser_v4s.pdf (дата обращения: 01.02.2022)

[12] Data Center Strategies. Technical report, Vantage Data Centers, Rath J. [Электронный ресурс]. Режим доступа: https://silo.tips/download/data-center-strategies (дата обращения: 01.02.2022)

[13] Bobkov V., Bobrikov D., Balashov A., Sviridov A. Automated Modular System for Providing Office Services Based on Microcomputer. IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, Moscow, 2019. -pp. 2165-2168.

[14] Hoelzle U., Barroso L. A. The Datacenter as a Computer: An Introduction to the Design of Warehouse-Scale Machines. Morgan and Claypool [Электронный ресурс]. - Электрон. журн. - 2013 - Режим доступа: https://www.morganclaypool.com/doi/pdf/10.2200/S00516ED2V01Y201306CAC024 (дата обращения: 01.02.2022)

[15] Kant K. Data center evolution: A tutorial on state of the art, issues, and challenges // Computer Networks, 2009. - №53(17) - pp. 2939-2965.

[16] Веселицкий О.И. Центры обработки данных - зеленый вектор развития цифровой экономики // Инновации и инвестиции, 2018 г. - №4. - С. 214-220.

[17] Paul Rad, Kailash Karki, and Tim Webb. Water Efficiency Management in Datacenters (Part I): Introducing a water usage metric based on available energy consumption. International Conference on Water Scarcity, Global Changes, Groundwater Management Responses, 1st-5th 2008, Irvine, CA - HP Laboratories, 2008

[18] Patel C., Bash C., Belady L., Stahl L., and Sullivan D. CFD Modeling of High Compute Density Data Centers to Assure System Inlet Air Specifications. Proceedings of the Pacific Rim/ASME International Electronic Packaging Technical Conference and Exhibition, 2001. [Электронный ресурс]. Режим доступа: https://www.hpl.hp.com/research/papers/power.pdf (дата обращения: 03.02.2022)

[19] Beitelmal A.H., Patel C.D. Computational Fluid Dynamics Modeling of High Compute Density Data Centers to Assure System Inlet Air Specifications // Distributed and Parallel Databases. - 2007. - №21(2-3). - pp. 227-238.

[20] 6sigmaDC. [Электронный ресурс]. Режим доступа: http://www.futurefacüities.com/software/6SigmaDCOverview.php (дата обращения 14.02.2020)

[21] FloVENT. [Электронный ресурс]. Режим доступа: http: //www.mentor.com/products/mechanical/products/flovent (дата обращения 14.02.2020)

[22] TileFlow. [Электронный ресурс]. Режим доступа: http://inres.com/products/tileflow/overview.html (дата обращения 14.02.2020)

[23] T. Zhoraev, A. Lemza, V. Bobkov, A. Sviridov. Methodology for the Development of a Linear Engine and Its Control System, Taking into Account the Manufacturability and Cost of Production. 2021 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, Moscow, 2021. - pp. 2622-2625.

[24] Schmidt R., and Cruz E. Cluster of High-Powered Racks Within a Raised-Floor Computer Data Center: Effect of Perforated Tile Flow Distribution on Rack Inlet Air Temperatures // Journal of Electronic Packaging. - 2004. - №126(4). - pp. 510-518.

[25] Schmidt R., Cruz E., Iyengar M. Challenges of data center thermal management // IBM Journal of Research and Development. - 2005 - Vol. 49 - pp. 709723.

[26] Schmidt R. R., Karki K., Kelkar K., Radmehr A., and Patankar S. Measurements and Predictions of the Flow Distribution through Perforated Tiles in Raised Floor Data Centers. Proceedings of the Pacific Rim/ASME International Electronic Packaging Technical Conferenceof (IPACK), 2001. [Электронный ресурс]. Режим доступа: https://datacentrehardware.com/wp-content/uploads/2019/04/Measurements-and-Predictions-of-Flow-Distribution-Through-Perforated-Tiles-in-Raised-Floor-Data-Centers.pdf (дата обращения: 02.02.2022)

[27] R. R. Schmidt, E. E. Cruz, and M. K. Iyengar. Challenges of Data Center Thermal Management // IBM Journal of Research and Development, 2005 - №49(4/5) -pp. 709-723.

[28] ANSYS. HPC Solutions. [Электронный ресурс]. Режим доступа: https://www.ansys.com/it-solutions/hpc (дата обращения: 02.02.2022)

[29] Erin Mannas and Scott Jones. Add thermal monitoring to reduce data center energy consumption // Maxim's Engineering Journal [Электронный ресурс]. -Электрон. журн. - 2009. - Vol. 66. Режим доступа: http://citeseerx.ist.psu.edu/viewdoc/download;jsessionid=3BC18AA18E321F5020F7D2 BED0123645?doi=10.1.1.163.565&rep=rep 1 &type=pdf (дата обращения: 03.02.2022)

[30] J. Liu and others. Towards Discovering Data Center Genome Using Sensor Nets. Proceedings of the Embedded Networked Sensors, 2008 [Электронный ресурс]. -Режим доступа: https://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.150.2241&rep=rep1&type= pdf (дата обращения: 03.02.2022)

[31] COMMUNICATIONS OF THE ACM [Электронный ресурс]. Режим доступа: https://dl.acm.org/toc/cacm/2012/55/10 (дата обращения: 03.02.2022)

[32] Яндайкина Е.А., Свиридов А.Н. Использование тепловизоров в процессе управления микроклиматом в производственных помещениях // 28-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов «Микроэлектроника и информатика - 2021». М.: МИЭТ, 2021. - С. 126.

[33] Анализ применимости нейросетевых технологий для мониторинга температуры вычислительного оборудования / Е.А. Свиридова, А.Н. Свиридов, В.И. Демкин, В.Д. Бобков, Д.Д. Быстров, А.В. Лемза // Электронные информационные системы. - 2024. - № 2(41). - С. 105-113.

[34] Kang S. and others. A Methodology for the Design of Perforated Tiles in Raised Floor Data Centers using Computational Flow Analysis. IEEE Transactions on Components and Packaging Technologies. - 2001. - Vol. 24(2). - pp. 177-183.

[35] Schmidt R., E. Cruz. Raised Floor Computer Data Center: Effect on Rack Inlet Temperatures of Exiting both the Hot and Cold Aisle. Proceedings of the Itherm Conference (ITHERM), 2002 - pp. 580-594.

[36] Greenberg S., Mills E., Tschudi B. Best Practices for Data Centers: Lessons Learned from Benchmarking 22 Data Centers. Proceedings of the 2006 ACEEE Summer Study on Energy Efficiency in Buildings, 2006. - pp. 76-87.

[37] Lee E. K., Kulkarni I., Pompili D., and Parashar M. Proactive Thermal Management in Green Datacenter // The Journal of Supercomputing, 2012. - Vol. 60(2).

- pp. 165-195.

[38] Sharma R.K., Bash C.E., Patel R.D. Dimensionless Parameters for Evaluation of Thermal Design and Performance of Large-scale Data Centers. Proceedings of the IEEE - PIEEE

[39] Fink J. Impact of High Density Hot Aisles on IT Personnel Work Conditions.

- Schneider Electric, 2011. - 13 pages.

[40] Rodero I., Lee E. K., Pompili D., Parashar M., Gamell M., Figueiredo R. J. Exploiting VM Technologies for Reactive Thermal Management in Instrumented

Datacenters. Proceedings. IEEE/ACM International Workshop on Grid Computing, 2010.

[41] Bobroff N., Kochut A., Beaty K. Dynamic Placement of Virtual Machines for Managing SLA Violations.. 10th IFIP/IEEE International Symposium on Integrated Network Management, 2007.

[42] Kochut A. Beaty K. On Strategies for Dynamic Resource Management in Virtualized Server Environments. 15th International Symposium on Modeling, Analysis, and Simulation of Computer and Telecommunication Systems 2007, pp. 193-200.

[43] Hermenier F., Lorca X., Menaud J., Muller G., Lawall J. Entropy: a Consolidation Manager for Clusters. VEE 2009 - 5th International Conference on Virtual Execution Environments, 2009, Washington, United States, pp.41-50.

[44] Voorsluys W., Broberg J., Venugopal S., Buyya R. Cost of Virtual Machine Live Migration in Clouds: A Performance Evaluation. CloudCom '09: Proceedings of the 1st International Conference on Cloud Computing, 2009, Beijing, China, pp. 254-265.

[45] Stoess J., Lang C., Bellosa F. Energy Management for Hypervisor-based Virtual Machines. USENIX Annual Technical Conference, 2007, pp. 1-14.

[46] Song Y., Sun Y., Wang H., Song X. An Adaptive Resource Flowing Scheme amongst VMs in a VM-Based Utility Computing. 7th IEEE International Conference on Computer and Information Technology (CIT 2007), 2007, pp. 1053-1058.

[47] Menasce D. A., Bennani M. N. Autonomic virtualized environments. 2006 International Conference on Autonomic and Autonomous Systems (ICAS 2006), 2006, p. 28.

[48] Meng X., Isci C., Kephart J., Zhang L., Bouillet E., Pendarakis D. Efficient resource provisioning in compute clouds via VM multiplexing. ICAC '10: Proceedings of the 7th international conference on Autonomic computing, 2010, Washington, USA, pp. 11-20.

[49] Moore J., Chase J., Ranganathan P., Sharma R. Making Scheduling "Cool": Temperature-Aware Workload Placement in Data Centers USENIX Annual Technical Conference (USENIX ATC 05), 2005, pp. 61-74.

[50] Moore J., Chase J. S., Ranganathan P. Weatherman: Automated, Online and Predictive Thermal Mapping and Management for Data Centers. IEEE International Conference on Autonomic Computing, 2006, pp. 155-164.

[51] Heath T., Centeno A. P., George P., Ramos L., Jaluria Y., Bianchini R. Mercury and Freon: Temperature emulation and management for server systems. International Conference on Architectural Support for Programming Languages and Operating Systems - ASPLOS, 2006, pp. 106-116.

[52] Bash C., Forman G. Cool Job Allocation: Measuring the Power Savings of Placing Jobs at Cooling-Efficient Locations in the Data Center. Proceedings of the 2007 USENIX Annual Technical Conference, 2007, pp. 363-368.

[53] Tang Q., Gupta S. K. S., Varsamopoulos G. Energy-efficient thermal-aware task scheduling for homogeneous high-performance computing data centers: A cyber-physical approach. IEEE Trans. Parallel Distrib. Syst. - 2008. - Vol. 19(11). - pp. 14581472.

[54] Analysis of the Application of Machine Learning in Automatic Control Systems / A. Sviridov, V. Bobkov, A. Lemza [et al.] // Proceedings of the 2021 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, ElConRus 2021, Moscow, 26-28 января 2021 года. - Moscow, 2021. - P. 2743-2746.

[55] Mukherjee T., Banerjee A., Varsamopoulos G., Gupta S., Rungta S. Spatiotemporal thermal-aware job scheduling to minimize energy consumption in virtualized heterogeneous data centers. Computer Networks, Elsevier, 2009, Vol. 53(17), pp. 28882904.

[56] Wood T., Tarasuk-Levin G., P. Shenoy, P. Desnoyers, Cecchet E., Corner M. Memory buddies: exploiting page sharing for smart colocation in virtualized data centers. Operating Systems Review, USA. - 2009. - pp. 31-40.

[57] Gupta D., and others. Difference Engine: Harnessing Memory Redundancy in Virtual Machines. 8th USENIX Symposium on Operating Systems Design and Implementation. - 2009. - pp. 309-322.

[58] S. Govindan, A. R. Nath, A. Das, B. Urgaonkar, A. Sivasubramaniam. Xen and co.: Communication-aware CPU Scheduling for Consolidated Xen-based Hosting

Platforms. Proceedings of the Intl. Conf. on Virtual Execution Environme110nts (VEE) - 2007. - pp. 126-136.

[59] Nathuji R., Schwan K. VirtualPower: coordinated power management in virtualized enterprise systems. ACM SIGOPS Operating Systems Review - 2007. - pp. 265-278.

[60] Nathuji R., Isci C., Gorbatov E. Exploiting Platform Heterogeneity for Power Efficient Data Centers. Fourth International Conference on Autonomic Computing (ICAC'07), 2007, page 5.

[61] Kumar S., Talwar V., Kumar V., Ranganathan P., Schwan K. VMANAGE: loosely coupled platform and virtualization manage-ment in data centers. Proceedings of the 6th International Conference on Autonomic Computing, ICAC 2009, 2009, pages 127-136.

[62] Laszewski G., Wang L., Younge A. J., He X. Power-aware scheduling of virtual machines in DVFS-enabled clusters. In IEEE Intl. Conf. on Cluster Computing, 2009.

[63] Интеллектуальные среды и цифровая субкультура: преимущества и вызовы в контексте современных центров обработки данных / Е. А. Свиридова, А. Н. Свиридов, Д. Д. Быстров, В. И. Демкин // Философия в XXI веке: социально-философские проблемы современной науки и техники : Материалы I Международной научно-практической конференции, Москва, Зеленоград -Красноярск, 12 мая 2023 года. - Красноярск: Красноярский государственный аграрный университет, 2023. - С. 234-239.

[64] Rambo J., Joshi Y. Modeling of data center airflow and heat transfer: State of the art and future trends // Distributed and Parallel Databases, 2007, vol. 21, p. 193-225.

[65] Анализ методов повышения энергоэффективности центров обработки данных / А. Н. Свиридов, В. И. Демкин // Современные наукоемкие технологии. -2022. - № 2. - С. 110-115.

[66] Шевяков И. А. Анализ актуальных уязвимостей SCADA-систем / И. А. Шевяков // Безопасность информационного пространства — 2017 : XVI Всероссийская научно-практическая конференция студентов, аспирантов, молодых

ученых. Екатеринбург, 12 декабря 2017 года. — Екатеринбург : Изд-во Урал. ун-та, 2018. — С. 70-73.

[67] Thermal Guidelines for Data Processing Environments. / ASHRAE Technical Committees. Atlanta, Geor.: American Society of Heating, Refrigerating, and AirConditioning Engineers, 2004.

[68] Методические рекомендации по проектированию центров обработки данных. - М.: Минстрой России, 2019. - 47 с.

[69] Schmidt R.R., Karki K.C., and Patankar S.V. Raised Floor Computer Data Center: Perforated Tile Flow Rates for Various Tile Layouts. Ninth Intersociety Conference on Thermal and Thermomechanical Phenomena in Electronic Systems (ITHERM), 2004 [Электронный ресурс]. Режим доступа: https://docplayer.net/9493633-Raised-floor-data-center-perforated-tile-flow-rates-for-various-tile-layouts.html (дата обращения: 04.02.2022).

[70] Schmidt R. R. Thermal Profile of a High-Density Data Center-Methodology to Thermally Characterize a Data Center // American Society of Heating, Refrigerating and Air-Conditioning Engineers (ASHRAE) Transactions, 2004. - Vol. 110(2). - pp. 635-642.

[71] Shan A.J. Flow Resistance: A Design Guide for Engineers. / Shan A.J., N. Krishnan. - CRC Press, 1989. - 416 pages.

[72] Ворончихин С.Г., Земцов М.А., Помыткин В.А., Флаксман А.Л. Исследование процесса теплоотдачи в системе охлаждения суперЭВМ с тепловым насосом // Инженерный вестник Дона [Электронный ресурс]. - Электрон. журн. -2016. - №4 - Режим доступа: http://ivdon.ru/uploads/article/pdf/IVD_166_voronchihin_zemtsov.pdf_486c22f256.pdf (дата обращения: 01.02.2022)

[73] Ворончихин С.Г., Помыткин В.А., Флаксман А.Л., Земцов М.А. Моделирование коэффициента преобразования теплового насоса в системе охлаждения суперЭВМ // Инженерный вестник Дона [Электронный ресурс]. -Электрон. журн. - 2018. - №1 - Режим доступа:

http: //www.ivdon.ru/uploads/article/pdf/IVD_21 _voronchihin_pomytkin. pdf_943a536f 2d.pdf (дата обращения: 01.02.2022)

[74] Ворончихин С.Г., Помыткин В.А., Флаксман А.Л., Земцов М.А. Моделирование и оптимизация теплового насоса в системе охлаждения суперЭВМ // Инженерный вестник Дона [Электронный ресурс]. - Электрон. журн. - 2019. -№1 - Режим доступа: http: //www.ivdon.ru/uploads/article/pdf/IVD_3 6_voronchihin_pomytkin. pdf_aa68f1 fc3 2.pdf (дата обращения: 01.02.2022)

[75] Эффективность прямого естественного охлаждения в системе кондиционирования воздуха для помещений со значительными поступлениями тепла // Известия Казанского государственного архитектурно-строительного университета. - 2019. - №4 - С. 279-289.

[76] Algorithm of Interaction Data Center Cooling Systems and Virtualization Platforms for Implementing Preventive Temperature Management / E. A. Sviridova, A. N. Sviridov, V. I. Demkin // Перспективы науки. - 2023. - № 11(170). - С. 54-58.

[77] ГОСТ 24.701-86. Единая система стандартов автоматизированных систем управления. Надежность автоматизированных систем управления. Основные положения. - Введ. 01.07.1987. - М.: Стандартинформ, 2009. - 13 с.

[78] ГОСТ Р 51841-2001. Программируемые контроллеры. Общие технические требования и методы испытаний. - Введ. 01.01.2003. - М.: ИПК Издательство стандартов, 2002. - 102 с.

[79] Chandra G., Kapur P., Saraswat K.C. Scaling Trends For The On Chip Power Dissipation. Proceedings of the IEEE Interconnect Technology Conference (IITC), 2002 [Электронный ресурс]. - pp. 170-172. Режим доступа: https://web.stanford.edu/class/ee311/NOTES/PowerModeling.pdf (дата обращения: 01.02.2022)

[80] Advanced configuration and power interface (ACPI) Specification 4.0 [Электронный ресурс]. Режим доступа: https://uefi.org/sites/default/files/resources/ACPI_4.pdf (дата обращения: 01.02.2022)

[81] Основы автоматизации технологических процессов : учебное пособие для среднего профессионального образования / [А. В. Щагин и др.] — М.: Издательство Юрайт, 2019. — 163 с. — ISBN 978-5-534-03848-4. [Электронный ресурс]. Режим доступа: https://urait.ru/bcode/431607 (дата обращения: 01.02.2022).

[82] ГОСТ Р 51840-2001. Программируемые контроллеры. Общие положения и функциональные характеристики. - Введ. 01.01.2003. - М.: ИПК Издательство стандартов, 2002. - 15 с.

[83] Providing a Description of Processes in the Development of Automated Control Systems / E. Yandaikina, D. Bobrikov, A. Sviridov // Proceedings of the 2021 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, ElConRus 2021, Moscow, 26-28 января 2021 года. - Moscow, 2021. - P. 2767-2770.

[84] Невмержицкий А.А. Использование локального кэширования для увеличения производительности распределенной системы // Вестник науки и образования. №11-3 (89). 2020.- C. 14-17.

[85] Кнырик Д.А., Свиридов А.Н. Анализ оборудования при построении автоматизированной системы управления тепловыми пунктами с использованием SCADA : 28-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов «Микроэлектроника и информатика - 2021». М.: МИЭТ, 2021. - С. 109.

[86] Свиридов А.Н., Яндайкина Е.А. SCADA: проблемы и уязвимости : LIII international correspondence scientific and practical conference "International scientific review of the problems and prospects of modern science and education". Бостон : Problems of science, 2018. - C. 10-14.

[87] Grimes М. "SCADA Exposed" // ToorCon 7. - 2005. Режим доступа: https://web.archive.org/web/20051102003143/http://www.toorcon.org/2005/conference. html?id=16 (дата обращения: 01.02.2022).

[88] Автоматическое управление технологическим процессом посредством SCADA-систем / Д. А. Бобриков, А. Н. Свиридов, Д. Д. Быстров, Т. Д. Кузьминова // Перспективы науки. - 2022. - № 4(151). - С. 38-42.

[89] Architecture of WEB-based SCADA / A. Sviridov, V. Bobkov, D. Bobrikov, A. Balashov // Proceedings of the 2020 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, EIConRus 2020, St. Petersburg and Moscow, 27-30 января 2020 года. - St. Petersburg and Moscow: Institute of Electrical and Electronics Engineers Inc., 2020. - P. 2422-2424.

[90] The concept of information security in the process control system / A. Sviridov, V. Bobkov, D. Bobrikov, A. Balashov // Proceedings of the 2019 IEEE Conference of Russian Young Researchers in Electrical and Electronic Engineering, ElConRus 2019, Saint Petersburg - Moscow, 28-30 января 2019 года. - Saint Petersburg - Moscow: Institute of Electrical and Electronics Engineers Inc., 2019. - P. 2162-2164.

[91] Rodero I. and others. Energy-efficient Application-aware Online Provisioning for Virtualized Clouds and Data Centers. International conference on green computing. -2010. - pp. 31-45.

[92] Ефимов С.Н., Тынченко В.В., Тынченко В.С. Проектирование вычислительной сети эффективной архитектуры для распределенного решения сложных задач // Сибирский аэрокосмический журнал, №. 3, 2007. - C. 46-51.

[93] Cosmin Rusu, Alexandre Ferreira, Claudio Scordino, and Aaron Watson. Energy-efficient real-time heterogeneous server clusters. In IEEE Real-Time and Embedded Technology and Applications Symp., 2006. pp. 418-428.

[94] Brown, R. Alliance to Save Energy, ICF Incorporated, ERG Incorporated, & U.S. Environmental Protection Agency. Report to Congress on Server and Data Center Energy Efficiency: Public Law 109-431 - Lawrence Berkeley National Laboratory-2008. Режим доступа: https://escholarship.org/uc/item/74g2r0vg (дата обращения: 03.02.2022)

[95] Nathan S., Kulkarni P., and Bellur U. Resource Availability Based Performance Benchmarking of Virtual Machine Migrations. Proceedings of the ACM/SPEC International Conference on Performance Engineering (ICPE), 2013 - vol. 4. no. 1. - pp. 387-398.

[96] ГОСТ Р 58812-2020. Центры обработки данных. Инженерная инфраструктура. Операционная модель эксплуатации. Спецификация. - Введ. 01.08.2020. - М.: Стандартинформ, 2020. - 41 с.

[97] ГОСТ Р 58811-2020. ЦЕНТРЫ ОБРАБОТКИ ДАННЫХ. Инженерная инфраструктура. Стадии создания. - Введ. 01.08.2020. - М.: Стандартинформ, 2020. - 15 с.

[98] Системы кондиционирования температурного режима вычислительных устройств и машинного зала / В. И. Демкин, Е. А. Свиридова, Д. Д. Быстров, А. Н. Свиридов // Актуальные аспекты развития науки и общества в эпоху цифровой трансформации : Сборник материалов II Международной научно-практической конференции, Москва, 28 октября 2022 года. - Москва: Общество с ограниченной ответственностью "Издательство АЛЕФ", 2022. - С. 120-125.

ПРИЛОЖЕНИЕ 1. ЛИСТИНГИ ФРАГМЕНТОВ ПРОГРАММ Пример реализации алгоритма взаимодействия автоматизированной системы охлаждения и системы виртуализации

import requests import json import pyodbc import sys

input_data_path = sys.argv[1] output_data_path = sys.argv[2] proxmox_url = sys.argv[3] proxmox_token = sys.argv[4] db_server = sys.argv[5] db_name = sys.argv[6] db_login = sys.argv[7] db_password = sys.argv[8] v_hot = sys.argv[9] v_cold = sys.argv[10] v_all = sys.argv[11]

proxmox_nodes_request = requests.get(f'{proxmox_url}/api2/json/nodes/',

headers = {'Authorization':

proxmox_token,

'Content-Type': 'application/json'})

proxmox_nodes = {}

for node in proxmox_nodes_request['data']: if node['status'] == 'online':

proxmox_nodes[node] = {}

proxmox_nodes[node]['utilization'] = {}

if proxmox_nodes_request['data'][node] proxmox_nodes[node]['utilization']

proxmox_nodes_request['data'][node]['cpu_5m'] // 10 ) * 10 )

if proxmox_nodes_request['data'][node] proxmox_nodes[node]['utilization']

proxmox_nodes_request['data'][node]['cpu_5m'] // 10 ) * 10 ) + 5

if proxmox_nodes_request['data'][node] proxmox_nodes[node]['utilization']

'cpu_5m'] % 10 < 2.5: 'cpu_5m'] = (

'cpu_5m'] % 10 >= 2.5: 'cpu_5m'] = ( (

'cpu_5m'] % 10 >= 7.5: 'cpu_5m'] = ( (

proxmox_nodes_request['data'][node]['cpu_5m'] // 10 ) * 10 ) + 10

proxmox_nodes[node]['utilization,][,memory_5m'] = ( ( proxmox_nodes_request['data,][node][,memory_5m'] / ( 1024 * 1024 ) ) // 10 ) * 10 )

if proxmox_nodes_request['data,][node][,memory_5m'] % 10 >= 2.5: proxmox_nodes[node]['utilization,][,memory_5m'] = ( ( ( proxmox_nodes_request['data,][node][,memory_5m'] / ( 1024 * 1024 ) ) // 10 ) * 10 ) + 0.5

if proxmox_nodes_request['data,][node][,memory_5m'] % 10 >= 7.5: proxmox_nodes[node]['utilization,][,memory_5m'] = ( ( ( proxmox_nodes_request['data,][node][,memory_5m'] / ( 1024 * 1024 ) ) // 10 ) * 10 ) + 1

if pnoxmox_nodes_nequest['data,][node][,disk_sum_5m'] % 10 < 2.5: proxmox_nodes[node]['utilization,][,disk_sum_5m'] = ( pnoxmox_nodes_nequest['data,][node][,disk_sum_5m'] // 10 ) * 10 )

if pnoxmox_nodes_nequest['data,][node][,disk_sum_5m'] % 10 >= 2.5: proxmox_nodes[node]['utilization,][,disk_sum_5m'] = ( ( pnoxmox_nodes_nequest['data,][node][,disk_sum_5m'] // 10 ) * 10 ) + 5

if pnoxmox_nodes_nequest['data,][node][,disk_sum_5m'] % 10 >= 7.5: proxmox_nodes[node]['utilization,][,disk_sum_5m'] = ( ( pnoxmox_nodes_nequest['data,][node][,disk_sum_5m'] // 10 ) * 10 ) + 10

if pnoxmox_nodes_nequest['data,][node][,netwonk_sum_5m'] % 10 <

2.5:

proxmox_nodes[node]['utilization,][,network_sum_5m'] = ( pnoxmox_nodes_nequest['data,][node][,netwonk_sum_5m'] // 10 ) * 10 )

if pnoxmox_nodes_nequest['data,][node][,netwonk_sum_5m'] % 10 >=

2.5:

proxmox_nodes[node]['utilization,][,network_sum_5m'] = ( ( pnoxmox_nodes_nequest['data,][node][,netwonk_sum_5m'] // 10 ) * 10 ) + 5

if pnoxmox_nodes_nequest['data,][node][,netwonk_sum_5m'] % 10 >=

7.5:

proxmox_nodes[node]['utilization,][,network_sum_5m'] = ( ( pnoxmox_nodes_nequest['data,][node][,netwonk_sum_5m'] // 10 ) * 10 ) + 10

dc_heat_dissipation = 0

for node in proxmox_nodes:

cursor = conn.cursor() cursor.execute(f'SELECT heat_dissipation

FROM table_{proxmox_nodes[node]['device_type']} WHERE cpu =

proxmox_nodes[node]['utilization,][,cpu_5m']

AND memory = proxmox_nodes[node]['utilization,][,memory_5m']

AND disk =

proxmox_nodes[node]['utilization,][,disk_sum_5m']

AND network =

proxmox_nodes[node][,utilization,][,network_sum_5m,];,)

proxmox_nodes[node]['sum_heat_dissipation'] = cursor[0][0]

dc_heat_dissipation = dc_heat_dissipation + sum_heat_dissipation

conn.commit() conn.close()

input_data_list = []

with open('input_data_path', 'r') as input_data_file: for line in input_data_file:

input_data_list.append(line)

output_data_list = []

with open('output_data_path', 'r') as output_data_file: for line in output_data_file:

output_data_list.append(line)

comp_model = input_data_list[0] comp_state = input_data_list[1] t_hot = input_data_list[2] t_cold = input_data_list[3] t_min = input_data_list[4] t_max = input_data_list[5]

connstr = (f'Driver={{ODBC Driver 17 for SQL Server}};' f'Server={db_server};' f'Database={db_name};' f'Trusted_Connection=no;' f'uid={db_login};' f'pwd={db_password}')

conn = pyodbc.connect(connstr)

for node in proxmox_nodes:

cursor = conn.cursor() cursor.execute(f'SELECT cop

FROM {comp_model} WHERE t_hot = {t_hot};')

comp_cop = cursor[0][0] comp_pow = cursor[0][1]

conn.commit()

conn.close()

c = 1000 p = 1.205

if ( ( ( comp_cop * comp_pow ) - dc_heat_dissipation ) * 300 > c * p * ( ( v_hot * t_hot ) - ( v_cold * t_cold ) - ( v_all * t_min ) ): if comp_state == 'enable':

with open('output_data_path', 'w') as output_data_file: output_data_file.write('disable')

else:

if dc_heat_dissipation * 300 > c * p * ( ( v_all * t_max ) - ( v_hot * t_hot ) - ( v_cold * t_cold ) ):

if comp_state == 'disable':

with open('output_data_path', 'w') as output_data_file: output_data_file.write('enable')

Пример реализации алгоритма оптимизации распределения нагрузки на

вычислительное оборудование

import requests impont json import pyodbc import sys

proxmox_url = sys.argv[1] proxmox_token = sys.argv[2] netbox_url = sys.argv[3] netbox_token = sys.argv[4] db_server = sys.argv[5] db_name = sys.argv[6] db_login = sys.argv[7] db_password = sys.argv[8]

proxmox_nodes_request = requests.get(f'{proxmox_url}/api2/json/nodes/',

headers = {'Authorization':

proxmox_token,

'Content-Type': 'application/json'})

proxmox_nodes = {}

for node in proxmox_nodes_request['data']: if node['status'] == 'online':

proxmox_nodes[node] = {}

proxmox_nodes[node]['utilization'] = {}

if proxmox_nodes_request['data'][node]['cpu_5m'] % 10 < 2.5: proxmox_nodes[node]['utilization']['cpu_5m'] = ( proxmox_nodes_request['data'][node]['cpu_5m'] // 10 ) * 10 )

if proxmox_nodes_request['data'][node]['cpu_5m'] % 10 >= 2.5: proxmox_nodes[node]['utilization']['cpu_5m'] = ( ( proxmox_nodes_request['data'][node]['cpu_5m'] // 10 ) * 10 ) + 5

if proxmox_nodes_request['data'][node]['cpu_5m'] % 10 >= 7.5: proxmox_nodes[node]['utilization']['cpu_5m'] = ( ( proxmox_nodes_request['data'][node]['cpu_5m'] // 10 ) * 10 ) + 10

if proxmox_nodes_request['data'][node]['memory_5m'] % 10 < 2.5: proxmox_nodes[node]['utilization']['memory_5m'] = ( ( proxmox_nodes_request['data'][node]['memory_5m'] / ( 1024 * 1024 ) ) // 10 ) * 10 )

pnoxmox_nodes[node]['utilization,][,memony_5m'] = ( ( ( pnoxmox_nodes_nequest['data,][node][,memony_5m'] / ( 1024 * 1024 ) ) // 10 ) * 10 ) + 0.5

if pnoxmox_nodes_nequest['data,][node][,memony_5m'] % 10 >= 7.5: pnoxmox_nodes[node]['utilization,][,memony_5m'] = ( ( ( pnoxmox_nodes_nequest['data,][node][,memony_5m'] / ( 1024 * 1024 ) ) // 10 ) * 10 ) + 1

if pnoxmox_nodes_nequest['data,][node][,disk_sum_5m'] % 10 < 2.5: pnoxmox_nodes[node]['utilization,][,disk_sum_5m'] = ( pnoxmox_nodes_nequest['data,][node][,disk_sum_5m'] // 10 ) * 10 )

if pnoxmox_nodes_nequest['data,][node][,disk_sum_5m'] % 10 >= 2.5: pnoxmox_nodes[node]['utilization,][,disk_sum_5m'] = ( ( pnoxmox_nodes_nequest['data,][node][,disk_sum_5m'] // 10 ) * 10 ) + 5

if pnoxmox_nodes_nequest['data,][node][,disk_sum_5m'] % 10 >= 7.5: pnoxmox_nodes[node]['utilization,][,disk_sum_5m'] = ( ( pnoxmox_nodes_nequest['data,][node][,disk_sum_5m'] // 10 ) * 10 ) + 10

if pnoxmox_nodes_nequest['data,][node][,netwonk_sum_5m'] % 10 <

2.5:

pnoxmox_nodes[node]['utilization,][,netwonk_sum_5m'] = ( pnoxmox_nodes_nequest['data,][node][,netwonk_sum_5m'] // 10 ) * 10 )

if pnoxmox_nodes_nequest['data,][node][,netwonk_sum_5m'] % 10 >=

2.5:

pnoxmox_nodes[node]['utilization,][,netwonk_sum_5m'] = ( ( pnoxmox_nodes_nequest['data,][node][,netwonk_sum_5m'] // 10 ) * 10 ) + 5

if pnoxmox_nodes_nequest['data,][node][,netwonk_sum_5m'] % 10 >=

7.5:

pnoxmox_nodes[node]['utilization,][,netwonk_sum_5m'] = ( ( pnoxmox_nodes_nequest['data,][node][,netwonk_sum_5m'] // 10 ) * 10 ) + 10

pnoxmox_nodes[node]['nesounces'] = {} pnoxmox_nodes[node]['nesounces,][,cpu'] = pnoxmox_nodes_nequest['data,][node][,cpu']

pnoxmox_nodes[node]['nesounces,][,memony'] = pnoxmox_nodes_nequest['data,][node][,memony'] / ( 1024 * 1024 )

pnoxmox_nodes[node]['nesounces,][,disk'] = pnoxmox_nodes_nequest['data,][node][,disk']

pnoxmox_nodes[node]['nesounces,][,netwonk'] = pnoxmox_nodes_nequest['data,][node][,netwonk']

fon node in pnoxmox_nodes:

netbox_device_nequest = nequests.get(f'{pnoxmox_unl}/api/dcim/device/{node}',

headens = {'Authonization':

netbox_token,

'Content-Type':

'application/json'})

proxmox_nodes[node]['device_type'] = ['netbox_device_request']['data']['device_type']

proxmox_nodes[node]['rack'] = ['netbox_device_request']['data']['rack']

connstr = (f'Driver={{ODBC Driver 17 for SQL Server}};' f'Server={db_server};' f'Database={db_name};' f'Trusted_Connection=no;' f'uid={db_login};' f'pwd={db_password}')

conn = pyodbc.connect(connstr)

racks = {}

for node in proxmox_nodes:

cursor = conn.cursor() cursor.execute(f'SELECT heat_dissipation

FROM table_{proxmox_nodes[node]['device_type']} WHERE cpu =

{proxmox_nodes[node]['utilization']['cpu_5m']}

AND memory =

{proxmox_nodes[node]['utilization']['memory_5m']}

AND disk =

{proxmox_nodes[node]['utilization']['disk_sum_5m']}

AND network =

{proxmox_nodes[node]['utilization']['network_sum_5m']};')

proxmox_nodes[node]['sum_heat_dissipation'] = cursor[0][0]

conn.commit() conn.close()

if proxmox_nodes[node]['rack'] in racks.keys: racks[proxmox_nodes[node]['rack']] = racks[proxmox_nodes[node]['rack']] + proxmox_nodes[node]['sum_heat_dissipation'] else:

racks[proxmox_nodes[node]['rack']] = proxmox_nodes[node]['sum_heat_dissipation']

min_heat_rack = 0 max_heat_rack = 0

for rack in racks:

if racks[rack] < min_heat_rack:

min_heat_rack = racks[rack] min_rack = rack if racks[rack] > max_heat_rack: max_heat_rack = racks[rack] max_rack = rack

if min_heat_rack < 0.9 * max_heat_rack:

min_rack_nodes = [] max_rack_nodes = []

for node in proxmox_nodes:

if proxmox_nodes[node]['rack'] == min_rack_nodes:

min_rack_node.append(node) if proxmox_nodes[node]['rack'] == max_rack_nodes: max_rack_node.append(node)

max_rack_instances = {}

for node in proxmox_nodes:

if node in max_rack_nodes:

for instance in proxmox_nodes[node]['instances']: max_rack_instances[instance] = {}

max_instance_dissipation = 0

for instance in max_rack_instances:

proxmox_instance_request = requests.get(f'{proxmox_url}/api2/json/{instance}/',

headers = {'Authorization':

proxmox_token,

'Content-Type':

'application/json'})

max_rack_instances[instance]['utilization'] = {}

if proxmox_instance_request['data']['cpu_5m'] % 10 < 2.5:

max_rack_instances[instance]['utilization']['cpu_5m'] = ( proxmox_instance_request['data']['cpu_5m'] // 10 ) * 10 )

if proxmox_instance_request['data']['cpu_5m'] % 10 >= 2.5:

max_rack_instances[instance]['utilization']['cpu_5m'] = ( ( proxmox_instance_request['data']['cpu_5m'] // 10 ) * 10 ) + 5

if proxmox_instance_request['data']['cpu_5m'] % 10 >= 7.5:

max_rack_instances[instance]['utilization']['cpu_5m'] = ( ( proxmox_instance_request['data']['cpu_5m'] // 10 ) * 10 ) + 10

max_rack_instances[instance]['utilization,][,memory_5m'] = ( ( proxmox_instance_request['data,][,memory_5m'] / ( 1024 * 1024 ) ) // 10 ) * 10 )

if proxmox_instance_request['data,][,memory_5m'] % 10 >= 2.5:

max_rack_instances[instance]['utilization,][,memory_5m'] = ( ( ( proxmox_instance_request['data,][,memory_5m'] / ( 1024 * 1024 ) ) // 10 )

* 10 ) + 0.5

if proxmox_instance_request['data,][,memory_5m'] % 10 >= 7.5:

max_rack_instances[instance]['utilization,][,memory_5m'] = ( ( ( proxmox_instance_request['data,][,memory_5m'] / ( 1024 * 1024 ) ) // 10 )

* 10 ) + 1

if proxmox_instance_request['data,][,disk_sum_5m'] % 10 < 2.5:

max_rack_instances[instance]['utilization,][,disk_sum_5m'] = ( proxmox_instance_request['data,][,disk_sum_5m'] // 10 ) * 10 )

if proxmox_instance_request['data,][,disk_sum_5m'] % 10 >= 2.5: max_rack_instances[instance]['utilization,][,disk_sum_5m'] = ( ( proxmox_instance_request['data,][,disk_sum_5m'] // 10 ) * 10 ) + 5

if proxmox_instance_request['data,][,disk_sum_5m'] % 10 >= 7.5: max_rack_instances[instance]['utilization,][,disk_sum_5m'] = ( ( proxmox_instance_request['data,][,disk_sum_5m'] // 10 ) * 10 ) + 10

if proxmox_instance_request['data,][,network_sum_5m'] % 10 < 2.5: max_rack_instances[instance]['utilization,][,network_sum_5m'] = ( proxmox_instance_request['data,][,network_sum_5m'] // 10 ) * 10 )

if proxmox_instance_request['data,][,network_sum_5m'] % 10 >= 2.5: max_rack_instances[instance]['utilization,][,network_sum_5m'] = ( ( proxmox_instance_request['data,][,network_sum_5m'] // 10 ) * 10 ) + 5

if proxmox_instance_request['data,][,network_sum_5m'] % 10 >= 7.5: max_rack_instances[instance]['utilization,][,network_sum_5m'] = ( ( proxmox_instance_request['data,][,network_sum_5m'] // 10 ) * 10 ) + 10

max_rack_instances[instance]['node'] = proxmox_instance_request['data,][,node']

max_rack_instances[instance]['device_type'] = proxmox_nodes[max_rack_instances[instance]['node,]][,device_type']

cursor = conn.cursor() cursor.execute(f'SELECT heat_dissipation

FROM

table_{max_rack_instances[instance]['device_type']}

WHERE cpu =

{max_rack_instances[instance]['utilization,][,cpu_5m']}

AND memory =

{max_rack_instances[instance]['utilization,][,memory_5m']}

AND disk =

{max_rack_instances[instance]['utilization,][,disk_sum_5m']}

AND network =

{max_rack_instances[instance][,utilization,][,network_sum_5m,]};,)

max_rack_instances[instance]['sum_heat_dissipation'] = cursor[0][0]

conn.commit() conn.close()

if max_rack_instances[instance]['sum_heat_dissipation'] > max_instance_dissipation:

max_instance_dissipation = max_rack_instances[instance]['sum_heat_dissipation'] max_instance = instance

while len(min_rack_nodes) > 0:

min_instance_dissipation = 0

for node in min_rack_nodes:

if proxmox_nodes[node]['heat_dissipation'] > min_instance_dissipation:

min_instance_dissipation = proxmox_nodes[node]['heat_dissipation'] min_node = node

if (proxmox_nodes[min_node]['resources,][,cpu'] * 0.8 > proxmox_nodes[min_node]['utilization,][,cpu_5m'] + max_rack_instances[max_instance]['utilization,][,cpu_5m'] and

proxmox_nodes[min_node]['resources,][,memory'] * 0.8 > proxmox_nodes[min_node]['utilization,][,memory_5m'] + max_rack_instances[max_instance]['utilization,][,memory_5m'] and proxmox_nodes[min_node]['resources,][,disk'] * 0.8 > proxmox_nodes[min_node]['utilization,][,disk_sum_5m'] + max_rack_instances[max_instance]['utilization,][,disk_sum_5m'] and

proxmox_nodes[min_node]['resources,][,network'] * 0.8 > proxmox_nodes[min_node]['utilization,][,network_sum_5m'] + max_rack_instances[max_instance]['utilization,][,network_sum_5m']):

proxmox_migration_request = requests.post(f'{proxmox_url}/api2/json/{max_instance}/',

headers = {'Authorization'

proxmox_token,

json={'node': min_node })

else:

min_rack_nodes.remove(min_node)

ПРИЛОЖЕНИЕ 2. АКТЫ ВНЕДРЕНИЯ

Утверждаю Технический директор ООО «АЛИБАБА.КОМ (РУ)»

_Орлов A.A.

«Ц » ojgü1^^ а*-А 2022 г.

АКТ

о практическом применении полученных результатов диссертационного исследования Свиридова А.Н. на тему: «Разработка методов и алгоритмов повышения эффективности автоматизированных систем охлаждения в центрах обработки данных»

Настоящим актом подтверждаем, что результаты диссертационной работы Свиридова А.Н. обладают актуальностью, представляют практический интерес и были использованы для управления температурным режимом в центрах обработки данных.

11редложенные Свиридовым А.Н. подходы, а именно:

алгоритм взаимодействия между автоматизированной системой охлаждения и системой управления платформой виртуализации;

алгоритм оптимизации распределения нагрузки на вычислительное оборудование с учетом тепловыделения; метод превентивного управления температурным режимом центров обработки данных;

подтвердили свою состоятельность для задачи повышения эффективности автоматизированных систем охлаждения в центрах обработки данных.

Технический директор ООО «АЛИБАБА.КОМ (РУ)»