Автоматизация и управление процессами измерения и контроля производительности средств обработки и передачи информации тема диссертации и автореферата по ВАК РФ 05.13.06, кандидат наук Воротников Владимир Сергеевич

• Воротников Владимир Сергеевич
• кандидат наук
• 2016

Оглавление диссертации кандидат наук Воротников Владимир Сергеевич

Введение

Глава 1 Обзор литературных источников

§1.1 Существующие инструменты измерения производительности СОПИ

§1.2 Методы повышения производительности СОПИ

§1.3 Существующие модели управления техпроцессом разработки ПО

§1.4 Сведения о технологиях обработки и передачи информации

Выводы

Глава 2 Инструменты и методы проведения исследований

§2.1. Инструменты и методы исследования эффективности средств повышения производительности

§2.2. Исследования, связанные с автоматизацией процесса измерения и контроля производительности

§2.3. Исследования, связанные с внедрением разработанных методов и инструментов в техпроцесс

Выводы

Глава 3 Разработка методики автоматизации процесса измерения производительности и сопутствующих алгоритмов и средств автоматизации

§3.1. Формирование требований

§3.2 Разработка архитектуры САУ ПИКП

§3.3 Выбор средств разработки

§3.4 Детальное проектирование программных модулей

§3.5 Разработка и описание алгоритмов управления процессом измерения производительности

§3.6 Улучшение алгоритма автоматизированного измерения сетевой

производительности при помощи математического моделирования

2

§3.7 Методика измерения производительности СОПИ

§3.8 Математическое моделирование. Математическая формализация обучения

§3.9 Документирование и тестирование САУ ПИКП

Выводы

Глава 4 Верификация степени влияния характеристик аппаратной платформы и характеристик трафика на производительность СОПИ

§4.1 Влияние характеристик АП на производительность

§4.2 Влияние характеристик трафика на производительность СЗИ

Выводы

Глава 5 Внедрение разработанной системы в техпроцесс разработки СОПИ

§5.1 Изменение техпроцесса при выпуске очередной версии СОПИ

§5.2 Изменение техпроцесса при выпуске промежуточных версий СОПИ

Выводы

Заключение

Список используемой литературы

ПРИЛОЖЕНИЕ 1. Пример обучающей выборки

ПРИЛОЖЕНИЕ 2. Исходный текст ПО, разработанного для проведения имитационного моделирования (ключевые функции)

ПРИЛОЖЕНИЕ 3. Пример формата выходных файлов работы системы

ПРИЛОЖЕНИЕ 4. Свидетельства о государственной регистрации программы для ЭВМ

ПРИЛОЖЕНИЕ 5. Акты внедрения результатов диссертационной работы

Введение диссертации (часть автореферата) на тему «Автоматизация и управление процессами измерения и контроля производительности средств обработки и передачи информации»

Введение

Актуальность темы. Большинство достижений современного информационного, постиндустриального общества было бы немыслимо без революционных изменений, произошедших в области передачи данных во второй половине двадцатого века. Высокие скорости передачи информации, а также различные виды её обработки открывают новые возможности для высокотехнологичных производственных предприятий и создают новые рынки производств и услуг. Высокая доступность информации становится катализатором исследований во всех областях науки и техники. В то же время, в XXI веке происходит взрывной рост количества информации, которую требуется передавать. Как результат, требования к производительности устройств, осуществляющих обработку и передачу информации также растет. Чтобы удовлетворять данным требованиям, необходимо организовать высокоэффективный технологический процесс производства и разработки, который невозможен без применения методов автоматизации.

Данная проблема особенно актуальна в РФ, т.к. даже при наличии высокопроизводительных западных средств, использование их невозможно по соображениям безопасности. Исследованиям в области автоматизации процесса измерений производительности средств обработки информации посвящен ряд работ зарубежных специалистов, таких как Джо Метцгер, Чьен-Хунг Ву, Ли-Чи Ку, Каролин Марсон, Мартин Свани и другие. Все эти работы ориентированы на автоматизацию процесса измерения производительности сетевых средств и повышение точности и скорости таких измерений.

Цель и задачи диссертационной работы. Целью данной работы является снижение трудозатрат и сокращение продолжительности разработки средств обработки и передачи информации с помощью разработки методики и средств автоматизации измерения и контроля производительности.

Поставленная цель достигается благодаря решению следующих задач:

- анализ специфики и существующих инструментальных средств в области автоматизации и управления процессом измерения производительности средств передачи информации;

- разработка методики автоматизации процесса измерения производительности средств обработки и передачи информации;

- разработка структурных схем, архитектуры и интерфейсов системы автоматизации и управления процессом измерения и контроля производительности;

- разработка математической модели средства обработки и передачи информации;

- разработка, имитационное моделирование и модификация алгоритмов, используемых для автоматизированного измерения производительности;

- программная реализация, тестирование и документирование системы автоматизации и управления процессом измерения и контроля производительности;

- верификация разработанной системы на примере проведения исследования влияния различных факторов на производительность средств защиты информации в информационных сетях;

- разработка практических рекомендаций по внедрению разработанной методики и средств, анализ эффективности.

Методы исследования. Для решения поставленных задач в диссертации использовались методы теории автоматического управления, структурного анализа и проектирования ^ЛОТ), имитационного моделирования, теории вероятностей, математической статистики, теории сложности вычислений, теории алгоритмов. При реализации задачи использовались современные компьютерные технологии, средства разработки и отладки ПО.

Научная новизна диссертации состоит в создании, проведении и реализации научно-обоснованных разработок:

1. Разработана методика измерения и контроля производительности, позволяющая сократить трудозатраты и длительность разработки и производства средств обработки и передачи информации.

2. Разработаны структурные схемы системы автоматизации и управления процессом измерения и контроля производительности, позволяющей реализовать предложенную методику измерения и контроля производительности.

3. Предложена математическая модель испытуемого устройства, позволяющая оценивать эффективность алгоритмов, используемых при автоматизированном измерении производительности средств обработки и передачи информации.

4. Разработан алгоритм выбора начальных параметров и алгоритм коррекции генерируемого потока данных при автоматизированном измерении производительности средств обработки и передачи информации, которые отличается от существующих использованием оценочных коэффициентов пропорциональности и динамическим определением времени проведения отдельных измерений.

5. Установлена степень влияния характеристик аппаратной платформы на производительность в зависимости от характеристик передаваемых данных.

6. Методами имитационного моделирования и экспериментальных исследований, выявлена зависимость между точностью измерения и временем проведения измерения.

Практическая значимость работы заключается в следующих результатах:

- разработана математическая модель испытуемого средства обработки и передачи информации, позволяющая оценить эффективность различных алгоритмов и прогнозировать их параметры (точность, продолжительность и др.). В результате имитационного моделирования были

модифицированы алгоритмы автоматизированного измерения, что уменьшило время проведения измерений на 35 %;

- выявлены основные параметры, влияющие на производительность средств обработки и передачи информации. Полученные результаты позволяют уменьшить стоимость аппаратной платформы средства в случае, если зараннее известны характеристики передаваемых данных. Также были выработаны рекомендации по выбору аппаратной платформы на примере средств защиты информации. В результате повышена производительность существующих аппаратных платформ за счет более оптимального использования их ресурсов на 10% в среднем и до 30% в отдельных случаях;

- разработаны средства автоматизации и управления процессом измерения и контроля производительности обработки и передачи информации, а также разработан комплекс рекомендаций по изменению техпроцесса разработки средств обработки и передачи информации с применением разработанной методики и средств автоматизации и управления процессом измерения и контроля производительности. Применение данных средств позволяет сокращает трудоемкость процедуры измерения производительности от 65 % до 77 % на разных стадиях производственного процесса.

Достоверность полученных результатов подтверждается данными имитационного моделирования и экспериментальных исследований, а также успешным применением разработанных методов при создании системы автоматизации и управления процессом измерения и контроля производительности обработки и передачи информации.

Личный вклад автора. Все основные результаты получены автором лично.

Внедрение результатов. Работа выполнена при поддержке Минобрнауки России, Соглашение номер 14.575.21.0096, уникальный идентификатор соглашения КЕМЕЕ157514Х0096. Результаты исследований, полученные в диссертационной работе внедрены в техпроцесс разработки и производства

средств защиты информации на предприятии ООО «С-Терра СиЭсПи» и были использованы при разработке и производстве следующих продуктов:

- CSP VPN Gate 3.11;

- С-Терра Шлюз Безопасности 4.1;

- С-Терра Шлюз Безопасности 4.2.

Отдельные результаты диссертационной работы внедрены в учебный процесс МИЭТ в рамках дисциплин «Вычислительные машины, системы и сети» и «Передача данных в информационно-управляющих системах».

На защиту выносятся следующие положения:

1. Методика измерения и контроля производительности средств

обработки и передачи информации на этапе их разработки и производства.

2. Математическая модель испытуемого устройства и результаты проведения имитационного моделирования.

3. Структурные схемы системы автоматизации и управления процессом измерения и контроля производительности средств обработки и передачи информации.

4. Алгоритм выбора начальных параметров и алгоритм коррекции генерируемого потока данных при автоматизированном измерении производительности средств обработки и передачи информации.

5. Верификация степени влияния характеристик аппаратной платформы и характеристик трафика на производительность средств обработки и передачи информации на примере средств защиты информации в информационных сетях.

Апробация работы. Основные положения диссертационной работы докладывались и обсуждались на следующих конференциях:

- Микроэлектроника и информатика - 2013, 20-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов (Москва, 2013);

- Обеспечение комплексной безопасности предприятия: проблемы и решения, II международная научно-практическая конференция (Рязань, 2013);

- Микроэлектроника и информатика - 2014, 21-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов (Москва, 2014);

- Обеспечение комплексной безопасности предприятия: проблемы и решения, III международная научно-практическая конференция (Рязань, 2014);

- Микроэлектроника и информатика - 2014, 22-я Всероссийская межвузовская научно-техническая конференция студентов и аспирантов (Москва, 2015).

Публикации по работе

Основные положения диссертационной работы опубликованы в 11 печатных работах, в том числе 3 работы в журналах, входящих в список, утвержденный ВАК. Без соавторов опубликовано 10 работ. Получено два авторских свидетельства о государственной регистрации программы для ЭВМ.

Структура и объем работы. Диссертационная работа состоит из введения, 5 глав, заключения, списка литературы из 73 наименований, 5 приложений и 4 акта использования результатов диссертационной работы. Работа содержит 138 страниц основного текста, 41 рисунок и 26 таблиц.

СОДЕРЖАНИЕ РАБОТЫ

Во введении показаны актуальность темы диссертации, цель и задачи диссертационной работы, научная новизна, практическая значимость, достоверность полученных результатов, апробация и публикации работы, и приведено краткое содержание по главам.

В первой главе дается обзор и анализ существующих инструментов измерения производительности средств обработки и передачи информации (СОПИ), методов повышения производительности на примере средств защиты информации (СЗИ) и моделей управления техпроцессом разработки СОПИ. Рассмотрены различные инструменты измерения производительности: текстовые и графические. Показано, что графические инструменты измерения существенно превосходят консольные по функциональности, однако находятся

с ними на примерно одном уровне по точности результатов. Графические инструменты измерения также существенно дороже текстовых инструментов. При этом текстовые инструменты измерения проще поддаются интеграции в автоматизированные системы. Сделаны выводы о применимости различных инструментов в рамках данной работы.

Рассмотрены и проанализированы методы повышения производительности СОПИ на примере СЗИ. Были выявлены, как локальные, так и нелокальные факторы. Выявленные локальные факторы, это используемый криптографический алгоритм, реализация криптографического алгоритма, реализация сетевой подсистемы СЗИ, взаимодействие криптографической подсистемы, сетевой подсистемы и ОС и аппаратная платформа, на которой работает СЗИ. Нелокальными факторами являются архитектура решения (логическая и физическая схема соединения нескольких СЗИ) и свойства транспортной сети, обеспечивающей физическую связь нескольких СЗИ. Для каждого из факторов рассмотрены и проанализированы существующие методы повышения производительности.

Рассмотрены и проанализированы модели, методы и инструменты

управления техпроцессом разработки СОПИ. Подробно разобраны следующие

модели разработки ПО: итеративная, каскадная, спиральная, SW-CMM

(Software Capability Maturity Model), V-Model, Dual Vee Model. Выделены

основные этапы разработки ПО: составление и анализ требований,

планирование, разработка архитектуры, кодирование, тестирование, отладка,

процедура поиска и исправления дефектов, документирование, внедрение,

сопровождение. Были проанализированы следующие методы разработки ПО:

Методы разработки ПО согласно ГОСТ 19.ххх «Единая система программной

документации (ЕСПД)» и ГОСТ 34.ххх «Стандарты информационной

технологии», Agile, AD (Rapid Application Development), RUP (Rational Unified

Process), OpenUP, TDD (Test-Driven Development), MSF (Microsoft Solutions

Framework), PSP (Personal Software Process), DSDM (Dynamic System

Development Method). Кроме того, в главе рассмотрены несколько классов

10

инструментов для управления и автоматизации процесса разработки ПО, такие как системы планирования, системы постановки задач, трекеры ошибок, системы контроля версий и другие. Анализ полученных данных важен для практического внедрения разрабатываемой системы в различные существующие процессы разработки СОПИ.

Во второй главе проведена разработка методов для проведения исследований. Подобраны и описаны основные инструменты для проведения исследований. При этом для тех случаев, когда подходящих существующих инструментов нет, были разработаны собственные инструменты. Все подобранные и разработанные инструменты и методы разделены на три группы.

К первой группе относятся инструменты и методы исследования эффективности средств повышения производительности. В рамках данной группы разработана общая методика проведения измерения производительности СОПИ. Выбраны подходящие инструменты, проанализированы и подобраны параметры проведения измерений. Также подобраны инструменты и разработаны методы для поиска узких мест в производительности СЗИ, которые будут использованы в дальнейшей работе. Таковыми инструментами, в первую очередь являются профилировщики, как простейшие ручные, так и более сложные статистические и событийные

Ко второй группе относятся инструменты, связанные с автоматизацией процесса измерения и контроля производительности. В главе 2 дана краткая, обзорная информация, т.к. данная тема чрезвычайно подробно описана в главе 3.

К третьей группе относятся инструменты и методы, связанные с внедрением разработанных методов и инструментов в техпроцесс. Расмотренны следующие методы: SADT (Structured Analysis and Design Technique - метод структурного анализа и проектирования), семейство стандартов IDEF (Icam DEFinition, где Icam - это Integrated Computer-Aided Manufacturing) и некоторые алгоритмические языки.

По всем трем группам, сделаны выводы по применимости рассмотренных инструментов и методов. Указано, для каких целей и задач будут использованы проанализированные методы и инструменты.

В третьей главе подробно рассмотрена разработка системы

автоматизации и управления процессом измерения и контроля (САУ ПИКП)

производительности. Выделены основные задачи, которые должна решать САУ

ПИКП: снижение трудозатрат на проведение процедуры измерения

производительности, повышение достоверности получаемых данных за счет

исключения ошибки оператора и уменьшение времени на проведение

процедуры измерения. Выработаны требования к разрабатываемой системе.

Выделены следующие основные группы требований: требования к

функциональным возможностям, требования к взаимодействию с внешними

устройствами, требования к формату представления результатов работы

системы, требования к интерфейсу управления и степени автоматизации, а

также требования по масштабируемости. Разработана архитектура САУ ПИКП

и выделены основные компоненты системы. Проанализированы различные

средства разработки и выбраны наиболее подходящие. В качестве основного

языка программирования выбран язык Python c рядом дополнительных

библиотек. Выделены основные программные модули: модуль интерпретации и

представления данных, модуль для удаленного выполнения команд на

нагрузочных и исследуемых устройствах, модуль для сбора данных с

нагрузочных и исследуемых устройств, модуль для связи с рабочим местом

оператора, модуль для связи с внешним хранилищем данных и центральный

логический модуль. Выполнено детальное проектирование и разработка всех

программных модулей с сопутствующей разработкой всех интерфейсов и

необходимых алгоритмов. Подробно описаны информационные потоки при

взаимодействии модулей. Особое внимание уделено разработке и описанию

алгоритмов автоматизированного управления процессом измерения

производительности. Подробно разработан и оптимизирован при помощи

математического моделирования алгоритм подбора параметров для

12

автоматизированного измерения сетевой производительности. Проведена оценка эффективности оптимизации. Также подробно описаны процедуры документирования и тестирования разработанной системы. Процесс тестирования разработанной системы был частично автоматизирован, в частности было автоматизировано тестирование отдельных функций.

В четвертой главе проведена апробация разработанной системы и в рамках данной апробации проведено исследование влияния различных факторов на производительность СОПИ. Исследовано влияние следующих характеристик аппаратной платформы на производительность СОПИ: тактовая частота процессора, количество задействованных ядер процессора, использование технологий Hyper Threading, общее количество, частоту и используемые каналы ОЗУ, параметры используемой сетевой карты и параметры среды передачи данных. Исследовано влияние следующих характеристик трафика на производительность СОПИ: длина пакета, используемый протокол, размер окна и направленность трафика. Подробно проанализированы результаты исследований и выделены наиболее сильно влияющие факторы. Даны рекомендации по проведению измерений, а также подробно рассмотрен вопрос выбора аппаратной платформы для СОПИ.

В пятой главе подробно рассмотрены вопросы внедрения разработанной

системы в техпроцесс разработки СОПИ. Выделены две группы процессов,

предлагаемых к внедрению: действия, которые необходимо выполнять

незадолго до выхода очередной версии СОПИ (т.е. примерно раз в год, при

годовом цикле разработки) и действия, которые необходимо выполнять при

появлении каждой промежуточной сборки СОПИ (т.е. примерно раз в неделю).

Для каждой из этих групп создан набор рекомендаций на основе результатов

проведенных в рамках этой работы исследований. Для каждой из групп

проведена оценка трудоемкости. Проведено сравнение трудоемкости

полностью ручного проведения работ и работ, проводимых с использованием

разработанной автоматизированной системы, как в процентном соотношении,

так и в абсолютных значениях. Сделаны выводы об эффективности применения

13

разработанной САУ ПИКП. Вопросы интеграции разработанной автоматизированной системы в техпроцессы разработки ПО, не являются ключевыми темами исследования в данной работе, но очень важны, т.к. позволяют применить полученные в диссертации результаты на практике.

В заключении сформулированы основные выводы и полученные результаты.

В приложениях представлены образцы обучающей выборки для имитационного моделирования, образцы выходных файлов работы системы, свидетельства о государственной регистрации программы для ЭВМ, акты внедрения результатов работы

Глава 1 Обзор литературных источников

В рамках обзора литературных источников и анализа существующих методов, моделей и инструментов в данной работе следует рассмотреть три аспекта:

1. Существующие инструменты измерения производительности СОПИ

2. Существующие методы повышения производительности СОПИ

3. Существующие модели управления техпроцессом разработки ПО §1.1 Существующие инструменты измерения производительности СОПИ

В настоящее время существует целый ряд инструментов для измерения производительности сетевых устройств. Следует отметить, что большинство из них подходят для измерения производительности СОПИ. Далее будут рассмотрены наиболее распространенные инструменты: iperf, netperf, nuttcp, ixChariot, Ostinato, Xena. Для удобства, они разбиты на две группы: текстовые (консольные) инструменты и инструменты с графическим интерфейсом.

1.1.1. Текстовые (консольные) инструменты

Среди консольных инструментов будут рассмотрены следующие утилиты, получившие наибольшее распространение в своей сфере: iperf, netperf, nuttcp[41-43]. Есть ряд характеристик, которые присуще всем этим утилитам. Среди положительных характеристик можно отметить: простоту использования, хорошую документированность, поддержку протоколов TCP/UDP, возможность задания порта для серверной и клиентской части, возможность работы в несколько параллельных потоков. Также, текстовые утилиты очень хорошо поддаются автоматизации. В качестве общих недостатков можно отметить недостаточную стабильность работы на ОС Windows (и в некоторых случаях на OS Linux), сложность проведения комплексных тестов (например, тестов на смешанном трафике), невозможность эмуляции протоколов прикладного уровня, неравномерной нагрузки, звеньев задержки.

Рассмотрим далее отличия между выше представленными утилитами. Из преимуществ ПО iperf можно отметить возможность ручного выставления параметра window-size (для протокола TCP), а также вывод результатов теста в CSV-формате. Возможность ручного выставления параметра window-size является особенно важной в случае, когда в измеряемой сети работает протокол IPsec, т.к. в некоторых случаях автоматический подбор данного параметра, заложенный в протоколе TCP, может работать не оптимально. Вывод результатов измерений в CSV-формате [60] является крайне важным для автоматизации процесса измерений, позволяя существенно упростить интеграцию утилиты iperf в систему автоматизации измерений. Недостатком утилиты iperf является наличие дискретных уровней при измерении производительности на протоколе UDP: утилита не позволяет выставить точное значение для генерируемого потока, что неблагоприятно влияет на точности измерений. Так, например, iperf позволяет генерировать UDP-поток 930Мбит/c или 860Мбит/c, но не позволяет использовать произвольное значение между этими двумя точками. Аналогичные дискретные уровни присутствуют и при других размерах потоков.

Утилита nuttcp похожа на рассмотренное выше ПО iperf. Однако она не имеет проблемы с дискретными уровнями генерируемого потока для протокола UDP, что делает её несколько более точной на отдельных тестах. В то же самое время, она не предоставляет удобного (для интеграции в систему автоматизированного измерения) вывода результатов измерений.

Ключевое отличие утилиты netperf от вышеописанных утилит - это возможность автоматического подбора генерируемого потока для протокола UDP в зависимости от количества потерянных пакетов. Следует, однако, отметить, что в рассматриваемом в рамках этой работы специфичном случае, когда в измеряемой сети работает протокол IPsec, данный алгоритм подбора генерируемого потока часто отрабатывает не корректно.

Результаты сравнения приведены в виде таблицы (Таблица 1.1).

Таблица 1. 1 Сравнение консольных инструментов

16

Параметр iperf пе1регГ nuttcp

Стабильность работы Высокая Средняя Высокая

Точность Средняя Средняя Высокая

Простота автоматизации Высокая Средняя Средняя

Особенности Возможность ручного ввода параметра windows-size Автоматический подбор ширины генерируемого потока для UDP

1.1.2. Графические инструменты

ixCharюt, Ostinato и Хепа - являются мощными графическими инструментами для проведения всего комплекса работ по измерению производительности сети в самых различных условиях. В отличие от вышеописанных текстовых инструментов они позволяют проводить синхронизованное многопоточное тестирование с плавающей нагрузкой и с использованием практически всех самых распространенных протоколов прикладного уровня. Достигается это во многом благодаря удачной архитектуре ПО. В ней выделяется сервер управления, который может управлять целым рядом нагрузочных устройств, координируя их действия. Общая архитектура данных приложений показана на рисунке (Рисунок 1.1).

Помимо расширенных функциональных возможностей, вышеуказанные графические инструменты предоставляют значительно более обширную информацию о результатах тестирования. Она включает в себя такие параметры, как задержка и вариация задержки (jitter), качество связи (для IP-телефонии и ВКС), уровень загрузки процессора исследуемого устройства и многие другие данные.

Необходимо, также отметить, что рассматриваемые инструменты обладают рядом недостатков:

- сложность интеграции в системы автоматизированного измерения;

- необходимость в выделенном сервере для сервера управления;

- сложность настройки;

- стоимость (~500 000 рублей за минимальную лицензию, от 6 000 000 рублей за лицензию с поддержкой большого количества протоколов и широкими функциональными возможностями).

Следует отметить, что во многих случаях функциональность графических инструментов измерения является избыточной, а цена - неприемлемо высокой.

1.1.3. Сравнение текстовых и графических инструментов

Рассмотренные выше группы инструментов полезно сравнить по параметрам важным при проектировании автоматизированной системы измерения производительности. Результаты сравнения представлены в таблице (Таблица 1.2).

Таблица 1.2 Сравнение консольных и графических инструментов

Параметр Консольные инструменты Графические инструменты

Функциональность Средняя, достаточная Крайне высокая, избыточная

Простота автоматизации Высокая Низкая

Список литературы диссертационного исследования кандидат наук Воротников Владимир Сергеевич, 2016 год

Список используемой литературы

1. Панасенко С. П. Алгоритмы шифрования. Специальный справочник. - СПб.: БХВ-Петербург, 2009. - 564 с.

2. Федеральный закон Российской Федерации от 27 июля 2006 г. № 152-ФЗ. - Российская газета. 2006г. №4131

3. ГОСТ 28147-89

4. Biryukov A., Wagner D. Advanced Slide Attacks -http://citeseer.ist.psu.edu

5. Шнайер Б. Прикладная криптография. Протоколы, алгоритмы, исходные тексты на языке Си. - Пер. с англ.: М.: Издательство ТРИУМФ, 2002 - 816 с.

6. Agilent Technologies. The Journal of Internet Test Methodologies. -Сентябрь 2007г.

7. ГОСТ 8.207-76. Прямые измерения с многократными наблюдениями. Методы обработки результатов измерений. М.: Изд-во стандартов,1976

8. Cryptoex. - URL: http://www.cryptoex.ru/prod.htm

9. Чекмарев А. Windows Server 2008, - СПб.: БХВ-Петербург, 2008. -

896 с.

10. Kerio. - URL: http://www.kerio.com/

11. Intel. - URL: http://software.intel.com/en-us/articles/introduction-to-intel-advanced-vector-extensions/

12. Виджей Боллапрагада, Кэртис Мэрфи, Расс Уайт, Структура операционной системы Cisco IOS, - М.:Вильямс, 2002. - 197 с.

13. Таненбаум Э., Вудхалл А., Операционные системы. Разработка и реализация. - СПб.:Питер, 2007. - 704 с.

14. Craig Larman, Agile and Iterative Development, - Addison-WesleyProfessional, 2003. - 368 с.

15. M.C. Paulk, B. Curtis, M.B. Chrissis, Capability Maturity Model for Software, - Software Engineering Institute, August 1991.

16. Cameron Hughes, Linux Rapid Application Development, - 2000. - 648

с.

17. Гари Поллис, Лиз Огастин, Крис Лоу, Джас Мадхар, Разработка программных проектов. На основе Rational Unified Process (RUP), - Бином-Пресс, 2011. - 256 с.

18. Kent Beck, Test Driven Development: By Example, - Addison-Wesley Professional, 2002. - 240 с.

19. Крэг Ларман, Применение UML 2.0 и шаблонов проектирования. Введение в объектно-ориентированный анализ, проектирование и итеративную разработку, - М.:Вильямс, 2013. - 736 с.

20. Spiral Model. - URL: http://en.wikipedia.org/wiki/Spiral_model

21. SADD. - URL: http://sadd4ru.codeplex.com/

22. Project Management Institute, A Guide to the Project Management Body of Knowledge, - PMI, 2013, 459 с.

23. Vijay Bollapragada, Mohamed Khalid, Scott Wainner, IPSec VPN Design, - Cisco Press, 2005, 384 с

24. ГОСТ 28147-89. - URL: http://ru.wikipedia.org/ wiki/%D0%93%D0%9E%D0%A1%D0%A2_28147-89

25. RFC 2401 - Security Architecture for the Internet Protocol

26. RFC 2406 - IP Encapsulating Security Payload (ESP)

27. RFC 2402 - IP Authentication header

28. RFC 2407 - The Internet IP Security Domain of Interpretation for ISAKMP

29. RFC 2408 - Internet Security Association and Key Management Protocol (ISAKMP)

30. RFC 2409 - The Internet Key Exchange (IKE)

31. RFC 2412 - The OAKLEY Key Determination Protocol

32. Sonia Atchison, Brian Kennemer, Using Microsoft Project 2010 - ISBN 0789742950, 2011 224 с

33. WebCollab. - URL: http://corvit.livejournal.com/45545.html

34. Redmine. - URL: www.redmine.org

35. Bugzilla. - URL: http://www.bugzilla.org/

36. Mantis. - URL: http: //www. mantisbt.org/

37. IBM Library. - URL: http://www.ibm.com/developerworks/ru/library/l-vercon/index.html? S_TACT=105AGX99&S_CMP=GR01

38. Оголева Л.Н., Чернецова Е.В., Радиковский В.М. Реинжиниринг производства: учебное пособие. - М. : КНОРУС, 2005. - 304 с.

39. Гагарина, Л.Г. Разработка и эксплуатация автоматизированных информационных систем: учеб. Пособие / Под. ред. проф.Л.Г. Гагариной. - М.: ИД "ФОРУМ": ИНФРА-М, 2007. - 384 с.

40. Гвоздева, В.А. Основы построения автоматизированных информационных систем: учебник / В.А. Гвоздева, И.Ю. Лаврентьева. - М.: ИД "ФОРУМ": ИНФРА-М, 2007. - 320 с.

41. Iperf - URL:http://sourceforge.net/projects/iperf/reviews?source=navbar

42. Netpert. - URL: http://www.netperf.org/netperf/

43. Nuttcp. - URL: http://www.nuttcp.net/nuttcp/Welcome%20Page.html

44. Python. - URL: http: //www.python.org/

45. Python Docs. - URL: http://www.python.org/doc/

46. Python SCP. - URL: http://stackoverflow.com/questions/68335/how-do-i-copy-a-file-to-a-remote-server-in-python-using-scp-or-ssh

47. Paramiko. - URL: https://github.com/paramiko/paramiko

48. SCP. - URL: https://github.com/jbardin/scp.py

49. FTPLib. - URL: http://docs.python.org/2/library/ftplib.html

50. HTTPLib. - URL: http://docs.python.org/2/library/httplib.html

51. URLLib2. - URL: http://docs.python.org/2/library/urllib2.html

52. Apache. - URL: http://www.apache.org/

53. XLRD. - URL: https://pypi.python.org/pypi/xlrd

54. XLWT. - URL: https://pypi.python.org/pypi/xlwt

55. XLUtils. - URL: https://pypi.python.org/pypi/xlutils

56. Python Excel. - URL: http://habrahabr.ru/company/mailru/blog/201594/

136

57. Продукты ST. - URL: http://www.s-terra.com/images/price/ price_list_4.1 .pdf

58. Двоичный поиск. - URL: http://ru.wikipedia.org/wiki/ %DG%94%DG%B2%DG%BE%DG%B8%D 1 %87%DG%BD%D 1 %8B%DG%B9_% DG%BF%DG%BE%DG%B8%D 1 %81 %DG%BA

59. Воротников В.С. Исследование параметров, влияющих на производительность в технологии IPsec. Вопросы защиты информации: Науч.-практ. журн. ФГУП «ВИМИ», 2012, Вып. 4 - С.7-8

6g. RFC 418G - Common Format and MIME Type for Comma-Separated Values (CSV) Files

61. James Boney, Cisco IOS in a nutshell.: O'Reilly Media; 2 edition, 2GG5 - 798 c.

62. Норенков И.П. Основы автоматизированного проектирования // М.: Изд-во МГТУ им. Н.Э. Баумана, 2002.-336с.

63. Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование экстремальных экспериментов при поиске оптимальных условий. - М. Наука, 197б.

64. Демкин В.И., Михайлов И.И. Методические указания по курсу «Моделирование систем: планирование эксперимента». - М.: МИЭТ, 2010. - 76 с.

65. Вирт Н. Алгоритмы и структуры данных: Пер. с англ. - М.:Мир, 1989 - 360 с

66. Макконнелл С. Совершенный код / Пер. с англ. - М.: Издательство «Русская редакция», 2010 - 896 с.

67. Г. Россум, Ф.Л.Дж. Дрейк, Д.С.Откидач Язык программирования Python, 2GG1 - 454 c.

68. Martin Fowler, UML Distilled, третье издание, - СПб.: Символ-Плюс, 2GG4 - 192 с.

69. Ларман, Применение UML и шаблонов проектирования, 2-е издание. : Пер. с англ. - М.: Издательский дом Вильямс, 2004, - 624 с.

70. Бовет, Д. Ядро Linux, 3-е изд.: пер. с англ. - СПб.: БХВ-Петербург, 2007, 1104 с.

71. Eduardo Ciliendo, Linux Performance and tuning guidelines, IBM, 2007,

168 c

72. Thomas Herbert, The Linux TCP/IP Stack: Networking for embedded systems, 2004, 481 с

73. Naganand Doraswamy, Dan Harkins, IPSec: the new security standard for the Internet, intranets, and virtual private networks, Second Edition 2002, 378 с

ПРИЛОЖЕНИЕ 1. Пример обучающей выборки

ОАТЕ-ГО ТСР Ц0Р1400 ЦОР512 ЦОР64

БТ_Р_001 33,8 42,1 28,1 6,4

БТ_Р_002 15,2 18 12,6 3

БТ_Р_003 680,6 836,8 454,6 92,4

БТ_Р_004 2331,4 3532,2 1516 223,3

БТ_Р_005 1393 1600 919,6 155,2

БТ_Р_006 69 81 51,6 10,7

БТ_Р_007 31,1 35,6 22,7 4,9

БТ_Р_008 2406,6 3169,6 1331,4 201,9

БТ_Р_009 1231,2 1420,5 816 134,4

БТ_Р_010 354,6 430,7 251 49,3

БТ_Р_011 61,5 68,4 56,8 21,8

БТ_Р_012 24,9 27,3 20,2 5,9

БТ_Р_013 262 641 370 71,7

БТ_Р_014 160 236 155 36,5

БТ_Р_015 38,1 44,7 29,8 6,6

БТ_Р_016 16,4 18,8 13,3 3,1

БТ_Р_017 85,4 106,9 61,8 10,5

БТ_Р_018 210,4 240 143,2 29,4

БТ_Р_019 91,1 105,3 69,2 14,6

БТ_Р_020 365,6 485 302 60,6

БТ_Р_021 161,7 210 138,5 29,2

БТ_Р_022 461,8 1029 628 121,3

БТ_Р_023 302,2 428,5 282 59,8

БТ_Р_024 530 1854 943 95,9

ПРИЛОЖЕНИЕ 2. Исходный текст ПО, разработанного для проведения имитационного моделирования (ключевые функции)

import random

RANDOMLEVEL = 0.2 #+/-2% uncertaintly while measuring performance of gate

ACCURACY = 0.20 #5% - aimed accuracy of measurement

POSSIBLEERROR = 0.005 #0.5% - permitted percent of lost packets

UDP1400_TCP_FACTOR = 1.22 # UDP guess = TCP * (this factor)

UDP512TCPFACTOR = 0.82

UDP64TCPFACTOR = 0.18

HB FACTOR = 1.48 #guess for a high boundary

LBFACTOR = 0.08

DEFAULTPORTSPEED = 10000

class Gate(object):

rrr

instance of this class is team

rrr

def_init_(self, TCP=2550, UDP1400=3300, UDP512=1700, UDP64=260, randomLevel =

RANDOMLEVEL, ports=DEFAULT_PORT_SPEED): #randomLevel = 0.1 => +/-1%. # = 0.2 => +/-2% # = 0.5 => +/-5%, etc. self.ports = ports

self.randomLevel = randomLevel*0.001

selfperformance={"TCP":TCP, "UDP1400":UDP1400, "UDP512":UDP512, "UDP64":UDP64}

def getPorts(self): return self.ports

def getRandomLevel(self): return self.randomLevel

def getRealPerformance(self,parameter): return float(self.performance[parameter])

def makeTcpTest(self): return

float(self.performance["TCP "])+float(self.performance["TCP "]) *self.randomLevel*random.randin t(-100,100)

def makeUdpTest(self testType, bandwidth):

#testType = "UDP1400" | "UDP512" | "UDP64" realPerf = float(self.performance[testType])

shownPerf = realPerf + realPerf*self.randomLevel*random.randint(-100,100) if bandwidth<shownPerf:

return {'result':bandwidth, 'errorPercent':0} else:

err = (bandwidth - shownPerf)/(bandwidth)

return {'result':shownPerf, 'errorPercent':err}

def

measureThroughoutput(gate,accuracy =ACC URA CY,possibleError=POSSIBLE_ERROR,printD=F alse):

def measureUdp(gate,accuracy,possibleError, TCP,testType): if testType == "UDP1400":

firstGuess = TCP*UDP1400_TCP_FACTOR elif testType == "UDP512":

firstGuess = TCP*UDP512_TCP_FACTOR elif testType == "UDP64":

firstGuess = TCP*UDP64_TCP_FACTOR if gate.getRealPerformance(testType) > firstGuess*LB_FACTOR:

LB = firstGuess*LB_FA CTOR else: LB = 0

HB = firstGuess*HB_FACTOR numOfIterations = 0 currentGuess = firstGuess

while True:

numOflterations += 1

currentResult = gate.makeUdpTest(testType,HB) ifprintD==True: print "HB,LB=" + str(HB),str(LB) print "+ + + + + " if currentResult['errorPercent']>possibleError:

break else: HB += HB*0.5

while True:

numOflterations += 1

currentResult = gate.makeUdpTest(testType,currentGuess) if currentResult['errorPercent']>possibleError: HB = currentGuess if LB < currentResult['result']: LB = currentResult['result']

else:

LB = currentResult['result'] ifprintD==True: print "HB,LB=" + str(HB),str(LB) print "err=" + str(currentResult['errorPercent']) print "+ + + + + " if (HB-LB)*1.0/(HB)<accuracy or numOflterations >30 :

return [LB,numOfIterations] currentGuess = (HB+LB)*1.0/2

TCP = gate.makeTcpTest()

UDP1400 = measureUdp(gate,accuracy,possibleError,TCP,"UDP1400")

if printD==False:

UDP5I2 = measureUdp(gate,accuracy,possibleError,TCP,"UDP512") UDP64 = measureUdp(gate,accuracy,possibleError,TCP, "UDP64") if printD==True: return UDPI400

return {"TCP":TCP, "UDPI400":UDPI400, "UDP5I2":UDP5I2, "UDP64":UDP64} def makeSeriesOfTests(gates,numOfTests=I0): def makeSingleTest(gates):

rrr

Make test on a group of gates return a total average

rrr

averages = [] total = 0 for i in gates:

temp = measureThroughoutput(i)

averages.append((int(temp['UDP64'][I])+int(temp['UDP5I2'][I])+int(temp['UDPI400'][I]))*I.0 /3)

for i in averages: total + = i

totalaverage = total*I.0/len(averages) return total average

total = 0

for i in range(numOfTests):

total+ =makeSingleTest(gates) return round(total*I.0/num0fTests,3)

def readGatePerformances(): f = open("D:\Python\gate_perfs.csv","r") a = f.read() b = a.replace(",",".") c = b.split("\n") temp = [] for i in c:

temp.append(i.split(";")) f.close() return temp

gates = []

GATESPERFORMANCES = readGatePerformances() for i in GATES PERFORMANCES: if len(i)>I: gates.append(Gate (i[0], i[I], i[2],i[3])) minimum = 9.0 minimum_params = ""

rrr

#f = open("D:\Python\model_results.csv","w") for i in range(I2I,I24):

UDP1400 TCPFACTOR = i/100.0 for j in range(81,84):

UDP512TCPFACTOR = j/100.0 for m in range(15,18):

UDP64TCPFACTOR = m/100.0 for k in range(147,150): HBFACTOR = k/100.0 for l in range(7,10): LBFACTOR = l/100.0 a = makeSeriesOfTests(gates,10) if a<minimum: minimum=a

minimum_params = str(UDP1400_TCP_FACTOR) + " " + str(UDP512_TCP_FACTOR) + " " + str(UDP64_TCP_FACTOR) + " " + str(HB FACTOR) + " " + str(LB FACTOR) + " " + str(a)

line = str(UDP1400_TCP_FACTOR) + ";" + str(UDP512_TCP_FACTOR) + ";" + str(UDP64_TCP_FACTOR) + ";" + str(HBFACTOR) + ";" + str(LBFACTOR) + ";" + str(a) + "\n"

#f.write(line) print line

#f.close()

for i in range(1,50):

UDP1400 TCPFACTOR = i/10.0 a = makeSeriesOfTests(gates,10) print UDP1400 TCP FACTOR, a

rrr

f = open("D:\Python\model_results.csv","w") for i in range(1,8):

UDP64TCPFACTOR = i/10.0 for j in range(11,40): HBFACTOR = j/10.0 a = makeSeriesOfTests(gates,100) if a<minimum: minimum=a

minimum_params = str(UDP1400_TCP_FACTOR) + " " + str(UDP512_TCP_FACTOR) + " " + str(UDP64_TCP_FACTOR) + " " + str(HB FACTOR) + " " + str(a)

line = str(UDP1400_TCP_FACTOR) + ";" + str(UDP512_TCP_FACTOR) + ";" + str(UDP64_TCP_FACTOR) + ";" + str(HBFACTOR) + ";" + str(a) + "\n" f.write(line) print line f.close()

rrr

a = makeSeriesOfTests(gates,100)

ПРИЛОЖЕНИЕ 3. Пример формата выходных файлов работы системы

1шй 1шй 1шй 1шй 1шй

В/С иёр1400 иёр512 иёр64 1ср иёр1400 иёр512 иёр64 т1х т1х

согеБ шопо шопо шопо ёиа1 ёиа1 ёиа1 ёиа1 шопо ёиа1

1/1 180,4 106,7 16,4 153,5 172,8 103,8 18 89,4 97,1

1/2 373,1 218,3 35,8 305,6 384,9 222,2 33,2 196,6 198,8

1/3 568,1 336 59,4 468,5 583 340 61,1 296,3 303

1/4 766,9 437,5 80,5 624,1 774,3 453,2 81,6 408,8 409,8

1/5 947,9 562,4 102,4 781,2 963 562,8 75,1 498,4 511,2

1/6 1146,8 678,1 124,1 957,3 1165,2 680,6 120,7 606,4 587,4

1/7 1331,5 768 132,2 1114 1329,6 789,8 144,2 611,9 708,8

1/8 1369,7 788,2 147,6 1268,5 1528,1 896,3 158,6 617,1 801,3

1/9 1504,1 665,2 105,8 1418,4 1691,2 1003,3 164,4 550,5 827,8

1/10 1739,5 754,7 97,1 1530 1749,1 1035,1 171,8 595 848,9

1/11 1773,9 680,4 108 1583,9 1903 727,6 162,9 554,7 727,4

1/12 1630,6 667,7 112,7 1627,3 1999 986,2 145,6 609,8 700,7

1/13 1954,5 715,2 108,1 1669,4 2072,5 1097,6 118,7 565,4 829,1

1/14 1919,3 690,9 107,6 1717,1 2117,7 930,4 120,2 640,5 733,4

1/15 1734,1 581,4 89,4 1733,4 2184,6 914,6 167,2 563,6 730,6

1/16 1916,3 559 110,3 1778,5 2254,8 930,3 154,9 575,4 812,9

1/17 1989,3 560,1 67,6 1813,7 1422,6 560,1 165,1 618,9 534,5

1/18 1379 597,7 104,5 1816,8 2009 507,5 156,6 515,8 509,9

1/19 739,7 244,4 38,8 1232,4 956,2 401,6 59,9 250,9 382,6

ПРИЛОЖЕНИЕ 4. Свидетельства о государственной регистрации программы для ЭВМ

ПРИЛОЖЕНИЕ 5. Акты внедрения результатов диссертационной работы

s «terra

ООО «С Ггррд СиЭсПи»

Мши»- ¡(г«иогр»л ПорткккиЙЛВ Л i 10И I «пиния 13 w/фэис 7(4WJWO «0-61 »m»il ininrmar<nfi^ iorram №«wt и*гд ■ i

ОТ «_»

201_Г.

УТВЕРЖДАЮ Генеральный директор 00 «С-Терра СиЭсПи»

АКТ ВНЕДРЕНИЯ

результатов дисссрташюннон работы «Автоматизация и управление процессом измерения и контроля производительности средств обработки и передачи информации» но специальности 05.13.06 на соискание ученой степени кандидата технических наук Воротникова Владимира Сергеевича.

Мы. нижеподписавшиеся, настоящим актом подтверждаем, что результаты исследований, проведенных в диссертации Воротникова Владимира Сергеевича. а именно:

- оптимизированный алгоритм измерения производительности средств обработки и передачи информации:

- про1раммная реализация системы автоматизации и управлении процессом измерения и контроля производительности средств обработки и передачи информации:

практические рекомендации по внедрению вышеупомянутой системы в техпроцесс разработки и выпуска средств обработки и передачи информации;

используются на предприятии следующим образом.

Компания провела пробное (пилотное) внедрение ра зрабоганной автоматизированной системы измерения и контроля производительности средств обработки и передачи информации в период с авпета 2014 но январь 2015 года. Результаты испытаний были признаны успешными. С апреля 2015 года по нынешнее время данная система используется на предприятии и позволяет:

- в автоматическом режиме оперативно оценивать влияние вносимых н программный код изменений на производительность разрабатываемых средств зашиты информации в информационных сетях, что существенно повышает •ффектннность работы отдела разработки:

частично автоматизировать нроцед\р> выходного (приемочного) контроля выпускаемых средств зашшы информации.

Вышеуказанное использование результатов исследований, проведенных в диссертации Воротникова Владимира Сергеевича привело к следующим экономическим эффектам:

сокращению трудозатрат инженера Ш-категорин в приемо-сдаточных испытаниях на 2 чел. мсс. в год;

сокращению трудозатрат инженера 11-категории в процессе разработки очередных версий средств защиты информации на 5 чел. чес. в год.

в^егга

ООО • С-Тгррл СиХПи.

124499 »V»:«»! ¡спспарлА ГгоршевишЛгр-ш, д 5 гоя I ютни теп /флн ' .'¿чч; 94а «с » 1гш1 шгагпкп <т>в* ги шгмг х пит гу

ОТ «_»

201_г.

УТВЕРЖДАЮ Генеральный директор

АКТ ВНЕДРЕНИЯ

результатов диссертационной работы «Автоматизация и управление процессом измерения и контроля производительности средств обработки и передачи информации» по специальности 05.13.06 на соискание ученой степени кандидата технических на\к Воротникова Владимира Сергеевича.

Мы. нижеподписавшиеся, настоящим актом подтверждаем, что результаты исследований, проведенных в диссертации Воротникова Владимира Сср1ееиича. а именно исследования степени влияния характеристик аппаратной платформы и характеристик графика на производительность средств обработки и передачи информации (в частности средств зашиты информации (СЗИ)) использованы

следующим образом.

В результате данных исследований были выявлены следующие факты:

1. Наиболее сильно влияющими на производительность шифрования параметрами является тактовая частота процессора и возможности сетевой подсистемы. Показана детальная зависимость производительности от количества процессорных ядер при различных условиях

2. Для больших паксюв основным параметром, влияющим нп производительность СЗИ, является тактовая частота процессора и количество процессорных ядер. Для маленьких и средних пакетов основным параметром, влияющим на производительность СЗИ, является производительность сетевой подсистемы, которая н значительной мерс гависит 01 используемой сетевой карты.

3. При фиксированном общем объеме оперативной памяти, следует использовать все доступные каналы ОЗУ

Выявленные зависимости позволили:

1. Формализовать и автоматизировать процесс выбора аппаратной платформы пол заданные требования производительности.

2. На ранней стадии разработки выделить узкие места разрабатываемого

средства зашшы информации.

3. Повысить производительность существующих аппаратных платформ за счет более эффективного использования их ресурсов на 10% в среднем и до 30% в отдельных случаях

4. Оптимизировать состав и порядок действий в производственном процессе и приемо-сдаточных испытаниях, сократив их продолжительность.

Дата: "А "

УТВЕРЖДАЮ Проректор МИТГ по учебной работе Л.Т.Н.. проф. у

__J. . /Игнатова И.Г.

"_"__2016г.

АКТ

внедрения

результатов диссертационной работ.....Автоматизация и управление процессом

намерения и контроля производительности средств обработки и передачи информации» по специальности 05.13.06 на соискание ученой степени котили* технических на\ к Воротникова Владимира Сергеевича.

Комиссия к следующем составе:

Председатель комиссии - 1Цаг ин Анатолии Васильевич, зав. кафедрой САУиК Члены комнссии:

1) Тарасова Галина Ивановна, допент кафедры САУиК;

2) Демкин Василий Иванович, доцент кафедры САУиК составили настоящий акт в том. что результаты диссертационной работе, а именно:

исследований, полученные в

средств обработки и

инфоРмшГТМ ,пмерення про,,зводит^Ь1Юети средств обработки и передачи

реализация программного обеспечения для проведения имитационного моделирования процесса измерения производительности передачи информации;

внедрены в курс «Вычислительные машины, системы и сети» для студентов "»-го курса факультета «И 1С», обучающихся по направлению 27.03.04 «Управление и информатика в технических системах» профиль «Технические средства автоматизации и управления» и к>Рс «Передача данных в информационно-управляющих системах» для студентов 2 курса факультет «И 1С», общающихся по направлению 27.04.04 «Управление в технических системах», про. рамма «Автоматизация и управление в технических системах».

А.В Шагни

Председатель комиссии:

Члены комиссии: (j ¿¿¿уу. - Г.И. 1 арасова

В.М. Демкин

Проректор МИЭТ А/'_Гаврилов С.А.

."УТВЕРЖДАЮ"

2016 1.

АКТ

об использовании результатов диссертационной работы Воротникова Владимира Сергеевича

«Автоматизация и управление процессом измерения и контроля производительности средств обработки и передачи информации»

Настоящим подтверждается, что результаты диссертационной работы Воротникова Владимира Сергеевича «Автоматизация и управление процессом измерения и контроля производительности средств обработки и передачи информации» использовались при выполнении прикладных научных исследований по Соглашению №14.575.21.0096 (уникальный идентификатор соглашения ЯЕМЕЕ157514X0096) между Минобрнауки России и федеральным государственным автономным образовательного учреждением высшего образования «Национальный исследовательский университет «Московский институт электронной техники».

Зав. каф. «МЭ», д.т.н, профессор