Методы и модели анализа показателей эффективности телекоммуникационной составляющей программно-конфигурируемых сетей тема диссертации и автореферата по ВАК РФ 05.12.13, кандидат наук Малахов Сергей Валерьевич

• Малахов Сергей Валерьевич
• кандидат наук
• 2015

Оглавление диссертации кандидат наук Малахов Сергей Валерьевич

1.1 Сравнение ПКС с традиционными КС

1.2 Правила функционирования протокола OpenFlow

1.3 Сетевые операционные системы NOX и Floodlight

1.4 Используемые приложения и сервисы в ПКС

1.5 Описание таблиц коммутации активного оборудования ПКС и формирование таблиц потоков OpenFlow

1.6 Выводы и результаты

2 РАЗРАБОТКА АЛГОРТМОВ ПРОЕКТИРОВАНИЯ ЭО ПКС ДЛЯ ИССЛЕДОВАНИЯ ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ СЕТИ

2.1 Методы и средства управления сетевыми ресурсами и потоками данных в ПКС

2.2 Управление потоками данных и коммутатором OpenFlow с помощью сетевой операционной системы

2.3 Предлагаемый алгоритм сбора статистики

2.4 Разработка алгоритма проектирования ЭО ПКС

2.5 Оценка показателей эффективности сегмента ПКС

2.6 Исследование показателей эффективности контроллера ПКС

2.7 Выводы и результаты

3 РАЗРАБОТКА МЕТОДОВ И МОДЕЛЕЙ МАССОВОГО ОБСЛУЖИВАНИЯ ДЛЯ АНАЛИЗА ПОКАЗАТЕЛЕЙ ЭФФЕКТИВНОСТИ ТЕЛЕКОММУНИКАЦИОННОЙ СОСТАВЛЯЮЩЕЙ СЕГМЕНТА

3.1 Краткое описание анализатора WireShark

3.2 Разработка приложения для анализатора WireShark

3.3 Применение системы массового обслуживания H2/M/1 к расчету показателей эффективности каналов

3.4 Результаты проведенных экспериментов для сегмента ПКС с помощью системы H2/M/1

3.5 Выводы и результаты

4 ВИРТУАЛИЗАЦИЯ СЕТЕВЫХ ФУНКЦИЙ НА ОСНОВЕ ПКС

4.1 Коммутация трафика виртуальных машин

4.2 Средства виртуализации

4.3 Анализ существующих подходов к виртуализации вычислительных узлов кластера

4.4 Виртуализация сетевых функций

4.5 Подход виртуализации сетевых функций в ЭО ПКС

4.6 Выводы и результаты

ЗАКЛЮЧЕНИЕ

ЛИТЕРАТУРА

ПРИЛОЖЕНИЕ 1 Скрипт запуска генерации трафика в кластере

ПРИЛОЖЕНИЕ 2 Микропрограмма для обработки данных в MS Excel

Введение диссертации (часть автореферата) на тему «Методы и модели анализа показателей эффективности телекоммуникационной составляющей программно-конфигурируемых сетей»

ВВЕДЕНИЕ

Актуальность темы. Современное состояние и тенденции развития компьютерных сетей показали, что потенциал роста производительности, пропускной способности сетей на основе традиционных технологий практически исчерпан. Это связано с ростом затрат времени на маршрутизацию, с трудностями настройки сети и управления потоками в ней. Особенно с учётом новых потребностей в качестве сервисов для высокоскоростных глобальных сетей и сетей центров обработки данных. Также с ростом потребностей в виртуализации сетей, т.е. отображения нескольких логически изолированных сетей с независимыми политиками качества обслуживания на общий набор сетевых ресурсов. Такое неудовлетворительное состояние дел может измениться из-за двух революционных событий: первое, появление на рынке чрезвычайно усложненного, проприетарного, сетевого оборудования, и второе, появление принципиально нового подхода, называемого программно-конфигурируемыми сетями (ПКС - Software Defined Networks). Следование такому подходу позволит ускорить маршрутизацию в сетях, повысить удобство конфигурирования, виртуализации, настройки качества обслуживания, но требует дополнительных исследований и разработок. В частности, в области организации сетевых коммутаторов, программных приложений для управления сетью и платформ для их выполнения. Влияние ПКС-подхода будет ощущаться в центрах обработки данных (дата-центрах), корпоративных сетях, WAN, сотовых сетях, а также и в домашних условиях. ПКС сети возникли в Беркли и Стэнфорде, а также одобрены более пятидесяти компаний Open Network Foundation. Ведущим центром по исследованию ПКС в РФ, который занимается интернет-технологиями и компьютерными сетями является Центр прикладных исследований компьютерных сетей (ЦПИКС).

В основе ПКС сетей лежит представление о компьютерной сети, как сети, имеющей «плоскость данных», которая отвечает за пересылку пакетов на основе состояния в каждом коммутаторе, и «плоскости управления», которая отвечает за вычисление, «планирование» и управление пересылкой. Для реализации этой идеи был разработан открытый протокол OpenFlow для управления сетевым оборудованием, не ориентированный на продукты какого-то отдельного поставщика. С помощью этого протокола специалисты сами могут определять и контролировать взаимодействие в сети. Все сетевые устройства объединяются под управлением сетевой операционной системы (СОС). Результаты разработки и исследования современных СОС отражены в работах A. Tavakoli, M. Casado, T. Koponen, S. Shenker, K.-C. Wang, J. Luo, J. Ong.

На общем уровне ПКС включает в себя только одну распределенную систему, «сетевую операционную систему», которая формирует данные о состоянии всех коммутаторов и маршрутизаторов сети и предоставляет доступ к ним для приложений управления. Эти приложения управления могут быть логически централизованными, работающими на едином графовом представлении сети. Чтобы избежать зависимости от конкретного сетевого оборудования.

Предварительный анализ предметной области показал, что несмотря на наличие промышленного производства оборудования и программных средств для ПКС, а также большого количества научно-исследовательских проектов:

- технологию ПКС на текущий момент нельзя признать зрелой, рынок только развивается, прогнозируется его резкий рост к 2015-2016 годам;

- программные средства в исследовательских проектах не доведены до достаточного уровня «отлаженности», некоторые пока находятся на стадии «альфа-версии»;

- в данной области многие экспериментальные разработки распространяются с открытым исходным кодом, с возможностью использования и доработки третьими сторонами без нарушения прав;

- коммерческие программные и аппаратные средства способны взаимодействовать по открытым стандартам из данной предметной области.

Все выше перечисленное, как с новой возможностью для российских разработчиков обеспечить технологическую независимость в области сетевых технологий, так и войти в новый рынок, обосновывает актуальность работы. В настоящее время проведено мало исследований в области оценки производительности сети поэтому данная работа посвящена оценке показателей эффективности телекоммуникационной составляющей ПКС, для чего предложены новые подходы. Ведущим центром по исследованию ПКС в РФ, который занимается интернет-технологиями и компьютерными сетями является Центр прикладных исследований компьютерных сетей (ЦПИКС).

Результаты исследования соответствуют следующим пунктам паспорта научной специальности 05.12.13 - Системы, сети и устройства телекоммуникаций:

пункту 3 - Разработка эффективных путей развития и совершенствования архитектуры сетей и систем телекоммуникаций и входящих в них устройств;

пункту 4 - Исследование путей совершенствования управления информационными потоками;

пункту 11 - Разработка научно-технических основ технологии создания сетей, систем и устройств телекоммуникаций и обеспечения их эффективного функционирования;

пункту 12 - Разработка методов эффективного использования сетей, систем и устройств телекоммуникаций в различных отраслях народного хозяйства.

Объектом исследования является телекоммуникационная составляющая программно-конфигурируемых сетей, включающая каналы связи, контроллер ПКС и сетевое оборудование.

Предмет исследований в диссертационной работе - показатели эффективности программно-конфигурируемых сетей.

Целью работы является разработка методов и моделей для анализа и оценки показателей эффективности программно-конфигурируемых сетей.

Для достижения поставленной цели в работе решены следующие задачи:

1. Анализ предметной области.

2. Проектирование ряда экспериментальных образцов (ЭО) с использованием сетевой технологии OpenFlow и исследование на них процесса взаимодействия сетевых приложений и производительности контроллера ПКС в физической и виртуальной среде.

3. Построение алгоритмов восстановления числовых характеристик интервала между пакетами потоков в сегментах ПКС.

4. Разработка математического аппарата системы массового обслуживания и его применение к расчету показателей эффективности каналов сегмента ПКС.

5. Исследование вносимой протоколом OpenFlow дополнительной задержки в сети.

6. Разработка программного обеспечения и дополнительных макросов для обработки экспериментальных данных, а именно исследуемого трафика на физическом оборудовании так и в виртуализированной ПКС.

Методы исследования. В работе для решения поставленных задач использован аппарат теории вероятностей и математической статистики, теории вычислительных систем в части сетей массового обслуживания, механизмы проектирования экспериментальных образцов ПКС, программная реализация разработанных алгоритмов и их экспериментальное исследование.

Достоверность результатов. Достоверность результатов подтверждается экспериментальными исследованиями и применением адекватной теории массового обслуживания для описания трафика.

Научная новизна результатов диссертационной работы заключается в том, что впервые:

1. Разработан алгоритм проектирования экспериментальных образцов ПКС с использованием открытого протокола OpenFlow для проведения исследований показателей производительности сети на основе сбора статистик.

2. Предложены алгоритмы, позволяющие восстанавливать моментные характеристики случайной величины - интервала между пакетами потоков как в физическом, так и в виртуализированном сегментах ЭО ПКС для дальнейшего использования моделей массового обслуживания.

3. Предложена математическая модель системы массового обслуживания Н2/М/1 с гиперэкспоненциальным распределением 2-го порядка интервалов поступления трафика в сегментах ПКС для оценки задержки пакетов и других показателей эффективности функционирования ПКС.

4. Выполнен анализ влияния на производительность ПКС протокола OpenFlow и получены оценки задержки пакетов в сегментах сети как с использованием протокола OpenFlow, так и без него.

5. Предложен подход виртуализации сетевых функций в ЭО ПКС, заключающийся в виртуализации классов сетевых узлов для проведения экспериментов.

Личный вклад автора. Основные научные результаты, такие как теоретические и экспериментальные исследования, выводы, изложенные в диссертации, получены автором самостоятельно. В работах, опубликованных в соавторстве, соискателю принадлежит часть, связанная с постановкой задач, подготовкой ЭО, настройкой соответствующего программного обеспечения и проведением экспериментальных исследований.

Внедрение результатов диссертационной работы. Результаты

диссертационной работы внедрены в Центре информационных технологий

Оренбургского государственного университета и в Федеральное

государственное бюджетное образовательное учреждение высшего

образования «Поволжском государственном университете

8

телекоммуникаций и информатики», что подтверждено соответствующими актами внедрения.

Практическая ценность и реализация результатов работы.

Результаты работы частично вошли в отчеты НИР по гранту Минобрнауки РФ на тему «Анализ и разработка методов и алгоритмов управления сетевыми ресурсами в распределенных вычислительных центрах обработки данных на основе программно-конфигурируемых компьютерных сетей» шифр «2012-1.4-07-514-0021» выполненную совместно с Оренбургским государственным университетом.

Полученные результаты могут быть также использованы проектными, научно-исследовательскими и эксплуатационными сетевыми организациями для создания управляемых корпоративных программно-конфигурируемых сетей.

Апробация работы. Основное содержание и результаты работы докладывались и обсуждались на:

- XIII международная научно техническая конференция, проблемы техники и технологий телекоммуникаций, 2012г., г. Уфа;

- XX Российская научная конференция профессорско-преподавательского состава, научных сотрудников и аспирантов, 2013г., ПГУТИ, г. Самара;

- Вторая международная научно-техническая конференция "Вычислительный Интеллект-2013" (ComInt-2013), г. Черкасы, Украина;

- 9-й международный коллоквиум молодых ученых в области программной инженерии SYRCoSE 2015, ПГУТИ, г. Самара;

- Международная конференция и молодежная школа «Информационные технологии и нанотехнологии» (ИТНТ), 2015г., СГАУ, г. Самара.

Публикации. По результатам проведенных исследований опубликовано 10 работ, в том числе 5 статей в журналах, входящих в

перечень ВАК РФ для публикации результатов диссертационной работы, 1 статья на конференции, 4 тезиса докладов на конференциях.

Основные положения, выносимые на защиту:

1. Предложенный алгоритм проектирования экспериментальных образцов для проведения исследования показателей производительности ПКС.

2. Алгоритмы восстановления моментных характеристик случайной величины - интервала между пакетами потоков как в физическом, так и в виртуализированном сегментах ЭО ПКС, позволяют их использовать в модели массового обслуживания Н2/М/1.

3. Математическая модель массового обслуживания Н2/М/1 с обратной связью и с гиперэкспоненциальным распределением 2-го порядка интервалов поступления пакетов, позволяет оценить задержки пакетов и другие показатели эффективности ПКС.

4. Результаты анализа влияния на производительность ПКС протокола OpenFlow и полученные оценки для задержки пакетов в сегментах сети как с использованием протокола OpenFlow, так и без него могут быть использованы при организации университетских сетей на основе ПКС.

5. Предложенный подход к виртуализации сетевых функций в ЭО ПКС, заключающийся в виртуализации классов сетевых узлов, позволяет его использовать для проведения экспериментов без дорогостоящего оборудования.

Структура и объем работы. Диссертация состоит из введения, четырех глав, имеющих выводы, заключения и списка литературы. Работа изложена на 144 страницах машинного текста, содержащих 55 рисунка и 4 таблицы. Список использованных источников насчитывает 84 наименований.

1 АНАЛИТИЧЕСКИЙ ОБЗОР В ОБЛАСТИ ПРОГРАММНО-КОНФИГУРИРУЕМЫХ СЕТЕЙ (ПКС) 1.1 Сравнение ПКС с традиционными КС

Недостатки и дополнительные возможности сетей Ethernet

Большинство специалистов уверены в том, что технология Ethernet станет основой для построения единой, конвергентной сетевой инфраструктуры центров обработки данных (ЦОД).

Институт IEEE [1] разрабатывает стандарты, которые должны обеспечить гарантированную полосу пропускания и контроль потока для трафика с учетом его приоритета, а также более тонкие механизмы управления потоками. С этими новыми подходами Ethernet сможет не только заменить в ЦОД существующие сети Infiniband [2] и Fibre Channel [3], но и существенно улучшить показатели производительности работы новых Storage area network (SAN) [4] систем на основе iSCSI [5].

Поддержка мобильности виртуальных машин, технология Fibre Channel over Ethernet (FCoE) [6] и другие новые приложения требуют реализации крупномасштабных сетей, которые функционируют на уровне 2 модели OSI [7] (L2).

Непрерывно развиваясь технология Ethernet стала наиболее масштабируемой и экономически эффективной технологией для построения сетей TCP/IP.

Трафик локально вычислительных сетей (ЛВС) меньше всего зависим от характеристик сетей, но постоянно реализует свойственные Ethernet широковещательные или групповые рассылки, виртуальных ЛВС (Virtual local area network, VLAN). Трафику SAN (особенно Fibre Channel) необходима передача без потерь пакетов и незначительная задержка. А трафику высокопроизводительных вычислительных систем (HighPerformance Computing Cluster, HPCC [8]) требуется гораздо меньшая задержка и широкая полоса пропускания. Достижения последнего времени в

области технологии iSCSI привели к тому, что все больше потребителей рассматривают ее как надежное решение для сетей SAN.

Благодаря своей гибкости, Ethernet сегодня преобладает в большинстве сетевых сред, а поддерживающее эту технологию оборудование производится в огромных объемах. Представленные сегодня решения обеспечивают скорость 10 Гбит/с (на один канал), в ближайшем будущем 40 и 100Гбит/с продукты, так же не исключено появление терабитного варианта Ethernet. Эти и другие причины привели к тому, что Ethernet считается основным кандидатом для конвергентной инфраструктуры ЦОД.

По причинам, указанных выше, Ethernet доминирует в современных сетях. Поэтому, как и ранее голосовые приложения, так и системы хранения данных переводятся на работу в стандартных сетях Ethernet.

Сети Ethernet имеют архитектурные недостатки, связанные с принципом доступа к среде передачи данных: увеличение нагрузки на центральные процессоры серверов, непредсказуемую задержку, уменьшение производительности инфраструктуры IP в результате использования части пропускной способности для передачи данных в сети хранения и проблем с обеспечением безопасности передаваемого трафика.

В традиционной сети Ethernet есть недостатки, из-за которых технология не может использоваться для передачи чувствительного к потерям трафика, таких как трафика сетей хранения данных и голосового. Очевидно, что текущая версия Ethernet не может обеспечить надежную работу транспорта канального уровня, и требует определенных доработок.

Усовершенствованием традиционного протокола Ethernet занимаются несколько организаций, трудами которых стали Converged Enhanced Ethernet (CEE) [9], Data Center Bridging (DCB) [10] и Cisco Data Center Ethernet (DCE) [11].

DCE архитектура на основе набора открытых стандартов расширений

для Ethernet сети. Архитектура поддерживает аппаратные средства, которые

поддерживают передачу трафика без потерь. Термин Lossless Ethernet

12

(передача трафика без потерь) [12], указывает на тип коммутаторов Ethernet, с рядом дополнительных функциональных возможностей, например, возможность передачи данных без потерь, вследствие перегрузок сети (lossless). В lossless сетях, достаточно важно блокировать операции I/O, поскольку в отличие от TCP/IP, потеря одного пакета, ведет к прерыванию передачи последовательности данных и требует повторной передачи всей последовательности, протоколом верхнего уровня, вместо повторной передачи только нескольких потерянных блоков.

DCE предназначена для расширения и улучшения функционала традиционного Ethernet в соответствии с требованиями. Так же включает в себя набор расширений Ethernet сети [13]. К обязательному функционалу можно отнести следующие расширения:

- Enhanced Transmission Selection (ETS) дает возможность управлять разделением канала связи (пропускной способности). Таким образом, решается задача совместной передачи различного трафика, для разных типов линий без ущерба для качества. ETS описывается в стандарте IEEE 802.1Qaz [14];

- Priority-based Flow Control управление потоком на основе приоритетов [15]. Служит для передачи трафика по приоритетам и разделения трафика на восемь виртуальных полос в случае, когда механизм PAUSE (IEEE 802.3x) вызывает прекращение передачи трафика. Описывается в стандарте IEEE 802.1Qbb [15];

- Layer 2 Multi-Pathing (L2MP). Механизм L2MP дает возможность одновременно использовать несколько параллельных путей, из-за этого пропускная способность канала расходуется более эффективно. Описывается в стандарте IEEE 802.1Qau [16];

- Data Center Bridging eXchange (DCBX) [14] служит для обнаружения и автоматического согласования некоторых параметров, включая управление потоком по классам и полосой. Также служит для управления перегрузками и логическим состоянием каналов. Кроме того, с механизмом DCBX

13

устройства, которые взаимодействуют между собой, определяют совместимость соседнего устройства с DCE, т.е. показывают логическую границу домена DCE в сети центра обработки данных.

Вторая составляющая архитектуры DCE — (Lossless Ethernet Switch Fabric) —не менее важная, чем набор расширений Ethernet. Для обеспечения реальной передачи по Ethernet без потерь (Lossless Ethernet), необходимо выполнить два требования: первое это, механизм прерывания передачи трафика согласно его классу, PFC, а второе, приостановка трафика от входящего порту, через внутреннюю коммутационную фабрику к исходящему.

В коммутационной фабрике передача данных без потерь достигается, путем механизма управления. Такой механизм, управляет очередями на выходном порту для исключения возможности передачи пакетов внутри фабрики, когда входной порт недоступен (механизм Virtual Output Queues, VOQ [17]) и для приостановки трафика на коммутаторе путем объединения механизма PFC. При соблюдении этих двух требований реализуется полноценный сквозной Ethernet без потерь.

Технология Brocade Virtual Cluster Switching (VCS) [18] позволяет компаниям значительно уменьшить сложность и стоимость их сетевой инфраструктуры за счет новой архитектуры - Ethernet-фабрики для дата-центров. VCS дает возможность увеличить масштабируемость и эффективность использования сети, упрощает архитектуру и увеличивает доступность приложений, для современных центров обработки данных, использующих виртуализацию. VCS содержит набор динамических сервисов, расширяющих функционал и обеспечивающих защиту инвестиций заказчиков. Это делает такую технологию основой для развертывания сетей виртуальных дата-центров (рис. 1.1).

С помощью Ethernet-фабрики можно обойти такие ограничения традиционной многоуровневой архитектуры дата-центров как:

- образование петель трафика при неправильной настройке протокола STP;

- блокировку части портов и невозможность их использования для передачи трафика;

- задержки и потери пакетов при изменениях топологии сети;

- сложность в настройке сетевых устройств.

ЕМОТЕ

Рисунок 1.1 - Ethernet-фабрика VCS

VCS позволяет отойти от настройки и функционирования коммутаторов как самостоятельных устройств, имеющие собственные уровни управления и передачи данных. Таким образом коммутаторы работают в составе фабрики с единым интерфейсом управления и передачи данных в независимости от количества подключенных к фабрике устройств и типа соединений между ними. Новые шасси, подключаемые к фабрике, присоединяются и настраиваются автоматически без администратора. В целом фабрика выглядит как единое логическое шасси с множеством внешних портов.

Последним в развитии средств маршрутизации и коммутации для магистралей Интернет является разработка технологии Multiprotocol Label Switching (MPLS) коммутация на основе меток. Механизм MPLS масштабируем и независим от каких-либо протоколов передачи данных. В сетях на MPLS, каждому пакету данных присваиваются своя метка. Решение о передаче пакета другому сетевому узлу сети осуществляется по меткам без изучения пакета данных.

Трафик можно классифицировать по многим параметрам. Соответственно направлять трафик каждого класса по выбранному и оптимизированному пути, предоставляя администратору возможность точно управлять потоками трафика.

При планировании маршрутов и правил, протокол MPLS уникальный для существующих Ethernet сетей, контроль над трафиком. Это означает качественную работу сетей, услуг операторов и большую гибкость, позволяющую адаптироваться к изменениям потребностям пользователей. В системах MPLS существует набор критериев, применяющихся для классификации пакетов, очень широк. Очевидно, что в первых реализациях MPLS будет использоваться только часть таких критериев, а остальные по мере появления необходимого сетевых приложений для управляющей компоненты MPLS.

Программно-конфигурируемые сети

В настоящее время основой наиболее топовых моделей коммутаторов

чаще это коммерческие сетевые процессоры, которые хорошо

документированные, с большими объемами производства и высокой

производительностью. На данный момент сети в ЦОД строятся на базе

Ethernet протокола. В основе работы каждого коммутатора Ethernet лежит

принцип взаимодействия программного обеспечения и таблицы коммутации.

Если у коммутаторов перехватить управление этими таблицами, то можно

случайным образом управлять поведением и скоростными характеристиками,

16

как отдельного коммутатора, так и характеристиками передаваемых потоков данных в масштабах всей сети [19].

При передаче данных коммутатор обращается к таблице коммутации. После полученной информации, коммутационная матрица выполняет дальнейшую обработку и приступает к передаче данных (рис. 1.2).

Рисунок 1.2 - Обработка и продвижение данных в коммутаторе

Основная задача ПКС состоит в том, чтобы, не изменяя традиционного сетевого оборудования перехватить (отделить) управление над ним (коммутаторами и маршрутизаторами) за счет разработки специального программного обеспечения. Такое ПО сможет работать на обычном компьютере и которое будет находится под контролем администратора сети.

Для реализации этой задачи был разработан открытый протокол OpenFlow [20], позволяющий управлять маршрутизацией и коммутацией в сети, в независимости от производителя сетевого оборудования. Протокол позволяет специалистам определять и контролировать все взаимодействия в сети. Все коммутаторы и маршрутизаторы должны объединятся под управлением сетевой операционной системы (СОС).

В коммутаторе OpenFlow остается только уровень передачи данных. Он принимает пакет, обрабатывает его (извлекает адрес) и передает пакет коммутационной матрице. В противном случае если адреса нет в таблице коммутации, коммутатор обращается за правилом к контроллеру OpenFlow,

после чего коммутатор осуществляет обработку всех последующих пакетов по созданному правилу.

Под гибридным коммутатором OpenFlow [21] предполагается, что в нем в нем присутствуют традиционный уровень управления и контроллер OpenFlow. Это дает возможность реализовывать функциональность протокола OpenFlow в традиционных сетях Ethernet, и разрабатывать новые ПО и протоколы.

Системы управления сетями

Можно выделить следующие функции управления сетью, согласно рекомендациями ISO 7498-4 [7]:

1. Мониторинг работы сети. Подразумевает регистрацию и управление потребляемыми ресурсами и сетевыми устройствами. Под этой функцией понимается время использования и плата за ресурсы.

2. Определение и устранение ошибок, последствий сбоев и отказов.

3. Управление безопасностью - представляет собой контроль доступа и обеспечение целостности данных. В нее входит проверки привилегий, процедура аутентификации, поддержка ключей шифрования и управления полномочиями. Сюда же можно отнести механизмы безопасного соединения с другими сетями.

4. Анализ производительности - на основе накопленной статистической информации оценивает время отклика системы и объем трафика, а также дальнейшее развитие сети.

5. Управление конфигурацией сети. Заключается в конфигурировании компонентов сети (узлов), включая их сетевые адреса, местоположение и идентификаторы, управление настройками сетевых операционных систем, поддержание схемы сети.

Из функций средств управления видно, то что концепция управления

исполняет функции мониторинга и анализа работы сетевой инфраструктуры,

которые требуются для получения первоначальных данных, позволяющие

18

настраивать сеть. Также активно воздействует на сеть, управляя конфигурацией и безопасностью. [22] Этап создания плана конфигурирования сети по-прежнему не входят в функциональные возможности системы управления, хотя есть системы управления, содержащие экспертные подсистемы.

В настоящее время в области систем управления присутствуют две выраженные тенденции: первая, интеграция в одном продукте функций управления сетями и системами и вторая, распределенность системы управления, когда в системе существует несколько консолей, включающих информацию о состоянии устройств и систем, и выдающих управляющие действия.

Список литературы диссертационного исследования кандидат наук Малахов Сергей Валерьевич, 2015 год

ЛИТЕРАТУРА

1. IEEE is the world's largest professional association for the advancement of technology [Электронный ресурс]. -2015. -Режим доступа: http : //www.ieee.org/index.html.

2. Руководство по Fibre Channel [Электронный ресурс] // Мир компьютерной автоматизации. -2015. -Режим доступа: http://www.mka.ru/?p=40030.

3. InfiniBand: архитектура коммутации для серверов, запоминающих устройств и коммуникационных систем [Электронный ресурс] // Мир компьютерной автоматизации. -2015. -Режим доступа: http://www.mka.ru/?p=44434.

4. Сюртуков, И. Современные системы хранения данных [Электронный ресурс] / И. Сюртуков // CIT Forum. -2015. -Режим доступа: http : //citforum.ru/hardware/data/overview.

5. Савяк, В. iSCSI и другие [Электронный ресурс] / В. Савяк // ixbt.com. -2015. -Режим доступа: http://www.ixbt.com/storage/iscsi.shtml.

6. Умнов, Н. Brocade: серверная и сетевая FCoE-консолидация / Н. Умнов, П. Добринский // Storage News. -2009. -№2 (39). -С. 12-14.

7. ISOIEC 7498-4 Information processing systems. Open Systems Interconnection. Basic Reference Model. Part 4: Management framework. -ISO/IEC JTC 1, 1989. -9 с.

8. HPCC [Электронный ресурс] // HPCC Systems. -2015. -Режим доступа: http://hpccsystems.com.

9. Кострюков, Д. Конвергентные сети / Д. Кострюков // Storage News. -2011. -№3 (47). -С. 12-16.

10. IEEE 802.1 Data Center Bridging [Электронный ресурс] // Cisco Systems, Inc. -2015. -Режим доступа: http://www.cisco.com/en/US/netsol/ns783/index.html.

11. What is Data Center Ethernet? [Электронный ресурс] // Cisco Systems, Inc. -2015. -Режим доступа: https ://learningnetwork. cisco. com/docs/DOC-3387.

12. IEEE 802.1 Data Center Bridging [Электронный ресурс] // Cisco Systems, Inc. -2015. -Режим доступа: http://www.cisco.com/c/en/us/solutions/data-center-virtualization/ieee-802-1-data-center-bridging/index.html.

13. Лебедев, С. Унификация транспорта ЦОД [Электронный ресурс] / С. Лебедев // Журнал Сетевых Технологий LAN. -2009. -№07. -Режим доступа: http://www.osp.ru/lan/2009/07/9596544/.

14. Craig, Carlson 802.1Qaz - Enhanced Transmission Selection [Электронный ресурс] / Carlson Craig // IEEE 802 LAN/MAN Standards Committee. -2011. -Режим доступа: http://www.ieee802.org/1/pages/802.1az.html.

15. Claudio, DeSanti 802.1Qbb - Priority-based Flow Control [Электронный ресурс] / DeSanti, Claudio // IEEE 802 LAN/MAN Standards Committee. -2011. -Режим доступа: http: //www.ieee802.org/1 /pages/802.1bb.html.

16. Norm, Finn 802.1Qau - Congestion Notification [Электронный ресурс] / Finn Norm // IEEE 802 LAN/MAN Standards Committee. -2010. -Режим доступа: http: //www.ieee802. org/1 /pages/802.1au.html.

17. Intel Corporation Jing Ling, Juan-Carlos Calderon, Jean-Michel Caia, Anguo T. Huang, Vivek Joshi Virtual output queue (VoQ) management method and apparatus : US7295564 : Патент. — USA, 11 13, -2007.

18. Технология Brocade Virtual Cluster Switching [Электронный ресурс] // Brocade Communications Systems. -2014. -Режим доступа: http://brocade.ocs.ru/-vcs.

19. Башилов, Г. Программно-аппаратная идиллия, или OpenFlow / Г. Башилов // Журнал сетевых решений/LAN. — Москва : Открытые системы, -2011. —С. 9.

20. Andi, Bean Introduction to OpenFlow [Электронный ресурс] / Bean Andi // Open Networking Foundation. -2011. -Режим доступа: https://www.opennetworking.org/news-and-events/latest-news/195-introduction-to-openflow-introduction-to-openflow.

21. Brocade представила стратегию SDN [Электронный ресурс] // Открытые Системы. -2012. -Режим доступа: http://www.osp.ru/dcworld/2012/09/13017404.html.

22. Глобальные сети Концепция организации локальных сетей [Электронный ресурс] // История живописи и архитектуры. Математика, физика, информатика. Теоретическая механика. -2015. -Режим доступа: http://hisd.ru/konzep/lok43.htm.

23. Иваненко, С. Введение в SNMP [Электронный ресурс] / С. Иваненко // CIT Forum. -2015. -Режим доступа: http://citforum.ru/internet/articles/art 11 .shtml.

24. Management Information Base [Электронный ресурс] // Википедия Свободная энциклопедия. -2015. -Режим доступа: http://ru.wikipedia.org/wiki/Management Information Base.

25. Kok-Kiong, Y. The Stanford OpenRoads Deployment / Y. Kok-Kiong, M. Kobayashi, D. Underhill // WINTECH '09 Proceedings of the 4th ACM international workshop on Experimental evaluation and characterization. -2009. -p. 59-66.

26. Горелов, А. Куда идут «облака» [Электронный ресурс] / А. Горелов // КомпьютерПресс. -2011. -Режим доступа: http://compress.ru/article.aspx?id=22659.

27. What is cloud computing? [Электронный ресурс] // Сайт IBM. -2012. -Режим доступа: http://www.ibm.com/cloud-computing/what-is-cloud-computing.html.

28. Настройка списков доступа IP [Электронный ресурс] // Сайт Cisco Systems. -2012. -Режим доступа: http://www.cisco.com/cisco/web/siteassets/ /contacts/index.html?locale=ru_RU.

29. Смелянский, Р.Л. Компьютерные сети: учебник для студ. высш. учеб. заведений / Р.Л. Смелянский. — М.: Издательский центр «Академия», 2011. — 240 с.

30. Software-Defined Networking: The New Norm for Networks [Электронный ресурс] // Open Networking Foundation. -2012. -Режим доступа: https://www.opennetworking.org/images/stories/downloads/sdn-resources/white-papers/wp-sdn-newnorm.pdf.

31. Cbench [Электронный ресурс] // GitHub. -2014. -Режим доступа: https://github.com/andi-bigswitch/oflops/tree/master/cbench.

32. Iperf [Электронный ресурс] // Сайт iperf. -2008. -Режим доступа: http://iperf.sourceforge.net.

33. TCPDUMP DOCUMENTATION [Электронный ресурс] // Сайт TCPDUMP and LIBPCAP. -2010. -Режим доступа: http://www.tcpdump.org/#documentation.

34. OpenFlow Tutorial [Электронный ресурс] // Сайт OpenFlow. -2012. -Режим доступа: http://www.openflow.org/wk/index.php/ /OpenFlow_Tutorial#Controller_Choice:_NOX_w.2FPython.

35. Rob, Sherwood Cbench: an OpenFlow Controller Benchmarker [Электронный ресурс] / S. Rob // Сайт OpenFlow. -2015. -Режим доступа: http://www.openflow.org/wk/index.php/Oflops.

36. Ушакова, М.В. Измерение производительности программно-конфигурируемых сетей в центрах обработки данных / М.В. Ушакова, В.Н. Тарасов, Ю.А. Ушаков // Интеллект. Инновации. Инвестиции. -2013. -№2. -С. 86-89.

37. OpenNebula [Электронный ресурс] // Официальный сайт проекта OpenNebula. -2015. -Режим доступа: http://opennebula.org.

38. Floodlight [Электронный ресурс] // Project Floodlight. -2015. -Режим доступа: http://www.projectfloodlight.org/floodlight.

39. Башилов, Г. Программно-аппаратная идиллия, или OpenFlow / Г. Башилов // Журнал сетевых решений/LAN. -2011. -№9. -С. 54-58.

40. Программно-конфигурируемые сети — как это работает? [Электронный ресурс] // Сайт habrahabr. -2012. -Режим доступа: http: //habrahabr.ru/post/149126.

41. OpenFlow Switch Specication [Электронный ресурс] // Сайт OpenFlow. -2011. -Режим доступа: http://www.openflow.org/documents/openflow-spec-v1. 1.0.pdf.

42. Смелянский, Р. Программно-конфигурируемые сети / Р. Смелянский // Журнал сетевых решений/LAN. -2012. -№9. -С. 15-26.

43. Casado, Martin NOX: Towards an Operating System for Networks / M. Casado, N. McKeown, N. Gude, B. Pfaff, J. Pettit, S. Shenker // ACM Computer Communications Review. -2008, -p. 1-2.

44. About NOX [Электронный ресурс] // Сайт NOXRepo. -2012. -Режим доступа: http://www.noxrepo.org/nox/about-nox.

45. Серия коммутаторов HP 3500 и 3500 yl, Технические характеристики [Электронный ресурс] // Сайт HP Россия. -2012. -Режим доступа: http ://h10010. www 1.hp. com/wwpc/ru/ru/sm/WF06a/12883-12883-4172267-4172278-4172278-3457354.html?dnr=1.

46. Малахов, С.В. Экспериментальные исследования производительности сегмента программно-конфигурируемой сети / В.Н. Тарасов, С.В. Малахов // Интеллект. Инновации. Инвестиции. - 2013. -№2. -С. 81-85.

47. ПКС-контроллеры с открытым кодом [Электронный ресурс] // Сайт Habrahabr. -2015. -Режим доступа: http://habrahabr.ru/post/169403.

48. Tavakoli, A. Applying nox to the datacenter / A. Tavakoli, M. Casado, T. Koponen // In Proceedings of HotNets, 2009. -issue 8. -p. 42-48.

49. Curtis, A. Devoflow: scaling flow management for high-performance networks / A. Curtis, J. Mogul, J. Tourrilhes, P. Yalagan-Dula, P. Sharma // In Proceed-ings of the ACM SIGCOMM, 2011. -vol. 1. -p. 127-133.

50. Yu, M. Scalable flow-based networking with difane / M. Yu, J. Rexford, J. Freedman, J. Wang // In Proceedings of the ACM SIGCOMM, 2010. -vol. 41. -issue 4. -p. 351-362.

51. Малахов, С.В. Исследование производительности контроллера в программно-конфигурируемых сетях / В.Н. Тарасов, С.В Малахов // Системы управления и информационные технологии. -2013. -№3 (53). -С. 64-67.

52. Wireshark [Электронный ресурс] // Сайт Wireshark. -2015. -Режим доступа: http://www.wireshark.org.

53. Малахов, С.В. Statistical data handling program of Wireshark analyzer and incoming traffic research / В.Н. Тарасов, С.В. Малахов // труды Института системного программирования РАН. -2015. -Т. 27. -№3. -С. 303314.

54. Тарасов, В.Н. Анализ трафика сетей связи с помощью моделей класса экспоненциальных распределений / В.Н.Тарасов, Г.А. Горелов // Интеллект. Инновации. Инвестиции. -2013. -№4. -С. 22-27.

55. Клейнрок, Л. Теория массового обслуживания / Л. Клейнрок; пер. с англ. под редакцией В.И. Неймана. -М.: Машиностроение, 1979. -432с.

56. Тарасов, В.Н. Анализ входящего трафика на уровне трех моментов распределений временных интервалов / В.Н. Тарасов, Н.Ф. Бахарева, Г.А. Горелов, С.В. Малахов // Информационные технологии. -2014. -№ 9. -С. 54-59.

57. Тарасов, В.Н. Математическая модель трафика с тяжелохвостным распределением на основе системы массового обслуживания Н2/М/1 / В.Н. Тарасов, Н.Ф. Бахарева, Г.А. Горелов // Инфокоммуникационные технологии. -2014. -№ 3. -С. 36-41.

58. Малахов, С.В. Теоретическое и экспериментальное исследование задержки в программного-кофигурируемых сетях / С.В. Малахов, В.Н. Тарасов // Инфокоммуникационные технологии. -2015. -№4. -С.

59. Production Quality, Multilayer Open Virtual Switch [Электронный ресурс] // Сайт OpenvSwitch. -2015. -Режим доступа: http://openvswitch.org.

60. Cisco ASA 1000V Cloud Firewall [Электронный ресурс] // Сайт Cisco Systems, Inc. -2015. -Режим доступа: http: //www.cisco.com/c/en/us/products/security/asa-1000v-cloud-

fi rewall/i ndex .html.

61. Обзор Hyper-V [Электронный ресурс] // Сайт Microsoft TechNet. -2015. -Режим доступа: https://technet.microsoft.com/ru-ru/library/Hh831531 .aspx.

62. Programmable Flow Virtual Switch PF1000 [Электронный ресурс] // Сайт NEC Corporation. -2015. -Режим доступа: http://www.nec.com/en/global/prod/pflow/pf1000.html.

63. Qemu [Электронный ресурс] // Сайт Qemu open source processor emulation. -2015. -Режим доступа: http ://wiki. qemu. org/Main_Page.

64. Virtio [Электронный ресурс] // Сайт libvirt virtualization API. -2015. -Режим доступа: http: //wiki.libvirt. org/page/Virtio.

65. VPN via the TUN/TAP device [Электронный ресурс] // Сайт OpenVZ Virtuozzo Containers. -2015. -Режим доступа: https://openvz.org/VPN via the TUN/TAP device.

66. XenClient Specifications and Compatibility [Электронный ресурс] // Сайт Citrix. -2015. -Режим доступа: https://www.citrix.ru/products/xenclient/how-it-works/specifications.html.

67. Microsoft Azure [Электронный ресурс] // Сайт Microsoft. -2015. -Режим доступа: http://azure.microsoft.com/ru-ru.

68. Rob, Sherwood FlowVisor: A Network Virtualization Layer [Электронный ресурс] / R. Sherwood, G. Gibb, Y. Kok-Kiong, A. Guido, C. Martin, N. McKeown, G. Parulkar // Deutsche Telekom Inc. R&D Lab, Stanford

136

University, Nicira Networks. -2009. -Режим доступа: http://archive.openflow.org/downloads/technicalreports/openflow-tr-2009-1 -flowvisor.pdf.

69. VPLEX LOCAL. VPLEX METRO. VPLEX GEO. Распределенность. Динамичность. Интеллектуальность [Электронный ресурс] // Сайт EMC. -2015. -Режим доступа: http://russia.emc.com/storage/vplex/vplex.htm.

70. StarWind VSA (Virtual Storage Appliance) - вышел и готов для тестирования [Электронный ресурс] // Сайт vmguru. -2011. -Режим доступа: http://www.vmgu.ru/news/starwind-enterprise-vsa.

71. Single Root I/O Virtualization (SR-IOV) [Электронный ресурс] // Сайт VMware, Inc.. -2015. -Режим доступа: http://pubs.vmware.com/vsphere-51/index. j sp?topic=%2Fcom.vmware.vsphere.networking. doc%2FGUID-

CC021803-30EA-444D-BCBE-618E0D836B9F.html.

72. Закусило, М. Виртуализация Intel VT-d на марше [Электронный ресурс] / М. Закусило // Сайт Компостер 2.0. -2015. -Режим доступа: http: //kompo ster. com. ua/content/virtualizaciya-intel-vt-d-na-marshe.

73. Virtual Machine Device Queues [Электронный ресурс] // Сайт Intel Corporation. -2015. -Режим доступа: http://www.mtel .com/content/www/us/en/ethernet-products/gigabit-server-adapters/io-acceleration-technolo gy-vmdq.html.

74. HP Network Functions Virtualization (NFV) [Электронный ресурс] // Сайт HP. -2015. -Режим доступа: http://www8.hp.com/ru/ru/cloud/nfv-overview.html.

75. ETX-203AM - универсальное демаркационное устройство Carrier Ethernet [Электронный ресурс] // ротек Новосибирск. -2015. -Режим доступа: http://www.telecomsite.ru/device/etx203.

76. The Internet Engineering Task Force (IETF®) [Электронный ресурс] // Сайт IETF. -2015. -Режим доступа: https: //www.ietf. org/

77. Практические примеры BGP [Электронный ресурс] // Сайт Cisco. -2015. -Режим доступа: http://www.cisco.com/cisco/web/ /support/RU/9/92/92033_bgp-toc.html.

78. Технологии SDN и NFV: новые возможности для телекоммуникаций [Электронный ресурс] // Центр прикладных исследований компьютерных сетей. -2015. -Режим доступа: http://arccn.ru/media71132.

79. Макрорегиональный филиал "Юго-Восток" [Электронный ресурс] // Сайт ТТК. -2015. -Режим доступа: http: //www.uvttk.ru/uslugi.

80. Overview of Ethernet Operations, Administration, and Management [Электронный ресурс] // Сайт Cisco. -2015. -Режим доступа: http://www.cisco.com7c/en7us/products/collateral/routers/7600-series-routers/prod_white_paper0900aecd804a0266.html.

81. wiSLA (well integrated SLA) [Электронный ресурс] // TADVISER Государство. Бизнес. ИТ. -2015. -Режим доступа: http://www.tadviser.ru/index.php/Продукты:WiSLA (well integrated SLA).

82. Семенов, Ю.А. Синхронные каналы SDH/SONET [Электронный ресурс] / Ю.А. Семенов // Telecommunication technologies -телекоммуникационные технологии. -2015. -Режим доступа: http://book.itep.ru/4/43/sdh 436.htm.

83. OpenNetWorkingLAB [Электронный ресурс] // FlowVisor. -2015 — Режим доступа: https://github.com/opennetworkinglab/flowvisor/wiki.

84. Cisco IOS NetFlow [Электронный ресурс] // Сайт Cisco. -2015 — Режим доступа: http://www.cisco.com/c/en/us/products/ios-nx-os-software/ios-netflow/index.html.

Скрипт запуска генерации трафика в кластере

dat='date +'%Y-%m-%d-%H-%M-%S'' log=log.log echo $dat echo $dat >>$log touch $log

rsh [ip_адрес_Server_2] mkdir -p /tmp/tests rsh [ip_адрес_Server_2] mkdir -p /tmp/tests/1 rsh [ip_адрес_Server_2] mkdir -p /tmp/tests/1/$dat mkdir -p /tmp/tests mkdir -p /tmp/tests/1 mkdir -p /tmp/tests/1/$dat for j in {1...10}; do

echo Start test N $j >>$log

rsh [ip_адрес_Server_2] killall -9 tcpdump

rsh [ip_адрес_Server_2] tcpdump -i eth0 -n -q -w /tmp/tests/1/$dat/e0-$j & sleep 5

killall -9 iperf

iperf -D -s -p 80 -o /tmp/tests/1/$dat/server-iperf80-$j & iperf -D -s -p 443 -o /tmp/tests/1/$dat/server-iperf443-$j & iperf -D -s -p 137 -o /tmp/tests/1/$dat/server-iperf137-$j & iperf -D -s -u -p 145 -o /tmp/tests/1/$dat/server-iperf145-$j & echo begin test $j

for i in 1 2 3 4 5 6 7 9 10 11 12 13 14 15 16 17 do

echo begin host $i

echo begin host $i >>$log

rsh slave$i mkdir -p /tmp/tests &

rsh slave$i mkdir -p /tmp/tests/1 &

rsh slave$i mkdir -p /tmp/tests/$dat &

rsh slave$i killall -9 iperf

rsh slave$i iperf -D -s -p 137 -o /tmp/tests/1/$dat/server-iperf137-$i-$j \& &

rsh slave$i iperf -c [ip_адрес_Master] -p 137 \>\> /tmp/tests/1/$dat/client-iperf137-$i-$j \& &

rsh slave$i iperf -c [ip_адрес_Master] -p 80 \>\> /tmp/tests/1/$dat/client-iperf80-$i-$j \& &

rsh slave$i iperf -c [ip_адрес_Master] -p 443 \>\> /tmp/tests/1/$dat/client-iperf443-$i-$j \& &

rsh slave$i iperf -c [1р_адрес_МаБ1ег] -u -p 145 \>\> /tmp/tests/1/Sdat/client-iperf145-$i-Sj \& & k=$i let k--

while ((k>=1)) do

rsh slaveSi iperf -c slaveSk -p 137 \>\> /tmp/tests/1/$dat/client-iperf137-$i-$j-client$k \& & let k--done

done

echo Sleeping echo Sleeping >>$log sleep 15

for i in 1 2 3 4 5 6 7 9 10 11 12 13 14 15 16 17; do

rsh slave$i killall -9 iperf done

killall -9 iperf

done; sleep 10 killall -9 iperf

rsh killall [ip_адрес_Server_2] -9 tcpdump

slave$i означает сетевое имя узла, где - i его номер. Скрипт выполняется на узле Master.

Микропрограмма для обработки данных в MS Excel

Sub eioa?aaeu() ' eioa?aaeu Iae?in Range("B1").Select

ActiveCell.FormulaR1C1 = M=REPLACE(RC[-1],11,1,MM,MM)M Selection.AutoFill Destination:=Range("B1 :B1000000") Range("B 1 :B1000000").Select Columns("B:B").EntireColumn.AutoFit Range("C2").Select

ActiveCell.FormulaR1C1 = M=IFERRÜR(RC[-1]-R[-1]C[-1],0)M Range("C2").Select

Selection.AutoFill Destination:=Range("C2:C1000000")

Range("C2:C1000000").Select

Range("D2").Select

ActiveCell.FormulaR1C1 = "=RC[-1]*RC[-1]" Range("D2").Select

Selection.AutoFill Destination:=Range("D2:D1000000")

Range("D2:D1000000").Select

Range("E2").Select

ActiveCell.FormulaR1C1 = "=RC[-2]*RC[-2]*RC[-2]" Range("E2").Select

Selection.AutoFill Destination:=Range("E2:E1000000")

Range("E2:E1000000").Select

Columns("C:E").Select

Selection.NumberFormat = "0.0000000000"

Range("C1").Select

ActiveCell.FormulaR1C1 = "=SUM(R[1]C:R[1000000]C)" Range("C1").Select

Selection.AutoFill Destination:=Range(MC1:E1M), Type:=xlFillDefault

Range(MC1:E1").Select

Selection.Font.Bold = True

Range("G2").Select

ActiveCell.FormulaR1C1 = "t"

Range("H2").Select

Columns("C:C").EntireColumn.AutoFit Range("H2").Select

ActiveCell.FormulaR1C1 = "=R[-1]C[-5]/(R[7]C-1)"

Range("G2").Select

Selection.Font.Bold = True

Columns("H:H").Select

Selection.NumberFormat = "0.0000000000"

Range("G3").Select

ActiveCell.FormulaR1C1 = "D"

Range("G3").Select

Selection.Font.Bold = True

Range("H3").Select

ActiveCell.FormulaR1C1 = "=R[1]C-R[-1]C*R[-1]C"

Range("G4").Select

ActiveCell.FormulaR1C1 = "tA2"

Range("G4").Select

Selection.Font.Bold = True

Range("H4").Select

ActiveCell.FormulaR1C1 = "=R[-3]C[-4]/-1" Range("H4").Select

ActiveCell.FormulaR1C1 = "=R[-3]C[-4]/(R[5]C-1)" Range("G5").Select ActiveCell.FormulaR1C1 = "c" Range("G5").Select

Selection.Font.Bold = True Range("H5").Select

ActiveCell.FormulaR1C1 = "=R[1]C/R[-3]C"

Range("G6").Select

ActiveCell.FormulaR1C1 = "s"

Range("G6").Select

Selection.Font.Bold = True

Range("H6").Select

ActiveCell.FormulaR1C1 = "=SQRT(R[-3]C)" Columns("H:H").EntireColumn.AutoFit Range("G7").Select ActiveCell.FormulaR1C1 = "A" Range("G7").Select Selection.Font.Bold = True Range("H7").Select ActiveCell.FormulaR1C1 = _

"=(R[1]C-3*R[-3]C*R[-5]C+2*R[-5]C*R[-5]C*R[-5]C)/(R[-1]C*R[-1]C*R[-1]C)"

Range("G8").Select ActiveCell.FormulaR1C1 = "tA3" Range("G8").Select Selection.Font.Bold = True Range("H8").Select

ActiveCell.FormulaR1C1 = "=R[-7]C[-3]/(R[1]C-1)"

Range("H9").Select

Columns("A:A").Select

Selection.Insert Shift:=xlToRight, CopyOrigin:=xlFormatFromLeftOrAbove

Columns("B:B").Select

Selection.Copy

Columns("A:A").Select

ActiveSheet.Paste Range("B1M).Select Application.CutCopyMode = False

ActiveCell.FormulaR1C1 = M=SUBSTITUTE(RC[-1],MM1405596MM,........)"

Range("B1").Select

Selection.AutoFill Destination:=Range("B:B")

Range("B:B").Select

Range("C1").Select

ActiveCell.FormulaR1C1 = "=REPLACE(RC[-1],4,1,"","")" Range("C1").Select

Selection.AutoFill Destination:=Range("C1:C1000000")

Range("C 1: C1000000").Select

Range("I9").Select

ActiveCell.FormulaR1C1 = M=COUNTA(C[-8])M Range("I10").Select

ActiveCell.FormulaR1C1 = "=R[-9]C[-5]" Range("I11").Select Range("I9").Select Selection.NumberFormat = "0" End Sub