Математическое обеспечение и методика оценки эффективности интеграции информационно-технологических решений в цифровые платформы тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат наук Ильин Дмитрий Юрьевич

• Ильин Дмитрий Юрьевич
• кандидат наук
• 2020

Оглавление диссертации кандидат наук Ильин Дмитрий Юрьевич

Введение

Глава 1. Обзор методов оценки эффективности интеграции информационно -технологических решений в цифровые платформы

1.1 Интегральная архитектура цифровых платформ

1.2 Экспертные оценки

1.3 Ресурсный анализ

1.4 Оценка систем управления базами данных

1.5 Экспериментальная оценка информационно-технологических решений

1.5.1 Среды проведения экспериментальной оценки информационно -технологических решений

1.5.2 Тестирование программного обеспечения

1.5.3 Мониторинг эффективности информационно-технологических решений

1.5.4 Динамический анализ программного кода

1.5.5 Эволюционные алгоритмы

Выводы по главе

Глава 2. Оценка эффективности информационно-технологических решений в виртуальной конфигурируемой имитационной среде

2.1 Оценка информационно-технологических решений в жизненном цикле цифровой платформы

2.2 Концепция и модель выбора стека технологий

2.3 Экспериментальный имитационный стенд

2.4 Методика оценки интеграции информационно-технологических решений

при создании цифровой платформы

Выводы по главе

Глава 3. Методика выбора эффективных информационно-технологических решений на основе использования нечеткой логики

3.1 Модель и методика выбора информационно-технологических решений для добавления в стек технологий

3.1.1 Модель выбора информационно-технологических решений для добавления в стек технологий

3.1.2 Методика выбора информационно-технологических решений

3.2 Применение методики выбора информационно-технологических решений к разработке цифровой платформы

3.2.1 Методика эксперимента

3.2.2 Результаты выбора информационно-технологических решений

Выводы по главе

Глава 4. Применение математического обеспечения и методики оценки эффективности интеграции информационно-технологических решений для разработки цифровой платформы

4.1 Архитектура цифровой платформы массовых исследований в системе образования

4.2 Выбор масштабируемой системы управления базами данных

4.2.1 Экспериментальный стенд

4.2.2 Результаты экспериментов

4.2.3 Оценка информационно-технологических решений

4.3 Выбор эффективных структур хранения данных

4.3.1 Экспериментальный стенд

4.3.2 Результаты эксперимента

4.3.3 Оценка информационно-технологических решений

4.4 Выбор программных фреймворков

4.4.1 Экспериментальный стенд

4.4.2 Результаты экспериментов

4.4.3 Оценка информационно-технологических решений

4.5 Результаты внедрения в цифровую платформу массовых исследований в системе образования

4.6 Выбор эффективных информационно-технологических решений фильтрации данных для сервисов поиска актуальных компетенций

4.6.1 Экспериментальный стенд

4.6.2 Результаты экспериментов

4.6.3 Оценка информационно-технологических решений и результаты внедрения

Выводы по главе

Заключение

Глоссарий

Библиография

Приложение 1. Исходный код систем нечеткого вывода

Приложение 2. Исходный код экспериментального стенда для выбора эффективных структур хранения данных

Приложение 3. Акты внедрения

Приложение 4. Документы о государственной регистрации программ для ЭВМ

Введение диссертации (часть автореферата) на тему «Математическое обеспечение и методика оценки эффективности интеграции информационно-технологических решений в цифровые платформы»

ВВЕДЕНИЕ

Актуальность темы. Распространение веб-приложений, обусловленное их платформо- и аппаратно-независимостью, массовостью использования, широкими возможностями применяемых интерфейсов и протоколов обмена данных, программируемыми возможностями определило развитие ИТ-направления — создание цифровых платформ (ЦП). Использование ЦП позволяет осуществлять сбор информации и обмен ею между огромным количеством пользователей, объединяя результаты в большие данные. Информационные технологии (информационно-технологические решения, далее — ИТР), которые применяются в разработке ЦП, принято называть «стек технологий». Под ИТР в соответствии с Федеральным законом 149-ФЗ (ред. от 03.04.2020) [1] подразумеваются процессы, методы поиска, сбора, хранения, обработки, предоставления, распространения информации и способы осуществления таких процессов и методов. Важной особенностью ИТР, объединенных в стек, является их заменяемость, то есть одна из технологий может быть заменена на альтернативную или вновь созданную.

Для разработки ЦП широко используется свободно распространяемое программное обеспечение (ПО) с открытым кодом, которое также способно решить все задачи реализации архитектуры вычислительной платформы. В этих условиях актуальной является задача выбора информационно-технологических решений как при дизайне архитектуры, так и при ее обновлении или изменении условий функционирования. ЦП, предназначенные для сбора и обработки больших объемов данных, создали не только новые задачи для исследования при проектировании интегрированных многоуровневых архитектур, но и критерии оценки — масштабируемость, обеспечение гарантированной доставки данных, восстанавливаемость. Существует большое количество методик по отдельным этапам дизайна программного обеспечения для конкретных технологий и программных систем. Анализ публикаций и практического опыта позволяет выявить типовые задачи интеграции, характерные для широкого класса ЦП и

возникающие на разных этапах разработки и модернизации: выбор и оценка ресурсной эффективности способов хранения данных; выбор способов передачи данных в условиях ограничений на каналы связи и возможности вычислительной инфраструктуры, подбор эффективно взаимодействующих информационно-технологических решений и свободно распространяемого программного обеспечения с учетом специфики решаемых задач, задачи повышения эффективности за счет обновления версии или миграции на новое информационно-технологическое решение. Несмотря на разнообразие задач интеграции, можно разработать единую методику оценки для всех видов информационно-технологических решений, чему и посвящено диссертационное исследование.

Для исследований и опытного внедрения результатов использовалась разрабатываемая отечественная федеральная цифровая платформа для популяционных психологических исследований и массовых веб-опросов в системе образования. Разработка ЦП позволила сформировать технологическую базу для решения актуальных задач.

Таким образом, работа посвящена решению актуальной задачи разработки методики, математического и программного обеспечения для оценки эффективности интеграции ИТР в ЦП.

Состояние проблемы. Основы оценки информационно-технологических решений рассматриваются в рамках теории ресурсной эффективности алгоритмов (Д. Кнут, М.В. Ульянов, Ю.Г. Сметанин, Ю.М. Брумштейн, Я.Е. Львович, В.Н. Петрушин, В.А. Головешкин, А.П. Горяшко, К.А. Никифоров и др.). Однако в разработке цифровых платформ каждое ИТР может включать большое количество алгоритмов, оценка эффективности каждого из которых потребует трудоемких исследований; кроме того, ИТР могут быть с закрытым исходным кодом.

Предложено множество решений задачи выбора эффективных программных компонентов ПО (E. Schikuta, H. F. Pop, A. Vescan, J. R. Romero), разработаны методы решения задачи оптимизации и формальные модели задачи

выбора. При этом рассматриваемые задачи имеют большую размерность, имеющиеся решения не учитывают особенности эксплуатации и функционирования ЦП.

В ЦП корректный выбор СУБД обеспечивает масштабируемость. Распространены различные методы оценки СУБД: SQL, NoSQL, гибридные (T. Anees, E. Mehmood, W. Hendricks, F. Bugiotti, L. Cabibbo, P. Atzeni, R. Torlone и др.), но в них СУБД не рассматриваются в контексте стека технологий.

Практики разработки, такие как использование результатов нагрузочных испытаний, бенчмаркинг, экспертные оценки, обобщают опыт использования конкретных ИТР или стека технологий и применяются в практике разработки ЦП. Существенным недостатком является отсутствие учета особенности эксплуатации и функционирования.

Цель исследования: разработка математического обеспечения и методики оценки эффективности интеграции информационно-технологических решений в цифровые платформы с использованием виртуальных имитационных информационных инфраструктур.

Задачи исследования:

1. Провести обзор методов повышения эффективности интеграции ИТР и дизайна архитектур ЦП.

2. Разработать математическую модель и принципы декомпозиции вычислительно-сложной задачи формирования стека технологий.

3. Разработать виртуальную конфигурируемую имитационную среду как инструмент оценки эффективности стека технологий.

4. Разработать методику оценки интеграции ИТР при создании ЦП.

5. Сформировать методику выбора эффективных ИТР на основе использования нечеткой логики.

6. Провести экспериментальные исследования с использованием разработанных методик для выбора программных компонентов, фреймворков, СУБД и структур данных.

7. Выполнить внедрение методик выбора стека технологий и результатов их применения в разрабатываемую ЦП.

8. Провести анализ результатов внедрения.

Объект исследования: цифровые платформы с интегральной структурой взаимодействующих технологий обработки и обмена больших объемов данных.

Предмет исследования: методы и средства анализа информационно-технологических решений, используемых в цифровых платформах.

Научная новизна.

1. Построена математическая модель выбора стека технологий, используемых в ЦП, сформулирована задача выбора элементов из множеств возможных информационно-технологических решений, введена операция совместимости технологий, определяющая сужение множества альтернатив, проведена декомпозиция исходной задачи по этапам жизненного цикла разработки ЦП.

2. Разработана методика оценки интеграции информационно-технологических решений при создании ЦП. Учитывается инфраструктура и заданные условия функционирования ЦП, что позволяет оценить значения критериев для оценки эффективности ИТР в заданных условиях.

3. Разработана виртуальная программно-конфигурируемая имитационная среда как инструмент оценки эффективности стека информационно-технологических решений в ЦП на этапах жизненного цикла разработки ЦП.

4. Сформирована методика выбора информационно-технологических решений на основе использования нечеткой логики.

Достоверность и обоснованность научных результатов и рекомендаций, приведенных в диссертационной работе, подтверждены теоретическими и экспериментальными исследованиями по оценке эффективности ИТР, результатами внедрения и эксплуатации разработанной цифровой платформы массовых веб-исследований в системе образования, а также апробацией и обсуждением результатов на международных научных конференциях и

семинарах, рецензированием и экспертизой научных статей, опубликованных в ведущих научных изданиях.

Теоретическая и практическая значимость исследования. Внедрение.

Теоретическая значимость исследования заключается в разработке формального описания задачи эффективного выбора стека технологий ЦП на основе экспериментальных оценок характеристик эффективности; в научной обоснованной методике выбора ИТР на этапах жизненного цикла разработки ЦП; процедурах динамического обмена данными с виртуальной инфраструктурой, имитирующей среду функционирования цифровой платформы.

Практическая значимость состоит в разработанном методическом, программном и математическом обеспечении выбора эффективного набора ИТР, которое может быть использовано при разработке ЦП.

Результаты диссертационной работы были использованы при выполнении научных исследований по темам: «Разработка открытой экспериментально-аналитической веб-платформы для сбора и интеллектуального анализа данных междисциплинарных исследований в области психического здоровья», грант РФФИ 17-29-02198 (офи_м); «Разработка технологической концепции Дата-центра междисциплинарных исследований в образовании», госзадание Минобрнауки России, проект 25.13253.2018/12.1.

Основные положения, выносимые на защиту.

1. Формулировка задачи выбора стека технологий, представляющая собой задачу выбора элементов из заданных множеств возможных ИТР. Это позволяет математически разрабатывать единый подход к оценке эффективности различных ИТР, таких как выбор языков программирования, выбор СУБД, выбор операционных систем, технологий передачи данных, используемых фреймворков. Введенная операция совместимости технологий и декомпозиция общей оценки эффективности функционирования ЦП на этапы жизненного цикла разработки ЦП позволили сократить вычислительную сложность задачи формирования стека технологий.

2. Методика оценки интеграции ИТР при создании ЦП, учитывающая заданные условия функционирования и инфраструктуру вычислительного комплекса. Предложенная методика основана на получении оценок характеристик эффективности при проведении экспериментальных исследований в виртуальной программно-конфигурируемой имитационной среде. Использование концепции «инфраструктура как код» для сокращения затрат на проведение вычислительных экспериментов на заданном стеке технологий. Разработанное решение позволяет оценить показатели эффективности ЦП до ее внедрения при сокращении затрат на опытное испытание.

3. Методика сравнения характеристик эффективности ИТР на основе использования нечеткой логики, предоставляющая разработчику программного обеспечения интуитивно-понятный инструмент информационной поддержки принятия решений по включению ИТР в искомый стек технологий.

Соответствие паспорту специальности 05.13.11. Основные результаты соответствуют паспорту специальности в части пунктов: «1. Модели, методы и алгоритмы проектирования и анализа программ и программных систем, их эквивалентных преобразований, верификации и тестирования. 10. Оценка качества, стандартизация и сопровождение программных систем».

Апробация работы и публикации. Результаты диссертационного исследования докладывались и обсуждались на конференциях и семинарах: региональной научной конференции «Прикладные исследования и технологии» ART2019, 01-02.04.2019 (Москва); научно-практической конференции «Междисциплинарные подходы к изучению психического здоровья человека и общества», 29.10.2018, (МГУ им. М.В. Ломоносова, Москва); II Всероссийской конференции «Социофизика и социоинженерия», 23-25.05.2018 (ИПУ им. В.А. Трапезникова РАН, Москва); Межвузовской школе-семинаре «Задачи системного анализа, управления и обработки информации», 27-28.02.2018 (РАО, Москва); 2018 Computing Conference, 10-12.07.2018 (London, UK); ICPE 2018, ICPE 2017 International Conference on Psychology а^ Education, 25-26.06.2018; 8-

9.06.2017 (Psychological Institute of RAE, Moscow); XII Всероссийской научно-практической конференции «Образовательная среда сегодня и завтра», 28-29 ноября 2017 (МТИ, Москва); 2017 Future technologies conference (FTC), 2930.11.2017 (Vancouver, Canada) и др.

Результаты отмечены медалью «Молодым ученым за успехи в науке» Российской академии образования в номинации «Разработка новых технологий, обеспечивающих развитие образовательный сферы» за 2018 год.

Основные результаты диссертационного исследования опубликованы в 25 работах, из них: 5 в изданиях, включенных в перечень рецензируемых журналов, рекомендованных ВАК по специальности 05.13.11; 10 — в изданиях, индексируемых в Web of Science и Scopus, в том числе 2-х изданиях квартиля Q2 Scopus, получено 2 свидетельства о регистрации программы для ЭВМ.

Личный вклад соискателя в получение результатов, изложенных в диссертации. Основные результаты, выносимые на защиту, получены автором. В работах, опубликованных в соавторстве, Ильину Д. Ю. принадлежат результаты разработки архитектуры ЦП, разработки методик и моделей выбора информационно-технологических решений.

Структура и объем диссертации. Диссертационное исследование состоит из введения, списка основных терминов, 4 глав, глоссария и списка использованной литературы. Общий объем работы составляет 143 страницы, 50 рисунков, 13 таблиц, библиографический список из 143 наименований.

В первой главе «Обзор методов оценки эффективности интеграции информационно-технологических решений в цифровые платформы» осуществлен аналитический обзор подходов к разработке архитектуры ЦП и оценке качества интеграции ИТР, рассмотрены экспертные оценки, оценки ресурсной эффективности алгоритмов, методы оценки систем управления базами данных, а также средства и методики для получения экспериментальных оценок ИТР.

Во второй главе «Оценка эффективности информационно-технологических решений в виртуальной конфигурируемой имитационной

среде» сформирована концепция и модель выбора стека технологий, рассмотрено применение модели в рамках жизненного цикла ЦП, разработан экспериментальный имитационный стенд, а также методика оценки интеграции ИТР при создании ЦП с применением имитационного стенда.

В третьей главе «Методика выбора эффективных информационно-технологических решений на основе использования нечеткой логики» математически формализована задача выбора ИТР, приведен пример использования программных и математических средств для осуществления выбора эффективных ИТР с применением алгоритма пчелиной колонии.

В четвертой главе «Применение математического обеспечения и методики оценки эффективности интеграции информационно-технологических решений для разработки цифровой платформы» приведены примеры использования разработанных моделей и алгоритмов при выборе СУБД, структур данных, программных фреймворков и других ИТР.

В заключении приведены основные результаты диссертационного исследования.

В Приложении 1 приведен исходный код разработанных систем нечеткого вывода.

В Приложении 2 приведен исходный код экспериментального стенда, использованного для выбора эффективных структур хранения данных.

В Приложении 3 приведены акты внедрения разработанного математического и алгоритмического обеспечения.

В Приложении 4 приведены авторские свидетельства о регистрации программы для ЭВМ.

ГЛАВА 1. ОБЗОР МЕТОДОВ ОЦЕНКИ ЭФФЕКТИВНОСТИ ИНТЕГРАЦИИ ИНФОРМАЦИОННО-ТЕХНОЛОГИЧЕСКИХ РЕШЕНИЙ В ЦИФРОВЫЕ ПЛАТФОРМЫ

Осуществлен аналитический обзор подходов к разработке архитектуры ЦП и оценке качества интеграции ИТР, рассмотрены экспертные оценки, оценки ресурсной эффективности алгоритмов, методы оценки систем управления базами данных, а также средства и методики для получения экспериментальных оценок ИТР.

В разделе 1.1 проведен анализ методов разработки интегральной архитектуры ЦП и критериев качества, применяемых для оценки ЦП.

В разделе 1.2 рассмотрены методы и инструменты выбора ИТР, основывающиеся на экспертных оценках.

В разделе 1.3 рассмотрено применение теории ресурсного анализа для выбора эффективных ИТР.

В разделе 1.4 проведен анализ методов и критериев для оценки эффективности систем управления базами данных.

В разделе 1.5 рассмотрены методы и инструментальные средства экспериментальной оценки интегрируемых ИТР.

1.1 Интегральная архитектура цифровых платформ

Основой для разработки ЦП является архитектурное решение, которое определяет способы интеграции ИТР, связи между ИТР, а также подходы, применяемые в разработке. Чтобы сформировать архитектуру ЦП, производится анализ требований [2] к платформе. Первичным является определение основных вариантов использования ЦП, функциональных и нефункциональных требований.

Исходя из требований, производится синтез архитектуры ЦП [2]. На основе полученного архитектурного решения определяются слабосвязанные

ИТР, интерфейсы для их взаимодействия, эффективные способы хранения и передачи данных. Архитектура определяет и то, как интегрируемые ИТР должны масштабироваться. Это касается алгоритмов обработки данных, кодовой базы ЦП, хранилищ данных [3-5].

Однако архитектурное решение не определяет набор ИТР, которые должны быть использованы для его реализации. Для разработки ЦП может использоваться широкий набор готовых и вновь разработанных решений. Каждое ИТР обладает своими функциональными возможностями, достоинствами и недостатками. Некоторые ИТР или их сочетания могут приводить к неэффективности ЦП в целом, что затруднительно выявить на этапе проектирования. Неэффективность часто выявляется только на стадии разработки, расширения ЦП или при интеграции ИТР в единый комплекс. Поэтому важной задачей [6] становится выбор эффективного набора ИТР на ранних этапах жизненного цикла ЦП. При оценке эффективности интеграции ИТР необходимо рассматривать показатели эффективности самих решений [7], гарантированное качество обработки данных при использовании сетей [8, 9], надежность при расширении [10] и другие.

Эффективность ИТР, как правило, рассматривается в контексте пользовательских задач. Оценке подвергаются функциональные и нефункциональные требования [3, 11, 12]. Например, проводились исследования применимости веб-технологий для сбора данных в области психологии [13].

1.2 Экспертные оценки

В разработке ЦП для выбора ИТР часто применяются экспертные оценки [14, 15]. Для повышения их надежности существуют инструменты, позволяющие получить сформированную сообществом экспертов оценку той или иной функциональной составляющей. Например, при добавлении нового функционала применяется сервис «Can I Use» [16, 17]. В нем представлены таблицы совместимости для наиболее распространенных браузеров, а

информация поддерживается в актуальном состоянии профессиональным сообществом.

Помимо технических показателей ИТР рассматривается [18, 19] и степень их актуальности. Выход ИТР из активного использования может быть связан с различными причинами. Например, появление новой, более перспективной технологии или обнаружение проблем, значимых для разработки ЦП. Это непосредственно оказывает влияние на требуемую квалификацию разработчиков [18, 19], формирует потребность в достаточном количестве специалистов, имеющих или способных освоить необходимые навыки.

Полученные экспертные и экспериментальные оценки ИТР обобщаются [15, 20] с помощью систем нечеткого вывода (далее - СНВ). СНВ учитывают особенности исходных данных [21], а также имеют сравнительно невысокую трудоемкость по сравнению с другими методами [22, 23].

1.3 Ресурсный анализ

В рамках теории ресурсного анализа рассматривается ряд показателей [24, 25], отражающих характеристики ИТР:

- временная эффективность;

- ресурсоемкость;

- анализируемость;

- модифицируемость;

- стабильность;

- тестируемость;

- временная устойчивость.

Также вводится понятие информационной чувствительности [26, 27], подразумевающее зависимость значения функции трудоемкости алгоритма от различных входов фиксированной длины. Однако, как показано в работах [28, 29], теоретическая оценка алгоритма может нуждаться в экспериментальном подтверждении.

ИТР могут содержать большое количество функций, каждая из которых является реализацией части или всего алгоритма. Как видно из работы [30], их число может измеряться тысячами. Ввиду этого проведение всеобъемлющего исследования ИТР может быть нецелесообразно.

1.4 Оценка систем управления базами данных

Выбор эффективной системы управления базами данных для заданных условий эксплуатации может осуществляться разными способами: на базе экспертных оценок, с применением экспертных систем и онтологий [31], путем постановки экспериментов. Для экспериментальных исследований СУБД широко применяются бенчмарки и системы на их основе [32, 33]. Перспективной областью для исследований стал поиск эффективных конфигураций СУБД на основе экспериментальных данных, полученных в ходе эксплуатации [34].

Идея нереляционных (NoSQL) баз данных противопоставляется идее реляционных баз данных, которая подразумевает организацию информации в виде таблиц с предопределенными связями (отношениями) и с фиксированными атрибутами (столбцами) [35]. Базы данных NoSQL организуют информацию другими способами — документы, семейства столбцов, пары ключ-значение и т. д. Документоориентированные СУБД оперируют документами, состоящими из размеченных элементов (примеры: Caché, Couchbase, MongoDB, Clusterpoint), в то время как хранилища ключей-значений используют большие хеш-таблицы ключей и значений для быстрого доступа к данным (Riak, Amazon Dynamo).

К СУБД предъявляются как функциональные, так и нефункциональные требования [36-38]. Их формируют заданная вычислительная архитектура, конфигурация вычислительной системы, возможности каналов связи. В условиях высокой интенсивности запросов все это может оказывать влияние на выбор используемых технологий в вычислительном комплексе, используемых протоколов передачи данных, а также на структуры и организацию хранения данных [36-38].

Задача выбора эффективных структур данных требует проведения специального ресурсного исследования в каждом конкретном случае для рассматриваемой ЦП. Так, в обзоре [35] выявлено, что современные методы проектирования баз данных не учитывают нефункциональные требования, в значительной степени основаны на заранее выбранной структуре баз данных, а также отмечается нехватка инструментов оценки выбранных моделей и средств управления данными.

Вопросам проектирования NoSQL баз данных посвящено множество исследований в области структурирования, масштабируемости и повышения эффективности использования вычислительных ресурсов. Вариативность и неоднородность данных привели к возникновению нового направления исследований важных для разработчиков больших систем сбора данных. Возникла острая потребность в учете требований к NoSQL базам данных [35]. В работе [39] на основе введенных характеристик и критериев оценки баз данных NoSQL предлагаются некоторые принципы и примеры для выбора подходящей базы данных NoSQL для различных отраслей. В [40] разработаны рекомендации для разработчиков по выбору хранилища данных на основе NoSQL. Для выбора средств моделирования необходим учет специфичных особенностей — встраивание объектов, гибкость схемы [41]. Хранилища данных являются гибкими, но исследования [42] показали, что даже в мире NoSQL проектирование данных требует значительных решений по моделированию, которые влияют на соответствие базы данных требованиям к качеству. В [43, 44] разработана методология проектирования баз данных для NoSQL с учетом их специфических особенностей. В целом методология направлена на поддержку масштабируемости, производительности и согласованности, как того требуют веб-приложения. Системы NoSQL приобрели свою популярность по многим причинам, включая гибкость, которую они обеспечивают при организации данных по сравнению с реляционной моделью и другими структурированными моделями [44]. В [45] предложен вывод моделей схем из данных NoSQL. В [46]

статье предложен подход для построения запросов многоструктурных документов.

Используемые возможности хранения неоднородных данных достигаются за счет потери некоторых важных преимуществ, свойственных реляционным СУБД. Для структурирования и моделирования иногда используются решения, основанные на использовании гибридных баз данных SQL/NoSQL [47], а также решения, ориентированные на миграцию схемы данных вместе с исходным кодом приложения [48]. При сравнении баз данных SQL и NoSQL [49] для больших данных использование реляционных моделей не очевидно. В современных приложениях для больших данных, особенно там, где требуется обширный анализ (так называемая большая аналитика), проектирование инфраструктуры, включающей данные и программное обеспечение обоих типов, является нетривиальной задачей [50]. Таким образом, полной и формализованной процедуры моделирования данных для систем NoSQL не существует.

1.5 Экспериментальная оценка информационно-технологических

решений

Необходимость в экспериментальной оценке ИТР перед интеграцией в ЦП может быть вызвана различными причинами. К примеру, может потребоваться проверка гипотезы о преимуществах или недостатках предложенного решения [51].

Причиной для экспериментальной проверки также может быть необходимость кроссплатформенного функционирования [52] ИТР, т.е. обеспечение работоспособности решения на широком спектре устройств, браузеров или операционных систем.

1.5.1 Среды проведения экспериментальной оценки информационно-

технологических решений

При командной распределенной разработке ЦП существует практика применения виртуального рабочего окружения [53]. Данная технология использует виртуализацию и средства управления конфигурациями виртуальных машин [54] для применения необходимых параметров и установки требуемых компонентов, автоматизируя процесс синхронизации, настройки и запуска рабочего окружения.

Список литературы диссертационного исследования кандидат наук Ильин Дмитрий Юрьевич, 2020 год

БИБЛИОГРАФИЯ

1. Федеральный закон от 27.07.2006 N 149-ФЗ (ред. от 03.04.2020) «Об информации, информационных технологиях и о защите информации» - 2006.

2. Barak M., Ziv S. Wandering: A Web-based platform for the creation of location-based interactive learning objects // Computers & Education - 2013. - Vol. 62 - P. 159-170.

3. Corbellini A., Mateos C., Zunino A., Godoy D., Schiaffino S. Persisting bigdata: The NoSQL landscape // Information Systems - 2017. - Vol. 63 - P. 1-23.

4. Venkateswaran N., Changder S. Simplified data partitioning in a consistent hashing based sharding implementation // TENCON 2017-2017 IEEE region 10 conference - P. 895-900.

5. Venkateswaran N., Changder S. Handling workload skew in a consistent hashing based partitioning implementation // 2017 international conference on advances in computing, communications and informatics (ICACCI) - P. 1163-1169.

6. Gerasimou S., Calinescu R., Tamburrelli G. Synthesis of probabilistic models for quality-of-service software engineering // Automated Software Engineering

- 2018. - Vol. 25 - No. 4 - P. 785-831.

7. Venkatesan D., Sridhar S. A novel programming framework for architecting next generation enterprise scale information systems // Information Systems and eBusiness Management - 2017. - Vol. 15 - No. 2 - P. 489-534.

8. Chen Y., Huang J., Lin C., Hu J. A partial selection methodology for efficient QoS-aware service composition // IEEE Transactions on Services Computing - 2014.

- Vol. 8 - No. 3 - P. 384-397.

9. Lun L., Chi X., Xu H. Coverage criteria for component path-oriented in software architecture // Engineering Letters - 2019. - Vol. 27 - No. 1 - P. 40-52.

10. Zhang H., Lu M., Gu T. SOA software architecture extended modeling considering reliability information // 2017 second international conference on reliability systems engineering (ICRSE) - P. 1-6.

11. Chattopadhyay S., Banerjee A., Banerjee N. A fast and scalable mechanism for Web service composition // ACM Transactions on the Web (TWEB) - 2017. - Vol. 11 - No. 4 - P. 1-36.

12. Basok B.M., Rozhanskaya A.N., Frenkel S.L. On web-applications usability testing // Russian Technological Journal - 2020. - Vol. 7 - No. 6 - P. 9-24.

13. Chetverikov A., Upravitelev P. Online versus offline: The Web as a medium for response time data collection // Behavior research methods - 2016. - Vol. 48 - No. 3 - P. 1086-1099.

14. Ferreira J. A JavaScript framework comparison based on benchmarking software metrics and environment configuration - 2018.

15. Титов А.И., Хомоненко А.Д. Выбор программного обеспечения с помощью алгоритма такаги-сугено на примере систем управления проектами // Научно-технические ведомости Санкт-Петербургского государственного политехнического университета. Информатика. Телекоммуникации. Управление - 2016. - № 1 (236).

16. Can I use... Support tables for HTML5, CSS3, etc [Электронный ресурс]. URL: https://caniuse.com/ (accessed: 20.07.2020).

17. Dowden M., Dowden M. Compatibility and defaults // Architecting CSS -P. 127-143.

18. Nikulchev E., Ilin D., Biryukov D., Bubnov G. Monitoring of information space for professional skills demand // Contemporary Engineering Sciences - 2016. -Vol. 9 - No. 14 - P. 671-678.

19. Ilin D., Strunitsyn D., Fedorov M., Nikulchev E., Bubnov G. Development of computer service for analysis of demanded skills in the professional environment // SHS web of conferences - Vol. 29 - P. 02017.

20. Dragovic I., Turajlic N., Radojevic D., Petrovic B. Combining Boolean consistent fuzzy logic and AHP illustrated on the web service selection problem // International Journal of Computational Intelligence Systems - 2014. - Vol. 7 - No. sup1 - P. 84-93.

21. Ishizaka A. Comparison of fuzzy logic, AHP, FAHP and hybrid fuzzy AHP for new supplier selection and its performance analysis // International Journal of Integrated Supply Management - 2014. - Vol. 9 - No. 1-2 - P. 1-22.

22. Wu D. Approaches for reducing the computational cost of interval type-2 fuzzy logic systems: overview and comparisons // IEEE Transactions on Fuzzy Systems - 2012. - Vol. 21 - No. 1 - P. 80-99.

23. Taghavifar H., Mardani A. A knowledge-based Mamdani fuzzy logic prediction of the motion resistance coefficient in a soil bin facility for clay loam soil // Neural Computing and Applications - 2013. - Vol. 23 - No. 1 - P. 293-302.

24. Липаев В.В. Методы обеспечения качества крупномасштабных программных средств - М.: СИНТЕГ., 2003 - 520c.

25. Ульянов М.В. Ресурсно-эффективные компьютерные алгоритмы. Разработка и анализ // М.: ФИЗМАТЛИТ - 2008. - Т. 304.

26. Головешкин В., Ульянов М. Информационная чувствительность функции трудоемкости алгоритмов к входным данным // Новые информационные технологии: Сборник трудов VII всероссийской научно-технической конференции. М.: МГАПИ - С. 19.

27. Ульянов М., Алексеенко А. Вероятностный подход к определению количественной меры информационной чувствительности компьютерных алгоритмов // Автоматизация и современные технологии - 2009. - № 10 - С. 2432.

28. Петрушин В.Н., Ульянов М.В. Планирование экспериментального исследования трудоемкости алгоритмов на основе бета-распределения // Информационные технологии и вычислительные системы - 2008. - № 2 - С. 8991.

29. Burnaev E., Panin I., Sudret B. Efficient design of experiments for sensitivity analysis based on polynomial chaos expansions // Annals of Mathematics and Artificial Intelligence - 2017. - Vol. 81 - No. 1-2 - P. 187-207.

30. Rahman W., Xu Y., Pu F., Xuan J., Jia X., Basios M., Kanthan L., Li L., Wu F., Xu B. Clone detection on large scala codebases // 2020 IEEE 14th international workshop on software clones (IWSC) - P. 38-44.

31. Brahimi L., Bellatreche L., Ouhammou Y. Coupling multi-criteria decision making and ontologies for recommending dbms // 22nd international conference on management of data, COMAD - P. 08-10.

32. Seybold D., Keppler M., Gründler D., Domaschka J. Mowgli: Finding your way in the DBMS jungle // Proceedings of the 2019 ACM/SPEC international conference on performance engineering - P. 321-332.

33. Dziedzic A., Karpathiotakis M., Alagiannis I., Appuswamy R., Ailamaki A. DBMS data loading: An analysis on modern hardware // Data management on new hardware - P. 95-117.

34. Mesmoudi A., Hacid M.-S., Toumani F. Benchmarking SQL on MapReduce systems using large astronomy databases // Distributed and Parallel Databases - 2016. - Vol. 34 - No. 3 - P. 347-378.

35. Roy-Hubara N., Sturm A. Design methods for the new database era: a systematic literature review // Software and Systems Modeling - 2020. - Vol. 19 - No. 2 - P. 297-312.

36. Roy-Hubara N., Shoval P., Sturm A. A method for database model selection // Enterprise, business-process and information systems modeling - P. 261-275.

37. Cattell R. Scalable SQL and NoSQL data stores // Acm Sigmod Record -2011. - Vol. 39 - No. 4 - P. 12-27.

38. Herrero V., Abelló A., Romero O. NOSQL design for analytical workloads: variability matters // International conference on conceptual modeling - P. 50-64.

39. Chen J.-K., Lee W.-Z. An Introduction of NoSQL Databases based on their categories and application industries // Algorithms - 2019. - Vol. 12 - No. 5 - P. 106.

40. Hendricks W. Review of NoSQL Data Stores: Using a reactive three-tier application for software developers to achieve a high availability application design architecture // 2019 open innovations (OI) - P. 71-77.

41. Reniers V., Van Landuyt D., Rafique A., Joosen W. Object to NoSQL Database Mappers (ONDM): A systematic survey and comparison of frameworks // Information Systems - 2019. - Vol. 85 - P. 1-20.

42. Atzeni P., Bellomarini L., Bugiotti F., Celli F., Gianforme G. A runtime approach to model-generic translation of schema and data // Information Systems -2012. - Vol. 37 - No. 3 - P. 269-287.

43. Bugiotti F., Cabibbo L., Atzeni P., Torlone R. Database design for NoSQL systems // International conference on conceptual modeling - P. 223-231.

44. Atzeni P., Bugiotti F., Cabibbo L., Torlone R. Data modeling in the NoSQL world // Computer Standards & Interfaces - 2020. - Vol. 67 - P. 103149.

45. Chillon A.H., Ruiz D.S., Molina J.G., Morales S.F. A model-driven approach to generate schemas for object-document mappers // IEEE Access - 2019. -Vol. 7 - P. 59126-59142.

46. Hamadou H.B., Ghozzi F., Peninou A., Teste O. Schema-independent querying for heterogeneous collections in NoSQL document stores // Information Systems - 2019. - Vol. 85 - P. 48-67.

47. Bjeladinovic S. A fresh approach for hybrid SQL/NoSQL database design based on data structuredness // Enterprise Information Systems - 2018. - Vol. 12 - No. 8-9 - P. 1202-1220.

48. Mahruqi R.S.A., Alalfi M.H., Dean T.R. A semi-automated framework for migrating web applications from SQL to document oriented NoSQL database // Proceedings of the 29th annual international conference on computer science and software engineering - P. 44-53.

49. Ali W., Shafique M.U., Majeed M.A., Raza A. Comparison between SQL and NoSQL databases and their relationship with big data analytics // Asian Journal of Research in Computer Science - 2019. - P. 1-10.

50. Andor C.-F., Varga V., Säcärea C. A graph based knowledge and reasoning representation approach for modeling MongoDB data structure and query // 2019 international conference on software, telecommunications and computer networks (SoftCOM) - P. 1-6.

51. Beyer D., Lemberger T. Software verification: Testing vs. Model checking // Hardware and software: Verification and testing - P. 99-114.

52. Yigitbas E., Anjorin A., Jovanovikj I., Kern T., Sauer S., Engels G. Usability evaluation of model-driven cross-device web user interfaces // International conference on human-centred software engineering - P. 231-247.

53. Caballer M., Blanquer I., Molto G., Alfonso C. de Dynamic management of virtual infrastructures // Journal of Grid Computing - 2015. - Vol. 13 - No. 1 - P. 53-70.

54. Giannakopoulos I., Konstantinou I., Tsoumakos D., Koziris N. Cloud application deployment with transient failure recovery // Journal of Cloud Computing - 2018. - Vol. 7 - No. 1 - P. 1-20.

55. Xuan N.P.N., Lim S., Jung S. Centralized management solution for vagrant in development environment // Proceedings of the 11th international conference on ubiquitous information management and communication - P. 1-6.

56. Thompson C. Vagrant virtual development environment cookbook - Packt Publishing Ltd., 2015.

57. Mouat A. Using docker: Developing and deploying software with containers - O'Reilly Media, Inc., 2015.

58. Sammons G. Learning vagrant: Fast programming guide - 2016.

59. Peacock M. Creating development environments with vagrant - Packt Publishing Ltd., 2015.

60. Iuhasz G., Pop D., Dragan I. Architecture of a scalable platform for monitoring multiple big data frameworks // Scalable Computing: Practice and Experience - 2016. - Vol. 17 - No. 4 - P. 313-321.

61. Test Microsoft Edge (EdgeHTML) and versions of IE8 through IE11 using free virtual machines you download and manage locally.

62. Most reliable app & cross browser testing platform | BrowserStack [Электронный ресурс]. URL: https://www.browserstack.com/ (accessed: 20.07.2020).

63. Lewis W.E. Software testing and continuous quality improvement - CRC press., 2017.

64. Garousi V., Giray G., Tüzün E., Catal C., Felderer M. Aligning software engineering education with industrial needs: a meta-analysis // Journal of Systems and Software - 2019. - Vol. 156 - P. 65-83.

65. Lemos O.A.L., Silveira F.F., Ferrari F.C., Garcia A. The impact of Software Testing education on code reliability: An empirical assessment // Journal of Systems and Software - 2018. - Vol. 137 - P. 497-511.

66. Santos J. dos, Martins L.E.G., Santiago Júnior V.A. de, Povoa L.V., Santos L.B.R. dos Software requirements testing approaches: a systematic literature review // Requirements Engineering - 2019.

67. Nachiyappan S., Justus S. Cloud testing tools and its challenges: A comparative study // procedia computer Science - 2015. - Vol. 50 - P. 482-489.

68. Garousi V., Felderer M. Worlds apart: industrial and academic focus areas in software testing // IEEE Software - 2017. - Vol. 34 - No. 5 - P. 38-45.

69. Couto L.D., Tran-J0rgensen P.W.V., Nilsson R.S., Larsen P.G. Enabling continuous integration in a formal methods setting // International Journal on Software Tools for Technology Transfer - 2019.

70. Mäntylä M.V., Adams B., Khomh F., Engström E., Petersen K. On rapid releases and software testing: a case study and a semi-systematic literature review // Empirical Software Engineering - 2015. - Vol. 20 - No. 5 - P. 1384-1425.

71. Lindgren E., Münch J. Raising the odds of success: the current state of experimentation in product development // Information and Software Technology -2016. - Vol. 77 - P. 80-91.

72. Dings0yr T., Lassenius C. Emerging themes in agile software development: Introduction to the special section on continuous value delivery // Information and Software Technology - 2016. - Vol. 77 - P. 56-60.

73. Brogi A., Ibrahim A., Soldani J., Carrasco J., Cubo J., Pimentel E., D'Andria F. SeaClouds: A european project on seamless management of multi-cloud applications // SIGSOFT Softw. Eng. Notes - 2014. - Vol. 39 - No. 1 - P. 1-4.

74. Laaber C., Leitner P. (hjg)opper: Performance history mining and analysis

- 2017.

75. Brondolin R., Ferroni M., Santambrogio M. Performance-aware load shedding for monitoring events in container based environments // ACM SIGBED Review - 2019. - Vol. 16 - No. 3 - P. 27-32.

76. Ernst M.D., Perkins J.H. Learning from executions: Dynamic analysis for software engineering and program understanding - 2005.

77. Sharma H., Chug A. Dynamic metrics are superior than static metrics in maintainability prediction: An empirical case study // 2015 4th international conference on reliability, infocom technologies and optimization (ICRITO)(Trends and future directions) - P. 1-6.

78. Schnoor H., Hasselbring W. Comparing static and dynamic weighted software coupling metrics // International conference on information and software technologies - P. 285-298.

79. Gosain A., Sharma G. A survey of dynamic program analysis techniques and tools // Proceedings of the 3rd international conference on frontiers of intelligent computing: Theory and applications (FICTA) 2014 - P. 113-122.

80. Garibotti R., Reagen B., Shao Y.S., Wei G.-Y., Brooks D. Using dynamic dependence analysis to improve the quality of high-level synthesis designs // 2017 IEEE international symposium on circuits and systems (ISCAS) - P. 1-4.

81. Basok B., Zakharov V., Frenkel S. Iterative approach to increasing quality of programs testing // Russian Technological Journal - 2017. - Vol. 5 - No. 4 - P. 4312.

82. Chambers L.D. Practical handbook of genetic algorithms: complex coding systems - CRC press., 2019.

83. Bilgaiyan S., Aditya K., Mishra S., Das M. Chaos-based modified morphological genetic algorithm for software development cost estimation // Progress in computing, analytics and networking - P. 31-40.

84. Bilgaiyan S., Panigrahi P.K., Mishra S. Chaos-based modified morphological genetic algorithm for effort estimation in agile software development // A journey towards bio-inspired techniques in software engineering - P. 89-102.

85. Still L.R., Indrusiak L.S. Memory-aware genetic algorithms for task mapping on hard real-time networks-on-chip // 2018 26th euromicro international conference on parallel, distributed and network-based processing (PDP) - P. 601-608.

86. Liu L., Zhang M., Buyya R., Fan Q. Deadline-constrained coevolutionary genetic algorithm for scientific workflow scheduling in cloud computing // Concurrency and Computation: Practice and Experience - 2017. - Vol. 29 - No. 5 -P. e3942.

87. Mishra D.B., Mishra R., Acharya A.A., Das K.N. Test data generation for mutation testing using genetic algorithm // Soft computing for problem solving - P. 857-867.

88. Jain R., Sharma A. ASSESSING SOFTWARE RELIABILITY USING GENETIC ALGORITHMS // The Journal of Engineering Research [TJER] - 2019. -Vol. 16 - No. 1 - P. 11-17.

89. Kumari A.C., Srinivas K., Gupta M. Software module clustering using a hyper-heuristic based multi-objective genetic algorithm // 2013 3rd IEEE international advance computing conference (IACC) - P. 813-818.

90. Ahuja H., Batra U., others Performance enhancement in requirement prioritization by using least-squares-based random genetic algorithm // Innovations in computational intelligence - P. 251-263.

91. Ouni A., Kessentini M., Sahraoui H., Hamdi M.S. The use of development history in software refactoring using a multi-objective evolutionary algorithm // Proceedings of the 15th annual conference on Genetic and evolutionary computation -P. 1461-1468.

92. Kaiafa S., Chassiakos A.P. A genetic algorithm for optimal resource-driven project scheduling // Procedia Engineering - 2015. - Vol. 123 - P. 260-267.

93. Almadhoun W., Hamdan M. Optimizing the self-organizing team size using a genetic algorithm in agile practices // Journal of Intelligent Systems - 2018. - Vol. 29 - No. 1 - P. 1151-1165.

94. Devarasetty P., Reddy S. Genetic algorithm for quality of service based resource allocation in cloud computing // Evolutionary Intelligence - 2019. - P. 1-7.

95. Jatoth C., Gangadharan G., Fiore U., Buyya R. QoS-aware Big service composition using MapReduce based evolutionary algorithm with guided mutation // Future Generation Computer Systems - 2018. - Vol. 86 - P. 1008-1018.

96. Jatoth C., Gangadharan G.R., Buyya R. Optimal Fitness Aware Cloud Service Composition using an Adaptive Genotypes Evolution based Genetic Algorithm // Future Generation Computer Systems - 2019. - Vol. 94 - P. 185-198.

97. Ильин Д.Ю., Гусев А.А., Колясников П.В., Никульчев Е.В. Инфраструктура разработки информационно-аналитической платформы междисциплинарных исследований // Прикладные исследования и технологии. Сб. трудов региональной науч. конф. - С. 56-60.

98. Kolyasnikov P., Nikulchev E., Silakov I., Ilin D., Gusev A. Experimental Evaluation of the Virtual Environment Efficiency for Distributed Software Development // International Journal of Advanced Computer Science and Applications - 2019. - Vol. 10 - No. 5 - P. 309-316.

99. Gusev A., Ilin D., Kolyasnikov P., Nikulchev E. Effective selection of software components based on experimental evaluations of quality of operation. // Engineering Letters - 2020. - Vol. 28 - No. 2.

100. Ильин Д.Ю., Гусев А.А. Проведение воспроизводимых экспериментов по оценке эффективности работы компонентов программного обеспечения // Прикладные исследования и технологии. Сб. трудов региональной науч. конф. - С. 54-56.

101. Ильин Д.Ю. Методика выбора компонентов стека технологий цифровых платформ на основе нечеткой логики // Вестник СибГУТИ - 2020. -№ 3 - С. 38-47.

102. Ильин Д., Никульчев Е., Малых С., Исматуллина В., Захаров И., Русаков А. Веб-платформа массовых психологических исследований учащихся // Социофизика и социоинженерия'2018 - С. 333-334.

103. Nikulchev E., Kolyasnikov P., Ilin D., Kasatonov S., Biryukov D., Zakharov I. Selection of architectural concept and development technologies for the implementation of a web-based platform for psychology research // Science and information conference - P. 672-685.

104. Mendoza A., Kumar A., Midcap D., Cho H., Varol C. BrowStEx: A tool to aggregate browser storage artifacts for forensic analysis // Digital Investigation -2015. - Vol. 14 - P. 63-75.

105. Gusev A., Ilin D., Nikulchev E. The dataset of the experimental evaluation of software components for application design selection directed by the artificial bee colony algorithm // Data - 2020. - Vol. 5 - No. 3 - P. 59.

106. Nikulchev E., Ilin D., Gusev A. Software Design using Genetic Quality Components Search // International Journal of Advanced Computer Science and Applications - 2019. - Vol. 10 - No. 12 - P. 48-54.

107. Гусев А.А., Ильин Д.Ю., Никульчев Е.В. Генетический алгоритм выбора компонентов информационных систем на основе экспериментальных оценок критериев качества // Прикаспийский журнал: управление и высокие технологии - 2019. - № 2 - С. 113-125.

108. Колясников П.В., Силаков И.Н., Ильин Д.Ю., Гусев А.А., Никульчев Е.В. Повышение эффективности виртуального рабочего окружения распределенной разработки программ // Современные информационные технологии и ИТ-образование - 2019. - Т. 15 - № 1 - С. 72-80.

109. Nikulchev E., Ilin D., Kolyasnikov P., Belov V., Zakharov I., Malykh S. Programming Technologies for the Development of Web-Based Platform for Digital Psychological Tools // International Journal of Advanced Computer Science and Applications - 2018. - Vol. 9 - No. 8 - P. 34-45.

110. Никульчев Е., Ильин Д., Колясников П., Белов В., Рунтов А., Пушкин П., Лаптев Н., Гусев А., Силаева А., Алексеенко А., others Цифровая платформа

DigitalPsyTools для массовых веб-опросов в системе образования // Cloud of Science - 2020. - Т. 7 - № 2 - С. 394-411.

111. Никульчев Е.В., Ильин Д.Ю., Колясников П.В., Исматуллина В.И., Захаров И.М., Малых С.Б. Разработка открытой цифровой платформы масштабных психологических исследований // Вестник Российского фонда фундаментальных исследований - 2019. - № 4 - С. 105-119.

112. Никульчев Е.В., Ильин Д.Ю., Колясников П.В. Разработка открытой экспериментально-аналитической веб-платформы для сбора и интеллектуального анализа данных междисциплинарных исследований в области психического здоровья // Междисциплинарные подходы к изучению психического здоровья человека и общества: Материалы научно-практической конф. - С. 70-74.

113. Nikulchev E., Ilin D., Kolyasnikov P., Kasatonov S., Zakharov I. Evaluation of nosql dbms scalability for storing data for psychology web platform // The european proceedings of social & behavioural sciences EPSBS - P. 263-271.

114. Ильин Д.Ю., Никульчев Е.В. Экспериментальная оценка ресурсной эффективности схем данных NoSQL в условиях заданной ИТ-инфраструктуры // International Journal of Open Information Technologies - 2020. - Т. 8 - №2 5 - С. 4552.

115. Nikulchev E., Ilin D., Kolyasnikov P., Ismatullina V., Zakharov I. Development of a Common Format of Questionnaire Tests for a Web-based Platform of Population and Experimental Psychological Research // ITM Web of Conferences -2018. - Vol. 18 - P. 04004.

116. Nikulchev E., Ilin D., Ismatullina V., Belov V. Adaptation of the big five questionnaire to the psychology research platform // ICPE 2018-International conference on psychology and education - P. 490-495.

117. Ильин Д.Ю., Колясников П.В., Никульчев Е.В., Русаков А.М. Выбор программных инструментов для формирования стандарта хранения тестов в открытой платформе психологических исследований // Образовательная среда

сегодня и завтра: Сб. трудов XII Всероссийской научно-практической конф. - С. 143-145.

118. Mardan A. Backbone. js and Parse. com // Full stack JavaScript - P. 121136.

119. Chansuwath W., Senivongse T. A model-driven development of web applications using AngularJS framework // 2016 IEEE/ACIS 15th international conference on computer and information science (ICIS) - P. 1-6.

120. Fain Y., Moiseev A. Angular 2 development with TypeScript - Manning Publications Co., 2016.

121. Sheppard D. PWAs from the start // Beginning progressive web app development - P. 209-240.

122. Hamdy A., Ibrahim O., Hazem A. A web based framework for pre-release testing of mobile applications // MATEC web of conferences - Vol. 76 - P. 04041.

123. Cravens J., Brady T.Q. Building web apps with ember. js: Write ambitious javascript - O'Reilly Media, Inc., 2014.

124. Kristensen E.K., Moller A. Inference and evolution of typescript declaration files // International conference on fundamental approaches to software engineering - P. 99-115.

125. Nikulchev E., Ilin D., Matishuk E. Scalable Service for Professional Skills Analysis Based on the Demand of the Labor Market and Patent Search // Procedia Computer Science - 2017. - Vol. 103 - P. 44-51.

126. Sinha S. How request, response work in laravel 5 // Beginning laravel - P. 161-165.

127. Lotfy K., Hale M.L. Assessing pairing and data exchange mechanism security in the wearable Internet of Things // 2016 IEEE international conference on mobile services (MS) - P. 25-32.

128. Zhang Y., Yin G., Yu Y., Wang H. Investigating social media in GitHub's pull-requests: a case study on Ruby on Rails // Proceedings of the 1st international workshop on crowd-based software development methods and technologies - P. 3741.

129. Chaniotis I.K., Kyriakou K.-I.D., Tselikas N.D. Is Node. js a viable option for building modern web applications? A performance evaluation study // Computing

- 2015. - Vol. 97 - No. 10 - P. 1023-1044.

130. Rankovski G., Chorbev I. Improving scalability of web applications by utilizing asynchronous I/O // International conference on ICT innovations - P. 211218.

131. Hunt J. Play framework // A beginner's guide to scala, object orientation and functional programming - P. 431-446.

132. Alexopoulos K., Koukas S., Boli N., Mourtzis D. Resource planning for the installation of industrial product service systems // IFIP international conference on advances in production management systems - P. 205-213.

133. Troelsen A., Japikse P. Introducing ASP. NET MVC // Pro c# 7 - P. 11791221.

134. Ильин Д.Ю., Никульчев Е.В., Колясников П.В. Выбор технологических решений для разработки программного обеспечения распределенных информационных систем // Международный научный журнал «Современные информационные технологии и ИТ-образование» - 2018. - Т. 14

- № 2 - С. 344-354.

135. Klink J., Bardowski P., Uhl T. Content-agnostic web browsing quality assessment // 2018 26th international conference on software, telecommunications and computer networks (SoftCOM) - P. 1-6.

136. Nikulchev E., Ilin D., Belov V., Pushkin P., Kolyasnikov P., Malykh S. Study of cross-platform technologies for data delivery in regional web surveys in the education // International Journal of Advanced Computer Science and Applications -2019. - Vol. 10 - No. 10 - P. 14-19.

137. Никульчев Е., Ильин Д., Колясников П., Косенков А. Разработка специализированных цифровых инструментов в профессиональных интернет-ресурсах для специалистов в области охраны здоровья // Cloud of science - 2018.

- Т. 5 - № 4 - С. 778-789.

138. Ильин Д.Ю., Никульчев Е., Бубнов Г., Матешук Е. Информационно-аналитический сервис формирования актуальных профессиональных компетенций на основе патентного анализа технологий и выделения профессиональных навыков в вакансиях работодателей // Прикаспийский журнал: управление и высокие технологии - 2017. - № 2 - С. 71-88.

139. Ilin D., Mateshuk E., Gilaztdinov R., Bubnov G. Evaluation of filtering methods applied to the unstructured datasets in the predictive learning services // ITM web of conferences - Vol. 10 - P. 02005.

140. Nikulchev E., Ilin D., Belov B., Kolyasnikov P., Kosenkov A. e-Learning tools on the healthcare professional social networks // e-Learning - 2019. - Vol. 10 -No. 4 - P. 29-34.

141. Nikulchev E., Ilin D., Bubnov G., Mateshuk E. Service for Professional Predictive Learning of Skills based on the Patent Analysis of Technologies // Proceedings Of 2017 Future Technologies Conference (FTC) - P. 1030-1035.

142. Никульчев Е.В., Бубнов Г.Г., Плужник Е.В., Ильин Д.Ю., Паяин С.В., Бирюков Д.А. Компьютерный сервис анализа востребованных на рынке труда компетенций в сфере ИТ - Южный университет (ИУБИП)., 2016.

143. Никульчев Е.В., Бубнов Г.Г., Ильин Д.Ю., Колясников П.В., Рунтов А.И., Бирюков Д.А. Исследование актуальности технологий для формирования компетенций по направлениям подготовки 09.03.01, 09.04.01 «Информатика и вычислительная техника» - НОУ ВО МосТех., 2017.

ПРИЛОЖЕНИЕ 1. ИСХОДНЫЙ КОД СИСТЕМ НЕЧЕТКОГО

ВЫВОДА

Листинг файла системы нечеткого вывода для раздела 4.2 «Выбор масштабируемой системы управления базами данных».

1 [System]

2 Name='mongodb-cassandra'

3 Type='mamdani'

4 Version=2.0

5 NumInputs=4

6 NumOutputs=1

7 NumRules=10

8 AndMethod='min'

9 OrMethod='max'

10 ImpMethod='min'

11 AggMethod='max'

12 DefuzzMethod='centroid'

13

14 [Input1]

15 Name='exp1'

16 Range=[0 1]

17 NumMFs=3

18 MF1='high,:,trimf',[-0.417 0 0.650105708245243]

19 MF2='medium':'trimf',[0.419661733615222 0.75 1.1]

20 MF3='low':,trimf,,[0.800211416490486 1 1.42]

21

22 [Input2]

23 Name='exp2'

24 Range=[0 1]

25 NumMFs=3

26 MF1='high,:,trimf',[-0.417 0 0.65]

27 MF2='medium':'trimf',[0.4197 0.75 1.1]

28 MF3='low':,trimf,,[0.8002 1 1.42]

29

30 [Input3]

31 Name='exp3'

32 Range=[0 1]

33 NumMFs=3

34 MF1='high,:,trimf',[-0.417 0 0.65]

35 MF2='medium':'trimf',[0.4197 0.75 1.1]

36 MF3='low':,trimf,,[0.8002 1 1.42]

37

38 [Input4]

39 Name='exp4'

40 Range=[0 1]

41 NumMFs=3

42 MF1='high,:,trimf',[-0.417 0 0.65]

43 MF2='medium':'trimf',[0.4197 0.75 1.1]

44 MF3='low':,trimf,,[0.8002 1 1.42]

45

46 [Output1]

47 Name='quality'

48 Range=[0 1]

49 NumMFs=3

50 MF1='low':,trimf,,[-0.416666666666667 0 0.416666666666667]

51 MF2='medium':'trimf',[0.0833333333333333 0.5 0.916666666666667]

52 MF3='high,:,trimf',[0.583333333333333 1 1.41666666666667]

53

54 [Rules]

55 0 1 1 0, 3 (0.75) : 1

56 0 3 3 0, 1 (0.75) : 1

57 1 1 2 1, 3 (1) : 1

58 -1 1 2 -1, 2 (1) : 1

59 -1 2 3 -1, 1 (1) : 1

60 -1 3 2 -1, 1 (1) : 1

61 1 3 2 1, 2 (1) : 1

62 1 2 3 1, 2 (1) : 1

63 1 2 1 1, 3 (1) : 1

64 -1 2 1 -1, 2 (1) : 1

Листинг файла системы нечеткого вывода для раздела 4.3 «Выбор эффективных структур хранения данных».

1 [System]

2 Name='DBFis'

3 Type='mamdani'

4 Version=2.0

5 NumInputs=5

6 NumOutputs=1

7 NumRules=10

S AndMethod='prod'

9 OrMethod='max'

10 ImpMethod='min'

11 AggMethod='max'

12 DefuzzMethod='centroid'

13

14 [Input1]

15 Name='N'

16 Range=[0 1] 1l NumMFs=3

1S MF1='lo':'trimf',[-0.4 0 0.399546S21194562]

19 MF2='me':,trimf,,[0.2S1l220543S0бб5 0.6344410S1613293 1.0344410S161329]

20 MF3=,hi,:,trimf^[0.б5l401S12бSSS22 1.051401S126SSS2 1.451401S126SSS2]

21

22 [Input2]

23 Name='R'

24 Range=[0 1]

25 NumMFs=3

26 MF1='lo':'trimf',[-0.4 0 0.4] 21 MF2='me':,trimf,,[0.1 0.5 0.9] 2S 1^3=^':ЧГ^^[0.6 1 1.4]

29

30 [Input3]

31 Name='E'

32 Range=[0 1]

33 NumMFs=3

34 MF1='lo':'trimf',[-0.4 0 0.4]

35 MF2='me':,trimf,,[0.1 0.5 0.9]

36 1^3=^':ЧГ^^[0.6 1 1.4] 3l

3S [Input4]

39 Name='P'

40 Range=[0 1]

41 NumMFs=3

42 MF1='lo':'trimf',[-0.4 0 0.б14411299093б5б]

43 MF2='me':,trimf,,[0.43бS5S00б04229б 0.S36S5S006042296 1.236S5S0060423]

44 MF3=,hi,:,trimf^[0.lS4l4320241б91S 1 1.4]

45

46 [Input5] 41 Name='C'

4S Range=[0 1]

49 NumMFs=3

50 MF1=,lo'

51 MF2='me'

52 MF3='hi'

53

54 [Outputl]

55 Name='Q'

56 Range=[0 1]

57 NumMFs=3

58 MF1='lo':'trimf',[-0.4 0 0.4]

59 MF2='me':'trimf',[0.10721752265861 0.41021752265861 0.73421752265861]

60 MF3='hi':'trimf',[0.630905438066465 0.957905438066465 1.54620543806647]

61

62 [Rules]

63 0 1 0 0 0, 3 (1) : 1

64 0 -1 0 0 0, 1 (1) : 1

65 3 0 1 1 1, 3 (0.5) 2

66 3 0 2 2 2, 2 (0.5) 1

67 3 0 3 2 2, 1 (0.5) 1

68 3 0 2 3 2, 1 (0.5) 1

69 3 0 2 2 3, 1 (0.5) 1

70 3 0 2 3 3, 1 (0.5) 1

71 2 0 2 3 3, 1 (0.5) 1

72 1 0 0 0 0, 1 (0.5) 1

'trimf',[-0.4 0 0.4] 'trimf',[0.1 0.5 0.9] 'trimf',[0.6 1 1.4]

Листинг файла системы нечеткого вывода для раздела 4.5 «Выбор эффективных ИТР фильтрации данных для сервисов поиска актуальных компетенций».

1 [System]

2 Name='skills-filtering'

3 Type='mamdani'

4 Version=2.0

5 NumInputs=3

6 NumOutputs=1

7 NumRules=13

8 AndMethod='min'

9 OrMethod='max'

10 ImpMethod='min'

11 AggMethod='max'

12 DefuzzMethod='centroid'

13

14 [Input1]

15 Name='filtering'

16 Range=[0 1] 11 NumMFs=3

1S MF1='low,:,trimf,,[-0.41666666666666l 0 0.41бббббббббббб1]

19 MF2='medium':'trimf',[0.0S33333333333333 0.5 0.91бббббббббббб1]

20 MF3='high,:,trimf',[0.5S3333333333333 1 1.41ббббббббббб1]

21

22 [Input2]

23 Name='scalability'

24 Range=[0 1]

25 NumMFs=3

26 MF1='low':,trimf,,[-0.41666666666666l 0 0.41бббббббббббб1]

21 MF2='medium':'trimf',[0.0S33333333333333 0.5 0.91бббббббббббб1]

2S MF3='high':'trimf',[0.5S1114164904S63 0.99S114164904S63 1.412114164904S6]

29

30 [Input3]

31 Name='maintenance'

32 Range=[0 1]

33 NumMFs=3

34 MF1='low':,trimf,,[-0.41666666666666l 0 0.41бббббббббббб1]

35 MF2='medium':'trimf',[0.0S33333333333333 0.5 0.916666666666661]

36 MF3='high,:,trimf',[0.5S3333333333333 1 1.41666666666661] 3l

3S [Output1]

39 Name='quality'

40 Range=[0 1]

41 NumMFs=3

42 MF1='low':,trimf,,[-0.41666666666666l 0 0.416666666666661]

43 MF2='medium':'trimf',[0.0S333 0.5 0.9161]

44 MF3='high,:,trimf',[0.5S3333333333333 1 1.41666666666661]

45

46 [Rules]

41 1 -3 -3, 1 (1) : 1

4S 3 -1 -1, 3 (1) : 1

49 2 1 1, 1 (1) : 1

50 2 1 2, 1 (1) : 1

51 2 2 1, 1 (1) : 1

52 2 2 2, 2 (1) : 1

53 2 2 3, 2 (1) : 1

54 2 3 2, 2 (1) : 1

55 2 3 3, 3 (1) : 1

56 l -3 3, 2 (1)

57 l 3 -3, 2 (1)

58 3 1 -1, 2 (1)

59 3 -1 1, 2 (1)

ПРИЛОЖЕНИЕ 2. ИСХОДНЫЙ КОД ЭКСПЕРИМЕНТАЛЬНОГО СТЕНДА ДЛЯ ВЫБОРА ЭФФЕКТИВНЫХ СТРУКТУР ХРАНЕНИЯ ДАННЫХ

Листинг файлов с исходным кодом экспериментального стенда для раздела 4.3 «Выбор эффективных структур хранения данных».

atop-parser\index.js

const knife = require('data-swissknife'); const _ = knife.fp;

const regExp = /\([л\)]*}|[л\( \)]+/ig;

const BOOT = 'RESET';

const SEPARATOR = 'SEP';

// System Level

const CPU_TOTAL = 'CPU';

const CPU_CORE = 'cpu';

const CPU_LOAD = 'CPL';

const MEMORY_OCCUPATION = 'MEM';

const SWAP = 'SWP';

const PAGING_FREQUENCY = 'PAG';

const LOGICAL_VOLUME_UTILIZATION = 'LVM';

const MULTIPLE_DEVICE_UTILIZATION = 'MDD';

const DISK_UTILIZATION = 'DSK';

const NETWORK_UTILIZATION = 'NET';

// Process Level

const PROCESS_GENERAL = 'PRG';

const PROCESS_CPU = 'PRC';

const PROCESS_MEMORY = 'PRM';

const PROCESS_NETWORK = 'PRN';

const CPU_TOTAL_FIELDS = [

'total number of clock-ticks per second for this machine', 'number of processors',

'consumption for all CPU\'s in system mode (clock-ticks)', 'consumption for all CPU\'s in user mode (clock-ticks)',

'consumption for all CPU\'s in user mode for niced processes (clock-ticks)', 'consumption for all CPU\'s in idle mode (clock-ticks)', 'consumption for all CPU\'s in wait mode (clock-ticks)', 'consumption for all CPU\'s in irq mode (clock-ticks)',

'consumption for all CPU\'s in softirq mode (clock-ticks)', 'consumption for all CPU\'s in steal mode (clock-ticks)', 'consumption for all CPU\'s in guest mode (clock-ticks)',

];

const MEMORY_OCCUPATION_FIELDS = [

'page size for this machine (in bytes)',

'size of physical memory (pages)',

'size of free memory (pages)',

'size of page cache (pages)',

'size of buffer cache (pages)',

'size of slab (pages)',

'number of dirty pages in cache',

];

const DISK_UTILIZATION_FIELDS = [ 'name',

'number of milliseconds spent for I/O',

'number of reads issued',

'number of writes issued',

'number of sectors transferred for write',

];

const LOGICAL_VOLUME_UTILIZATION_FIELDS = [ 'name',

'number of milliseconds spent for I/O',

'number of reads issued',

'number of writes issued',

'number of sectors transferred for write',

];

const applyFields = (obj, entry, category, fields) => {

const tuples = _.map(fields, (field, index) => [field, entry[index + 6]]); const timestamp = entry[2];

_.set(obj, [timestamp, category], _.zipObject(..._.zip(...tuples)));

};