Управление качеством сложных информационных систем в радиоэлектронике методами комплексной стандартизации тема диссертации и автореферата по ВАК РФ 05.02.23, кандидат наук Гребенюк, Виктор Михайлович

• Гребенюк, Виктор Михайлович
• кандидат наук
• 2014

Оглавление диссертации кандидат наук Гребенюк, Виктор Михайлович

Оглавление

Введение

1. Анализ современного состояния обеспечения качества сложных информационных систем для радиоэлектронных средств

1.1 Современные радиоэлектронные средства и роль сложных информационных систем в их создании и применении

1.2 Требования к сложным информационным системам для радиоэлектронных средств и их особенности

ч

1.3 Особенности обеспечения качества сложных информационных систем

1.4 Современное состояние методов и средств обеспечения качества сложных информационных систем для средств радиоэлектроники

1.5 Нормативно-методическое обеспечение качества сложных информационных систем

1.6 Нерешаемые современными средствами и методами проблемы обеспечения качества

1.7 Обоснование использования методов комплексной стандартизации в процессе обеспечения качества сложных информационных систем

Выводы по первому разделу

2. Система обеспечения качества сложных информационных систем для радиоэлектронных средств

2.1 Концепция системы обеспечения качества сложных

■ч

информационных систем для средств радиоэлектроники как совокупность взглядов и подходов к решению проблемы на новом уровне

2.2 Принципы деятельности системы на основе методов комплексной стандартизации и других методов и стандартов

2.3 Компоненты системы и синергетический эффект от их сложения

Выводы по второму разделу

3. Организационная структура системы обеспечения качества сложных информационных систем для радиоэлектронных средств

г \

3.1 Типовые модели организационной структуры системы обеспечения качества информационных систем

3.1.1 Вариант организации системы обеспечения качества с использованием ресурсов подразделений, отвечающих за определенный этап жизненного цикла проекта

а

3.1.2 Вариант организации системы обеспечения качества с использованием ресурсов подразделений, отвечающих за полный жизненный цикл подсистемы

3.1.3 Гибридные методы организации системы обеспечения качества

3.1.4 Анализ недостатков рассмотренных вариантов организации системы обеспечения качества

3.2 Предлагаемая модель организационной структуры системы обеспечения качества информационных систем

3.2.1 Роли, обязанности и ответственности сторон предложенной организационной структуры обеспечения качества сложных * информационных систем

3.2.2 Особенности взаимодействия элементов организационной структуры системы обеспечения качества сложных информационных систем

3.2.3 Особенности организационной структуры, не специфичные для сложных систем, но необходимые к принятию во внимание

Выводы по третьему разделу

4. Нормативно-методическое обеспечение деятельности системы обеспечения качества сложных информационных систем для радиоэлектронных средств

4.1 Структура и состав комплекса нормативно-методическогЪ обеспечения

4.2 Модель научно-методического аппарата обеспечения качества

сложных информационных систем для радиоэлектронных средств

4.3 Методические указания по обеспечению качества сложных информационных систем для радиоэлектронных средств

4.3.1 Методические указания по формирования комплекса мер по обеспечению качества сложных информационных систем

4.3.2 Методические указания по использованию показателей качества в процессе обеспечения качества сложных информационных систем

4.3.3 Методические указания по планированию и оценке трудоемкости мероприятий по обеспечению качества сложных информационных систем

92

4.3.4 Методические указания по оценке целесообразности внедрения автоматизированного тестирования

4.3.5 Методические указания по использованию методов определения возможностей масштабирования сложных информационных систем..;

4.3.6 Методические указания по тестированию надёжности сложных информационных систем

4.3.7 Методические указания по использованию контрольных данных в системе обеспечения качества сложных информационных систем

4.3.8 Методические указания по использованию 11МЬ моделей как дополнительного инструмента обеспечения качества сложных систем

А

Выводы по четвертому разделу

5. Оценка результативности и эффективности деятельности системы

5.1 О необходимости внедрения комплекса показателей достаточности мер по обеспечению качества сложных информационных систем

5.2 Основополагающие принципы разработанной системы показателей достаточности мер по обеспечению качества и методы получения

информации

5.3 Показатели и критерии результативности и эффективности

деятельности системы

*

5.4 Метод оценки результативности и эффективности деятельности

системы

Выводы по пятому разделу

Заключение

Список литературы

Приложение А. Методика формирования комплекса мер по обеспечению качества сложных информационных систем

Приложение Б. Методика определения уровня достаточности мер по обеспечению качества сложных информационных систем

б

Введение диссертации (часть автореферата) на тему «Управление качеством сложных информационных систем в радиоэлектронике методами комплексной стандартизации»

Введение

Актуальность темы исследования. Радиоэлектронные средства (РЭС) различного функционального назначения уже давно стали неотъемлемой частью науки, техники, производства, систем связи, вооружения, военной техники и повседневной жизни. Объём и точность информации, поступающей от таких устройств, увеличивается, а количество радиоэлектронных устройств постоянно растёт, что создаёт необходимость их объединения в единое информационное пространство. В качестве средств достижения данной цели успешно используются сложные информационные системы (СИС).

В настоящее время СИС и РЭС - единый аппаратно-информационный комплекс, предназначенный для решения различных функциональных задач по передаче, приему, обработке и использованию информации. Спектр использования РЭС в сложных информационных системах очень широк: от информационных систем удаленного мониторинга (энергетических объектов, водогрейных котельных, строительной и добывающей техники, лесных пожаров, показателей здоровья пациентов медицинских учреждений) до распределенных радиосистем (сотовая связь, ГЛОНАСС, системы радиолокационного мониторинга, прием-передача и обработка информации со спутников и др.), радиоастрономии, систем зондирования льдов, систем экологического мониторинга, систем обработки радио- и телевизионных изображений. ;

Совместное применение СИС и РЭС позволяет сформировать единую информационную среду для анализа поступающих данных, обеспечить и поддержать принятие последующих решений. Более того, внедрение СИС, объединяющих РЭС, позволяет не только обеспечить автоматизированное получение достоверной и достаточной по своей полноте информации, необходимой для оперативного контроля и управления различными

л

процессами, но и обеспечить последующую автоматизированную обработку и накопление данной информации.

Следует отметить, что обеспечение качества элементной базы РЭС во многом - отточенная годами технология, нашедшая отражение в существующем нормативно-методическом обеспечении, включая международные и отечественные стандарты (в том числе стандарты ГОСТ РВ, такие как ГОСТ РВ 20.57.413, ГОСТ РВ 20.57.414, ГОСТ РВ 20.57.416 [13] и др.). Однако, в связи с тенденциями к объединению РЭС с <ЗИС, бурным развитием информационных технологий и ряда других причин, появляется задача обеспечения качества СИС на базе РЭС, то есть задача качественно нового уровня. В этом месте образовался своего рода «пробел» нормативно-методического обеспечения, так как ни стандарты РЭС с одной стороны, ни

а

стандарты для автоматизированных систем, систем управления или программного обеспечения с другой, по отдельности не покрывают эту область в достаточной мере.

Таким образом, можно говорить о возникновении новой научной задачи по разработке единого нормативно-методического обеспечения качества сложных информационных систем в радиоэлектронике, которое позволит сформировать оптимальный комплекс мер по обеспечению качества с целью достижения заданного уровня качества таких систем. В роли основополагающего инструмента для этого представляется

л

целесообразным использование методов комплексной стандартизации, в рамках которой предполагается осуществление целенаправленного и планомерного установления и применения системы взаимоувязанных требований как к СИС в целом, так и к их основным элементам, построенным на основе РЭС, в целях оптимального решения проблемы ^обеспечения качества СИС.

Цель исследований заключается в разработке организационно-методических основ управления качеством сложных информационных

л

ч

систем для РЭС методами комплексной стандартизации, а также повышении результативности мер по обеспечению качества таких систем.

ч

Для достижения указанной цели необходимо решить следующие задачи:

1. Анализ действующего нормативно-методического обеспечения качества СИС для РЭС; ч

2. Разработка концепции системы обеспечения качества СИС для РЭС;

3. Разработка организационной структуры системы обеспечения качества СИС для РЭС;

л

4. Разработка комплекса нормативно-методического ^обеспечения функционирования системы обеспечения качества СИС для РЭС;

5. Разработка метода и методики оценки результативности и эффективности деятельности системы.

л

ч

В методы исследования планируется включить анализ и обобщение опыта управления качеством в стране и за рубежом, положения системного и процессного подходов (в том числе CMMI, TMMI [4, 5] и др.), принципы всеобщего управления качеством (TQM) [6]; методы, основанных на международных и российских стандартах (серии ISO 9000, ISQ/IEC 12207, ГОСТ 34 серии, ГОСТ 19 серии, ГОСТ РВ [1-3, 7-10] и др.); методы многокритериальной оптимизации, построения алгоритмов и математического моделирования, а также системное использование многоаспектных знаний по изучаемым вопросам.

0

ч

При разработке методологического обеспечения подразумевается применение метода комплексной стандартизации, включающего в себя элементы гибкой (Agile) методологии [11], Шести Сигм (Six Sigma) [12, 13] и квалиметрические методы оценки качества процессов обеспечения качества.

Достоверность и обоснованность применяемых методов необходимо подтвердить использованием в производственной практике, а основные теоретические результаты исследования - при внедрении выводов и рекомендаций, с формулированных в диссертационной работе. »

В качестве статистической и информационной базе исследования планируется использовать научные источники в виде данных из книг, стандартов, журнальных статей, электронных периодических изданий, материалов научных конференций, законодательных и нормативных актов, а также исследования, проведённые автором в период 2008-2014 гг. на предприятиях и в организациях, решающих задачи в области информационных технологий.

с

1. Анализ современного состояния обеспечения качества сложных информационных систем для радиоэлектронных средств

1.1 Современные радиоэлектронные средства и роль сложных информационных систем в их создании и применении

Современные РЭС представляют собой сложнейшие многофункциональные изделия, которые содержат огромное количество изделий электронной техники, изделий точной механики, электромеханики и приборостроения, собранных в

л

сложных компоновочных сборочных единицах, объединенных внутриблочным и междублочным монтажом систем и устройств отображения информации и управления и т.п., которые должны с высокой точностью, качеством и надежностью выполнять сложные функции по приему, переработке и передаче информации, подчас в условиях корректировок, координации и перемещения в пространстве. При этом, проектирование и производство РЭС проводится в условиях все более широкой микроминиатюризации решений и имеет дело с элементами микронных и субмикронных размеров. В производстве применяются новейшие, особо чистые материалы и высокие наукоемкие технологии с применением прецизионного технологического оборудования и аппаратуры [14].

Ввиду возрастающей сложности РЭС и сопутствующих процессов проектирования, производства и эксплуатации, ещё несколько десятилетий назад началось активное применение ЭВМ на различных частях жизненного цикла РЭС [15]. По мере развития РЭС, процессов и средств их производства ра базе средств вычислительной техники начали создавать информационно-компьютерные системы, значительно ускорившие и облегчившие процессы переработки информации [16].

Информационно-компьютерные системы представляют собой

л

информационные системы, состоящие из систем организации, хранения и представления информации; ввода, обновления и корректировки информации; потребления информации. Таким образом, под информационной понимается

л

автоматизированная система, предназначенная для организации,

хранения, поддержки и представления пользователям информации в соответствии с их запросами. Это информационно-поисковые (ИПС), информационно-справочные (ИСС), информационно-управляющие (ИУС) системы [16].

В зависимости от структуры и пространственно-временных свойств системы делятся на простые, сложные и большие [17].

В данной работе речь идёт именно о сложных информационных системах (СИС), т.е. системах, характеризующихся большим числом элементов и внутренних связей, их неоднородностью и разнокачественностью, структурным разнообразием, выполняющих сложную функцию или ряд функций. Компоненты сложных систем могут рассматриваться как подсистемы, каждая из которых

А

может быть детализирована еще более простыми подсистемами и т.д. до тех пор, пока не будет получен элемент.

В настоящее время СИС и РЭС - единый аппаратно-информационный комплекс, предназначенный для решения различных функциональных задач по

л

передаче, приему, обработке и использованию информации. Внедрение информационных систем, объединяющих средства радиоэлектроники, позволяет не только обеспечить автоматизированное получение достоверной и качественной информации, необходимой для оперативного контроля и управления технологическим процессом, но и'автоматизированную обработку и накопление данной информации. Основными свойствами получаемой информации являются: достоверность, оперативность, регламентированность. При этом, если достоверность информации обеспечивается автоматической регистрацией первичных данных и автоматической же их доставкой без вмешательства человека за счёт радиоэлектронных средств, то оперативность и регламентированность достигается уже средствами информационных систем. Именно информационная система позволяет сформировать единую информационную среду для анализа поступающих данных и предоставить помощь в принятии последующих решений. Вся исходная информация поступает

стандартным унифицированным образом и содержится в одном месте,

что исключает сознательное внесение искажений в отчетную Документацию. Единая информационная база позволяет организовать автоматизированные рабочие места специалистов разного профиля технологов, геологов, экономистов, снабженцев и других специалистов [18].

В результате внедрения информационных систем, в частности, достигаются

[19]:

• Обеспечение персонала не только актуальной, но и ретроспективной технологической информацией для анализа, оптимизации и планирования работ по ремонту и эксплуатации оборудования,

• Снижение производственных издержек,

• Повышение эффективности и надежности работы технологического оборудования и персонала,

л

• Приведение условий труда персонала в соответствие^ требованиям нормативных актов.

В качестве наиболее актуальных направлений использования радиоэлектронных средств в информационных системах стоит отметить информационно-управляющие системы удалённого мониторинг^ и контроля. Помимо набирающих всё большую популярность систем удалённого мониторинга показателей здоровья пациентов медицинских учреждений [20-23], можно привести примеры активного использования РЭС в сложных информационных системах удаленного мониторинга бурения для нефтегазодобывающих компаний [18], систем удаленного мониторинга энергетических объектов [24] и водогрейных котельных [19], систем удаленного мониторинга лесных пожаров [25], а также систем удаленного мониторинга строительной и добывающей техники [26].

м

Кроме уже перечисленных выше областей, в качестве актуальных направлений использования радиоэлектронных средств в информационных системах можно выделить также и информационное взаимодействие (сбор и обработка информации) в распределенных радиосистемах (сотовая связь, ГЛОН АСС, системы радиолокационного мониторинга, приф!-передача и обработка информации со спутников и др.), радиоастрономия, зондирование льдов, систем экологического мониторинга, обработка радио- и телевизионных изображений.

Необходимо отдельно отметить перспективность использования СИС, объединяющих радиоэлектронные средства, для военных целей. В качестве примера актуальности данного направления можно привести факт того, что приоритетной областью в программе Агентства защиты информационных систем Министерства обороны США (Defence Information Systems Agency) на 2014-2019 годы [27] является оптимизация и гармонизация единой информационной среды министерства обороны (DoD Joint Information Environment) с использованием различных видов радиоэлектронных средств и устройств. В качестве примера перспективности разработки и использования информационно-управляющих систем в военных целях в нашей стране можно привести активное развитие Единой системы управления войсками и оружием в тактическом звене Вооруженных Сил Российской Федерации и других воинских формирований [28].

В качестве ещё одного показателя перспективности использования радиоэлектронных средств в сложных информационных системах можно отметить наблюдаемый в последние годы на профильных выставках [29, 30] высокий интерес к носимым персональным устройствам (wearable devices) и «интернету вещей» (internet of things), обещающие значительный рост количества и видов таких устройств, а также значительный рост объёмов поступающих с них информации. Окружающие нас устройства уже сейчас генерируют значительный

л

поток информации, которую необходимо считывать, передавать, обрабатывать и упорядочивать, поэтому спрос на информационные системы, позволяющие

объединить информацию от всего многообразия используемых

радиоэлектронный средств в единое информационное пространство будет расти. Перспективность интеграции различных устройств, составляющих «интернет вещей» в единую информационную среду, также отмечена в программе Агентства защиты информационных систем Министерства обороны США на 2014-2019 годы [27].

Спектр совместного применения СИС и РЭС не ограничивается этапом

а

применения и эксплуатации РЭС, так как роль СИС и степень значимости СИС в решении задач аппаратно-информационного комплекса «РЭС + СИС» постоянно возрастает, а «участие» СИС в обеспечении функционирования РЭС - область применения СИС - расширяется: СИС сопровождают РЭС различного функционального назначения на всех этапах жизненного цикла (см; Таблицу 1):

• на этапе маркетинговых исследований - сбор и обработка данных об аналогах и прототипах по научно-технической и патентной литературе, прогнозирование и анализ конкурентоспособности предлагаемых к разработке РЭС, формулирование требований к РЭС и обеспечению их

Л

качества; *

• на этапе проектирования и разработки - автоматизированный поиск и разработка новых технических решений различными методами, включая ТРИЗ (Теория решения изобретательских задач), метод Альтшулера, метод морфологического ящика Ф. Цвикки, метод «METP», «Матрицу открытии», конструкторские САПР (Altium, p-CAD и др.);

• на этапе подготовки и организации производства РЭС - информационные системы управления CAD, САМ, IDEF0 и др.;

• на всех этапах жизненного цикла системы менеджмента качества (СМК) предприятий разработчиков и изготовителей РЭС, CALS-системы (ИПИ -информационная поддержка жизненного цикла изделий);

A 1

• на этапе контроля и испытания - ИС сбора, преобразования, анализа измерительной информации, информационной модели имитационных методов испытаний (распределенных РЭС в частности);

• на этапе анализа дефектов и механизмов отказов - сбор, преобразование, анализ измерительной информации, информационной модели механизмов отказов;

ч

• на этапе применения/эксплуатации - получение телеметрической, радиолокационной и др. информации (в частности с РЭС).

Таблица 1 - Роль СИС в аппаратно-информационном комплексе «РЭС-СИС».

Этапы жизненного цикла РЭС Обеспечивающие CïfC

Маркетинговые исследования перспектив развития ИС поиска и анализа научно-технической и патентной информации

Проектирование и разработка ИС автоматизированного поиска новых технических решений, конструкторские САПР

Подготовка и организация производства CAD, САМ, IDEF0 f» \

Все этапы жизненного цикла РЭС СМК предприятий разработчиков и изготовителей РЭС, CALS-технологии

Контроль качества и испытания Имитационные методы, информационные модели

Анализ дефектов, механизмов отказов ИС накопления данных, информационные модели механических отказов

Применение и эксплуатация Базы данных, информационныё^модели процессов функционирования РЭС в различных режимах и условиях

1.2 Требования к сложным информационным системам для

А

радиоэлектронных средств и их особенности Л

Основными требованиями, выдвигаемыми к СИС для РЭС, являются требования совместимости (интероперабельности) компонентов и подсистем для их эффективного взаимодействия в рамках СИС, а также требования к надёжности СИС. *

Стоит отметить, что задача формирования единой4 гетерогенной

среды выступает одной из фундаментальных особенностей развития современных

информационно-коммуникационных технологий. В такой среде возникает

проблема взаимодействия разнородных компонентов (систем), получившая

название «проблема интероперабельности». Первоначально термин

ч

интероперабельность был введен в техническом смысле и означал совместимость подсистем за счет использования стандартных протоколов связи. В настоящее время термин интероперабельность получил расширенное значение, и теперь можно говорить о «семантической» (смысловой) интероперабельности, которая достигается за счет использования «семантических» стандартов. -

Общепризнанно, что основным инструментом решения данной проблемы служит планомерное и последовательное использование принципов открытых систем, в основе которых лежит использование методов функциональной стандартизации и согласованных наборов информационно-коммуникационных

л

технологий (ИКТ) -стандартов - профилей [31].

При этом, если совместимость компонентов и подсистем может обеспечена за счёт средств интеграции СИС, то требования надёжности распространяются не только на СИС как таковую, но и на средства РЭС, лежащие в её основе. В

А

частности, согласно ГОСТ 34.602-89 (Техническое задание* на создание автоматизированной системы) [32] в ТЗ в разделе «Требования к системе в целом» указывают следующие требования к 'надежности системы:

• состав и количественные значения показателей надежности для системы в целом или ее подсистем; *

• перечень аварийных ситуаций, по которым должны быть регламентированы требования к надежности, и значения соответствующих показателей;

• требования к надежности технических средств и программного

А

обеспечения; *

ч

• требования к методам оценки и контроля показателей надежности на разных стадиях создания системы в соответствии с действующими нормативно-техническими документами.

В качестве примера полного списка требований к СИС для Р^С, можно привести требования, содержащиеся в РД 34.08.502-96 «Основные научно-технические требования к созданию и развитию автоматизированных систем управления районов электрических сетей (АСУ РЭС)» РАО "ЕЭС России" [33]. Из этого документа следует, что комплекс технических средств АСУ РЭС должен:

ч

• строиться на базе модулей, обеспечивающих совместимость, изменение и развитие конфигурации технических средств;

• осуществлять распределенную обработку информации на разных уровнях управления за счет организации иерархических вычислительных систем и сетей, обработку информации в различных режимах (пакетном, реального времени, диалоговом, телеобработки);

• обеспечивать эффективное использование устройств сбора и передачи информации с целью сокращения затрат и повышения оперативности обработки информации;

• обладать надежностью, достаточной для эффективного функционирования АСУ РЭС с заданным регламентом и получения требуемой достоверности результатов решения задач;

ч

• обеспечивать возможность изменения структуры и номенклатуры технических средств для поэтапного ввода в действие компонентов АСУ РЭС.

Важно отметить, что основной особенностью сложных информационных систем можно считать наличие нескольких подсистем, каждая из которых является отдельной системой, обладающей собственными [34, 35]:

• Организагцюнной структурой — организационная структура различных подсистем может очень сильно разниться, что может

Л

потребовать больших усилий по координации активностей По обеспечения качества единой системы;

• Штатным расписанием - различные подсистемы не всегда имеют идентичное штатное расписание (например, идентичные по названию подразделения могут быть наделены различными правами »^обязанностями в различных подсистемах, или, например, какие-то из подсистем могут не иметь выделенного отдела обеспечения качества), что исключает возможность применения некоторых моделей организации системы обеспечения качества в чистом виде, требуя применения более гибкой

А

структуры; Л

• Инфраструктурой - некоторые из подсистем могут использовать одни и те же ресурсы инфраструктуры для разных целей, а в некоторых случаях вообще не иметь тестовой инфраструктуры;

л

\

• Методологией разработки и э/сизненным циклом — различные методологии разработки и модели жизненного цикла подсистем подразумевают различные активности по обеспечению качества в разные периоды времени, что означает, что организация системы обеспечения качества сложной системы, должна учитывать такого рода специфику каждой;подсистемы и, при необходимости, внедрить дополнительные инструменты обеспечения качества для отдельных подсистем;

• Технологиями разработки и обеспечения качества - в зависимости от средств и методов разработки, применяемых программных, и аппаратных

я

средств, и других факторов, связанных с используемыми технологиями, может возникнуть ситуация, когда средства обеспечения качества, используемые для одной подсистемы, не применимы для другой;

А

• «Дорожной картой» - у каждой подсистемы имеется как стратегические (долгосрочные), так и тактические (краткосрочные) цели и планы, которые могут иметь лишь несколько общих этапов, что делает возможным случаи, когда несоблюдение планов разработки или тестирования отдельной подсистемы приводит к коррекции планов всей системы; ;

• Бюджетами — финансирование различных подсистем сложной информационной системы нередко производится из различных источников, что может создать определённые сложности в процессе согласования объёмов работ, требуемых от каждой из подсистем для обеспечения

ч

качества системы в целом.

1.3 Особенности обеспечения качества сложных информационных систем

Исходя из особенностей сложных информационных систем, можно выделить следующие особенности обеспечения их качества: -

1. В связи с большим количеством взаимодействующих частей и подсистем, требуется комплексная координация активностей по обеспечению качества, для обеспечения достаточности мер с одной стороны, и избежания избыточности таковых, с другой;

ч

2. Необходима точная координация используемой инфраструктуры:

о Контрольных данных, о Тестовых сред и стендов,

А

ч

о Версий программного обеспечения.

3. Необходима высокая степень координации активностей по созданию, верификации и исправлению документации для различных частей системы; документация должна соответствовать конечными требованиями к системе

в целом с учётом жизненного цикла подсистем и используемых

методологий разработки;

4. Необходима четкая координация активностей по управлению дефектами, найденными в отдельных подсистемах, но влияющих на функционирование всей системы;

5. Организационная структура процесса обеспечения качества системы в целом должна быть адаптируема к особенностям организационной структуры и штатного расписания отдельных подсистем.

А

1.4 Современное состояние методов и средств обеспечения качества сложных информационных систем для средств радиоэлектроники

На данный момент не существует единого подхода к обеспечению качества СИС для РЭС: предприятия и организации выстраивают отдельные независимые

А

системы менеджмента качества и для СИС и для РЭС, при этом, зачастую используя схожие принципы их построения.

Современные системы менеджмента качества (СМК) построены на основе стандартов ИСО серии 9000. Согласно стандарту ГОСТ ISO 9001—2011 -«Системы менеджмента качества. Требования» [36], при применении данного подхода в СМК подчеркивается важность:

• понимания и выполнения требований в схеме «поставщик-потребитель»;

• необходимости рассмотрения процессов деятельности предприятия с точки

А

зрения добавленной ценности; *

• постоянного совершенствования процессов, основанного на их объективном измерении и анализе.

Управление любым процессом СМК следует проводить на основе

л

применения цикла PDCA • (Деминга), включающего в себя следующие этапы работ:

• планирование (plan) - определение и разработка процессов для достижения целей и задач в соответствии с требованиями потребителей и политикой предприятия в области качества;

»

• осуществление (do) - внедрение и реализация процессов;

• проверка (check) - постоянный контроль и измерение процессов и продукции;

А

• действие (act) - постоянное совершенствование показателей качества продукции и процессов.

На рисунке 1 представлена модель СМК, основанная на процессном подходе.

Рисунок 1 - Модель СМК, основанная на процессном подходу.

В общем случае система обеспечения качества предназначена для решения следующих задач:

Список литературы диссертационного исследования кандидат наук Гребенюк, Виктор Михайлович, 2014 год

Список литературы

а

1. ГОСТ РВ 20.57.413-97 Комплексная система контроля качества. Изделия электронной техники, квантовой электроники и электротехнические военного назначения контроль качества готовых изделий и правила приемки.

2. ГОСТ РВ 20.57.414-97 Комплексная система контроля качества. Изделия электронной техники, квантовой электроники и электротехнические военного назначения. Методы оценки соответствия требованиям к надежности

3. ГОСТ РВ 20.57.416-98 Комплексная система контроля качества. Изделия электронной техники, квантовой электроники и электротехнические военного назначения. Методы испытаний.

4. Paulk М.С., Curtis В., Chrissis М.В., Weber С. V. Technical Report CMU/SEI-93-TR-024 ESC-TR-93-177 February 1993, Capability Maturity Model for Software, Version 1.1 [Электронный ресурс]. Режим доступа: http://www.ceng.metu.edu.tr/~gtumuklu/web/SE548/tr24.93.pdf

5. "Test Maturiry Model integration (TMMi)"/ Ed. by Erik van Veendendaal, TMMi Foundation, 2012 // [Электронный ресурс]. URL: http://www.tmmi.org/pdf/TMMi.Framework.pdf

6. Баронов В., Титовский И. Всеобщее управление качеством: зачем оно

Л

нужно? [Электронный ресурс]. Режим доступа:

http://www.cfin.ru/management/iso9000/total_quality_management.shtml

7. ГОСТ 19.001-77 Единая система программной документации. Общие положения. - М.: Стандартинформ, 2010. - 6 с.

А

Ч

8. ГОСТ 34.201-89 Информационная технология. Комплекс стандартов на автоматизированные системы. Виды, комплектность и обозначение документов при создании автоматизированных систем. - М. : ИПК Издательство Стандартов, 2002.- 11 с.

л

<i

9. ГОСТ Р ИСО 9000-2011 Системы менеджмента качества. Основные положения и словарь. - М.: Стандартинформ, 2012. - 32 с.

10. ГОСТ Р ИСО/МЭК 12207-2010. Информационная технология. Процессы жизненного цикла программных средств. - М.: Стандартинформ, 2011. -106 с.

11. Deemer Р. et al, The scrum рптег//[Электронный ресурс]. URL: http://www.brianidavidson.com/agile/docs/scrumprimerl21.pdf

А

12. Гребенюк В.М. О разработке организационной структуры системы обеспечения качества сложных информационных систем // Журнал «ОРГАНИЗАТОР ПРОИЗВОДСТВА» - "Экономика и финансы", №4 (59) 2013, с. 85-93.

13. ISO 13053-1:2011 Quantitative methods in process improvement — Six Sigma - Part 1:19. DMAIC methodology

14. Федоров В., Сергеев H., Кондрашин А. Контроль и испытания в проектировании и производстве радиоэлектронных средств / М.: Техносфера, 2005 - 502 с. ;

15. Апорович, А.Ф. Проектирование радиотехнических систем : учеб. пособие по спец. "Радиотехника" / А.Ф. Апорович-Минск : Вышэйш. шк., 1988221 с.

16.Сурмин Ю.П. Теория систем и системный анализ//Учеб. пособие. — К.: МАУП, 2003. — 368 с. [Электронный ресурс] Режим доступа: http://www.agpu.net/fakult/ipim¡f/fpiit/kafinf/rabkab/tsisa/Cypмин%20Ю.П.Teopия%2 0систем%20и%20системный%20анализ.2003.р0р

17. Родионов И. Б. Теория систем и системный анализ/Курс лекций [Электронный ресурс] Режим доступа: http://victor-safronov.narod.ru/systems-analysis/Iectures/rodionov/01 .html

18.Решетнж Е., Козлов В., Нестерова Т., Ракичинский В. Внедрение информационной системы "Удаленный мониторинг бурения" на предприятиях ОАО «ЛУКОЙЛ» // «Бурение и нефть» №11 (ноябрь) 2006 г.

а

19. Автоматизированная система удаленного мониторинг^ водогрейных котельных с использованием каналов GSM/GPRS связи // ООО «АРТ-Инжиниринг СПб» [Электронный ресурс]. URL: http://\v\v\v.artinc.ru/pdf/disp.pdf.

20. Информационная Система Удаленного Мониторинга Пациентов // ООО «МЕДСОФТ» [Электронный ресурс]. URL: http://wvvw.med-saft.ru/files/mobi-telemed-web.pdf

21. Крицкова А.Н. Особенности проектирования медицинской информационной системы удаленного мониторинга спортсменов высшей квалификации // Молодежный научно-технический вестник МГТУ им. Н.Э. Баумана 2013 .- № 10, [Электронный ресурс]. URL: http://sntbul.bmstu.ru/file/out/622359

22. Петров A.B., Большаков О.С., Лебедев A.C., Голубева Н.Е.. Метод шаблонов приложений для повышения мобильности распределенных систем сбора и ретрансляции информации с биомедицинских датчиков. // Журнал радиоэлектроники: электронный журнал. 2013. N5. URL: http://jre.cplire.rU/jre/mayl3/5/text.pdf.

23. Система удаленного мониторинга показателей здоровья // Группа

А

Компаний ХОСТ [Электронный ресурс]? URL:

http://www.medved.hostco.ru/docs/Intel+Ibm+host%202.0%20FE%20s.pdf

24. Система дистанционного мониторинга и управления генерирующими объектами // ЗАО «Институт Энергетических Систем» [Электронный ресурс]. URL: http://www.enersys.ru/solution/for-disp-centr/rem-control. ?

25. Галеев A.A., Ершов Д.В., Ефремов В.Ю., Крашенинникова Ю.С., Котельников Р.В., Лупян Е.А., Мазуров A.A., Прошин A.A., Флитман Е.В.

Система оперативного доступа удаленных пользователей к информационным ресурсам информационной системы дистанционного мониторинга лесных пожаров // Современные проблемы дистанционного

л

зондирования Земли из космоса. 2006. В.З. Т.1. С. 351-358 [Электронный ресурс]. URL: http://jr.rse.cosmos.ru/article.aspx?id=219.

26. Cat Product Link. Это нужно знать // ООО "Цеппелин Русланд" [Электронный ресурс]. URL: http://www.zeppelin.ru/upload/iblock/dOc/Product_link_new.pdf ;

27. Strategic Plan 2014 — 2019 (Version 2) // Defence Information Systems Agency, 2014. [Электронный ресурс]. URL: http://www.disa.mi1/~/media/Files/DISA/About/Strategic-Plan.pdf

28. Костяев H. И., Кучаров В. Н. Единая система управления в тактическом звене // Журнал «Армейский сборник» №3/2011 г. , с. 18-23 [Электронный ресурс]. URL: http://militera.lib.rU/periodic/0/a/armeysky-sbornik/as_201 l-03.pdf

29. Hayens С. Embedded World 2014 // Adrio Communications Ltd [Электронный ресурс]. URL: http://www.radio-electronics.com/artjicles/processing-embedded/embedded-world-2014-108

30. Stein S., Wearable tech at CES 2014: Many, many small steps // CBS Interactive Inc. [Электронный ресурс]. URL: http://www.cnet.com/news/wearable-tech-at-ces-2014-many-many-small-steps.

31. Гуляев Ю.В., Журавлев E.E., Олейников А.Я. Методология стандартизации для обеспечения интероперабельности информационных систем широкого класса. Аналитический обзор // Журнал радиоэлектроники. 3 (2012), URL:jre.cplire.ru/jre/Mar/l 2/2/text /pdf

л Ч

32. ГОСТ 34.602-89 Техническое задание на создание автоматизированной системы. - М. : Стандартинформ, 2009. - 12 с.

а

33. РД 34.08.502-96. Основные научно-технические Требования к созданию и развитию автоматизированных систем управления районов электрических сетей (АСУ РЭС).

34. Петров В. Н. Информационные системы.СПб.: Питер, 2003. 688 с: ил.

а

ч

35. Ali N., Petersen К., Mäntylä М. Testing Highly Complex System of Systems: An Industrial Case Study// [Электронный ресурс] Режим доступа: http://www.soberit.hut.fi/mmantyla/2012_Nauman_System_of_Systems_Testi ng_ESEM.pdf (дата обращения 23.09.2013).

36. ГОСТ ISO 9001-2011 Системы менеджмента качества. Требования. - М. : Стандартинформ, 2012. - 36 с.

37. ISO/IEC 90003:2004. Техника программного обеспечения. Рекомендации по применению ISO 9001:2000 к компьютерному программному обеспечению.

А

38. Федеральный Закон от 27 декабря 2002г. № 184 «6 техническом регулировании».

39. Головин С.А. Состояние и основные направления в области развития стандартов в сфере информационных технологий // Журнал «Вестник Качества», №3,2009 *

40. ГОСТ 28195-89 Оценка качества программных средств. Общие положения. - М.: ИПК Издательство Стандартов, 2001. - 30 с.

41. ГОСТ 28806-90 Качество программных средств. Термины и

А

определения. - М.: ИПК Издательство Стандартов, 2001. - 8 с. ^

42. ГОСТ Р ИСО/МЭК 9126-93 Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению. - М.: ИПК Издательство Стандартов, 2004. - 12 с.

43. ГОСТ Р ИСО 10006-2005. Системы менеджмента качества.

л

Руководство по менеджменту качества при проектировании. - М. : Стандартинформ, 2007. - 28 с.

44. ГОСТ Р ИСО/МЭК 15288-2005 Информационная технология. Системная инженерия. Процессы жизненного цикла систем. - М. : Изд-во стандартов, 2006. -57 с. %

45. ГОСТ Р ИСО 9004-2010 Менеджмент для достижения устойчивого успеха организации. Подход на основе менеджмента качества. - М. : Стандартинформ, 2011. - 47 с.

а

46. Паулк М., Куртис Б. и др. Модель зрелости процессов разработки программного обеспечения/ М.: Изд. Интерфейс-Пресс - 256 с.

47. ГОСТ Р ИСО/МЭК 15504-1-4-2009-2012 Информационная технология. Оценка процесса. Части 1-4. - М. : Стандартинформ, 2010-2014.

f> \

48. Акулова В.В. Проолемы управления качеством радиоэлектронных средств // Стандарты и качество 2008. - №9.

49. Иванников Д.А., Фомичев E.H. Основы метрологии и организации метрологического контроля / Учебное пособие. - Нижний Новгород:

л

Нижегородский государственный технический университет, 2001. 116 с.

50. Handbook of software quality assurance (3rd ed.) // Ed. by G. Gordon Schulmeyer. Artech House, 2008. 464 p.

51. Гребенюк В.M. О подходе к формированию комплекса мер и

а

активностей по обеспечению качества сложных информационных систем // Сб. трудов VIII Международной научно-практической конференции «Современные информационные технологии и ИТ-образование». М.:, 2013. с 439-447.

52. Гребенюк В.М. Комплекс показателей достаточности мер по обеспечению качества сложных информационных систем (статья) // Журнал

«Стандарты и качество» - Общество с ограниченной ответственностью

Рекламно-информационное агентство Стандарты и качество, №5 (923) 2014 - с.88. Режим доступа: http://ria-stk.ru/stq/adetail.php?ID=82735.

а

53. ISO 13053-2:2011 Quantitative methods in process improvement — Six Sigma ~ Part 2: Tools and techniques

54. Писарев B.H., Марютин В.H. Повышение качества оборонной продукции на основе совершенствования методологии ее испытаний на этапах разработки и производства// Вестник Военного Регистра. - 2001. - № 4 - С. 11-21.

55. ГОСТ Р ИСО/МЭК 26300-2010 Информационная технология. Формат Open Document для офисных приложений (OpenDocument) vl.0. - M. : Стандартинформ, 2011. - 893 с.

л

56. ГОСТ Р ИСО/МЭК 12119-2000 Информационная технология. Пакеты программ. Требования к качеству и тестирование. - М. : Стандартинформ, 2006. -19 с.

57. ГОСТ Р ИСО/МЭК 20000-1-2010 Информационная технология. Менеджмент услуг. Часть 1. Спецификация. - М. : Изд-во стандартов, 2011. - 20 с.

58. ГОСТ Р ИСО/МЭК 20000-2-2010 Информационная технология. Менеджмент услуг. Часть 2. Кодекс практической деятельности. - М. : Изд-во стандартов, 2011. - 36 с.

59. ГОСТ Р ИСО/МЭК ТО 15271-2002 Информационная технология. Руководство по применению ГОСТ Р ИСО/МЭК 12207 (Процессы жизненного цикла программных средств. - М. : Изд-во стандартов, 2002. - 45 с.

60. Пономарев C.B., Мищенко C.B., Белобрагин В .Я. и др. Управление качеством продукции. Инструменты и методы менеджмента качества: Учебное пособие // М.: РИА "Стандарты и качество", 2005. 248 с.

61. Гребенюк В.М. Расширение метода формирования комплекса испытаний сложных информационных систем // Интернет-журнал «INTERNATIONAL JOURNAL OF OPEN INFORMATION TECHNOLOGIES» [Электронный ресурс]. - Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. М.В. Ломоносова , № 9 2013 - Режим доступа: http://injoit.org/index.php/jl/article/view/49/47.

а

ч

62. Гребенюк В.М. О методах определения эффективности и достаточности мер по обеспечению качества сложных информационных систем // INTERMATIC - 2013, Материалы Международной научно-технической конференции, 2-6 декабря 2013 г., Москва, часть 6, с. 11-12.

f

63. Гребенюк В.М. Использование метрик в процессе обеспечения качества сложных информационных систем // Интернет-журнал «INTERNATIONAL JOURNAL OF OPEN INFORMATION TECHNOLOGIES» [Электронный ресурс]. -Лаборатория Открытых Информационных Технологий факультета ВМК МГУ им. • М.В. Ломоносова , № 4 2014 - Режцдо доступа: http://injoit.org/index.php/jl/article/view/94/69.

64. Гребенюк В.М. О методах планирования и оценки трудоемкости мероприятий по обеспечению качества сложных информационных систем // INTERMATIC - 2013, Материалы Международной научно-технической

л

конференции, 2-6 декабря 2013 г., Москва, часть 6, с. 13-16. %

65. Гребенюк В.М. Оценка целесообразности внедрения автоматизированного тестирования // Интернет-журнал «НАУКОВЕДЕНИЕ» [Электронный ресурс]. - Институт Государственного управления, права и инновационных технологий (ИГУ ПИТ), №1 2013 - Режим доступа: http://naukovedenie.ru/PDF/13tvn 113 .pdf.

66. Гребенюк В.М. О проблемах определения возможностей масштабирования сложных систем // Интернет-журнал «НАУКОВЕДЕНИЕ» [Электронный ресурс]. - Институт Государственного управл$ния, права и

л

И

инновационных технологий (ИГУПИТ), №3 2013 - Режим доступа:

http://naukovedenie.ru/PDF/67tvn313.pdf.

67. Гребенюк В.М., Кузнецов Н.В. Особенности тестирования надежности сложных информационных систем // Интернет-журнал «НАУКОВЕДЕНИЕ»

а

[Электронный ресурс]. - Институт Государственного управлёния, права и инновационных технологий (ИГУ ПИТ), №5 2013 - Режим доступа: http://naukovedenie.ru/PDF/31tvn513.pdf.

68. Гребенюк В.М., Кузнецов Н.В. Об упрощённом методе расчёта вероятности безотказной работы системы на основе статистики ^использования отдельных структурных элементов // Интернет-журнал «НАУКОВЕДЕНИЕ» [Электронный ресурс]. - Институт Государственного управления, права и инновационных технологий (ИГУ ПИТ), №4 2013 - Режим доступа: http://naukovedenie.ru/PDFZ81 tvn413.pdf

л

л

69. Гребенюк В.М. Об использовании контрольных данных в системе обеспечения качества сложных информационных систем // Электронное издание «ЖУРНАЛ РАДИОЭЛЕКТРОНИКИ» [Электронный ресурс] - Институт радиотехники и электроники Российской академии наук, №9 2013 - Режим

А

доступа: http://jre.cplire.rU/jre/sepl3/8/text.pdf 4

70. Гребенюк В.М. Использование UML моделей как дополнительного инструмента обеспечения качества сложных систем // РАДИОИНФОКОМ -2013, Сборник научных трудов Первой Международной научно-практической конференции «Актуальные проблемы и перспективы развития радиотехнических и инфокоммуникационных систем», 28-30 марта 2013 г., Москва, часть 1, с. 350353.

71. Change Management: Best Practices, whitepaper, Cisco Systems, 2008// [Электронный ресурс]. „ URL: http://www.cisco.com/en/US/technologies/collateral/tk869/tk769/white_paper_cl 1-458050.pdf

л

72. Липаев В.В., Сопровождение и управление конфигурацией сложных программных средств. - М.: СИНТЕГ, 2006. - 372 с.

73. Липаев В.В., Тестирование компонентов и комплексов программ. Учебник. - М.: СИНТЕГ, 2010. - 400 с.

74. Липаев В.В. Методы обеспечения качества крупномасштабных программных средств. - М.: СИНТЕГ, 2003. - 520 с.

75. Ключёв А.О., Маковецкая Н.А., Проблемы тестирования системного информационного обеспечения распределённых информационно-управляющих систем. Режим доступа: http://www.ict.edu.ru/ft/001795/vestnikl0_7.pdf

76. ISO/IEC 90003:2004. Техника программного обеспечения. Рекомендации по применению ISO 9001:2000 к компьютерному программному обеспечению.

77. Sahil В. et al, Improving quality using testing strategies, Journal of Global Research in Computer Science, Volume 2 Issue (6), 2011.

78. ГОСТ 34.603-92 Информационная технология. Виды испытаний автоматизированных систем. - М.: Стандартинформ, 2009. - 6 с. i

79. ГОСТ Р 51904 - 2002 Программное обеспечение встроенных систем. Общие требования к разработке и документированию. - М. : Стандартинформ, 2005.-67 с.

80. ГОСТ Р ИСО/МЭК 9646-1-93 Информационная технология. Взаимосвязь открытых систем. Методология и основы аттестационного тестирования. Часть 1. Общие положения. - М.: ИПК Издательство Стандартов, 1994. - 69 с.

81. Whyte G., Mulder D.L. Mitigating the Impact of Software Test Constraints on Software Testing Effectiveness//The Electronic Journal Information Systems Evaluation Volume 14 Issue 2, 2011.

82. Xie Т., Notkin D., Macro and Micro Perspectives on Strategic Software Quality Assurance in Resource Constrained Environments//Proceedings of the 4th

International Workshop on Economics- Driven Software Engineering Research (EDSER 2002), Orlando, Florida. *

83. Kan S.H., Metrics and Models in Software Quality Engineering, Second Edition. - Addison Wesle, 2002. - 560 c.

84. Certified Tester, Expert Level Syllabus, Ed. by van Veenendaal E., Bath G.,

ч

Evans I. - ISTQB, 2011 Режим доступа:

http://www.istqb.org/downloads/finish/18/12.html (дата обращения 19.03.2014)

85. Kaner С., Bond W.P., Software Engineering Metrics: What Do They Measure and How Do We Know?, 10th International Software Metrics Symposium, Metrics 2004. Режим доступа: http://testingeducation.Org/a/3 (дата обращения1119.03.2014)

86. Hoffman D. The Darker Side of Metrics // Сайт компании Software Quality Methods, LLC. Режим доступа: http://www.softwarequalitymethods.com/Papers/DarkMets%20Paper.pdf (дата обращения 19.03.2014) ;

87. Гребенюк В.М. О методах определения эффективности и достаточности мер по обеспечению качества сложных информационных систем // INTERMATIC - 2013, Материалы Международной научно-технической конференции, 2-6 декабря 2013 г., Москва, часть 6, с. 11-12.

ч

88. SWEBOK v3.0, edited by Bourque P., Fairley R.E. - IEEE, 2014 Режим доступа: www.swebok.org (дата обращения 19.03.2014).

89. Northrop L. at al, Ultra-Large-Scale Systems: The Software Challenge of the Future. - Carnegie Mellon University, 2006. - 150 c. -

90. ГОСТ P 51901.12-2007 Менеджмент риска. Метод анализа видов и последствий отказов. - М. : Стандартинформ, 2008. - 40 с.

р \

f ч

91. ГОСТ 27.310-95 Надежность в технике. Анализ видов, последствий и критичности отказов. Основные положения. — М. : Межгосударственный совет

ч

по стандартизации, метрологии и сертификации, 1995. - 12 с.

92. Схемы компонентов UML: справочные материалы // Microsoft Developer Network. Режим доступа: http://msdn.microsoft.com/ru-ru/library/dd409390(v=vs. 100).aspx (дата обращения 19.03.2014)

ч

93. Kerstner М., Software Test Effort Estimation Methods, 2011 // Личная страница автора. Режим доступа: http://www.kerstner.at/wp-content/uploads/201 l/02/Software_Test_Effort_Estimation_Methods_Kerstner_2011 .pd f

94. Black R., Test Estimation. Tools and techniques for realistic predictions of your test effort // Личная страница автора. Режим доступа: http://www.rbcs-us.com/documents/TestEstimation(article).pdf

95. Santra A., A new approach for estimation of software testing process based on software requirements // Journal of Scientific & Industrial Research, Vol. 69, October 2010, pp. 746-749. Режим доступа: http://nopr.niscair.res.in/bitstream/123456789/10297/1 /JSIR%2069( 10)%20746-749.pdf

96. Hoffman D., Cost Benefits Analysis of Test Automation // [Электронный ресурс]. i URL: http://www.softwarequalitymethods.com/papers/star99%20model%20paper.pdf

97. Kaner C., Improving the Maintainability of Automated Test Suites // http://www.kaner.com/pdfs/autosqa.pdf

98. Johnson D., Test Automation ROI // http://www.dijohn-ic.com/test_automation_roi.pdf

99. Cecchet E., Marguerite J., Zwaenepoel W., Performance and Scalability of EJB Applications //

http://media4echtargetxom/tss/static/articles/content/RiceUniversityWhitePaper/perf_sc alability_ejb.pdf

л

ч

100. Lee L.C., Nwana H.S., Ndumu D.T. and P De Wilde, The stability, scalability and performance of multi-agent systems // http://citeseerx.ist.psu.edu/vievvdoc/summary?doi=l 0.1.1.31.5975

101. Duboc L., Rosenblum D., Wicks Т., A Framework for Characterization and Analysis of Software System Scalability // [Электронный ресурс]. URL: http://rap.dsi.unifi.it/sensoria/files/DubocRW-ESEC-FSE-2007.pdf

102. Barnes B.J. et al, A Regression-Based Approach to Scalability Prediction // [Электронный ресурс]. URL: http://www.cs.arizona.edu/~dkl/research/papers/ics08.pdf *

103. Dellinger M., Lindsay A., Ravindran В., An Experimental Evaluation of the Scalability of Real-Time Scheduling Algorithms on Large-Scale Multicore Platforms // [Электронный ресурс]. URL: http://www.real-time.ece.vt.edu/acm-jea.pdf

104. Garcia D.F. at al, Experimental Evaluation of Horizontal and Vertical Scalability of Cluster-Based Application Servers for Transactional Workloads // http://www.wseas.us/e-library/conferences/2008/rhodes/aic/aic02.pdf

105. Williams L.G., Smith C.U., QSEM: Quantitative Scalability Evaluation Method // [Электронный ресурс]. URL: http://www.perfeng.com/papeis/qsem.pdf

106. Martin D.S., Hardware And Software Techniques For Scalable Thousand-Core Systems // [Электронный ресурс]. URL: http://csl.stanford.edu/~christos/publications/2012.daniel_sanchez.phd_thesis.pdf

a

107. Blake G.W., A Hardware/Software Approach for Alleviating Scalability Bottlenecks in Transactional Memory Applications // http://deepblue.lib.umich.edu/handle/2027.42/86452

108. Appavoo J., Uhlig V., Da Silva D., Scalability : The Software Problem // [Электронный ресурс]. ^ URL: http://www.multicoreinfo.com/research/papers/2007/stmcs07-scal.pdf

109. "Test Organisation Maturity Questionnaire V2.0", Gerrard Consulting, 2006// [Электронный ресурс]. URL: http://gerrardconsulting.com/tom/tom200.pdf

110. Спиряев О., Вертикальное и горизонтальное масштабирование систем // [Электронный ресурс]. URL: http://www.bytemag.ru/articles/detail.php?ID=6670

111. ЛаврищеваЕ.М. , Петрухин В.А., Методы и средства инженерии программного обеспечения // http://window.edu.ru/resource/699/41699/files/lavrishcheva_petrukhin.fldf

112. Волков В.Г., Автоматизированная система контроля и обеспечения надежности программных средств // http://www.unn.ru/pages/issues/vestnik/99999999_West_2009_5/27.pdf

113. Липаев В.В., Проектирование и производство сложных заказных программных продуктов // http://www.computer-museum.ru/books/lipaev/lip_proektirovanie_slognoe.pdf

114. Павловская О.О., Статические методы оценки надежности программного обеспечения // [Электронный ресурс]. URL: http://dspace.susu.ac.ru/bitstream/handle/0001.74/778/7.pdf?sequence=l

115. ТемичевА.А., Андреев Е.И., Кычкин А.В., Автоматический контроль надёжности системы распределённого мониторинга энергопоказателей // [Электронный ресурс]. URL: http://www.ssc.smr.ru/media/ipuss_conf/14/4_07.pdf

116. Котов С.Л., Нагрузочное тестирование как элемент формирования безопасных систем // http://www.ooogic.ru/downloads/loading%20test%20as%20an%20element.pdf

л

117. JieM., HonlinZh., WenboX., Jin L., Reliability Testing Methods for Critical Information System based on State Random // http://www.ipcsit.com/voll6/6-ICICM2011M009.pdf

118. Кпючёв A.O., Маковецкая H.A., Проблемы тестирования системного

f

информационного обеспечения распределённых информационнд-управляющих систем // http://www.ict.edu.ru/ft/001795/vestnikl0_7.pdf

119. Воск Т., Easley Т., Gibson J. Managing large distributed data sets for testing in a joint environment // EbookBrowsee.net search engine, 2010. URL: http://ebookbrowse.com/data-management-managing-large-distributed-(3ata-sets-for-testing-in-a-joint-environment-aiaa-pdf-d329701848

120. Haller K. Test Data Management in Practice // Software Quality Days 2013 Conference journal, 2013. URL: http://www.swisscom.com/content/dam/its/documents/whitepapers/wp_test-data-management_conference-journal_de.pdf

121. Hewlett Packard business white paper. How to address top problems in test data management // Hewlett-Packard Development Company, 2010. URL: http://www.hp.com/hpinfo/newsroom/press_kits/2010/HPSoftwareUniverseBarcelona2 01 OZHow_to_address_top_problems_WP.pdf

122. IBM Software Solution Brief. IBM InfoSphere Optim Test Data Management // IBM Corporation, 2012. URL:

ftp://public.dhe.ibm.com/common/ssi/ecm/en/imsl4064usen/IMS14064USEN.PDF

f \

123. Reddy A.S. Reference Data Management: The Case for a Utility Model // Cognizant, 2012. URL: http://www.cognizant.com/InsightsWhitepapers/Reference-Data-Management-The-Case-for-a-Utility-Model.pdf

124. Emanuelsson P., Nilsson U., A Comparative Study of Industrial Static

a

Analysis Tools [Электронный ресурс]. Режим доступа: 4 http://liu.diva-portal.org/smash/get/diva2:330560/FULLTEXT01 .pdf

125. NIST Planning Report May 2002, The Economic Impacts of Inadequate Infrastructure for Software Testing //[Электронный ресурс]. Режим доступа: www.nist.gov/director/planning/upload/report02-3.pdf

126. Волкова Е.Д., Страбыкин А.Д., Анализ и трансформации исполняемых UML моделей [Электронный ресурс]. Режим доступа: http://citforum.ru/SE/project/uml_ana_trans/

127. Pap Zs., Majzik I., Pataricza A., Szegi A.., Completeness and Consistency

A

Analysis of UML Statechart Specifications [Электронный ресурс]. Режим доступа: http://home.mit.bme.hu/~majzik/publicat/ddecs2001 .pdf

128. Gronback R.C., Model Validation: Applying Audits and Metrics to UML [Электронный ресурс]. Режим доступа: http://conferences.embarcadero.com/jp/article/32089 >

129. Polyspace UML Link RH //[Электронный ресурс]. Режим доступа: http://www.mathworks.com/products/polyspaceumlrh/description3.html

л