Разработка нормативно-методического и информационного обеспечения процесса сертификации программной продукции тема диссертации и автореферата по ВАК РФ 05.02.23, кандидат технических наук Поляков, Сергей Дмитриевич

• Поляков, Сергей Дмитриевич
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Поляков, Сергей Дмитриевич

Введение.

Глава 1. Обоснование разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции.

1.1. Анализ состояния подтверждения соответствия программной продукции в Российской Федерации.

1.1.1. Анализ состояния российского законодательства в области технического регулирования и подтверждения соответствия программной продукции.

1.1.2. Анализ международных и национальных стандартов в области создания и оценки качества программной продукции

1.1.3. Анализ состояния сертификации программной продукции.

1.2. Актуальность разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции.

Цель и задачи исследования.

Глава 2. Разработка методических принципов для оценки соответствия программной продукции требованиям нормативных документов.

2.1. Обоснование и методические принципы разработки модели оценки соответствия программной продукции.

2.2. Применение методов экспертной оценки к компонентам модели оценки программной продукции.

2.3. Разработка принципов тестирования программной продукции.

2.4. Разработка методических принципов оценки соответствия программной продукции.

Выводы по главе 2.

Глава 3. Разработка функциональных моделей создания типового нормативно-методического обеспечения процесса сертификации программной продукции.

3.1. Разработка модели оценки соответствия нормативному документу.

3.1.1. Анализ требований нормативного документа.

3.1.2. Разработка модели оценки соответствия нормативному документу.

3.2. Разработка модели оценки соответствия программного продукта.

3.2.1. Анализ программного продукта.

3.2.2. Разработка методики определения весовых коэффициентов компонентов оценки.

3.2.3. Определение весовых коэффициентов компонентов в модели оценки соответствия нормативному документу.

3.2.4. Разработка модели оценки программного продукта.

3.2.5. Определение весовых коэффициентов компонентов оценки соответствия непокрытых требованиями нормативного документа.

3.3. Разработка методики и протокола испытаний.

3.4. Разработка методики оценки соответствия программного продукта.

3.4.1. Разработка методики нормализации элементов оценки.

3.4.2. Разработка методики получения комплексных оценок компонентов (методика комплексирования).

3.4.3. Разработка формы документирования результатов оценки соответствия.

3.4.4. Разработка структуры отчета о результатах сертификации программного продукта.

Выводы по главе 3.

Глава 4. Разработка и апробация нормативно-методического и информационного обеспечения для сертификации программной продукции.

4.1. Разработка моделей оценки соответствия национальным стандартам

ГОСТ Р ИСО/МЭК 12119 - 2000 и ГОСТ Р ИСО 9127 - 94.

4.1.1. Анализ требований национального стандарта

ГОСТ Р ИСО/МЭК 12119-2000.

4.1.2. Разработка модели оценки соответствия национальному стандарту

ГОСТ Р ИСО МЭК 12119-2000.

4.1.3. Апробация моделей оценки соответствия ГОСТ Р ИСО/МЭК 12119 — и ГОСТ Р ИСО 9127-94.

4.2. Разработка и апробация нормативно-методического и информационного обеспечения на примере программного продукта «Система дифференцированного Интернет-обучения ГЕКАДЕМ», версия 3.0.

Выводы по главе 4.

Введение диссертации (часть автореферата) на тему «Разработка нормативно-методического и информационного обеспечения процесса сертификации программной продукции»

Актуальность темы

В соответствии с Доктриной информационной безопасности Российской Федерации одной из составляющих национальных интересов России в информационной сфере является развитие современных информационных технологий, отечественной индустрии информации, в том числе индустрии средств информатизации, телекоммуникации и связи, обеспечение потребностей внутреннего рынка ее продукцией и выход этой продукции на мировой рынок, а также обеспечение накопления, сохранности и эффективного использования отечественных информационных ресурсов. В современных условиях только на этой основе можно решать проблемы создания наукоемких технологий, технологического перевооружения промышленности, приумножения достижений отечественной науки и техники. Россия должна занять достойное место среди мировых лидеров микроэлектронной и компьютерной промышленности [38].

Доктриной информационной безопасности определены основные задачи для достижения поставленных целей, предусматривающие развитие отечественной индустрии . информационных услуг, производство в Российской Федерации конкурентоспособных" средств и систем информатизации для расширения участия России в международной кооперации производителей этих средств и систем, а также приоритетное развитие и * государственная поддержка фундаментальных и прикладных исследований и разработок в сферах информатизации, телекоммуникации и связи [38].

В соответствии с законодательством Российской Федерации [84, 85], международной и*. национальной практикой [21, 43, 46-51, 104-107, 109-111,135-139], безопасность и качество средств и систем информатизации должно обеспечиваться процессами их жизненного цикла, установленными требованиями технических регламентов, стандартов, договоров и других нормативно-технических документов.

С точки зрения продукции средства и системы информатизации попадают в область технического регулирования, определенную Федеральным законом «О техническом регулировании» [84], а также регламентируются рядом других федеральных законов и законодательных актов [59-70, 84-89].

Эффективным и действенным механизмом удостоверения качества продукции, услуг, процессов и иных объектов, является подтверждение соответствия этих объектов установленным требованиям нормативных документов.

Подтверждение соответствия требованиям международных и национальных стандартов ISO 9001 [13], ISO 90003 [149], ISO/IEC 15504 [135-139] определяет качество программной продукции со стороны системы менеджмента качества и процессов зрелости производства разработчика. Однако эти требования являются дополняющими [13] и не могут полностью обеспечить гарантию качества конечной программной продукции, подтверждение которой должно осуществляться в рамках добровольной, обязательной сертификации или декларирования соответствия.

Программная продукция является принципиально новым и наукоемким объектом, и может являться компонентом информационной или информационно-управляющей системы, обеспечивающей технологии информационной поддержки жизненного цикла изделий (ИПИ-технологии - CAD, САМ, CAI, САРР, ERP), что предполагает нетривиальное решение задачи разработки требований и методологии подтверждения соответствия такой продукции.

Органы по сертификации и испытательные лаборатории вынуждены разрабатывать собственные локализованные методики не адаптированные под весь спектр возможного применения при сертификации нормативно-технических документов с различной степенью обобщения требований (спецификации требований, технические условия для однородной продукции, национальные и международные стандарты) по отношению к специфике программной продукции. Эти методики характеризуются отсутствием или низким уровнем обобщения результатов испытаний, что при сертификации достаточно сложных программных комплексов не позволяет адекватно принимать решение о их соответствии требованиям нормативных документов.

В настоящей диссертационной работе рассматриваются программные средства и информационные продукты вычислительной техники (далее программная продукция), определенные 50 ООО классом Общероссийского классификатора продукции (ОКП) [54], и предлагается комплекс решений для поддержки процесса сертификации программной продукции. В работе не рассматривается программная продукция, подпадающая под действие обязательных требований безопасности технических регламентов, а также процессы, связанные с обязательным подтверждением соответствия этим требованиям [66, 67,72].

В Российской Федерации к настоящему времени не сформирован цивилизованный рынок услуг по подтверждению соответствия программной продукции, который ограничен уровнем качества предлагаемых разработок и услуг по независимой оценке соответствия, обусловленных недостаточным применением при разработке программной продукции международных и национальных стандартов и фактически отсутствующей базой нормативно-технического и методического обеспечения в этой области.

Достаточно слабая база научно-методических центров систем сертификации и отсутствие универсальных методических принципов и моделей оценки соответствия программных продуктов в документах международного и национального уровня не позволяет обеспечить единые подходы при формировании компонентов оценки, сертификационных испытаниях, обработке и оценке соответствия полученных результатов требованиям нормативно-технических документов. Указанные негативные моменты предопределяют низкое качество предоставляемых услуг по сертификации программной продукции, обуславливают высокие материальные и временные затраты, приводят к частичной или полной несопоставимости результатов испытаний и усложняют взаимное доверие и признание сертификатов соответствия различными органами и системами сертификации.

Рост конкуренции на рынке IT технологий предполагает сокращение жизненного цикла программной продукции при условии постоянного повышения ее качества. В сложившихся условиях, процесс сертификации, являясь компонентой этого жизненного цикла, может быть конкурентоспособной услугой лишь в случае существенного сокращения сроков полных циклов сертификации при обеспечении высокого уровня качества оценки соответствия.

Предложенное в диссертации нормативно-методическое и информационное обеспечение направлено на снижение указанных негативных аспектов и ориентировано на поддержку процесса сертификации программной продукции требованиям широкого спектра нормативно-технических документов, в том числе международных и национальных стандартов. Предложенный комплекс принципов, моделей, процессов и методик разработан для повышения качества и конкурентоспособности программной продукции и услуг по независимой оценке соответствия этой продукции на внутреннем и международном рынках, содействия приобретателям в компетентном выборе такой продукции, формирования условий для обеспечения свободного перемещения программной продукции по территории Российской Федерации, а также осуществления международного экономического, научно-технического сотрудничества и международной торговли [84], что подтверждает актуальность разработки нормативно-методического и информационного обеспечения.

Целью диссертационной работы является повышение качества оценки соответствия программной продукции на основе разработки нормативно-методического и информационного обеспечения процесса ее сертификации.

Для достижеиия поставленной цели были сформулированы следующие задачи:

- провести анализ российского законодательства, международных и национальных стандартов и состояния сертификации программной продукции в Российской Федерации;

- разработать методические принципы создания моделей оценки, тестирования и оценки соответствия программной продукции требованиям нормативных документов на основе метода анализа иерархий и комплексного метода квалиметрии;

- разработать функциональные модели создания нормативно-методического обеспечения для информационной поддержки процесса сертификации программной продукции;

- апробировать нормативно-методическое и информационное обеспечение в одной из систем сертификации Российской Федерации.

К наиболее значимым результатам диссертации, обладающим научной новизной, следует отнести:

- разработаны оригинальные методические принципы создания моделей оценки соответствия программной продукции требованиям широкого спектра нормативно-технических документов, а также принципы получения комплексных оценок компонентов с учетом комплексного метода квалиметрии;

- функциональные модели создания типового нормативно-методического обеспечения для информационной поддержки процесса сертификации программной продукции;

- комплекс методических и отчетных документов при апробации нормативно-методического и информационного обеспечения.

Практическая значимость работы состоит в следующем:

1. Разработанные методические принципы, основанные на анализе иерархической и семантической согласованности требований нормативного документа, позволяют создавать модели оценки соответствия программной продукции широкому спектру нормативно-технических документов, в том числе: международным и национальным стандартам, стандартам организаций, нормативным документам, содержащим требования систем сертификации, спецификациям требований в технических заданиях, определенные условиями договоров;

2. Предложенные функциональные модели создания типового нормативно-методического обеспечения для сертификации программной продукции, представляют собой последовательный комплекс взаимосвязанных информационных потоков и процессов разработки моделей оценки, методик и протоколов испытаний, методик оценки соответствия, а также необходимых форм регистрации результатов и отчетности при сертификации программной продукции;

3. В зависимости от степени обобщения нормативного документа по отношению к программному продукту предложены принципы адаптации модели оценки соответствия требованиям нормативного документа. Созданная модель позволяет учесть специфику конкретного программного продукта (уникальные особенности и характеристики) по отношению к общим требованиям нормативного документа.

4. Предложенные принципы оценки соответствия, основанные на методах квалиметрии, обеспечивают обработку результатов сертификационных испытаний, результатом которых является нормализованные значения элементов оценки и комплексные оценки компонентов на различных уровнях иерархии модели оценки, что позволяет определять степень соответствия программного продукта любым уровням иерархии требований нормативного документа и локализовать факторы при принятии решения о соответствии программного продукта этим требованиям.

5. Обозначены жесткий и гибкий подходы к оценке соответствии нормативным документам в зависимости от степени обобщения требований этих документов по отношению к программной продукции, что вытекает из конфигурации разработанной модели оценки соответствия. Для качественных элементов оценки предложен расчет их относительных допускаемых значений с использованием известных весовых коэффициентов.

6. Разработанные модели оценки соответствия требованиям основных международных и национальных стандартов, применяемых при сертификации программной продукции, а также практическая реализация предлагаемых решений на примере конкретного программного продукта в одной из систем добровольной сертификации Российской Федерации могут быть использованы в качестве практического > руководства при применении предлагаемого нормативно-методического обеспечения.

7. Предлагаемые в диссертационной работе функциональные модели ориентированы на информационно-методическую поддержку сертификации программной продукции требованиям, нормативных документов с целью компенсации недостаточной методической базы в международных и национальных стандартах, методической поддержки научно-методических центров систем сертификации Российской Федерации, органов по сертификации и независимых технически компетентных испытательных лабораторий программной продукции.

8. Разработанные в диссертации методические решения могут быть использованы органами по обязательной сертификации программной продукции, а также учитываться разработчиками в жизненном цикле программного обеспечения на этапах формирования требований, тестирования и квалификационных испытаний.

9. Предлагаемые методические подходы могут быть использованы при формировании структуры требований при разработке нормативно-технических и методических документов различного уровня, в том числе стандартов организаций и национальных стандартов в области оценки качества программной продукции.

10. Разработанное нормативно-методическое и информационное обеспечение при соответствующем применении и тиражировании может способствовать существенному повышению качества программной продукции, предоставляемых услуг по ее сертификации, сокращению временных и стоимостных параметров подтверждения соответствия, а также повышению взаимного доверия и признания результатов сертификационных испытаний различными системами сертификации Российской Федерации,

Апробация и внедрение результатов работы

Обоснованность научных положений, принципов и выводов определяется конкретным применением и апробацией в Системе добровольной сертификации ИНКОМТЕХСЕРТ.

Достоверность положений и выводов диссертации подтверждена положительными результатами внедрения в рамках выполнения научно-исследовательских работ и. государственных контрактов ГОУ МГТУ «Станкин», а также рядом инициативных проектов, в том числе:

Разработка нормативно-правового обеспечения для оценки качества и сертификации информационных ресурсов в системе образования» (2005г.) по ведомственной научной программе Минобрнауки «Развитие научного потенциала высшей школы»;

Разработка проектов базовых национальных стандартов в области создания и применения электронных образовательных ресурсов (ЭОР), создание методической базы для разработчиков ЭОР» (2005г.) по государственному контракту «Разработка унифицированных требований к созданию электронных образовательных ресурсов».

Разработка организационно-методического и нормативно-технического обеспечения для стандартизации и сертификации информационно-коммуникационных технологий и развития информационных систем управления образованием» (2004г.) в рамках Федеральной целевой программе «Развитие единой образовательной информационной среды (2001-2005 годы)»;

Обеспечение качества образовательных информационных ресурсов на основе разработки нормативно-технических требований к продукции и развития отраслевой системы сертификации» (2004г.) по научно-технической программе Минобразования «Развитие информационных ресурсов и технологий. Индустрия образования»;

Развитие и информационно-технологическая поддержка отраслевой системы сертификации» (2003г.) в рамках Федеральной целевой программе «Развитие единой образовательной информационной среды (2001-2005 годы)»;

Создание отраслевого ресурсного центра регистрации, стандартизации и сертификации информационных ресурсов системы образования (ОСРЦ-ИР)» (2003г.) в рамках Федеральной целевой программе «Развитие единой образовательной информационной среды (2001-2005 годы)»;

Создание информационного и организационно-методического обеспечения для развития отраслевой подсистемы сертификации в области информационных технологий» (2001-2002г.) по научно-технической программе «Научное, научно-методическое, материально-техническое и информационное обеспечение индустрии образования»;

Разработка технических условий и проведение сертификационных испытаний Системы дистанционного обучения «Прометей» (2001г.)

Разработка технических условий и проведение сертификационных испытаний программных средств «Глобальная информационно-аналитическая торговая система (ГИАТС)» (2002г.)

Разработка технических условий и проведение сертификационных испытаний программных средств «Распределенная электронная библиотека информационной образовательной среды открытого образования» (2002 г.)

Результаты диссертационной работы отражены в 10 печатных трудах и были представлены на Всероссийской конференции «Современная образовательная среда» (ВВЦ, 2001г.), Всероссийской конференции в рамках выставки-ярмарки «Современная образовательная среда» (Москва, ВВЦ, 2002 г.), Всероссийской научно-практической конференции «Человеческое измерение в информационном обществе» (Москва, ВВЦ 2003 г.), XIV конференции-выставке «Информационные технологии в образовании» (Москва, 2004г.), Всероссийская научно-практическая конференция «Образовательная среда сегодня и завтра» (Москва, ВВЦ, 2004 г.), Международная научно-практическая конференция «Проблемы и перспективы сотрудничества государств участников СНГ в формировании единого (общего) образовательного пространства» (2004 г.), II Всероссийской научно-практической конференции «Образовательная среда сегодня и завтра» (Москва, ВВЦ, 2005 г.).

Материалы диссертации были использованы в научно-практической работе «Создание и внедрение в сфере образования системы обеспечения качества и сертификации информационно-программных средств», удостоенной премии Правительства Российской Федерации в области образования за 2001 год.

Во введении приводится краткое обоснование необходимости и актуальности решаемой проблемы, цель и основные задачи исследования, определена научная новизна и практическая ценность работы.

В первой главе диссертационной работы дано подробное обоснование разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции.

Проведен анализ состояния российского законодательства в области технического регулирования и подтверждения соответствия программной продукции на основе Федерального закона «О техническом регулировании» [84], «Об информации, информационных технологиях и о защите информации» [85], «О защите прав потребителей» [87], «О государственной тайне» [86], «О размещении заказов на поставки товаров, выполнение работ и оказание услуг для государственных и муниципальных нужд» [88], «О персональных данных» [89] и ряда Постановлений Правительства РФ и Федерального агентства по техническому регулированию и метрологии в области обязательного и добровольного подтверждения соответствия продукции, услуг и систем менеджмента качества. На основе проведенного анализа установлена сфера применения предлагаемых в диссертации разработок - добровольное подтверждение соответствия программной продукции.

Проведенный анализ основных международных и национальных стандартов в области менеджмента качества [12-14, 18, 149], жизненного цикла информационных систем [20-24, 29-31, 34-37, 109-111, 130, 131, 122-127, 135-140, 142, 144, 145-149], оценки качества и документирования программного обеспечения [15-17, 19, 28, 31-33, 103, 108-111, 143] позволяет констатировать принципиальное отсутствие в документах этого уровня целостного методического обеспечения для подтверждения соответствия программной продукции.

Для детализации причин и локализации возникающих проблем подтверждения соответствия в диссертационной работе был проведен анализ процесса сертификации программной продукции в системах добровольной сертификации Российской Федерации.

Детальный анализ этого процесса позволяет говорить о его критичных компонентах, среди которых разработка методического обеспечения для сертификационных испытаний и оценки соответствия.

Несмотря на общий прядок подтверждения соответствия, в различных системах сертификации Российской Федерации отсутствуют единые методические принципы, модели и универсальные методические подходы оценки соответствия программных продуктов требованиям широкого спектра нормативно-технических документов. Фактически отсутствуют технологии обработки и обобщения результатов сертификационных испытаний.

Не предусматривается комплексная оценка соответствия высшим иерархическим уровням требований нормативных документов, необходимая для определения степени соответствия программного продукта этим уровням требований для локализации оценочных факторов при принятии решений о соответствии программного продукта установленным требованиям нормативного документа

В первой главе диссертации, на основе проведенного анализа российского законодательства, международных и национальных стандартов и добровольной сертификации в Российской Федерации обоснована необходимость и актуальность разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции.

В первой главе, также, сформулированы цель и подробно описаны задачи исследования.

Во второй главе представлены методические принципы для поддержки процесса сертификации программной продукции, разработанные на основе методов анализа иерархий и комплексного метода квалиметрии:

- принципы создания иерархической модели оценки соответствия программной продукции;

- методы экспертной оценки мнений экспертов для определения согласованных весовых коэффициентов при построении моделей оценки программной продукции;

- принципы статического и динамического тестирования применительно к сертификационным испытаниям программной продукции;

- принципы оценки соответствия программной продукции требованиям нормативных документов, включая принципы линейной нормализации значений элементов оценки и получения комплексных значений оценок компонентов.

В третьей главе, на основе разработанных принципов, предложены функциональные модели создания типового нормативно-методического обеспечения, представляющие собой последовательный комплекс взаимосвязанных информационных потоков и процессов разработки моделей оценки, методик и протоколов испытаний, методик оценки соответствия, а также необходимых форм регистрации результатов и отчетности при сертификации программной продукции.

Функциональные модели включают процессы создания:

- модели оценки соответствия нормативному документу;

- модели оценки соответствия программного продукта;

- методики и протокола испытаний;

- методики оценки соответствия программного продукта требованиям нормативного документа и формирования отчета о результатах сертификационных испытаний.

В четвертой главе, на основе предложенных методических принципов и функциональных моделей осуществлена разработка и приведены результаты апробации нормативно-методического и информационного обеспечения в Системе добровольной сертификации информационно-коммуникационных технологий в образовании (Система ИНКОМТЕХСЕРТ).

Приведены методические документы, включающие модели оценки соответствия программной продукции требованиям национальных стандартов ГОСТ Р ИСО/МЭК 121192000 и ГОСТ Р ИСО 9127-94, апробированные в рамках Научно-методического центра Системы сертификации ИНКОМТЕХСЕРТ;

Приведены ссылки на приложения к работе, содержащие нормативно-методические документы, включающие модели оценки, методику и протокол испытаний, методику оценки соответствия, апробированные на примере программного продукта «Система дифференцированного Интернет-обучения ГЕКАДЕМ», версия 3.0 в рамках его сертификации в Системе ИНКОМТЕХСЕРТ.

В заключении приведены основные выводы по результатам диссертационной работы.

На защиту выносятся:

- методические принципы создания моделей оценки соответствия программной продукции;

- функциональные модели создания типового нормативно-методического обеспечения процесса сертификации программной продукции;

- модели оценки соответствия программной продукции требованиям национальных стандартов ГОСТ Р ИСО/МЭК 12119 и ГОСТ Р ИСО 9127-94;

- результаты апробации нормативно-методического обеспечения на примере сертификации реального программного продукта в одной из систем сертификации Российской Федерации.

Заключение диссертации по теме «Стандартизация и управление качеством продукции», Поляков, Сергей Дмитриевич

Выводы по главе 4

Разработаны и апробированы методические документы, включающие модели оценки соответствия программной продукции требованиям национальных стандартов ГОСТ Р ИСО/МЭК 12119-2000 и ГОСТ Р ИСО 9127-94 в рамках Научно-методического центра Системы сертификации ИНКОМТЕХСЕРТ.

Осуществлена разработка и апробация типового нормативно-методического обеспечения процесса сертификации и принципов оценки соответствия программной продукции требованиям нормативных документов в Системе добровольной сертификации информационно-коммуникационных технологий в образовании (Система ИНКОМТЕХСЕРТ) на примере программного продукта «Система дифференцированного Интернет-обучения ГЕКАДЕМ», версия 3.0 (Система ГЕКАДЕМ).

132 —

Разработаны и апробированы методические документы при сертификации в Системе ИНКОМТЕХСЕРТ программного продукта Система ГЕКАДЕМ, включающие модели оценки этого программного продукта требованиям национальных стандартов ГОСТ Р ИСО/МЭК 12119-2000 и ГОСТ Р ИСО 9127-94, методику, протокол испытаний, а также отчет о его сертификации.

Заключение

Проведенный анализ и полученные результаты в диссертационной работе позволяют сделать следующие основные выводы:

1. Разработанное нормативно-методическое и информационное обеспечение процесса сертификации позволило повысить качество подтверждения соответствия программной продукции, благодаря более полному учету требований нормативно-технических документов и специфики сертифицируемых программных продуктов, локализации оценочных факторов при принятии решений о соответствии этих продуктов высшим иерархическим уровням требований нормативных документов и применении единых методических подходов к оценке соответствия программной продукции;

2. Проведенный анализ российского законодательства, международных и национальных стандартов и состояния сертификации в Российской Федерации позволил обосновать актуальность разработки нормативно-методического и информационного обеспечения процесса сертификации программной продукции;

3. Методические принципы построения оригинальных моделей оценки, тестирования и оценки соответствия, разработанные с учетом метода анализа иерархий и комплексного метода квалиметрии, позволили разработать функциональные модели создания типового нормативно-методического обеспечения процесса сертификации программной продукции;

4. Разработанные функциональные модели создания типовых нормативно-методических документов, представляющие собой взаимосвязанные процессы разработки моделей оценки, методик и протоколов испытаний, методик оценки соответствия, а также необходимых форм регистрации результатов и отчетности, предложены в качестве комплексной нормативно-методической и информационной поддержки научно-методических центров, органов по сертификации и технически компетентных испытательных лабораторий программной продукции систем сертификации Российской Федерации; 133 —

5. Разработанные впервые модели оценки соответствия требованиям базовых национальных стандартов, а также комплекс методических и отчетных документов, включающий адаптированные модели оценки, методику и протокол испытаний, отчет о результатах сертификации апробированы в рамках добровольного подтверждения соответствия реального программного продукта в одной из систем сертификации Российской Федерации;

6. Достоверность теоретических положений и применимость результатов диссертации были подтверждены при выполнении научно-практической работы «Создание и внедрение в сфере образования системы обеспечения качества и сертификации информационно-программных средств», удостоенной премии Правительства Российской Федерации в области образования за 2001 год.

Список литературы диссертационного исследования кандидат технических наук Поляков, Сергей Дмитриевич, 2007 год

1. Авгушевич И.В., Головин Г.С. От государственной системы нормирования к национальной системе технического регулирования. М.: НТК «Трек», 2006. -136 е., илл.

2. Азгальдов Г.Г., Райхман Э.П. О квалиметрии. М.: Изд.стандартов, 1973. - 172 с.

3. Азгальдов Г. Г. Теория и практика оценки качества товаров (основы квалиметрии). -М.: Экономика, 1982. 236 с.

4. Андрианов Ю.М., Субетто А.И. Квалиметрия в машиностроении. JI.j Машиностроение. Ленингр. Отд-ние, 1990. - 216 е., ил.

5. Анисимов В.П., Яцук А.В. Метрология стандартизация и сертификация: Учебное пособие. М.: Альфа-М: ИНФРА-М, 2006. - 252 е.: ил. (серия «Сервис»).

6. Аронов И.З., Теркель А.Л., Рыбакова A.M. Словарь-справочник по техническому регулированию. М.: РИА «Стандарты и качество». - М.: РИА «Стандарты и качество», 2006. - 288 с.

7. Афонина А.В., Курноскина О.Г., Мизюн Н.В. Комментарий к Федеральному закону «О техническом регулировании» (Постатейный) / Под ред. А.Н. Гришечкина. М.: Издательство - торговая корпорация «Дашков и К0», 2005. 252 с.

8. Бешелев С.Д., Гурвич Ф.Г. Математико-статистические методы экспертных оценок. 2-е изд., перераб. и доп. - М.: Статистика, 1980. - 263 е., ил.

9. Бузов Б. А. Управление качеством продукции. Технический регламент, стандартизация и сертификация. Изд. Academia, 2006. 176 с.

10. ГОСТ Р ИСО 9000-2001. Системы менеджмента качества. Основные положения и словарь.

11. ГОСТ Р ИСО 9001-2001. Системы менеджмента качества. Требования.

12. ГОСТ Р ИСО 9004-2001. Системы менеджмента качества. Рекомендации по улучшению деятельности.

13. ГОСТ Р ИСО/МЭК 9126-93. Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению.

14. ГОСТ Р ИСО 9127-94. Системы обработки информации. Документация пользователя и информация на упаковке для потребительских программных пакетов.

15. ГОСТ Р ИСО/МЭК ТО 9294-93. Информационная технология. Руководство по управлению документированием программного обеспечения.

16. ГОСТ Р ИСО 10006-2005. Системы менеджмента качества. Руководство по менеджменту качества при проектировании.

17. ГОСТ Р ИСО/МЭК 12119-2000. Информационная технология. Пакеты программ. Требования к качеству и тестирование.

18. ГОСТ Р ИСО/МЭК ТО 12182-2002. Информационная технология. Классификация программных средств.

19. ГОСТ Р ИСО/МЭК 12207-99. Информационная технология. Процессы жизненного цикла программных средств.

20. ГОСТ Р ИСО/МЭК 14764-2002. Информационная технология. Сопровождение программных средств.

21. ГОСТ Р ИСО/МЭК 15026-2002. Информационная технология. Уровни целостности систем и программных средств.

22. ГОСТ Р ИСО/МЭК ТО 15271-2002. Информационная технология. Руководство по применению ГОСТ Р ИСО/МЭК 12207 (Процессы жизненного цикла программных средств).

23. ГОСТ Р ИСО/МЭК 15408-1-2002. Информационная технология. Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий. Часть 1. Введение и общая модель.

24. ГОСТ Р ИСО/МЭК 15408-2-2002. Информационная технология. Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий. Часть 2. Функциональные требования безопасности.

25. ГОСТ Р ИСО/МЭК 15408-3-2002. Информационная технология. Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технологий. Часть 3. Требования доверия к безопасности.

26. ГОСТ Р ИСО/МЭК 15910-2002, Информационная технология. Процесс создания документации пользователя программного средства.

27. ГОСТ Р ИСО/МЭК ТО 16326-2002. Программная инженерия. Руководство по применению ГОСТ Р ИСО/МЭК 12207 при управлении проектом.

28. ГОСТ Р 50.1.028-2001, Информационные технологии поддержки жизненного цикла продукции. Методология функционального моделирования

29. ГОСТ Р 51904-2002. Программное обеспечение встроенных систем. Общие требования к разработке и документированию.

30. ГОСТ 28195-89. Оценка качества программных средств. Общие положения.

31. ГОСТ 28806-90, Качество программных средств. Термины и определения.

32. ГОСТ 34.201-89. Информационная технология. Комплекс стандартов на автоматизированные системы. Виды, комплектность и обозначение документов при создании автоматизированных систем.

33. ГОСТ 34.601-90. Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Стадии создания.

34. ГОСТ 34.602-89. Информационная технология. Комплекс стандартов на автоматизированные системы. Техническое задание на создание автоматизированной системы.

35. ГОСТ 34.603-92. Информационная технология. Виды испытаний автоматизированных систем.136 —

36. Доктрина информационной безопасности Российской Федерации (утв. Президентом РФ от 9 сентября 2000 г. № Пр-1895)

37. Калбертсон Роберт, Браун Крис, Кобб Гери. Быстрое тестирование.: Пер. с англ. М.: Издательский дом «Вильяме», 2002. 384 е.: ил.

38. Калянов Г.Н. Моделирование, анализ, реорганизация и автоматизация бизнес-процессов. Учеб. пособие. Издательство: Финансы и статистика, 2006. 240 с.

39. Калянов Г.Н. CASE-технологии и консалтинг в автоматизации бизнес-процессов // М: Горячая линия Телеком, 2000, - 320 с.

40. Калянов Г.Н. Теория и практика реорганизации бизнес-процессов // М: СИНТЕГ, 2000,-212 с.

41. Костогрызов А.И., Нистратов Г.А. "Стандартизация, математическое моделирование, рациональное управление и сертификация в области системной и программной инженерии: М.: Изд. «Вооружения и конверсия», 2004,395 с.

42. Круглов М.Г. Менеджмент качества, как он есть / М.Г. Круглов, Г.М. Шишков. -М.: Эксмо, 2006.-544 с.

43. Крылова Г.Д. Основы стандартизации, сертификации, метрологии: Учебник для вузов.- 3-е изд., перераб. И доп. М.: ЮНИТИ - ДАНА, 2006. - 671 с.

44. Липаев В.В. Выбор и оценивание характеристик качества программных средств. Методы и стандарты. Серия "Информационные технологии". М.:СИНТЕГ, 2001. -228 е., 20 ил.

45. Липаев В.В. Качество программных средств. Методические рекомендации. Под общей ред. проф., д.т.н. А.А. Полякова. М: Янус-К, 2002.400 е., 47 илл.

46. Липаев В.В. Методы обеспечения качества крупномасштабных программных средств М.: СИНТЕГ, 2003. 520 е., ил. (Серия "Управление качеством").

47. Липаев В.В. Системное проектирование сложных программных средств для информационных систем. Издание второе, переработанное и дополненное. Серия «Управление качеством». М.: СИНТЕГ, 2002. 268 с.

48. Липаев В.В. Тестирование программных средств. Методическое руководство.- М.: МГТУ "Станкин", 1999. 118с., 15 илл.

49. Липаев В.В. Функциональная безопасность программных средств. М.: СИНТЕГ, 2004. 348 с. (Серия "Управление качеством").

50. Метрология, стандартизация, сертификация и электроизмерительная техника: Учебное пособие / К.К. Ким, Г.Н. Анисимов, В.Ю. Барбарович, Б.А. Литвинов. -Спб.: Питер, 2006. 368 е.: ил.137 —

51. Мишин В.М. Управление качеством. Учебник для студентов вузов, обучающихся по специальности «Менеджмент организаций» (061100) / В.М. Мишин 2-е. Изд. Перераб. И доп - М.: ЮНИТИ-ДАНА, 2005. - 463 с.

52. Оценка и аттестация процессов создания и сопровождения программных средств и информационных систем (ISO/IEC TR 15504-СММ). М.: Книга и бизнес. 2001.

53. Постановление Госстандарта РФ от 10.05.2000г. № 26 «Об утверждении Правил по проведению сертификации в Российской Федерации».

54. Постановление Госстандарта РФ от 21.09.1994г. № 15 «Порядок проведения сертификации продукции в Российской Федерации» (с изменениями от 25 июля 1996 г., 11 июля 2002 г.).

55. Постановление Госстандарта России от 05.07.2002 № 56 «Правила сертификации работ и услуг в Российской Федерации»138 —

56. Постановление Госстандарта России от 29 января 2003 г. № 37 «Временный порядок сертификации систем менеджмента качества на соответствие ГОСТ Р ИС09001-2001 (ИСО 9001:2000)» (Р 50.3.005-2003).

57. Постановление Госстандарта России от 17 марта 1998 г. № 11 «Положение о Системе сертификации ГОСТ Р».

58. Постановлением Госстандарта РФ от 29 июня 1998 г. № 50 "Об утверждении нормативных документов Системы сертификации ГОСТ Р при проведении добровольной сертификации продукции (работ, услуг)"

59. Постановление Правительства РФ от 2 июня 2001 г. № 436 "О создании и введении в действие федерального каталога продукции для федеральных государственных нужд" (с изменениями от 8 августа 2003 г.).

60. Постановление Правительства Российской Федерации от 17 июня 2004 г. № 294 "О федеральном агентстве по техническому регулированию и метрологии" (с изм. и доп. от 27 октября 2004 г.).139 —

61. Правила функционирования Системы добровольной сертификации информационно-коммуникационных технологий в образовании. Регистрационные документы Системы «ИНКОМТЕХСЕРТ», Москва, 71 с.

62. Процессный подход в стандартах ИСО серии 9000 и на практике / кол. Авт. Под общей ред. Герасимовой Г.Е. М.: ООО НТК «Трек», 2005. - 168 е., ил.

63. Саати Т. Принятие решений. Метод анализа иерархий: Пер. с англ. М.: «Радио и связь», 1993. - 320 е.: ил.

64. Сергеев А.Г., Латышев М.В. Сертификация: Учебное пособие для студентов вузов. Изд. 2-е перераб. И доп. М.: Логос, 2002.264 е.: ил.

65. Сарофанова Е.В. Метрология, стандартизация и сертификация: Учеб. Пособие. -М.: Издательство РИОР, 2005. 96 с.

66. Федеральный закон от 27 декабря 2002г. № 184 «О техническом регулировании».

67. Федеральный закон РФ от 27.07.2006 г. № 149-ФЗ «Об информации, информационных технологиях и о защите информации»

68. Федеральный закон РФ от 21 июля 1993 года № 5485-1 "О Государственной тайне"

69. Федеральный закон РФ 7 февраля 1992 г. № 2300-1 «О защите прав потребителей»

70. Федеральный закон Российской Федерации от 21 июля 2005 года Ы94-Ф3 «О размещении заказов на поставки товаров, выполнение работ, оказание услуг для государственных и муниципальных нужд»

71. Федеральный закон Российской Федерации от 27 июля 2006 г. N 152-ФЗ «О персональных данных»

72. Федютн В.К. Основы квалиметрии. Управление качеством продукции. Учебное пособие. -М.: Информационно-издательский дом «Филинъ», 2004.-296 с.

73. Фомин В.Н., Чиннов И.Н. Сертификация продукции: принципы и их реализация. Изд. ЦЕМ, 2002.-416 е.: ил

74. Шадрин А.Д. Менеджмент качества. От основ к практике. М.: ООО НТК «Трек», 2006., 3-е изд. - 360 е., ил.

75. Шаффер Дональд Ф., Фастрелл Роберт Т., Шафер Линда И. Управление программными проектами: достижение оптимального качества при минимуме затрат.: Пер. с англ. М.: Издательский дом «Вильяме», 2003. - 1136 е.: ил.141 —

76. Шелобаев С.И. Экономико-математические методы и модели: Уч. Пособие для вузов. 2-е изд. И М.: ЮНИТИ-ДАНА. 2005. - 287 с.

77. Шишкин Е.В., Чхартишвили А.Г. Математические методы и модели в управлении. Уч. Пособие 3 изд. - М.: 2004. - 440 с.

78. Boehm Barry, et al. «Developing Multimedia Application with the Win Spiral Model». Proceedings? ESEC/FSE 97 and ASM Software Engineering Notes. November. NY: Association for Computing Machinery, 1997.

79. Gause Donald С end Gerald M. Weinberg. Exploring Requirements: Quality Before Design. NY: Dorset House, 1989.

80. ISO/IEC 6592:2000. Information technology Guidelines for the documentation of computer-based application systems.

81. ISO/IEC 9126-1:2001. Software engineering -- Product quality -- Part I: Quality model.

82. ISO/IEC TR 9126-2:2003. Software engineering Product quality - Part 2: External metrics.

83. ISO/IEC TR 9126-3:2003. Software engineering ~ Product quality ~ Part 3: Internal metrics.

84. ISO/IEC TR 9126-4:2004. Software engineering Product quality ~ Part 4: Quality in use metrics.

85. ISO/IEC TR 9294:2005. Information technology ~ Guidelines for the management of software documentation.

86. ISO/IEC 12207:1995. Информационные технологии. Процессы жизненного цикла программного обеспечения.

87. ISO/IEC 12207:1995/Amd. 1:2002. Information technology — Software life cycle processes. AMENDMENT 1.

88. ISO/IEC 12207:1995/Amd.2:2004. . Information technology — Software life cycle processes. AMENDMENT 1.

89. ISO/IEC 13335-1:2004. Information technology -- Security techniques -- Management of information and communications technology security -- Part 1: Concepts and models for information and communications technology security management.

90. ISO/IEC TR 13335-3:1998. Information technology -- Guidelines for the management of IT Security ~ Part 3: Techniques for the management of IT. Security.

91. ISO/IEC TR 13335-4:2000. Information technology -- Guidelines for the management of IT Security — Part 4: Selection of safeguards.

92. ISO/IEC TR 13335-5:2001. Information technology -- Guidelines for the management of IT Security — Part 5: Management guidance on network security.

93. ISO/IEC 14143-1:1998. Information technology — Software measurement — Functional size measurement Part 1: Definition of concepts.

94. ISO/IEC 14143-2:2002. Information technology ~ Software measurement Functional size measurement ~ Part 2: Conformity evaluation of software size measurement methods to ISO/IEC 14143-1:1998.

95. ISO/IEC TR 14143-3:2003. Information technology Software measurement -Functional size measurement — Part 3: Verification of functional size measurement methods.

96. ISO/IEC TR 14143-4:2002. Information technology Software measurement -Functional size measurement — Part 4: Reference model.

97. ISO/IEC TR 14143-5:2004. Information technology Software measurement -Functional size measurement — Part 5: Determination of functional domains for use with functional size measurement.

98. ISO/IEC TR 14143-6:2006. Information technology -- Software measurement -Functional size measurement — Part 6: Guide for use of ISO/IEC 14143 series and related International Standards.

99. ISO/IEC 14598-1:1999. Information technology -- Software product evaluation -- Part 1: General overview.

100. ISO/IEC 14598-2:2000. Software engineering ~ Product evaluation Part 2: Planning and management.

101. ISO/IEC 14598-3:2000. Software engineering Product evaluation - Part 3: Process for developers.143 —

102. ISO/IEC 14598-4:1999. Software engineering -- Product evaluation Part 4: Process for acquirers.

103. ISO/IEC 14598-5:1998. Information technology -- Software product evaluation Part 5: Process for evaluators.

104. ISO/IEC 14598-6:2001. Software engineering ~ Product evaluation -- Part 6: Documentation of evaluation modules.

105. ISO/IEC 14756:1999. Information technology ~ Measurement and rating of performance of computer-based software systems.

106. ISO/IEC TR 14759:1999. Software engineering Mock up and prototype - A categorization of software mock up and prototype models and their use.

107. КОЛЕС 15288:2002. Systems engineering ~ System life cycle processes.

108. КОЛЕС 15289:2006. Systems and software engineering Content of systems and software life cycle process information products (Documentation).

109. КОЛЕС 15408-1:2005. Information technology Security techniques -- Evaluation criteria for IT security — Part 1: Introduction and general model

110. КОЛЕС 15408-2:2005. Information technology Security techniques - Evaluation criteria for IT security — Part 2: Security functional requirements.

111. КОЛЕС 15408-3:2005. Information technology Security techniques ~ Evaluation criteria for IT security — Part 3: Security assurance requirements.

112. КОЛЕС 15504-1:2004. Information technology -- Process assessment Part 1: Concepts and vocabulary.

113. ISO/IEC 15504-2:2003. Information technology Process assessment -- Part 2: Performing an assessment.

114. КОЛЕС 15504-3:2004. Information technology Process assessment - Part 3: Guidance on performing an assessment.

115. КОЛЕС 15504-4:2004. Information technology -- Process assessment -- Part 4: Guidance on use for process improvement and process capability determination.

116. КОЛЕС TR 15504-5:2006. Information technology Process Assessment -- Part 5: An exemplar Process Assessment Model.

117. КОЛЕС 15846:1998. Information technology -- Software life cycle processes -Configuration Management.

118. ISO/IEC 15939:2002. Software engineering. Software measurement process.

119. КОЛЕС 16085:2004. Information technology ~ Software life cycle processes Risk management.

120. ISO/IEC 18019:2004. Software and system engineering Guidelines for the design and preparation of user documentation for application software.

121. ISO/IEC TR 19759:2005. Software Engineering -- Guide to the Software Engineering Body of Knowledge (SWEBOK).

122. ISO/IEC TR 19760:2003. Systems engineering A guide for the application of ISO/IEC 15288 (System life cycle processes).

123. ISO/IEC 25000:2005. Software Engineering Software product Quality Requirements and Evaluation (SQuaRE) — Guide to SquaRE.

124. ISO/IEC 25051:2006. Software engineering -- Software product Quality Requirements and Evaluation (SQuaRE) — Requirements for quality of Commercial Off- The-Self (COTS) software product and instructions for testing.

125. ISO/IEC 25062:2006. Software engineering Software product Quality Requirements and Evaluation (SQuaRE) — Common Industry Format (CIF) for usability test reports.

126. ISO/IEC 90003:2004. Software engineering ~ Guidelines for the application of ISO 9001:2000 to computer software.

127. ISO/IEC Guide 7:1994. Guidelines for drafting of standards suitable for use for conformity assessment.

128. ISO/IEC Guide 28:2004. Conformity assessment Guidance on a third-party certification system for products.

129. Peldschus F. (1986). Zur Anwendung der Theorie der Spiele fur Aufgaben der Bautechnologie. Dissertation В. TH Leipzig, 119 s.

130. Pressman Roger S. Software Engineering: A Practitioner's Approach, 5th ed. Boston? MAA Course Technology, 2001.

131. Weitendorf D. (1976). Beitrag zur Optimierung der raumlichen Struktur eines Gebaudes.Dissertation A, Hochschule fur Architektur und Bauwesen. Weimar.

132. Zavadskas E., Peldschus F., Kaklauskas A. (1994). Multiple Criteria Evaluation of Projects in Construction. Vilnius: Technika.145 —

133. ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ РОССИЙСКОЙ ФЕДЕРАЦИИ

134. ГОСУДАРСТВЕННОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ МОСКОВСКИЙ ГОСУДАРСТВЕННЫЙ ТЕХНОЛОГИЧЕСКИЙ УНИВЕРСИТЕТ «СТАНКИН»1. На правах рукописи1. ПОЛЯКОВ СЕРГЕЙ ДМИТРИЕВИЧ

135. РАЗРАБОТКА НОРМАТИВНО-МЕТОДИЧЕСКОГО И ИНФОРМАЦИОННОГО ОБЕСПЕЧЕНИЯ ПРОЦЕССА СЕРТИФИКАЦИИ ПРОГРАММНОЙ ПРОДУКЦИИ0502.23. Стандартизация и управление качеством продукции