Процедуры испытаний измерительного программного обеспечения тема диссертации и автореферата по ВАК РФ 05.11.13, кандидат технических наук Злыгостева, Галина Витальевна

• Злыгостева, Галина Витальевна
• кандидат технических наук
• 2012

Оглавление диссертации кандидат технических наук Злыгостева, Галина Витальевна

Введение.

Глава 1 Анализ требований к измерительному программному обеспечению

1.1 Измерительное программное обеспечение и источники ошибок.

1.2 Анализ нормативных документов, распространяющихся на программное обеспечение.

1.3 Классификация измерительного программного обеспечения и назначение уровней проверки, соответствия и защиты.

1.4 Требования, предъявляемые к программному обеспечению.

1.5 Методы испытаний измерительного программного обеспечения.

1.6 Стратегия испытаний измерительного программного обеспечения.

1.7 Выводы к главе 1.

Глава 2 Разработка типовой программы и методики испытаний измерительного программного обеспечения.

2.1 Базовая концептуальная модель процедуры испытаний измерительного программного обеспечения.

2.2 Процедуры испытаний измерительного программного обеспечения.

2.2.1 Испытания ИПО при утверждении типа средств измерений.

2.2.2 Аттестация ИПО.

2.2.3 Сертификация ИПО.

2.3 Разработка типовой программы и методики испытаний ИПО.

2.3.1 Структура программы и методики испытаний.

2.3.2 Объект испытаний.

2.3.3 Требования к ИПО.

2.3.4 Методы испытаний.

2.3.5 Порядок проведения испытаний.

2.3.6 Результаты испытаний.

2.4 Выводы к главе 2.

Глава 3 Апробация типовой программы и методики испытаний.

3.1 Особенности испытаний автономного и встроенного измерительного программного обеспечения.

3.2 Результаты испытаний измерительного программного обеспечения.

3.2.1 Аттестация ПО СИКН.

3.2.2 Сертификация ПО теплосчетчика.

3.2.3 Испытания ПО ИВК.

3.2.4 Испытания ПО АИИС КУЭ.

3.2.5 Испытания ПО АСУ ТП.

3.3 Анализ типичных ошибок при проведении испытаний ИПО.

3.4 Выводы к главе 3.:.

Глава 4 Проверка функции ИПО по уменьшению систематической погрешности результатов измерений.

4.1 Методы повышения точности измерений.

4.2 Метод уменьшения систематической погрешности результатов измерений.

4.3 Экспериментальная проверка функции ИПО по уменьшению систематической погрешности измерений.

4.4 Выводы к главе 4.

Введение диссертации (часть автореферата) на тему «Процедуры испытаний измерительного программного обеспечения»

Актуальность темы

Программное обеспечение является неотъемлемой частью современных технических средств, предназначенных для измерений, контроля и мониторинга сложных и крупных промышленных объектов, включая опасные, коммерческого учета различных ресурсов и др. Под измерительным программным обеспечением (ИПО) понимаются программы (совокупность программ) средств измерений, технических систем и устройств с измерительными функциями, реализующие сбор, передачу, обработку, хранение и представление измерительной информации, а также программные модули и компоненты, необходимые для функционирования этих программ.

Программное обеспечение средств измерений, испытаний и контроля, предоставляя возможность выполнения их основных функций, в случае невыявленных ошибок может быть причиной серьезного социального и/или экономического ущерба. Необходимость и сравнительная простота модернизации программного обеспечения, добавление новых функций и расширение измерительных задач могут приводить к изменению характеристик программ и средств измерений (СИ), снижая достоверность результатов. Кроме того, возможна фальсификация результатов измерений и несанкционированный доступ к настройкам программного обеспечения и данным. Таким образом, ИПО влияет на окончательный результат и погрешность измерений и степень этого влияния должна оцениваться. Процедура такого оценивания реализуется в форме испытаний измерительного программного обеспечения.

Проблеме испытаний ИПО в последние годы уделяется самое серьёзное внимание со стороны авторитетных международных метрологических организаций (ОШЬ, \VELMEC, СООМЕТ) и национальных метрологических институтов (ЫРЬ, РТВ, мет, ВНИИМС, ВНИИМ).

Несмотря на наличие нормативных документов по испытаниям ИПО, при разработке документации и проведении испытаний возникают проблемы, связанные с несогласованностью и несовершенством этих документов. Требуют решения задачи практического применения существующих рекомендаций, уточнения процедур испытаний на законодательном уровне, разработки конкретных методик испытаний измерительного программного обеспечения, используемых в различных областях промышленности, и т.д.

Проблема выбора требований и методов испытаний ИПО определяется многообразием технических средств. В результате испытаний должно быть установлено, что измерительное программное обеспечение соответствует требованиям нормативных документов и обладает заявленными характеристиками. Для установления такого соответствия необходимо выбрать процедуру испытаний, определить требования и методы испытаний, разработать программу и методику испытаний, согласующуюся с нормативными документами и учитывающую современные требования, предъявляемые к ИПО.

Целью диссертационной работы является совершенствование методологических основ и разработка практических рекомендаций для проведения испытаний измерительного программного обеспечения различного назначения и областей применения, соответствующих современным требованиям к метрологическому обеспечению средств измерений, испытаний и контроля.

Поставленная цель определила следующие основные задачи исследования:

1 Формирование стратегии испытаний измерительного программного обеспечения на основе анализа нормативной документации и рекомендаций международных организаций по метрологии.

2 Построение базовой модели процедуры испытаний измерительного программного обеспечения для систематизации процедур испытаний.

3 Разработка типовой программы и методики испытаний измерительного программного обеспечения и ее практическая апробация.

4 Разработка и экспериментальные исследования метода проверки функции НПО по уменьшению систематической погрешности результатов измерений аппаратно-программных комплексов.

Методы исследований

При решении поставленных задач в работе использованы: методы теории вероятности и математической статистики, методы стандартизации, теоретической и прикладной метрологии. Методы исследований основываются на концепциях процессного подхода и модели взаимодействия открытых систем. Обработка результатов измерений и вычислений выполнена с использованием стандартных программных пакетов MatchCAD и Microsoft Excel. Испытания ИПО и экспериментальные исследования проводились в производственных и лабораторных условиях.

Достоверность полученных результатов обеспечивается проведением испытаний ИПО и экспериментальных исследований с применением лицензионного ПО и средств измерений утвержденного типа, прошедших поверку.

Научная новизна:

1 На основании анализа нормативных документов и экспериментальных исследований предложена базовая концептуальная модель процедуры испытаний, отвечающая современным требованиям к измерительному программному обеспечению.

2 Разработана типовая программа и методика испытаний измерительного программного обеспечения, включающая основные элементы базовой концептуальной модели и позволяющая значительно сократить время разработки документации на программное обеспечение конкретных средств измерений.

3 Предложен и экспериментально исследован метод проверки функции ИПО, реализующей уменьшение систематической погрешности измерительных каналов аппаратно-программных комплексов, основанный на обратном преобразовании и выполнении мультипликативных операций над исходными результатами измерений.

Практическая ценность полученных в работе результатов заключается в том, что разработанные базовая концептуальная модель, типовая программа и методика испытаний ИПО успешно апробированы в ФБУ «Томский ЦСМ» при испытаниях встроенного и автономного измерительного программного обеспечения в целях аттестации, сертификации и утверждения типа более 30 средств измерений.

Результаты работы могут найти применение при разработке и испытаниях ИПО измерительных систем на базе интеллектуальных датчиков, контроллеров и других средств со встроенным и автономным ИПО. Такие системы функционируют на производствах с непрерывным технологическим циклом в нефтегазовом комплексе, химии, металлургии, электро- и атомной энергетике, на транспорте. Они могут входить в состав более сложных структур: информационно-измерительных систем, автоматизированных систем управления, контроля, диспетчерского управления, систем коммерческого учета электрической и тепловой энергии, систем диагностики, Б С АХ) А и других систем.

Реализация результатов работы

Типовая программа и методика испытаний (ПМИ) применяется в ФБУ «Томский ЦСМ» в качестве внутреннего документа системы менеджмента качества - инструкции И 04-10-2010 «Типовая программа и методика испытаний программного обеспечения средств измерений». Результаты диссертационной работы использованы при разработке документации и проведении испытаний ИПО средств измерений и измерительных систем, разработанных предприятиями Томской и Кемеровской областей, Алтайского края: ООО НПП «Томская электронная компания», ЗАО «ЭлеСи», ЗАО «НПФ «МИКРАН», ОАО «Алтай-Кокс», ОАО «РУСАЛ Новокузнецк», ОАО «ЕВРАЗ Объединенный ЗападноСибирский металлургический комбинат», ООО «НЛП «Томьаналит», ООО «Конто-Сервис», ООО ТНПВО «СИАМ» и др.

Положения, выносимые на защиту

Предложенная на основании анализа международных и отечественных нормативных документов базовая концептуальная модель процедуры испытаний включает в себя все необходимые и достаточные элементы для проведения испытаний ИПО: объект испытаний, требования, методы и нормативные документы, ПМИ, испытатель и результат испытаний.

Разработанная типовая программа и методика испытаний позволяет значительно сократить время на разработку документов, проведение испытаний, является инструментом повышения качества проводимых в области испытаний ИПО работ. Типовая ПМИ может использоваться как разработчиками ИПО, так и испытателями при проведении испытаний встроенного и автономного измерительного программного обеспечения вне зависимости от выбранного типа процедуры.

Предложенный метод проверки функции ИПО, реализующей уменьшение систематической погрешности измерительных каналов аппаратно-программных комплексов, основанный на обратном преобразовании и выполнении мультипликативных операций над исходными результатами измерений, позволяет повысить достоверность функциональных проверок измерительного программного обеспечения.

Апробация результатов

Основные результаты работы докладывались и обсуждались на следующих конференциях:

- III Международная научно-техническая конференция «Метрологическое обеспечение измерительных систем», г. Пенза, 2006 г.;

- XXIV Международная научно-практическая конференция по метрологии, г. Санкт-Петербург, 2006 г.;

- XIII и XVI Международная научно-практическая конференция студентов, аспирантов и молодых ученых «Современные техника и технологии», г. Томск, 2007 и 2010 гг.;

- XI Всероссийская научно-техническая конференция «Метрологическое обеспечение учета энергетических ресурсов», г. Анапа, 2009 г.;

- I Научно-практическая конференция «Информационно-измерительная техника и технологии», посвященная 50-летию кафедры «Информационно-измерительная техника» Национального исследовательского Томского политехнического университета, г. Томск, 2010 г.

Публикации

По теме диссертации опубликовано 11 печатных работ: четыре статьи в ведущих рецензируемых научных журналах и изданиях, рекомендуемых ВАК, в том числе одна статья в зарубежном издании (импакт-фактор 0,764), включенном в систему цитирования Science Citation Index Expanded (база по естественным наукам); семь статей в сборниках трудов международных и российских конференций.

Диссертационная работа состоит из четырех глав

В первой главе выполнен анализ международных и отечественных документов, распространяющихся на программное обеспечение, обсуждаются классификация и назначение уровней проверки и защиты, приведен обзор методов испытаний и требований к ИПО. Анализ рассмотренных документов показал, что в настоящее время нет единого подхода к проведению испытаний ИПО, установлению требований и выбору методов испытаний. Требуют решения задачи практического применения существующих рекомендаций, законодательного уточнения процедур испытаний, разработки методик испытаний ИПО, используемого в различных видах средств измерений.

Анализ нормативных документов, существующих классификаций ИПО, требований и методов испытаний позволили предложить стратегию испытаний ИПО. Предложенная стратегия испытаний может использоваться для всех типов процедуры испытаний ИПО: аттестации, сертификации и испытаний ИПО при утверждении типа средств измерений.

Во второй главе на основании анализа нормативных документов предложена базовая концептуальная модель процедуры испытаний измерительного программного обеспечения, отвечающая современным требованиям. Базовая модель в отличие от действующих нормативных и рекомендательных документов охватывает необходимый и достаточный набор элементов процесса испытаний ИПО. На основе концептуальной модели во второй главе систематизированы и описаны основные особенности процедур испытаний ИПО. В соответствии с базовой моделью и стратегией испытаний разработана типовая программа и методика испытаний измерительного программного обеспечения, применимая для всех типов процедур.

В третьей главе приведены результаты апробации типовой программы и методики испытаний программного обеспечения средств измерений и измерительных систем для всех типов процедур. Для каждого вида ИПО дано краткое описание объекта испытаний, основных элементов базовой концептуальной модели, особенности проведения испытаний и характеристики, зафиксированные в свидетельствах и сертификате. По результатам проведенных испытаний в главе приведена классификация типичных ошибок (проблем), возникающих при проведении испытаний ИПО.

В четвертой главе приведён обзор методов повышения точности измерений, реализуемых на различных этапах проведения измерений. В главе предложен и экспериментально исследован метод проверки функции ИПО по уменьшению систематической погрешности измерительных каналов аппаратно-программных комплексов, основанный на обратном преобразовании и выполнении мультипликативных операций над исходными результатами измерений.

Заключение диссертации по теме «Приборы и методы контроля природной среды, веществ, материалов и изделий», Злыгостева, Галина Витальевна

4.4 Выводы к главе 4

1 Выполнен анализ методов повышения точности измерений при доминировании систематических составляющих погрешностей. Выявлено, что наиболее удобным методом повышения точности для реализации (автоматизации) в ИПО АПК являются методы, основанные на обратном преобразовании, которые позволяют в режиме проведения реальных измерений вводить поправочный множитель и получать скорректированный результат с улучшенными характеристиками точности.

2 Предложен и экспериментально исследован метод проверки функции ИПО, реализующей уменьшение систематической погрешности измерительных каналов аппаратно-программных комплексов, основанный на обратном преобразовании и выполнении мультипликативных операций над исходными результатами измерений. По результатам проверки метода на примере косвенных однократных измерений активного электрического сопротивления установлено уменьшение погрешности скорректированного результата измерений сопротивления более, чем на два порядка.

Заключение

На основании анализа нормативных документов предложена базовая концептуальная модель процедуры испытаний, отвечающая современным требованиям к измерительному программному обеспечению.

Разработана типовая программа и методика испытаний измерительного программного обеспечения, включающая основные элементы концептуальной модели процедуры испытаний и позволяющая значительно сократить время разработки программы и методики испытаний программного обеспечения конкретных средств измерений.

Предложен и экспериментально исследован метод проверки функции ИПО, реализующей уменьшение систематической погрешности измерительных каналов аппаратно-программных комплексов, основанный на обратном преобразовании и выполнении мультипликативных операций над исходными результатами измерений.

Разработанная типовая программа и методика испытаний принята к применению в ФБУ «Томский ЦСМ» в виде внутреннего документа -инструкции И 04-10-2010 «Типовая программа и методика испытаний программного обеспечения средств измерений».

Результаты диссертационной работы были использованы с 2009 г. при проведении испытаний автономного и встроенного измерительного программного обеспечения более 30 средств измерений и измерительных систем, в том числе систем измерений количества и показателей качества нефти и комплексов измерительно-вычислительных МикроТЭК-09 (ОООНПП «ТЭК»); теплосчетчиков ТСШ-1М-02 (ООО «Конто-Сервис»); систем автоматизированных информационно-измерительных коммерческого учета электрической энергии; измерительных систем в составе АСУ ТП и др.

Материалы испытаний ИПО прошли экспертизу в компетентных организациях Росстандарта и подтверждены свидетельствами об аттестации, сертификатом соответствия и свидетельством об утверждении типа СИ.

Список литературы диссертационного исследования кандидат технических наук Злыгостева, Галина Витальевна, 2012 год

1. Кудеяров Ю.А. Аттестация программного обеспечения средств измерений. М.: AHO «РСК-Консалтинг», 2006. - 97 с.

2. Муравьев C.B., Токарев C.B. Новый стиль в измерительном программировании // Приборы и системы управления. 1997. - № 10. -С. 40^7.

3. ГОСТ Р 8.654-2009 ГСИ. Требования к программному обеспечению средств измерений. Основные положения. М.: «Стандартинформ», 2009.- 16 с.

4. ГОСТ 28806-90 Качество программных средств. Термины и определения. М.: Издательство стандартов, 1990. - 87 с.

5. ГОСТ Р ИСО 9127-94 Системы обработки информации. Документация пользователя и информация на упаковке для потребительских программных пакетов. М.: Издательство стандартов, 1995. - 11 с.

6. IEEE 610.12-1990 IEEE Standard Glossary of Software Engineering Terminology. 1990. URL: http://www.idi.ntnu.no/grupper/su/publ/ese/ieee-se-glossary-610.12-1990.pdf (дата обращения 11.09.2012).

7. Кудеяров Ю.А., Лукашов Ю.Е., Сатановский A.A. Требования к программному обеспечению средств измерений на основе зарубежных и отечественных стандартов и рекомендаций // Законодательная и прикладная метрология. 2003. - № 5. - С. 32—41.

8. Magana J.F. IT issues in legal metrology// OIML BULLETIN. 2008. -v. XLIX. - № 2. - P. 28-29.

9. Кудеяров Ю.А., Лукашов Ю.Е., Сатановский A.A. Метрологическая аттестация программного обеспечения средств измерений (Состояние и перспективы) // Законодательная и прикладная метрология. 2003. -№4.-С. 39^14.

10. Командорский А.Г. Защита средств измерений от несанкционированного доступа// Мир измерений. 2008. - № 4. - С. 10-11.

11. Кудеяров Ю.А., Стефанов О.В., Паньков А.Н. Аттестация программного обеспечения средств измерений//Компетентность. -2009. -№3. С. 22-28.

12. Федеральный закон № 102-ФЗ от 26 июня 2008 г. «Об обеспечении единства измерений» // Собрание законодательства Российской Федерации. 2008. - 18 с.

13. ГОСТРИСО/МЭК 12207-2010 Информационная технология. Системная и программная инженерия. Процессы жизненного цикла программных средств. М.: «Стандартинформ», 2011. - 106 с.

14. ГОСТРИСО/МЭК ТО 15271-2002 Информационная технология. Руководство по применению ГОСТ Р ИСО/МЭК 12207 (Процессы жизненного цикла программных средств). М.: Издательство стандартов, 2002. - 45 с.

15. Кудеяров Ю.А. Метрологическая экспертиза программного обеспечения средств измерений. М.: AHO «РСК-Консалтинг», 2008. - 97 с.

16. СлаевВ.А., Чуновкина А.Г. Аттестация программного обеспечения, используемого в метрологии: Справочная книга. СПб.: НПО «Проффесионал», 2009. - 320 с.

17. Directive 2004/22/EC of the European Parliament and of the Council of 31 March 2004 on measuring instruments. 2004. URL: http://www.lne.eu/publicationsen/directives/04-22e.pdf (дата обращения 11.09.2012).

18. Злыгостева Г.В., Чухланцева М.М. Аттестация программного обеспечения средств измерений // Сборник трудов XXIV Международной научно-практической конференции по метрологии. Санкт-Петербург, 21-22 ноября 2006. - СПб: Борей-Арт, 2006. - С. 40-45.

19. Величко О.Н. Нормативная база аттестации программного обеспечения средств измерений // Измерительная техника. 2007. - № 4. - С. 12-17.

20. Золотаревский С.Ю. Опыт NIST по изучению измерительных потребностей современных инновационных технологий// Законодательная и прикладная метрология. 2007. - № 6. - С. 5-7.

21. Злыгостева Г.В., Чухланцева М.М. Современные подходы к аттестации программного обеспечения средств измерений // Измерительная техника. -2007.-№5.-С. 65-68.

22. ГОСТ Р 8.596-2002 ГСИ. Метрологическое обеспечение измерительных систем. Общие положения. М.: «Стандартинформ», 2008. - 15 с.

23. ГОСТ Р 8.674-2009 ГСИ. Общие требования к средствам измерений и техническим системам и устройствам с измерительными функциями. -М.: «Стандартинформ», 2011. 16 с.

24. МИ 2955-2010 ГСИ. Типовая методика аттестации программного обеспечения средств измерений. М.: AHO «РСК-Консалтинг», 2010. - 22 с.

25. МИ 3286-2010 ГСИ. Рекомендация. Поверка защиты программного обеспечения и определения ее уровня при испытаниях средств измерений в целях утверждения типа. М.: АНО «РСК-Консалтинг», 2010.-30 с.

26. Р 50.2.077-2011 ГСИ. Испытания средств измерений в целях утверждения типа. Проверка обеспечения защиты программного обеспечения. М.: «Стандартинформ», 2011. - 14 с.

27. МИ 2174-91 ГСИ. Аттестация алгоритмов и программ обработки данных при измерениях. Основные положения. М.: Издательство стандартов, 1993.-27 с.

28. МИ 3290-2010 ГСИ. Рекомендация по подготовке, оформлению и рассмотрению материалов испытаний средств измерений в целях утверждения типа. М.: АНО «РСК-Консалтинг», 2010. - 29 с.

29. OIMLD31, Edition 2008 (Е). General requirements for software controlled measuring instruments. 2008. URL: http://www.0iml.0rg/publicati0ns/D/ /D031-e08.pdf (дата обращения 19.08.2011).

30. COOMETR/LM/10:2004 Рекомендации KOOMET. Программное обеспечение средств измерений. Общие технические требования. 2004. URL: http://www.coomet.org/RU/doc/rl02004.pdf (дата обращения 11.09.2012).

31. WELMEC 7.1, Issue 2. Software Requirements on the Basis of the Measuring Instruments Directive. 2005. URL: http://www.welmec.org/fileadmin/user files/publications/7-l.pdf (датаобращения 19.08.2011).

32. WELMEC 7.2, Issue 5. Software Guide (Measuring Instruments Directive 2004/22/EC). 2011. URL: http://www.welmecwg7.ptb.de/Guides/WELMEC Guide72Issue5201 lMay.pdf (дата обращения 11.09.2012).

33. WELMEC 2.3, Issue 3. Guide for Examining Software (Non-automatic Weighing Instruments). 2005. URL: http://www.welmec.org/fileadmin/user files/publications/2-3.pdf (дата обращения 19.08.2011).

34. ГОСТ Р 8.642-2008 ГСИ. Метрологическое обеспечение измерительных систем узлов учета тепловой энергии. М.: «Стандартинформ», 2008. - 11 с.

35. ГОСТ Р 8.595-2004 ГСИ. Масса нефти и нефтепродуктов. Общие требования к методикам выполнения измерений. М.: «Стандартинформ», 2006. - 20 с.

36. ГОСТ Р 8.733-2011 ГСИ. Системы измерений количества и параметров свободного нефтяного газа. Общие метрологические и технические требования. М.: «Стандартинформ», 2011. - 32 с.

37. МИ 2676-2001 Рекомендация. ГСИ. Методика метрологической аттестации алгоритмов и программ обработки данных результатов измерений при определении объема и массы нефти и нефтепродуктов. Общие положения. Казань, 2001. - 12 с.

38. РМГ 100-2010 ГСИ. Рекомендации по определению массы нефти при учетных операциях с применением систем измерений количества и показателей качества нефти. М.: «Стандартинформ», 2012. - 50 с.

39. РМГ 101-2010 ГСИ. Системы измерений количества и показателей качества нефти. Метрологические и технические требования к проектированию. М.: «Стандартинформ», 2012. - 28 с.

40. Рекомендации по определению массы нефти при учетных операциях с применением систем измерений количества и показателей качества нефти (утверждены приказом Минпромэнерго России от 31 марта 2005 г. №69).-2005.-68 с.

41. ГОСТ Р 51188-98 Защита информации. Испытания программных средств на наличие компьютерных вирусов. Типовое руководство. М.: Издательство стандартов, 1998. - 9 с.

42. ГОСТ Р 51189-98 Средства программные систем вооружения. Порядок разработки. -М.: «Стандартинформ», 2010. 16 с.

43. ГОСТ Р 51904-2002 Программное обеспечение встроенных систем. Общие требования к разработке и документированию. М.: «Стандартинформ», 2005. - 67 с.

44. ГОСТ Р ИСО/МЭК 8631-94 Информационная технология. Программные конструктивы и условные обозначения для их представления. М.: Издательство стандартов, 1995. - 15 с.

45. ГОСТ Р ИСО/МЭК 14764-2002 Информационная технология. Сопровождение программных средств. М.: Издательство стандартов, 2002.-32 с.

46. ГОСТ Р ИСО/МЭК 15026-2002 Информационная технология. Уровни целостности систем и программных средств. М.: Издательство стандартов, 2002. - 15 с.

47. ГОСТ Р ИСО/МЭК 15910-2002 Информационная технология. Процесс создания документации пользователя программного средства. М.: Издательство стандартов, 2002. - 49 с.

48. ГОСТ Р ИСО/МЭК ТО 9294-93 Информационная технология. Руководство по управлению документированием программного обеспечения. М.: «Стандартинформ», 2008. - 11 с.

49. ГОСТ Р ИСО/МЭК ТО 16326-2002 Программная инженерия. Руководство по применению ГОСТ Р ИСО/МЭК 12207 при управлении проектом. М.: Издательство стандартов, 2002. - 40 с.

50. ГОСТ Р 34.10-2001 Информационная технология. Криптографическая защита информации. Процессы формирования и проверки электронной цифровой подписи. -М.: Издательство стандартов, 2001. 16 с.

51. ГОСТ Р 34.11-94 Информационная технология. Криптографическая защита информации. Функция хэширования. М.: Издательство стандартов, 1994. - 16 с.

52. ГОСТ 28195-89 Оценка качества программных средств. Общие положения. М.: Издательство стандартов, 2001. - 31 с.

53. МИ 2517-99 ГСИ. Метрологическая аттестация программного обеспечения средств измерений параметров физических объектов и полей с использованием компьютерных программ генерации цифровых тестовых сигналов. М.: ФГУП «ВНИИФТРИ», 1999. - 7 с.

54. МИ 2518-99 ГСИ. Метрологическая аттестация алгоритмов и программ генерации цифровых тестовых сигналов. М.: Издательство стандартов, 1999.-8 с.

55. ГОСТ РИСО/МЭК 12119-2000 Информационная технология. Пакеты программ. Требования к качеству и тестирование. М.: «Стандартинформ», 2006. - 19 с.

56. ГОСТ 19.101-77 ЕСПД. Виды программ и программных документов. -М.: «Стандартинформ», 2010. 4 с.

57. ГОСТ 19.102-77 ЕСПД. Стадии разработки. М.: «Стандартинформ», 2010.-4 с.

58. ГОСТ 19.103-77 ЕСПД. Обозначение программ и программных документов. М.: «Стандартинформ», 2010. - 4 с.

59. ГОСТ 19.105-78 ЕСПД. Общие требования к программным документам. М.: «Стандартинформ», 2010. - 4 с.

60. ГОСТ 19.201-78 ЕСПД. Техническое задание. Требования к содержанию и оформлению. М.: «Стандартинформ», 2010. - 4 с.

61. ГОСТ 19.202-78 ЕСПД. Спецификация. Требования к содержанию и оформлению. М.: «Стандартинформ», 2010. - 4 с.

62. ГОСТ 19.301-79 ЕСПД. Программа и методика испытаний. Требования к содержанию и оформлению. -М.: «Стандартинформ», 2010. 3 с.

63. ГОСТ 19.401-78 ЕСПД. Текст программы. Требования к содержанию и оформлению. М.: «Стандартинформ», 2010. - 2 с.

64. ГОСТ 19.402-78 ЕСПД. Описание программы. М.: «Стандартинформ», 2010.-4 с.

65. ГОСТ 19.404-79 ЕСПД. Пояснительная записка. Требования к содержанию и оформлению. -М.: «Стандартинформ», 2010. 3 с.

66. ГОСТ 19.501-78 ЕСПД. Формуляр. Требования к содержанию и оформлению. М.: «Стандартинформ», 2010. - 5 с.

67. ГОСТ 19.502-78 ЕСПД. Описание применения. Требования к содержанию и оформлению. М.: «Стандартинформ», 2010. - 2 с.

68. ГОСТ 19.503-79 ЕСПД. Руководство системного программиста. Требования к содержанию и оформлению. М.: «Стандартинформ», 2010. - 4 с.

69. ГОСТ 19.504-79 ЕСПД. Руководство программиста. Требования к содержанию и оформлению. М.: «Стандартинформ», 2010. - 2 с.

70. ГОСТ 19.505-79 ЕСПД. Руководство оператора. Требования к содержанию и оформлению. М.: «Стандартинформ», 2010. - 2 с.

71. ГОСТ 19.506-79 ЕСПД. Описание языка. Требования к содержанию и оформлению. М.: «Стандартинформ», 2010. - 3 с.

72. ГОСТ 19.701-90 ЕСПД. Схемы алгоритмов, программ, данных и систем. Условные обозначения и правила выполнения. М.: «Стандартинформ», 2010.-24 с.

73. Лукашов Ю.Е., Сатановский А.А. Классификация программного обеспечения средств измерений // Законодательная и прикладнаяометрология. -2007. №4. - С. 39^5.

74. ГОСТ РИСО/МЭК ТО 12182-2002 Классификация программных средств. М.: Издательство стандартов, 2002. - 16 с.

75. Software Requirements and Validation Guide. European Growth Network «MID-Software». 2004. URL: http://www.lne.fr/fr/metrologie/metrologie legale/documents/MIDSW1.00.pdf (дата обращения 19.08.2011).

76. Guidance for the Management of Computers and Software in Laboratories with Reference to ISO/IEC 17025/2005. Eurolab Technical Report No 2/2006. URL: http://www.a21a.org/guidance/EUROLABSoftwareGuidance.pdf (дата обращения 11.09.2012).

77. Кудеяров Ю.А., Паньков А.Н. Структура и особенности Руководства WELMEC 7.2 // Измерительная техника. 2008. - № 5. - С. 69-77.

78. ЗлыгостеваГ.В. Требования к программному обеспечению средств измерений и измерительных систем // Журнал интеллектуальных технологий Itech. 2009. - № 14. - С. 50-55.

79. Methods for Validation and Testing of Software. MID-Software Work Package 2. European Growth Network «MID-Software». 2004. URL: http://www.welmecwg7.ptb.de/Guides/MID-SW-Report-Validation Testing.pdf (дата обращения 19.08.2011).

80. Cook H.R., Cox M.G., Dainton M.P., Harris P.M. A Methodology for Testing Spreadsheets and Other Packages Used in Metrology. NPL Report CISE 25/99. 1999. URL: http://publications.npl.co.uk/nplweb/pdf/cise25.pdf (дата обращения 11.09.2012).

81. Макгрегор Д., Сайке Д. Тестирование объектно-ориентированного программного обеспечения: Практическое пособие. М.: ООО «ТИД «ДС», 2002. -432 с.

82. Величко О.Н. Основные критерии, этапы и особенности контроля программного обеспечения средств измерений //Измерительная техника. -2009.-№6.-С. 11-15.

83. Злыгостева Г.В., Муравьев C.B. Обобщенная модель процедуры испытаний измерительного программного обеспечения // Известия Томского политехнического университета. Томск: Изд. ТПУ. - 2011. -Т. 318, №4.-С. 62-67.

84. Лахонин А.Н. Анализ программного обеспечения измерительных систем при испытаниях для целей утверждения типа// Главный метролог. -2007.-№4.-С. 17-18.

85. Васильев Д.Р. Проверка программного обеспечения средств измерений при испытаниях в целях утверждения типа (в порядке дискуссии) // Законодательная и прикладная метрология. 2011. - № 2. - С. 24-36.

86. Акимов A.A., Кудеяров Ю.А., Паньков А.Н. Ещё раз о проверке программного обеспечения средств измерений при испытаниях в целях утверждения типа // Законодательная и прикладная метрология. 2011. -№2.-С. 38-42.

87. ПР 50.2.104-09 ГСИ. Порядок проведения испытаний стандартных образцов или средств измерений в целях утверждения типа. М.: «Стандартинформ», 2010. - 12 с.

88. ПР 50.2.106-09 ГСИ. Порядок выдачи свидетельств об утверждении типа стандартных образцов или средств измерений. М.: «Стандартинформ», 2010. - 9 с.

89. Поляков С.Д. Методические принципы разработки моделей оценки соответствия для сертификации программной продукции // Методы оценки соответствия. 2008. - № 5. - С. 33-37.

90. Система добровольной сертификации программного обеспечения и аппаратно-программных комплексов. Правила функционирования. 2012. URL: http://www.gametest.ru/doc/sw/sds.pdf (дата обращения 11.09.2012).

91. Реестр программных продуктов в СДС ПО СИ и АПК. 2012. URL: http://gametest.ru/reestr.pdf (дата обращения 19.09.2012).

92. Данилов A.A. Метрологическое обеспечение измерительных систем: Учебное пособие.- СПб: ПЭИПК, 2011. с. 65.

93. Кондрашкова Г.А., Бондаренкова И.В., Черникова A.B. Метрологическое обеспечение систем контроля и управления: Учебное пособие. СПб: ГТУРП, 2011.-с 132.

94. Яковлев Ю.Н. Нормативная база метрологического обслуживания измерительных систем // Главный метролог. 2008. - № 6. - С. 40^8., -2009.-№ 1.-С. 28-37.

95. Левин С.Ф. Статистические методы и метрологическая аттестация программного обеспечения измерительных систем // Измерительная техника.-2008,-№ 11.-С. 14-18.

96. Данилов A.A. Метрологическое обеспечение измерительных систем // Главный метролог. 2004. -№ 1,3,5. - 2005. - № 5.

97. Данилов A.A. Методы решения проблем метрологического обеспечения измерительных систем // Измерительная техника. 2006. - № 4 - С. 59 -62.

98. Данилов A.A. Способы регламентации характеристик погрешности сложных измерительных каналов измерительных систем // Измерительная техника. 2008. - № 5 - С. 58-61.

99. Дудыкин A.A., Кудеяров Ю.А., ПаньковА.Н. Проблемы аттестации встроенного программного обеспечения средств измерений // Законодательная и прикладная метрология. 2007. - № 1. - С. 22-26.

100. Триль Ф, Гротткер У, Рихтер Д. Актуальные проблемы законодательной метрологии в области встроенного программного обеспечения средств измерений // Законодательная и прикладная метрология. 2011. - № 3. -С. 13-22.

101. Акимов A.A., Кудеяров Ю.А., ПаньковА.Н., Раевский И.А., Стефанов А.Ю., Стефанов Ю.В., М.В. Козлов. Стенд для тестирования (испытаний) программного обеспечения средств измерений // Измерительная техника. -2008.-№6.-С. 25-27.

102. Каргапольцев В.П., Лупей А.Г. О некоторых методах «экономии» при ведении коммерческого учета воды и тепла// Главный метролог. 2004. -№ 1. - С. 16-20.

103. Актуальность и основные проблемы достоверного учета энергоресурсов // Мир стандартов. 2007. - № 4. - С. 13-18.

104. Беляев Б.М., Кононогов С.А. Состояние метрологического обеспечения учета энергоресурсов// Мир стандартов. 2007. - № 3. - С. 15-21.

105. Чухланцева М.М., Злыгостева Г.В., Артюхина JI.B. Аттестация программного обеспечения систем учета нефти // Законодательная и прикладная метрология. 2009. - № 4. - С. 22-24.

106. Самков В.М., Кузнецов В.В., Кононогов С.А. Стандартизация и метрология в топливно-энергетическом комплексе России // Мир стандартов. 2007. - № 4 - С. 4-6.

107. Захаров В.А., Полякова Е.С. Автоматизированный учет электрической и тепловой энергии. Проблемы метрологического обеспечения измерительных систем // Главный метролог. 2009. - № 4. - С. 45-48.

108. Ерохин И.В. Вопросы эксплуатации систем коммерческого учета электрической энергии//Измерительная техника. 2004. - №10. -С. 69-72.

109. Аппаратно-программные средства комплексных систем измерения. Официальный сайт фирмы-разработчика ООО НПП «ТЭК» (г. Томск). 2012. URL: http://www.npptec.ru/209-35-armoperatorassistemoy.html (дата обращения 19.09.2012).

110. Официальный сайт фирмы-разработчика ООО НПП «ТЭК» (г.Томск). 2012. URL: http://www.npptec.ru (дата обращения 19.09.2012).

111. МИ 1974-2004 ГСИ. Преобразователи расхода турбинные. Методика поверки. М.: Изд-во стандартов, 2004. - 19 с.

112. ПР 50.2.019-2006 ГСИ. Методика выполнения измерений при помощи турбинных, ротационных и вихревых счетчиков. М.: «Стандартинформ», 2007. - 52 с.

113. ГОСТ 8.207-76 ГСИ. Прямые измерения с многократными наблюдениями. Методы обработки результатов наблюдений. Основные положения. М.: Изд-во стандартов, 1986. - 12 с.

114. Описание типа теплосчетчиков для открытых и закрытых водяных систем теплоснабжения ТСШ-1М-02. Официальный сайт фирмы-разработчика ООО «Конто-Сервис» (г.Томск). 2012. URL: http ://get-doc.com/grsi/155xx/l 5559-08.pdf (дата обращения 19.09.2012).

115. ГОСТ Р 51649-2000 Теплосчетчики для водяных систем теплоснабжения. Общие технические условия. М.: Изд-во стандартов, 2000. - 45 с.

116. МИ 2573-2000 Теплосчетчики для водяных систем теплоснабжения. Методика поверки. Общие положения. СПб.: ГУЛ «ВНИИМ им. Д.И. Менделеева», 2000. - 30 с.

117. МИ 2412-97 ГСИ. Водяные системы теплоснабжения. Уравнения измерений тепловой энергии и количества теплоносителя. М.: ГУЦ ЦПП, 2000. - 8 с.

118. Официальный сайт фирмы-разработчика ООО «Конто-Сервис» (г.Томск). 2012. URL: http://conto.tomsk.ru/main.html (дата обращения 19.09.2012).

119. ГСССД 187-99 Вода. Удельный объём и энтальпия при температурах 0. 1000 °С и давлениях 0,001. 1000 МПа.-М.: Изд-во стандартов, 1999. 41 с.

120. Примеры применения ИВК МикроТЭК. ИВК МикроТЭК-09. Официальный сайт фирмы-разработчика ООО НИИ «ТЭК» (г. Томск). 2012. URL: http://www.npptec.ru/2-l-produktsijaireshenija.html (дата обращения 19.09.2012).

121. Описание типа ИВК МикроТЭК-09. ФГУП «ВНИИМС» (г. Москва). 2012. URL: http://www.vniims.ru (дата обращения 19.09.2012).

122. Комплект документов на ПК «Энергосфера» (версия 6.4). Официальный сайт фирмы-разработчика ООО «Прософт-Системы» (г. Екатеринбург). 2012. URL: http://www.prosoftsystems.ru (дата обращения 19.09.2012).

123. РД 34.11.114-98 Автоматизированные системы контроля и учета электроэнергии и мощности. Основные нормируемые метрологические характеристики. Общие требования. М.: АО ВНИИЭ, 1998. - 11 с.

124. ГОСТ 34.003-90 Информационная технология. Комплекс стандартов на автоматизированные системы. Автоматизированные системы. Термины и определения. М.: «Стандартинформ», 2005 - 23 с.

125. ГОСТ 34.201-89 Информационная технология. Комплекс стандартов на автоматизированные системы. Виды, комплектность и обозначение документов при создании автоматизированных систем. М.: Изд-во стандартов, 2002. - 11 с.

126. РМГ 64-2003 ГСИ. Обеспечение эффективности измерений при управлении технологическими процессами. Методы и способы повышения точности измерений. М.: Изд-во стандартов, 2004. - 20 с.

127. Полякова О.В. Методы и способы повышения точности измерений // Главный метролог. 2011. - № 2,3,4.

128. Бромберг Э.М., Куликовский К.JI. Тестовые методы повышения точности измерений. М.: «Энергия», 1978. - 176 с.

129. Малышев В.М., Механников А.И. Гибкие системы в метрологии. М.: Изд-во стандартов, 1988. - 176 с.

130. Алиев Т.М., Тер-Хачатуров A.A., Шекиханов A.M. Итерационные методы повышения точности измерений. М: Энергоатомиздат, 1986. - 168 с.

131. Piotrowski J. Theory of physical and technical measurement. Amsterdam: Elsevier, 1992.-305 p.

132. Quaresma, H.J.Q., Silva, A., Serra, A.C. Improving dynamic resistance and differential capacitance measurement of active devices// In Proceedings of the ХУПIMEKO World Congress. Dubrovnik, Croatia, 2003. - V. 1. - P. 959-962.

133. Nadi, M., Margo, C., Kouider, M., Prado, J., Kourtiche D. Embedded system design and implementation of standard auto-calibrated measurement chain // International Journal on Smart Sensing and Intelligent Systems. 2008. -№ 1(1).-P. 21-33.

134. Taymanov, R., Sapozhnikova, K., Druzhinin I. Sensor Devices with Metrological Self-Check // Sensors & Transducers Journal. 2011. - V. 10(2). - P. 30-45.

135. МИ 2083-90 Измерения косвенные. Определение результатов измерений и оценивание их погрешностей. М.: Изд-во стандартов, 1991. - 11 с.

136. Р 50.2.038-2004 ГСИ. Измерения прямые однократные. Оценивание погрешности и неопределенности результата измерений. М.: Изд-во стандартов, 2004. - 11 с.

137. МИ 1317-2004 ГСИ. Результаты и характеристики погрешности измерений. Формы представления. М.: Изд-во стандартов, 2004. - 53 с.

138. Borikov V.N., Zlygosteva G.V., Muravyov S.V. Multiplicative method for reduction of bias in indirect digital measurement result// Metrology and Measurement Systems. 2011. - V. 18. - №. 3. - P. 481-490.

139. Muravyov S.V. Model of procedure for measurement result correction // In Proceedings of the XVI IMEKO World Congress. Vienna, Austria, 2000. -V. 5.-P. 135-139.