Разработка научно-методических основ метрологической аттестации программного обеспечения средств измерений тема диссертации и автореферата по ВАК РФ 05.11.15, кандидат технических наук Сатановский, Андрей Аркадьевич

• Сатановский, Андрей Аркадьевич
• кандидат технических наук
• 2007

Оглавление диссертации кандидат технических наук Сатановский, Андрей Аркадьевич

ВВЕДЕНИЕ

ГЛАВА 1. ПРОГРАММНОЕ ОБЕСПЕЧЕНИЕ СРЕДСТВ ИЗМЕРЕНИЙ И ЕГО 6 ОСОБЕННОСТИ. СОСТОЯНИЕ ПРОБЛЕМЫ.

1.1 Программное обеспечение средств измерений. Анализ особенностей.

1.2 Исследование основных источников ошибок программного обеспечения 9 средств измерений и риски, связанные с его использованием.

1.2.1 Ошибки, связанные с погрешностью, вносимой программным обеспечени- 9 ем при обработке данных

1.2.2 Ошибки, связанные с искажением ПО и данных. Риски, связанные с ис- 15 пользование программного обеспечения.

1.3 Исследование особенностей разработки программного обеспечения метроло- 16 гического назначения

1.4 Анализ состояния вопроса в области регламентации требований и методоло- 18 гии аттестации программного обеспечения средств измерений.

1.4.1 Международные и отечественные нормативные документы.

1.4.2 Национальные рекомендательные документы

1.4.3 Стандарты ИСО в области качества ПО

1.4.4 Руководства и рекомендации международных и региональных метрологи- 21 ческих организаций

Выводы по главе

ГЛАВА 2. РАЗРАБОТКА КЛАССИФИКАЦИИ ПРОГРАММНОГО ОБЕСПЕ- 25 ЧЕПИЯ СРЕДСТВ ИЗМЕРЕНИЙ

2.1 Анализ существующих подходов к классификации программного обеспече- 26 ния средств измерений

2.2 Разработка классификации программного обеспечения средств измерений

2.3 Разработка рекомендаций по применению разработанной классификации 33 программного обеспечения средств измерений при назначении уровней требований к нему

Выводы по главе

ГЛАВА 3. РАЗРАБОТКА ТРЕБОВАНИЙ К ПРОГРАММНОМУ ОБЕСПЕЧЕ- 38 НИЮ СРЕДСТВ ИЗМЕРЕНИЙ

3.1 Установление критериев требований к программному обеспечению

3.2 Разработка общих требований к программного обеспечения средств измере

Выводы по главе

ГЛАВА 4. ИССЛЕДОВАНИЕ И РАЗРАБОТКА МЕТОДИКИ МЕТРОЛОГИЧЕ- 48 СКОЙ АТТЕСТАЦИИ ПРОГРАММНОГО ОБЕСПЕЧЕНИЯ СРЕДСТВ ИЗМЕРЕНИЙ.

4.1 Метрологическая аттестация программного обеспечения. Общая методоло- 49 гия аттестации.

4.2. Исследование методов тестирования программного обеспечения средств 53 измерений

4.2.1 Общие методы тестирования ПО СИ (функциональное тестирование)

4.2.2 Исследование методов оценки погрешности, вносимой программным 57 обеспечением при обработке данных

4.2.3 Методы защиты программного обеспечения gg

4.3 Разработка методики метрологической аттестации программного обеспече- 73 ния средств измерений и порядка ее проведения

4.3.1 Разработка порядка проведения метрологической аттестации ПО СИ

4.3.2 Разработка методики метрологической аттестации ПО СИ

Выводы по главе

ГЛАВА 5. ПРАКТИКА МЕТРОЛОГИЧЕСКОЙ АТТЕСТАЦИИ ПРОГРАММ- 87 НОГО ОБЕСПЕЧЕНИЯ СРЕДСТВ ИЗМЕРЕНИЙ

5.1 Эталонные данные. Источники и методы получения.

5.1.1.1 Библиотека эталонных данных и алгоритмов НФЛ

5.1.1.2 Библиотека эталонных данных НИСТ

5.2 Генерация эталонных наборов данных методом нуль-пространства

5.2.1 Разработка программной реализации алгоритмов генерации эталонных на- 96 боров данных.

5.3 Практика проведения работ по метрологической аттестации программного 106 обеспечения средств измерений

Выводы по главе

Введение диссертации (часть автореферата) на тему «Разработка научно-методических основ метрологической аттестации программного обеспечения средств измерений»

В большинстве современных средств измерений (СИ) применяется соответствующее программное обеспечение (ПО). При этом под ПО СИ понимается компьютерная программа или совокупность программ, реализующие алгоритмы сбора, передачи, • обработки, хранения и представления измерительной информации, а также программные документы, необходимые для применения этих программ. Для решения указанных задач ПО может применяться как совместно с СИ, так и автономно.

Использование ПО при измерениях или при обработке их результатов, обеспечивает функции управления и обработки данных в удобной и эффективной форме. Более того, многие СИ не могут функционировать без наличия соответствующего ПО. Это привело к тому, что объемы и масштабы использования ПО для самых разнообразных функций, а также для автоматизированной обработки измерительной информации в последнее время стремительно возрастали и продолжают возрастать. Вместе с тем, предоставляя большие возможности и преимущества, использование ПО может привести к появлению ошибок, погрешностей, связанных с самим ПО.

Как известно, СИ, с целью обеспечения единства измерений в стране проходят метрологический контроль на соответствие определенным требованиям либо в виде испытаний для утверждения их типа и поверки, если они используются в сфере действия государственного метрологического контроля и надзора, либо в виде калибровки, если они в этой сфере не используются. ПО, входящее в их состав, не аттестуется отдельно, а проходит аттестацию в составе СИ, т.е. в процессе аттестации не учитываются характеристики надежности и погрешности самого ПО. Кроме того, ПО не входящее ^ в состав СИ, а используемое автономно для обработки измерительных данных, в большинстве случаев не аттестуется вообще.

Учитывая все возрастающую надежность механических, электрических и электронных компонентов средств измерений (СИ) можно сделать вывод, что качество измерений все в большей степени определяется правильной работой программного обеспечения (ПО).

Например, в случаях когда на вход СИ поступают данные, подчиняющиеся случайному процессу распределения и определяемые некоторым интегральным значением (автокорреляционная функция, спектральная плотность и другие статистические характеристики), результат измерений существенно может зависеть от времени наблюдения или частоты и стабильности интервала дискретизации и т.д. При поверке, как правило, осуществляется подача на вход постоянного сигнала и при этом невозможно оценить работу СИ при условии, что сигнал постоянным не будет. Во многих случаях технически сложно проимитировать сигнал близкий к реальному на входе или невозможно вообще, а в то время как программным образом сделать это возможно и, таким образом, провести испытания ПО СИ в реальных условиях функционирования.

В качестве другого примера можно привести открытые системы теплоснабжения. ^ При установке теплосчетчика в открытую систему он содержит два или более расходомера, которые оценивают количество поступающего на объект и возвращающегося от объекта тепла и не менее 2 датчиков температуры и тепловычислитель, производящий расчет потребляемого тепла. Поверка при этом осуществляется поэлементно - отдельно датчики, расходомеры и т.д. После поверки и установки системы на объекте допускается возможность корректировки некоторых констант, используемых при оценке количества теплоты, после чего нет оснований доверять показаниям прибора. Поставщики подобных СИ часто модифицируют ПО не подвергая его дополнительным исследованиям и не внося изменений в описание типа.

Таким образом, необходимо проводить проверку ПО в первую очередь для определения погрешности, вносимой ПО в результаты измерений при обработке измерительных данных, защищенности информации от искажений, неавторизованного доступа и другие виды проверок.

Испытания СИ, содержащих ПО, проводимые только для определения метрологических характеристик СИ без учета влияния на них и общую надежность системы ПО, во многих случаях недостаточны. При этом получение достоверных результатов измерений предъявляет ряд требований к ПО СИ. Из этого следует, что ПО, входящее в состав СИ, должно проходить аттестацию. При этом под аттестацией понимается исследование (тестирование) ПО СИ с целыо определения и/или оценки его характеристик и установления их соответствия предъявляемым к ним требованиям с последующей регистрацией полученных результатов исследования в свидетельстве об аттестации (с указанием использованных методов исследования).

Исследование состояния проблемы показали, что на международном уровне разработаны руководства и рекомендации (некоторые пока только в виде проектов), регламентирующие общие вопросы требований и тестирования ПО метрологического назначения. Анализ состояния данной проблемы в нашей стране показывает, что в настоящее время практически отсутствует нормативно-методическая база для проведения испытаний ПО, входящих в состав СИ (или как минимум она недостаточна, для практического применения), а практика проведения таких работ носит несистемный характер, и характеристики ПО и его влияние на общую функциональность СИ, как правило, отдельно не оценивается и не документируется.

В связи с этим, разработка нормативно-методических основ проведения работ по метрологической аттестации ПО СИ является необходимой и актуальной. При этом основными компонентами указанных основ являются требования к ПО СИ и методика его аттестации на соответствие этим требованиям, что и будет являться основной задачей, решаемой в диссертации.

Заключение диссертации по теме «Метрология и метрологическое обеспечение», Сатановский, Андрей Аркадьевич

Выводы по главе 5

В главе рассмотрены некоторые библиотеки эталонных данных и алгоритмов, поддерживаемые крупными зарубежными метрологическими институтами, такими как NPL и NIST. Программным образом реализованы алгоритмы генерации эталонных данных вычисления функций линейной и квадратичной регрессии, средне-квадратического отклонения (СКО), среднего арифметического.

Результаты всей диссертационной работы были успешно применены при аттестации различных видов, с точки зрения разработанной классификации, ПО СИ.

Таким образом, в результате проведения работ по тестированию указанных в главе программных продуктов подтвердили практическую достоверность разработанной классификации, требований, а также методики аттестации и программных реализаций алгоритмов генерации эталонных данных.

ЗАКЛЮЧЕНИЕ

В итоге проведенной работы получены следующие результаты:

1. Исследованы особенности ПО СИ, исследованы и классифицированы источники ошибок, влияющих на результаты измерений, связанных с применением ПО СИ. В результате исследования получена система метрологических показателей ПО СИ.

2. Разработана классификация ПО СИ, применяемая при установлении требований к различным видам ПО СИ.

3. Разработана система требований к ПО СИ по каждому из выделенных его показателей. Разработан подход к установлению требований к различным видам ПО СИ

4. Исследованы математические методы, используемые при оценке погрешности, вносимой ПО в результаты измерений и программно реализован ряд алгоритмов генерации наборов эталонных данных, применяемых для при указанной оценке погрешности.

5. Разработанные основы системы метрологической аттестации ПО СИ реализованы в виде рекомендаций МИ 2891-04 "Общие требования к программному обеспечению средств измерений" и МИ 2955-2005 "Типовая методика аттестации программного обеспечения средств измерений и порядок ее проведения".

6. Разработанные требования и методы аттестации ПО СИ внедрены в практику путем проведения испытаний ряда программных продуктов.

Список литературы диссертационного исследования кандидат технических наук Сатановский, Андрей Аркадьевич, 2007 год

1. ГОСТ 28806-90. Качество программных средств. Термины и определения.

2. ИСО/МЭК 2382-1:1993 "Информационные технологии. Словарь. Часть 1. Основные термины"

3. ГОСТ Р ИСО 9127-94. Системы обработки информации. Документация пользователя и информация на упаковке для потребительских программных пакетов.

4. ГОСТ Р ИСО 9126-94. Информационная технология. Оценка программной продукции. Характеристики качества и руководства по их применению.

5. ГОСТ Р ИСО/МЭК 17025-2000. Общие требования к компетентности испытательных и калибровочных лабораторий.

6. ГОСТ Р 8.596-2002 ГСИ. Метрологическое обеспечение измерительных систем. Основные положения

7. Software Error Analysis, Wendy W. Peng, Dolores R. Wallace, NIST Special Publication 500-209, March 1993

8. B. D. McCullough. Assessing the Reliability of Statistical Software: Part I, The American Statistician, November 1998, Vol. 52, No. 4

9. B. D. McCullough. Assessing the Reliability of Statistical Software: Part II, The American Statistician, May 1999, Vol. 53, No. 2

10. M.G. Cox, P.M. Harris. Numerical analysis for algorithm design in metrology, Software Support for Metrology Best Practice Guide No. 11, April 2004, NPL

11. Nicholas J. Higham. Notes on Accuracy and Stability of Algorithms in Numerical Linear Algebra, Manchester Centre for Computational Mathematics Numerical Analysis Reports, Numerical Analysis Report No. 333, 1998

12. A Framework for the Development and Assurance of High Integrity Software, Dolores R. Wallace, Laura M. Ippolito, NIST Special Publication 500-223, December 1994

13. Ronald F. Boisvert, ed., The Quality of Numerical Software, Assessment and Enhancement, Chapman & Hall, London, 1997,

14. B.B. Липаев. Технологические процессы и стандарты обеспечения функциональной безопасности в жизненном цикле программных средств, Информационный бюллетень Jet Info, № 3,2004

15. ГОСТ Р ИСО/МЭК 12207-99 Информационная технология. Процессы жизненного цикла программных средств.

16. ИСО/МЭК 15504-2004 "Информационная технология. Оценивание процесса программного обеспечения"

17. SWEBOK. Guide to the software engineering body of knowledge, IEEE, 2001

18. В. Липаев. Стандарты, регламентирующие жизненный цикл сложных программных комплексов, "Планета КИС", 1998

19. U. Grottker, R. Schwartz. Software in Legal Metrology. OIML Bulletin, vol. XLIV, Number 2, April 2003

20. D. Brinkley. Guidance on Developing Software for Metrology, Software Support for Metrology Best Practice Guide No. 3, Logica(UK), 2001

21. T. Clement, L. Emmet, P. Froome, S. Guerra, Software Support for Metrology Best Practice Guide No. 12, Guide for Test and Measurement Software, NPL, 2002

22. Директива Европейского Союза 2004/22/EC по измерительным приборам (MID).

23. РТВ-А 50.7 Anforderungen an elektronische und softwaregesteuerte Messgerate und Zusatzeinrichtungen fur Elektrizitat, Gas, Wasser und Warme, PTB, April 2002

24. PTB-A 50.7-1 Software-Anforderungen an Messgerate und Zusatzeinrichtungen gemab. Gerateklasse 1: Einfaches Great, PTB, April 2002

25. РТВ-А 50.7-2. Software-Anforderungen an Messgerate und Zusatzeinrichtungen gemab. Gerateklasse 2: Gerat mit Datenubertragung uber Kommunikationsnetzwerke, PTB, April 2002

26. PTB-A 50.7-3. Software-Anforderungen an Messgerate und Zusatzeinrichtungen gemab. Gerateklasse 3: Gerat mit Software- frennung, PTB, April 2002

27. Reference Information for the Soft ire Verification and Validation Process, NIST Special Publication 500-234, Dolores 1 A'allace, Laura M. Ippolito, Barbara Cuthill, March 29,1996

28. General Principles of Software Validation; Final Guidance for Industry and FDA Staff, CDRH, 2002

29. МИ 2174-91 ГСИ. Аттестация алгоритмов и программ обработки данных при измерениях. Основные положения.

30. МИ 2517-99. Рекомендация. ГСИ. Метрологическая аттестация программного обеспечения средств измерений параметров физических объектов и полей с использованием компьютерных программ генерации цифровых тестовых сигналов.

31. МИ 2518-99. Рекомендация. ГСИ. Метрологическая аттестация алгоритмов и программ генерации цифровых тестовых сигналов.

32. Документ OIML D-SW. Общие требования к программному обеспечению измерительных приборов (проект).

33. Рекомендация OIML R76. Неавтоматические взвешивающие приборы.

34. WELMEC 7.1. Software Requirements on the Basis of the Measuring Instruments Directive, October 1999

35. WELMEC 7.2 Software Guide, May 2005.

36. Рекомендация KOOMET R/LM/10:2004 Программное обеспечение средств измерений. Общие технические требования.

37. ГОСТ Р ИСО/МЭК 12182-2002. Информационная технология. Классификация программных средств.

38. Карл. И. Вигерс Разработка требований к программному обеспечению, "Русская редакция", 2004

39. Dieter Richter. MID-Software. The methodology of defining software requirements and validation recommendations, September 2004

40. ГОСТ P ИСО/МЭК 12119-2000. Информационная технология. Пакеты программ. Требования к качеству и тестирование.

41. ГОСТ Р 51904-2002. Программное обеспечение встроенных систем. Общие требования к разработке и документированию.

42. МИ 2891-2004 "Общие требования к программному обеспечению средств измерений"

43. Луиза Тамре. Введение в тестирование программного обеспечения, Издательский дом "Вильяме", 2003

44. С. Канер, Д. Фолк, Е. Нгуен. Тестирование программного обеспечения, Москва, Диасофт, 2001

45. Г. Майерс «Искусство тестирования программ», М. Финансы и статистика, 1982

46. В.В. Липаев «Тестирование программ», М. Радио и связь, 1986

47. В. Wichmann. Measurement System Validation: Validation of Measurement Software, Software Support for Metrology Best Practice Guide No. 1, April, 2001

48. Robin Barker and Graeme Parkin, Techniques for Validation of Measurement Software -without specialized tools, NPL Report CMSC 43/04, March 2004

49. Jan Jacobson, Bengt Johansson. MID-Software. Methods for Validation and Testing of Software, September 2004

50. Б. Бейзер Тестирование черного ящика. Технологии функционального тестирования программного обеспечения и системы. Изд-во Питер, 2004г.

51. F. Chaitin-Chatelin, Е. Traviesas. Precise and the reliability of Numerical Software, CER-FACS Technical Report TR/PA/02/57,2000

52. M.G. Cox, P.M. Harris, E.G. Johnson, Testing the numerical correctness of software, NPL t Report CMSC 34/04, January 2004

53. H.R. Cook, M.G. Cox, M.P. Dainton, P.M. Harris. A methodology for testing spreadsheets and other packages used in metrology. Report to National Measurements System Policy Unit, Department of trade and industry. September 1999

54. H.R. Cook, M.G. Cox, M.P. Dainton, P.M. Harris. Testing Speadsheets and Other Packages Used in Metrology. A Case Study. Report to National Measurements System Policy Unit. September 1999

55. R.M. Barker, M.G. Cox, P.M.Harris, I.M. Smith. Testing Algorithms in Standards and METROS, NPL Report CMSC 18/03, March 2003

56. Daniel W. Lozier, Software Needs in Special Functions, Computing and Applied Mathematics Laboratory, NISTIR 5490,August 1994

57. Daniel W. Lozier, A Proposed Software Test Service for Special Functions, Computing and Applied Mathematics Laboratory, NISTIR 5916, October 1996

58. D. W. Lozier, F. W. J. Olver, Numerical evaluation of special functions, NIST, December 2000

59. Cathleen Diaz. Concept for an Algorithm Testing and Evaluation Program at NIST, Factory Automation Systems Division, NIST

60. M. G. Cox, P. M. Harris. The design and use of reference data sets for testing scientificsoftware, 1998.

61. M.G. Cox, M.P. Dainton, P.M. Harris. Testing Speadsheets and Other Packages Used in Mertrology. Testing functions for linear regression. Report to National Measurements System Policy Unit. October 2000

62. M.G. Cox, M.P. Dainton, P.M. Harris. Testing Speadsheets and Other Packages Used in Mertrology. Testing functions for the calculation of standard deviation. Report to National Measurements System Policy Unit. October 2000

63. ГОСТ P ИСО 15408-2002 "Информационная технология. Методы и средства обеспечения безопасности. Критерии оценки безопасности информационных технолоГИИ .

64. Гостехкомиссия России. Руководящий документ. Защита от несанкционированного доступа к информации. Программное обеспечение средств защиты информации. Классификация по уровню контроля отсутствия недекларированных возможностей.

65. Гостехкомиссия России. Руководящий документ. Защита от несанкционированного доступа к информации. Термины и определения.

66. Гостехкомиссия России. Руководящий документ. Средства вычислительной техники.

67. Защита от несанкционированного доступа к информации. Показатели защищенности от несанкционированного доступа к информации.

68. Гостехкомиссия России. Руководящий документ. Автоматизированные системы. Защита от несанкционированного доступа к информации. Классификация автоматизированных систем и требования по защите информации.

69. ГОСТ Р 34.11-94 Информационная технология. Криптографическая защита информации. Функция хэширования.

70. ГОСТ Р 34.10-2001. Информационная технология. Криптографическая защита информации. Процессы формирования и проверки электронной цифровой подписи

71. МИ 2955-2005 "Рекомендация. Методика метрологической аттестации программного обеспечения средств измерений и порядка ее проведения"

72. Daniel W. Lozier. NIST Digital Library of Mathematical Functions. NIST, Kluwer Academic Publishers, 2002

73. Anthony J. Cox, Nicholas J. Higham. Accuracy and Stability of the Null Space Method for Solving the Equality Constrained Least Squares Problem, AMS, 1999

74. Anthony J. Cox, Nicholas J. Higham. Backward error bounds for constrained least squares problems, AMS, 1999

75. Генерация эталонных данных методом нуль-простанства для тестирования электронных таблиц, прикладных математических пакетов и алгоритмов, Ю.А. Кудея-ров, А.А. Сатановский, Журнал "Законодательная и прикладная метрология", № 2, 2005 г.