Разработка метода оценки ранжирующих измерительных систем при управлении качеством продукции и процессов тема диссертации и автореферата по ВАК РФ 05.02.23, кандидат технических наук Павловская, Ирина Владимировна

• Павловская, Ирина Владимировна
• кандидат технических наук
• 2012

Оглавление диссертации кандидат технических наук Павловская, Ирина Владимировна

ВВЕДЕНИЕ.

1 ПРОБЛЕМА ОЦЕНКИ РАНЖИРУЮЩИХ ИЗМЕРИТЕЛЬНЫХ СИСТЕМ

1.1 Достоверность результатов измерений, используемых при управлении качеством.

1.2 Влияние измерительных систем на достоверность результатов измерений.

1.3 Статистические характеристики измерительных систем.

1.4 Ранжирующие измерительные системы.

1.4.1 Требования к методу оценки РИС.

1.4.2 Существующие методы оценки РИС.

1.4.3 Этапы использования ранжирующих измерительных систем.

1.5 Постановка задачи на исследование.

Выводы по первой главе.

2 РАЗРАБОТКА МОДЕЛИ РИС И МЕТОДА ОЦЕНКИ РИС.

2.1 Модель ранжирующих измерительных систем.

2.1.1 Модель достоверности результатов измерений РИС.

2.1.2 Типы изменчивости РИС.

2.1.3 Модель логической структуры РИС.

2.1.4 Допустимые математические преобразования при оценке РИС

2.2 Инструменты оценки статистических характеристик РИС.

2.2.1 Оценка РИС путем исследования зоны неопределенности.

2.2.2 Атрибутивная Я&Я оценка учетом допустимой зоны неопределенности.

2.2.3 Оценка стабильности РИС под влиянием человеческого фактора

2.3 Метод оценки РИС.

Выводы по второй главе.

3 РАЗРАБОТКА МЕТОДИКИ УПРАВЛЕНИЯ КАЧЕСТВОМ ПРОДУКЦИИ

И ПРОЦЕССОВ С ИСПОЛЬЗОВАНИЕМ РИС.

3.1 Методика управления качеством продукции и процессов, с использованием РИС.

3.2 Методика использования РИС.

3.2.1 Проектирование РИС и предварительный анализ рисков.

3.2.2 Проведение оценки РИС.

3.2.3 Устранение причин изменчивости РИС.

Выводы по третьей главе.

4 ВНЕДРЕНИЕ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ.

4.1 Условия проведения внедрения.

4.2 Формулировка задачи.

4.3 Внедрение методики использования ранжирующих измерительных систем.

4.3.1 Оценка риска возникновения ошибок измерений РИС.

4.3.2 Проведение оценки РИС.

Введение диссертации (часть автореферата) на тему «Разработка метода оценки ранжирующих измерительных систем при управлении качеством продукции и процессов»

Актуальность темы исследования.

В управлении качеством прочно укоренилось функциональное представление термина «качество», выражающее тенденцию определять качество через количественные показатели [1]. В решении задач управления качеством продукции всегда используют результаты измерений ключевых характеристик качества производственных процессов. На основании результатов измерений принимают обоснованные управленческие решения о целесообразности реализации корректирующих действий, направленных на повышение качества продукции. Без измерений невозможно соблюдение не только принципа постоянного улучшения, декларируемого стандартами серии ИСО 9000, но и требований потребителя.

Результативность корректирующих действий находится в прямой зависимости от достоверности измеренных данных, которую принято выражать через неопределенность результатов измерений. Если неопределенность результатов измерений высока, то корректирующие действия не могут привести к ожидаемому повышению стабильности и воспроизводимости процессов и улучшению качества продукции. Корректирующие действия, разработанные на основании недостоверных данных, могут дестабилизировать производственный процесс.

Важной задачей в управлении качеством является повышение достоверности результатов измерений. Достоверность данных зависит от статистических характеристик многократных измерений измерительных систем [2]. В качестве таких характеристик можно привести смещение результатов измерений, сходимость и другие. При решении задач управления качеством продукции необходимо проведение оценки самих систем оценки, то есть измерительных систем. Количественная оценка показателей качества измерений позволяет принимать обоснованные решения о приемлемости использования измерительной системы в производственном процессе, а также способствует снижению неопределенности измерений и повышению их достоверности. 5

В настоящий момент общепринятыми методами для оценки измерительных систем являются метод размахов, средних и размахов, метод А1ЧОУА, контрольные карты, регрессионный анализ и так далее [2]. Перечисленные методы применяют для оценки измерительных систем, которые используются для количественных измерений.

Существуют отрасли производства товаров и услуг, где важные для потребителя характеристики качества продукции или производственного процесса измеряют визуально, органолептическим методом или методом экспертной оценки. Это актуально для парфюмерно-косметической, пищевой, текстильной промышленности, а также для сферы услуг. В таких отраслях важными для потребителя характеристиками являются цвет, запах, вкус продукта, его удобство в применении, эстетическая привлекательность и другие. В некоторых случаях основные функциональные характеристики продукта, такие как запах духов и вкус чая, не могут быть измерены количественно. В литературе [3] существуют примеры измерения качественных характеристик в сферах услуг, например в медицине или банковской сфере.

Вследствие сложности и значительной стоимости количественной оценки приведенных характеристик в промышленности широко распространено применение ранжирующих измерительных систем (РИС). РИС получили свое название из-за того, что результат их измерений попадает в одну из категорий (рангов) и число таких категорий конечно [2]. В результате оценивания характеристики образцу назначается ранг, сравнение которого с критерием допуска позволяет принять решение о соответствии продукции. Результаты измерений РИС могут быть определены в бинарной шкале (например, «годен - не годен») или в ранговой (например, с использованием 5-7 рангов: «очень хороший», «хороший», «удовлетворительный», «плохой», «очень плохой»).

Ранжирующие измерения часто проводят с использованием органов чувств человека (контролера), а в качестве эталонной системы используют органы чувств эксперта. Результаты измерений РИС используют для повышения качества продукции или процессов, характеристики качества которых измеряются ранжированием.

Из сказанного видно, что оценка достоверности результатов измерений ранжирующих измерительных систем является объективной необходимостью при решении задач управления качеством в промышленности.

Актуальность проведения оценки РИС подтверждается тем, что производственные компании все чаще предъявляют требования не только к продукции своих поставщиков, но и к характеристикам производственных процессов. К таким характеристикам можно отнести пригодность и воспроизводимость процессов, а также статистические характеристики измерительных систем, используемых для оценки качества процессов. Показателем этой тенденции является внесение требований по оценке измерительных систем в ряд отраслевых стандартов на системы менеджмента качества (например, международный стандарт на системы менеджмента качества в автомобильной промышленности ISO/TS 16949 [4] и его российский аналог ГОСТ Р 51814.12009 [5]).

Подходы к оценке РИС должны существенно отличаться от подходов к оценке количественных измерительных систем, ввиду специфики характеристик, измеряемых РИС. Проведенный анализ литературных источников [2, 3, 4, 6, 7, 8, 9, 10, 11, 12] показал, что существующие на сегодняшний день подходы к оценке РИС не имеют универсального применения. Их применение не позволяет оценивать такие важные статистические характеристики РИС, как смещение, сходимость, воспроизводимость и стабильность. Существующие подходы не всегда применимы на практике, что вызвано невыполнимостью требований, предъявляемых к исходным данным для проведения оценки. Таким образом, результативность управленческих решений в отношении важных для потребителя характеристик продукции и процессов зависит от измерений, проверка достоверности которых затруднена отсутствием методической базы.

Стоит отметить, что на настоящий момент в литературе также отсутствуют примеры методики управления качеством продукции и процессов с использованием РИС. Отсутствие методических основ для комплексных мер по повышению достоверности ранжирующих измерений в промышленности в целом является причиной низкого уровня доверия к результатам таких измерений.

Оценка ранжирующих измерительных систем является необходимостью для компаний, характеристики качества продуктов которых не могут быть измерены количественно. Проведение такой оценки зачастую является требованием потребителя, что нашло свое отражение в некоторых отраслевых стандартах на системы менеджмента качества, например в [4]. Запрос потребителей и отсутствие методической базы для оценки ранжирующих измерительных систем определяют актуальность темы настоящей диссертационной работы.

Цель исследования заключается в повышении достоверности ранжирующей оценки характеристик качества продукции и процессов.

Для достижения поставленной цели необходимо решить следующие задачи:

1. Исследовать существующие методы оценки ранжирующих измерительных систем, используемых для управления качеством продукции, с точки зрения их полноты и достаточности для оценки достоверности результатов измерений РИС.

2. Разработать модель РИС, создающую основу для исследования статистических характеристик РИС.

3. Разработать метод статистической оценки характеристик РИС.

4. Разработать методику управления качеством продукции и процессов с использованием РИС на основе оценки основных статистических характеристики РИС.

5. Провести проверку разработанной методики в условиях промышленности.

Объект исследования. Ранжирующие измерительные системы для контроля качества продукции и процессов.

Предмет исследования. Характеристики ранжирующих измерительных систем.

В соответствии с целью и задачами диссертационного исследования были проанализированы работы ведущих российских и зарубежных ученых, таких, как Ю.П. Адлер, Б.В. Бойцов, В.А. Васильев, В.Н. фон Виринген, О. Данила, У. Э. Деминг, Р. Маккей, У.Д. Моуби, А. И. Орлов, С. Стейнер, В.Л. Шпер, У. Шухарт, Е.Р. фон ден Хюфель.

Основные результаты, выносимые на защиту:

1. Модель РИС, содержащая определение достоверности результатов измерений РИС и логическую структуру РИС.

2. Метод оценки РИС, позволяющий проводить численную оценку статистических характеристик РИС (пригодности, сходимости, воспроизводимости, смещения, стабильности) в производственных условиях.

3. Методика управления качеством продукции и процессов с использованием РИС, содержащая алгоритмы действий и рекомендации для повышения достоверности результатов измерений РИС.

Методы исследования. Метод моделирования, метод сравнения, эксперимент, методы математической статистики, методы оценки измерительных систем, метод анализа видов и последствий отказов, метод анализа надежности человеческого фактора, метод шкалы равнокажущихся интервалов.

Все основные результаты, начиная от постановки задачи исследования до численных расчетов, сравнения с экспериментом и интерпретации полученных данных, получены впервые. Научная новизна результатов работы состоит в следующем:

- предложен способ оценки соотношения допустимой зоны неопределенности и экспериментальной зоны неопределенности РИС, который впервые позволил определить статистические характеристики смещения, сходимости, воспроизводимости и стабильности РИС;

- впервые предложен метод оценки РИС, основанный на методе равно-кажущихся интервалов, что позволило применить математические преобразования, допустимые для интервальной шкалы, к результатам измерений РИС, измеренным в порядковой шкале.

Практическая значимость исследования подтверждена результатами проверки методики использования РИС и метода оценки РИС в промышленности.

1. Разработанная методика управления качеством продукции и процессов с использованием РИС применима в отраслях промышленности, где важные потребительские характеристики качества измеряются ранжированием;

2. Метод оценки РИС применим в любых исходных производственных условиях за счет наличия шести инструментов оценки РИС и алгоритма выбора необходимого инструмента;

3. Разработанный метод оценки позволяет принимать решения о приемлемости использования РИС в производственном процессе за счет оценивания параметров, характеризующих достоверность измерений;

4. Метод оценки РИС способствует разработке результативных корректирующих действий, направленных на повышение достоверности результатов измерений;

5. Пошаговое применение разработанной методики управления качеством продукции и процессов с использованием РИС повышает достоверность результатов ранжирующей оценки характеристик качества.

Реализация работы. Результаты данной работы реализованы на предприятии ООО «Юнилевер Русь» (см. акт внедрения), что подтверждает достоверность и обоснованность научных положений и выводов.

Достоверность полученных научных результатов обеспечена применением современной научной методологии и использованием современных общенаучных методов исследования, таких как метод моделирования, метод сравнения, экспериментальный метод, методы математической статистики.

Апробация работы. Основные результаты диссертационной работы докладывались на 6 международных и всероссийских конференциях, в их числе: Всероссийские научно-практические конференции «Управление качеством» (Москва, 2011-2012гг.), «Проблемы современного менеджмента» (Санкт-Петербург, 2012г.), конференции профессорско-преподавательского состава СПбГЭТУ «ЛЭТИ» (Санкт-Петербург, 2010-2012).

Публикации. По теме диссертации опубликовано 11 статей, в том числе 4 статьи в изданиях, рекомендованных ВАК РФ, и 1 статья в ведущих рецензируемых журналах. Полный список публикаций приведен в конце автореферата.

Структура и объем работы. Диссертация состоит из введения, четырех глав и выводов по работе. Основной материал изложен на 136 страницах, содержит 22 таблицы и 21 иллюстрацию. Список литературы включает 52 наименования.

Заключение диссертации по теме «Стандартизация и управление качеством продукции», Павловская, Ирина Владимировна

Выводы по третьей главе

1. В рамках решения третьей задачи предложена методика управления качеством продукции и процессов с использованием РИС, состоящая из двух циклов. В рамках первого цикла осуществляется статистическое управление процессами по альтернативному признаку с использованием РИС. В рамках второго цикла разработана методика использования РИС.

2. Пошаговая методика использования РИС содержит меры по управлению РИС на каждом из этапов жизненного цикла. Таких этапов выделено четыре: планирование запуска РИС в эксплуатацию, эксплуатация, оценка и устранение причин изменчивости.

При разработке методики были сформулированы следующие подзадачи:

- разработать базовый компонентный состав, являющийся общим для любой РИС;

- разработать рекомендации по проведению предварительного анализа рисков возникновения ошибок измерений РИС;

- разработать последовательность действий при оценке РИС;

- разработать рекомендации по применению инструментов оценки РИС;

- разработать рекомендации по устранению причин изменчивости РИС.

3. Разработанный базовый компонентный состав РИС позволяет последовательно осуществлять функцию планирования для любой РИС. А рекомендации по проведению предварительного анализа рисков позволяют осуществлять стратегию предупреждающих действий в отношении ошибок измерений. В результате анализа были выбраны методы БМЕА и НЯА, как наиболее подходящие для проведения предварительного анализа рисков возникновения ошибок РИС.

4. Для реализации в промышленности разработанного во второй главе метода оценки РИС предложен алгоритм действий проведения оценки, использование которого позволяет принимать решения о приемлемости РИС в производственном процессе.

5. Разработанные рекомендации по устранению четырех типов изменчивости РИС, основанные на модели РИС, создают основу для разработки результативных мер повышения достоверности результатов измерения РИС.

4 ВНЕДРЕНИЕ РЕЗУЛЬТАТОВ ИССЛЕДОВАНИЯ

4.1 Условия проведения внедрения

Апробация проведена в Санкт-Петербурге на фабрике по производству продуктов личной гигиены и продукции по уходу за домом, принадлежащей компании ООО «Юнилевер Русь». На фабрике работает более 300 человек. В производственном подразделении установлено современное, высокотехнологичное оборудование, отвечающее самым современным требованиям качества, безопасности и эффективности. В системе менеджмента фабрики успешно используют мировой опыт концерна «Юнилевер» в области управления и научных исследований.

Ассортиментный портфель фабрики насчитывает более 400 наименований продукции. На фабрике производят шампуни и бальзамы для волос Sunsilk, Timotei, Dove, Clear; дезодоранты Rexona, Dove, Axe, Sure; гели для душа Timotei, Dove; средства по уходу за домом Domestos, Cif, Glorix.

4.2 Формулировка задачи

Политика по качеству компании Юнилевер декларирует наивысший приоритет компании в обеспечении удовлетворенности потребителей качеством выпускаемой продукции и безопасности ее использования. На фабрике разработана и внедрена система менеджмента качества, гарантирующая стабильное соответствие выпускаемой продукции строгим требованиям законодательства Российской Федерации, требованиям компании Юнилевер, а также требованиям конечных потребителей и клиентов.

Специфика продукции, выпускаемой фабрикой, такова, что многие потребительские характеристики не поддаются количественному измерению. К этой категории относятся как функциональные характеристики продукции (например, запах дезодоранта), так и эстетические характеристики (внешний вид и отсутствие визуальных дефектов). Для мониторинга таких характеристик используют ранжирующие измерительные системы.

Для управления процессами, характеристики качества которых измеряют ранжированием, используют статистический контроль по альтернативному признаку. Для анализа стабильности процессов и принятия решения о вмешательстве в эти процессы используют контрольные карты Шухарта.

Успех действий по управлению процессами напрямую зависит от качества измерений. Существует два типа ранжирующих измерительных систем, используемых на фабрике. В измерительных системах первого типа измерения проводят операторы линий и лаборанты в виде выборочного визуального либо органолеп-тического контроля тех характеристик продукции, которые не могут быть измерены количественно. Помимо этого, существует большое количество автоматических систем, встроенных в производственные конвейеры, задачей которых является сплошной контроль продукции по одному либо нескольким альтернативным признакам и отбраковка той продукции, которая не удовлетворяет заданным требованиям. Примером такой системы является видеоконтроль качества наклеивания этикетки на флакон.

На момент проведения исследования достоверность ранжирующих измерений на фабрике не подвергалась оцениванию. Такой подход приводил к высокому риску принятия неверных решений о необходимости вмешательства в процессы, что, в свою очередь, повышало вероятность попадания некачественной продукции клиентам и потребителям компании. Руководством предприятия было принято решение применить методику использования ранжирующих измерительных систем, разработанную в рамках исследованиях. Для внедрения методики были выбраны те РИС, которые используются для измерения характеристик качества, с которыми связано наибольшее количество жалоб клиентов и потребителей.

4.3 Внедрение методики использования ранжирующих измерительных систем

Для выбора объектов для внедрения методики были проанализированы отчеты о браке, ежемесячно предоставляемые клиентами компании: складами и дистрибьюторскими центрами. Для анализа поступающей информации была использован инструмент управления качеством - диаграмма Парето (рисунок 4.1).

100% 90% 80% 70% 60% 50% 40% 30% 20% 10% 0%

Отчет о браке продукции за январь-июнь 2011 года

93%96% 98% 99%

100%

84% з

2С О о. с X т о о. а: со

0 2£ ГО С ф з: х ш д

ЗЕ

01 о. ш О с 3 г

X. >

1 о о. с го т го н у 0

0) 1

Рисунок 4.1 - Отчет о браке продукции за январь-июнь 2011 г Согласно диаграмме, наибольшее количество претензий клиентов связано с дефектами нанесения этикетки на продукцию. В данном случае характеристикой качества является - позиционирование этикетки на флаконе, а дефектами являются отклонения от нормального позиционирования: смещения и перекосы. Данная характеристика не может быть измерена количественно ввиду того, что отклонения в позиционировании этикетки могут происходить по разным осям, а также ввиду того, что флакон продукции не имеет ровную поверхность.

Для измерения данной характеристики на фабрике используются оба типа измерительных систем:

1. Контролеры. В задачу каждого оператора линии входит выборочный визуальный контроль продукции. По существующим процедурам он проводится один раз в час для 12 флаконов. Записи о результатах проверки заносятся в базу данных.

2. Автоматические РИС. Видеоконтроль качества наклеивания этикетки марки 1п1гау18 установлен на каждой линии для сплошного контроля продукции по данному признаку. В электронную память видеоконтроля загружается образ флакона с идеально наклеенной этикеткой. При прохождении продукции по конвейеру датчик фотографирует флакон с продукцией и сверяет фотографию с эталоном, находящимся в памяти системы. Если отклонение позиционирования по любой из осей больше, чем заложенный в систему допуск, флакон отбраковывается.

4.3.1 Оценка риска возникновения ошибок измерений РИС

На первом этапе методики необходимо оценить риски возникновения ошибок измерений используемыми РИС. Для этого был использован инструмент БМЕА анализ с элементами НЯА анализа для оценки ошибок, вызываемых «человеческим фактором». Таблица с результатами анализа приведена в приложении А. Критичными были признаны отказы, набравшие более 50 баллов ПЧР.

Такие баллы набрали следующие потенциальные отказы, представленные в таблице 4.1.

ЗАКЛЮЧЕНИЕ

1. Разработана методическая база для повышения достоверности ранжирующей оценки характеристик качества продукции и процессов.

2. В результате исследования существующих инструментов оценки ранжирующих измерительных систем сделан вывод о невозможности универсального применения проанализированных инструментов в промышленности. Сформулированы требования к универсальному методу оценки ранжирующих измерительных систем.

3. Предложена модель РИС, создающая основу для исследования статистических характеристик РИС за счет наличия модели достоверности РИС и модели логической структуры РИС. Определены характеристики достоверности ранжирующих измерений. Предложенный способ использования шкалы равнокажущих-ся интервалов позволяет применять математические преобразований, допустимые в интервальной шкале для результатов измерений РИС, представленных в порядковой шкале.

4. Разработан метод оценки РИС, состоящий из совокупности инструментов оценки. Итоговая совокупность инструментов соответствует исходным требованиям к методу оценки РИС, так как является универсальной для любых производственных ситуаций и позволяет проводить численную оценку всех статистических характеристик РИС (достоверности, смещения, сходимости, воспроизводимости, стабильности). Предложен алгоритм выбора необходимого инструмента.

5. Разработана методика управления качеством продукции и процессов с использованием РИС. Методика содержит алгоритмы действий по использованию РИС на всех стадиях ее жизненного цикла, критерии приемлемости РИС, а также рекомендации по улучшению РИС.

6. Проведенная апробация показала практическую применимость данной методики для предприятий, характеристики качества продукции и процессов которых измеряются ранжированием.

Список литературы диссертационного исследования кандидат технических наук Павловская, Ирина Владимировна, 2012 год

1. Антология русского качества / Под ред. Б. В. Бойцова, Ю. В. Крянева. — М: Стандарты и качество, 2003.

2. Анализ измерительных систем. MSA. Ссылочное руководство (3-е изд., испр.) Перевод с англ. — Н.Новгород: ООО СМЦ «Приоритет», 2007.

3. Danila, О., Steiner, S. Н., and MacKay, R. J, "Routing Assessment of а Binary Measurement System," Journal Of Quality Technology, Том 40, Выпуск No. 3, 2008.

4. ИСО/ТУ 16949:2002. Системы менеджмента качества. Частные требования по применению стандарта ИСО 9001:2000 для производства автомобилей и запчастей к ним.

5. ГОСТ Р 51814.6 2005. Системы менеджмента качества в автомобилестроении. Менеджмент качества при планировании, разработке и подготовке производства автомобильных компонентов.

6. Samuel D, Windsor, "Attribute Gage R&R," Six Sigma Forum Magazine, 2003.9. de Mast, Heroen, van Wieringen, Wessel N., "Measurement System Analysis for Bounded Original Data," Qual. Reliab. Engng. Int, 2004.

7. Орлов, А.И., "Тридцать лет статистики объектов нечисловой природы (обзор)," Заводская лаборатория, Том 75, Выпуск 5, 2009. — С. 55-64.

8. Руководство по выражению неопределенности измерения. Перевод с англ. — СПб: ВНИИМ им Д.И. Менделеева, 1999.

9. Федеральный Закон от 26.06.2008 № 102-ФЗ "Об обеспечении единства измерений".

10. Васильев, В.А., Каландришвили, Ш.Н., Новиков, В.А., Одиноков, С.А.; В.А. Васильев Управление качеством и сертификация. — М.: Интермет Инжиниринг, 2002.

11. ГОСТ Р ИСО 9000-2008. Система менеджмента качества. Требования. — М: Изд-во стандартов, 2008.

12. Уиллер, Д., Чамберс, Д. Статистическое управление процессами: Оптимизация бизнеса с использованим контрольных карт Шухарта; Перевод с английского. — М., Альпина Бизнес Букс:, 2009.

13. Основы менеджмента качества: учебное пособие к занятиям по дисциплине «Основы менеджмента качества» / сост.: В. В. Азарьева, И. В. Павловская, Е. А. Рябинина, В. В. Ященко. — СПб.: Изд-во СПбГЭТУ «ЛЭТИ», 2011.

14. Адлер, Ю.П., Шпер, В.Л., "Работа с контрольными картами," Методы менеджмента качества, Выпуск 3, 2003.

15. Деминг, У. Э. Выход из кризиса: Новая парадигма управления людьми, системами и процессами. 2-е изд. / Пер. с англ. — М.: Альпина Бизнес Букс, 2007.

16. Shewhart, W. Statistical Method from the Viewpoint of Quality Control. — N.Y.: Dover Publications, Inc., 1939 (reprint 1986).

17. Нив, Г.Р. Пространство доктора Деминга/ пер. с англ. — М.: РИА «Стандарты и качество», 2005.

18. ГОСТ Р 50779.42-99. Статистические методы. Контрольные карты Шухарта. — М: Издательство стандартов, 2000.

19. ГОСТ 16263-70 Термины и определениям метрологии (ныне не действующий.

20. РМГ 29-99 Метрология. Рекомендации по межгосударственной стандартизации. Основные термины и определения, 1999.

21. Иванников, Д.А., Фомичев, E.H. Основы метрологии и организации метрологического контроля: Учебное пособие. — : Нижний Новгород. НГТУ, 2001.

22. Хамханова, Д.Н. Общая теория измерений: Учебное пособие. — Улан-Удэ: Изд-во ВСГТУ, 2006.

23. ГОСТ Р 50.2.038-2004 Измерения прямые однократные. Оценивание погрешностей и неопределённости результата измерений.

24. МИ 2233-2000 ГСИ. Обеспечение эффективности измерений при управлении технологическими процессами. Основные положения

25. Касторская, JI.B. Анализ измерительных систем (MSА) в вопросах и ответах. — Н.Новгород: ООО СМЦ "Приоритет", 2006.

26. ГОСТ Р ИСО 9001-2008. Система менеджмента качества. Требования. — М: Изд-во стандартов, 2008.

27. ГОСТ Р 51814.5-2005 Системы менеджмента качества в автомобилестроении. Анализ измерительных и контрольных процессов. — М: Издательство стандартов, 2005.

28. Павловская И.В. Подходы к анализу ранжирующих измерительных систем // Изв. СПбГЭТУ «ЛЭТИ». 2011. Вып. 2. С. 79 83

29. Павловская И.В. Управление качеством продукции и процессов с использованием ранжирующих измерительных систем // Вестник БГТУ. 2012. Вып. З.С. 130- 134.

30. Павловская И.В. Применение кривой пригодности калибра для анализа ранжирующих измерительных систем // Тез. док. 63 науч.-тех. конф. ППС СПбГЭТУ, 2010. С. 275 279.

31. B.JI. Абушенко, Г.М. Евелькин, Г.Н. Соколова, О.В. Терещенко. Сост. A.A. Грицанов Социология: Энциклопедия. — Мн: Книжный Дом, 2003.

32. Литвак, Б.Г Управленческие решения. — М: Ассоциация авторов и издателей «ТАНДЕМ», Издат-во ЭКМОС, 1998

33. Лопатников, И.Л. Экономико-математический словарь: Словарь современной экономической науки, 5th ed. — М: Дело, 2003

34. Орлов, А.И. Экспертные оценки: Учебное пособие. — Москва:, 2002.

35. Трифонов, Е.В. Пневмапсихосоматология человека: Энциклопедия. Электронный ресурс., http://www.tryphonov.ru

36. Татарова, Г.Г. Методология анализа данных в социологии (введение) / Учебник для вузов. — M: nota bene, 1999.

37. Клигер, С. А., Косолапое, М. С., Толстова, Ю. Н. Шкалирование при сборе и анализе социологической информации. — М:, 1978.

38. Толстова, Ю. Н. Измерение в социологии. — М:, 1998.

39. Сидоренко, Е.В. Методы математической обработки в психологии. — СПб: Изд-во «Речь», 2000.

40. ГОСТ Р ИСО 3972-2005. Методология. Метод исследования вкусовой чувствительности. — М: Стандартинформ, 2006.

41. Павловская И.В., Степанов С.А., "Выявление сходимости и смещения результа-тов измерений для ранжирующих измерительных систем," Изв. СПбГЭТУ «ЛЭТИ», Выпуск 7, 2012. — с. 113.

42. Статистическое управление процессами. SPC. Ссылочное руководство. — Н.Новгород: ООО СМЦ "Приоритет", 2006.

43. Павловская И.В., Степанов С.А., "Метод оценки ранжирующих измерительных систем," Изв. СПбГЭТУ «ЛЭТИ», Выпуск 8, 2012. — с. 115.

44. И.В., Павловская Методика использования ранжирующих измерительных систем // Тез. док. 6 всерос. науч.-практ. конф. «Современные проблемы менеджмента» СПбГЭТУ «ЛЭТИ». — СПб, 19 апреля 2012. — с. 62.

45. ISO/IEC 31000:2009 Менеджмент рисков. Принципы и руководящие указания.

46. ISO/IEC 31010:2009 Менеджмент рисков. Методы оценки рисков.

47. Анализ видов и последствий отказов. FMEA. Справочное руководство. Перевод с англ. — Н.Новгород: ООО СМЦ «Приоритет», 2006.

48. ГОСТ Р 51901.5-2005 (МЭК 60300-3-1:2003) Руководство по применению методов анализа надежности.

49. Лифиц, И.М. Стандартизация, метрология и подтверждение соответствия: учебник. 9-е изд., перераб и доп. — М: Издательство Юрайт, 2010.