Разработка математических моделей надежности прикладного программного обеспечения при ограниченной статистической информации тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Затенко, Светлана Ивановна

• Затенко, Светлана Ивановна
• кандидат технических наук
• 2009

Оглавление диссертации кандидат технических наук Затенко, Светлана Ивановна

Перечень сокращений

Введение

Глава 1.

Состояние и проблемы анализа надёжности программного обеспечения.

1.1. Проблемы анализа надёжности ПО.

1.2. Вероятностные модели надёжности ПО.

1.2.1. Модель Джелински-Моранда.

1.2.2. Модель Шика-Волвертона.

1.2.3. Модель Вейса.

1.2.4. Модели Коркорэна.

1.2.5. Модель Литтлвуда-Веррала.

1.3. Возможностные модели надёжности ПО.

1.3.1. Основные понятия и определения.

1.3.2. Нечёткая модель Цая.

1.3.3. Модель Уткина (обобщение нечёткой модели Цая).

1.4. Вероятностно-возможностные модели ПО.

1.5. Интервальный подход к моделям ПО.

1.6. Основы интервального подхода в надёжности систем.

1.6.1. Понятие интервального среднего.

1.6.2. Теорема продолжения.

1.7. Постановка задач диссертационной работы.

1.8. Выводы.

Глава 2.

Обобщенные интервальные модели надёжности ПО.

2.1. Обобщённые интервальные модели ПО непрерывного времени.

2.1.1. Постановка задачи и исходные данные для ее решения

2.1.1.1. Унифицированное представление вероятностных и нечётких моделей.

2.1.1.2. Построение интервальной модели как задачи линейного программирования.

2.1.2. Отсутствие сведений о независимости или неизвестное взаимодействие.

2.1.3. Строгая независимость.

2.1.4. Надежность ПО при отсутствии сведений о независимости тестирований.

2.1.5. Надёжность ПО при независимости периодов тестирования.

2.1.6. Вид оптимального распределения в моделях надёжности ПО.

2.1.7. Вероятностная модель как частный случай обобщённой интервальной модели.

2.1.8. Нечёткая модель Цая как частный случай обобщённой интервальной модели ПО.

2.2. Дискретные обобщенные интервальные модели надёжности ПО

2.2.1. Постановка задачи и исходные данные для её решения.

2.2.2. Унифицированное представление вероятностных и нечётких моделей.

2.2.3. Построение интервальной модели как задачи линейного программирования.

2.2.4. Надежность ПО при отсутствии сведений о независимости тестирования.

2.2.5. Надёжность ПО при независимости периодов тестирования.

2.2.6. Вид оптимального распределения в моделях надёжности ПО.

2.2.7. Вероятностные и нечёткие модели ПО как частные случаи обобщённой интервальной модели.

2.3. Выводы.

Глава 3.

Разработка новых моделей надёжности ППО на основе сочетания байесовского подхода и принципа максимума функции правдоподобия.

3.1. Основные положения байесовского подхода.

3.2. Обобщённая байесовская модель надёжности ПО на основе априорного гамма распределения (непрерывный случай).

3.2.1. Гамма - экспоненциальное распределение.

3.2.2. Обобщённая гамма-экспоненциальная модель.

3.2.3. Построение обобщённой байесовской модели надёжности ПО.

3.2.4. Алгоритм построения обобщённых байесовских моделей надёжности ПО.

3.3. Обобщённая байесовская модель надёжности ПО на основе априорного бета распределения (дискретный случай).

3.3.1. Бета-биномиальное распределение.

3.3.2. Построение обобщённой дискретной байесовской модели надёжности ПО.

3.4. Интервальные модели надежности, основанные на неоднородных процессах Пуассона.

3.4.1. Вероятностные модели надежности ПО на основе неоднородных процессов Пуассона

3.4.2. Интервальные модели надежности ПО.

3.4.3. Общая схема построения интервальной МНПП.

3.4.4. Частные случаи интервальных МНПП.

3.4.4.1. Интервальная модификация модели Муса-Окомото.

3.4.4.2. Интервальная модификации модели Джоэл-Окомото.

3.4.4.3. Интервальная модификации модели Дуэйна.

3.4.4.4. Интервальная модификации модели Ямада-Охба-Осаки.

3.4.5. Алгоритм построения интервальных МНПП.

3.5. Выводы.

Глава 4.

Практическая реализация моделей и их экспериментальный анализ.

4.1. - Описание методики определения достоверности полученных моделей.

4.2. Сравнение дискретной обобщённой байесовской модели надёжности ПО, на основе априорного бета распределения, с дискретным аналогом модели Джелински-Моранда.

4.3. Сравнение непрерывной обобщённой байесовской модели надёжности ПО, на основе априорного гамма распределения, с моделью Джелински-Моранда и моделью Литтлвуда-Веррала.

4.4. Сравнение модифицированных интервальных моделей, использующих неоднородные пуассоновские процессы с их стандартными аналогами.

4.5. Разработка моделирующего комплекса для оценки надёжности

4.5.1. Требования, предъявляемые к моделирующему комплексу.

4.5.2. Структура моделирующего комплекса.

4.5.3. Основные программные модули для оценки и анализа надёжности ППО.

4.5.3.1. Модуль BGeometric.

4.5.3.2. Модуль JelinskiMoranda

4.5.3.3. Модуль BGammaExp.

4.5.3.4. Модуль 1лИ^оос1Уега11.

4.5.3.5. Модуль ДеПпзкПМогапёа 2.

4.5.3.6. Модуль ВЫе£а1:Вт.

4.5.3.7. Модуль ЫНРР.

4.6. Выводы.

Выводы.

Введение диссертации (часть автореферата) на тему «Разработка математических моделей надежности прикладного программного обеспечения при ограниченной статистической информации»

Появление, развитие и распространение сложных информационных систем, одной из основных компонентов которых является прикладное программное обеспечение, требуют создания новых подходов к оценке их надёжности. Надёжность есть свойство системы сохранять свои характеристики в данных условиях эксплуатации. В международном стандарте 18СУ1ЕС 9126 ошибка ПО определена как некорректное действие, процесс или определение данных в компьютерной программе. Таким образом, в ПО есть ошибка, если поведение ПО не соответствует своей спецификации при условии, что она корректна. Отказ ПО представляет собой проявление в процессе эксплуатации или тестирования скрытой ошибки, полученной при разработке ПО и приводящей к получению неприемлемого результата, что приводит к снижению уровня надёжности ПО.

Одним из важнейших вопросов теории и практики надёжности ППО является разработка их математических моделей, методов и алгоритмов расчёта и анализа для прогнозирования эксплуатационной надёжности.

Актуальность темы. Современное ППО обладает рядом особенностей. Оно по большей части является достаточно сложным и крупномасштабным, что с одной стороны повышает шансы наличия ошибок в программном коде, а с другой стороны вследствие слишком сложной структуры кода не позволяет использовать целый класс моделей, основанных на структурных свойствах программ. Другой особенностью является то, что время на реализацию ППО и его тестирование в большинстве случаев ограничено значительной конкуренцией на рынке прикладных программных средств. Это существенно снижает объем статистических данных, связанных с тестированием и отладкой, и делает многие известные математические модели, основанные на статистической обработке данных, неприменимыми. В настоящее время ППО является неотъемлемой частью большинства систем управления, а значит, его ненадёжное функционирование может привести к самым различным последствиям, включая катастрофические. Это накладывает дополнительные требования к обеспечению надежности ППО.

Все эти особенности, а также участие человека на всех стадиях проектирования и тестирования программ, не позволяют использовать известные модели надежности программного обеспечения, основанные на применении только теории вероятностей, что обусловлено, прежде всего, недостатком статистической информации. Недостатком интенсивно развивающихся в последнее время нечётких моделей надёжности является малая информативность полученных результатов моделирования.

Поэтому разработка новых математических моделей анализа надёжности ППО при отсутствии достаточного количества статистической информации по результатам тестирования и отладки, при отсутствии информации о структуре ППО является чрезвычайно важной задачей.

На данный момент наибольшее распространение получили два основных подхода для моделирования надёжности ППО: подход, основанный на нахождении максимума функции правдоподобия и байесовский подход. Однако ни один из них нельзя считать универсальным. При использовании первого необходимо иметь большое количество данных об отказах в процессе отладки и тестирования. Кроме того, этот подход не может быть применим в случае большого количества параметров. Проблема, которая возникает при использовании второго подхода, заключается в том, что произвольный выбор априорного распределения при малом количестве статистической информации в достаточно сильной степени может влиять на результаты прогнозирования надежности ППО. Таким образом, создание новых методов моделирования, лишённых подобных недостатков, является актуальной задачей.

Цель работы состоит в создании классов новых математических моделей надежности ППО, основанных на использовании интервальных показателей надёжности, и ориентированных на определенные наборы ограниченных статистических данных об отказах, полученных в процессе тестирования и отладки.

Для достижения поставленной цели решаются следующие основные задачи:

- разработка методики создания дискретных и непрерывных математических моделей надёжности ППО при отсутствии информации о точных законах распределения вероятностей отказов;

- разработка новых интервальных байесовских моделей надёжности ППО, комбинирующих байесовский подход и принцип максимума функции правдоподобия;

- создание на основе разработанных математических моделей моделирующего комплекса программ, позволяющего вычислять надёжность ППО, используя различные виды статистических данных, а также оценивать качество прогноза моделей.

Объект исследования. Объектом исследования является прикладное программное обеспечение.

Предметом исследования являются модели и методы анализа надёжности ППО.

Методы исследования. В работе использовались методы математического анализа, теории вероятностей и математической статистики, методы теории интервальных средних.

Научная новизна работы заключается в следующем:

1. Разработан общий метод построения интервальных математических моделей надёжности ППО, отличающийся от существующих методов тем, что позволяет строить модели на множестве распределений вероятностей времени безотказной работы ППО в процессе отладки, используя только граничные функции распределения. Метод может быть использован в случаях, когда исходные данные об отказах носят непрерывный (календарное время до отказа) и дискретный характер (число запусков программы до отказа), а также в случае, когда отсутствуют сведения о независимости случайных времен до отказа.

2. Разработаны новые классы математических моделей надёжности ППО, которые сочетают в себе байесовский подход и принцип максимума правдоподобия, что в отличие от существующих моделей позволяет решить проблему выбора априорных распределений вероятностей параметров модели и существенно упростить задачу оптимизации функции правдоподобия.

3. Разработаны новые модификации известных моделей надежности ППО, которые позволяют работать с ограниченной статистической информацией об отказах и принимать осторожные решения о надежности ППО.

4. Создан моделирующий комплекс, предназначенный для расчёта надёжности ППО на основе новых моделей, а также для сравнения работы моделей на каждом конкретном наборе отладочных статистическйх данных. Комплекс позволяет оценить, какую модель предпочтительней использовать в анализируемой ситуации.

Практическая ценность и реализация результатов работы.

Разработанный метод построения интервальных моделей надёжности ППО позволяет существенно расширить класс существующих моделей надежности ППО и является основой для разработки новых математических моделей, которые отличаются типом граничных функций распределения вероятностей.

Созданные на базе этого метода обобщённые байесовские модели надёжности ППО позволяют получать качественный прогноз надёжности даже при малом объёме статистических данных. Эффективность предлагаемых моделей в сравнении с рядом известных моделей была продемонстрирована на реальных отладочных данных, с помощью созданного моделирующего комплекса.

Разработанный моделирующий комплекс позволяет прогнозировать надёжность ППО, используя при этом как новые, так и известные модели, а также сравнивать их на основе ряда показателей качества прогнозируемых оценок, что позволяет существенно сократить время тестирования модулей для получения требуемых оценок надёжности.

Созданный моделирующий комплекс был использован для анализа надёжности программных модулей средства защиты информации "Кобра", разработанного в научном филиале ФГУП НИИ "Вектор" СЦПС "Спектр" в 2009 г., что подтверждается актом об использовании.

Теоретические результаты диссертации, касающиеся вопросов моделирования надёжности ППО, вошли составной частью в программу дисциплин "Надёжность и диагностика систем управления" и "Диагностика и надёжность систем автоматизации" для подготовки магистров по направлению 550200 и специалистов по направлению 22030101 Санкт-Петербургской государственной лесотехнической академии имени С.М. Кирова, что подтверждается актом об использовании.

Достоверность результатов. Достоверность положений, выводов аналитических зависимостей и рекомендаций диссертационной работы базируется на применении методов теории интервальных средних, теории вероятностей, математического анализа. Основные аналитические зависимости и результаты доказаны с помощью строгих математических преобразований. Достоверность моделирования доказана на реальных статистических данных.

Основные положения выносимые на защиту:

1) Новый метод построения классов дискретных и непрерывных моделей надёжности ППО при отсутствии информации о точных законах распределения отказов и при ограниченной статистической информации об отказах.

2) Обобщённые байесовские модели надёжности ППО дискретного и непрерывного времени, модели надёжности ППО, основанные на использовании неоднородных процессов Пуассона, и модификации известных моделей надежности ППО.

3) Моделирующий комплекс, предназначенный для прогнозирования надёжности ППО на основе новых математических моделей, и реализация специальной методики оценки качества моделей.

Апробация работы. Основные научные результаты диссертации докладывались и обсуждались на Всероссийских и Международных конференциях: 11-й, 12-й Международных конференциях по мягким вычислениям и измерениям (Санкт-Петербург, 2008, 2009); 4-й Международной научно-практической конференции "Управление качеством в современной организации" (Пенза, 2009); 13-й Международной научно-практической конференции «Системный анализ в проектировании и управлении» (Санкт-Петербург, 2009); Межвузовской научно-практической конференции молодых учёных и специалистов "Современные проблемы экономики и менеджмента предприятий лесного комплекса", проходившей в Санкт-Петербургской государственной лесотехнической академии имени С.М. Кирова (Санкт-Петербург, 2009); 15-й Международной научно-методологической конференции "Актуальные проблемы развития высшей школы" (Санкт-Петербург, 2009); на Международном симпозиуме "Imprecise Probabilities and Their Applications", Durham, United Kingdom, 2009 г., на ежегодных научно-технических конференциях профессорско-преподавательского состава J1TA имени С.М. Кирова 2007-2009 г.г.

Публикации. По теме диссертации опубликовано 12 работ, четыре из которых опубликованы в рецензируемых журналах ВАК, включая одну работу, опубликованную в журнале ВАК по требуемому направлению.

Структура и объём работы. Диссертация состоит из введения, четырёх глав, выводов, списка литературы. Диссертация изложена на 154

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Затенко, Светлана Ивановна

Выводы

1. Выполнен детальный анализ математических моделей надёжности ППО, который показал, что существующие модели, основанные на элементах классической теории вероятностей и теории возможностей, не позволяют адекватно отражать различные аспекты проявления ошибок, а также особенности статистических данных об отказах в процессе отладки и тестирования. Поэтому необходимо разрабатывать новые математические модели надежности ППО, обобщающие рассмотренные вероятностные и нечёткие модели.

2. Разработан новый метод создания классов математических моделей надёжности ППО при отсутствии информации о точных законах распределения вероятностей для двух типов представления исходной статистической информации об отказах: календарное время между отказами (непрерывные случайные величины), количество запусков программы между отказами, количество отказов за определенные интервалы времени (дискретные случайные величины). Особенность метода заключается в том, что он максимизирует функцию правдоподобия не по параметрам, а по функциям распределений в рамках заданного множества.

3. Разработаны алгоритмы для вычисления оптимальной функции распределения на заданном множестве функций при условиях, когда отказы статистически независимы и когда отсутствуют сведения о независимости.

4. Построены новые интервальные байесовские модели надёжности ППО, комбинирующие байесовский подход и принцип максимума функции правдоподобия, для различных типов исходной информации об отказах. Для анализа статистических данных о временах между отказами разработана обобщенная байесовская модель гамма-экспоненциального распределения, которая учитывает рост надежности ППО в результате отладки и может настраиваться за счет изменения параметра осторожности. Для анализа данных о количествах запусков программы между отказами разработана новая модель ППО на основе отрицательного биномиального распределения с аналогичными свойствами. Для анализа данных о количествах отказов за заданные периоды времени предложены модификации известных моделей надёжности ППО, построенных на основе неоднородных процессов Пуассона.

5. Выполнен сравнительный анализ разработанных интервальных байесовских моделей надёжности прикладного программного обеспечения с известными моделями, моделью Джелински-Моранда и моделью Литтлвуда-Веррала, который показал, что новые модели позволяют получить лучший и более осторожный прогноз в случае ограниченного объема статистических данных. Аналогичные результаты показал сравнительный анализ полученных модифицированных интервальных моделей надёжности ППО, построенных на основе неоднородных процессов Пуассона, с их классическими аналогами: моделями Джоэл-Окомото и Муса-Окомото.

6. На основе разработанных математических моделей создан моделирующий комплекс программ, позволяющий вычислять надёжность ППО, используя различные виды статистических данных, а также оценивающий качество прогноза надежности для различных моделей.

Список литературы диссертационного исследования кандидат технических наук Затенко, Светлана Ивановна, 2009 год

1. Айвазян С.А., Енюков И.С., Мешалкин Л.Д. Прикладная статистика: Основы моделирования и первичная обработка данных. Справочное издание. М.: Финансы и статистика, 1983. 471 с.

2. Алефельд Г., Херцбергер Ю. Введение в интервальные вычисления. М.: Мир, 1987.360 с.

3. Ашанов С.А. Линейное программирование. М.: Наука, 1981. 340 с.

4. Барзилович Е.Ю., Беляев Ю.К., Каштанов В.А. и др. Вопросы математической теории надёжности / Под ред. Б.В. Гнеденко. М.: Радио и связь, 1983. - 376 с.

5. Барлоу Р., Прошан Ф. Математическая теория надёжности. М.: Сов. радио, 1969.-488 с.

6. Барлоу Р., Прошан Ф. Статистическая теория надёжности и испытания на безотказность. М.: Наука, 1984. - 328 с.

7. Беляев Ю.К. Статистические методы обработки результатов испытаний на надёжность. М.: Знание, 1982. - 100 с.

8. Боровков A.A. Курс теории вероятностей. М.: Наука, 1972. 288 с.

9. Владимирский Э.И. Киясбейли Ш.А., Шишонок H.A. Теория неопределённости в реализации задач надёжности сложных систем // Методы и системы принятия решений, Рига, РПИ, 1986.-С. 17-21.

10. Гуров C.B. Методы и модели анализа надёжности сложных технических систем с переменной структурой и произвольными законами распределений случайных параметров, отказов и восстановлений.

11. Диссертация на соискание учёной степени доктора технических наук. СПб, ЛТА, 1997.-306 с.

12. З.Гуров C.B., Уткин JI.B. Надёжность систем при неполной информации. СПб.: Любавич, 1999. 160 с.

13. Клир Дж. Системология. Автоматизация решения системных задач. М.: Радио и связь, 1990. - 544 с.

14. Колмогоров А.Н. Основные понятия теории вероятностей. М.; Л.: Главная редакция общетехнической литературы и номографии, 1936. 80 с.

15. Колганов С.К., Корников В.В., Попов П.Г., Хованов Н.В. Построение в условиях дефицита информации сводных оценок сложных систем. М.: Радио и связь, 1994. - 80 с.

16. Кофман А. Введение в теорию нечётких множеств. М.: Радио и связь, 1982.-432 с.

17. Кузнецов В.П. Интервальные статистические модели. М.: Радио и связь, 1991.-352 с.

18. Майерс Г. Надёжность программного обеспечения. М.: Мир, 1980.-360 с.

19. Мальцев Г.В., Перегуда Л.И. Показатели безотказности систем с нечётким понятием отказа // Надёжность и контроль качества. 1989. N 11. - С.16-19.

20. Надёжность технических систем: Справочник / Ю.К. Беляев, В.А. Богатырёв, В.В. Болотин и др.; Под ред. И.А. Ушакова. М.: Радио и связь, 1985.-608 с.

21. Павлов И.В. Статистические методы оценки надёжности сложных систем по результатам испытаний. М.: Радио и связь, 1982. - 168 с.

22. Половко A.M. Основы теории надёжности. М.: Наука, 1964. - 448 с.

23. Пытьев Ю.П. Возможность. Элементы теории и практики. М.: Эдиториал УРСС,2000. 192 с.

24. Райкин АЛ. Элементы теории надёжности технических систем. М.: Сов. Радио, 1978.-280 с.

25. Райншке К., Ушаков И.А. Оценка надёжности систем с использованием графов. М.: Радио и связь, 1988. - 208 с.

26. ЗКРотштейн А.П., Штовба С.Д. Нечёткая надёжность алгоритмических процессов. Винница: Континент-ПРИМ, 1997. - 142 с.

27. Рябинин И.А., Черкесов Г.Н. Логико-вероятностные методы исследования надёжности структурно сложных систем. М.: Радио и связь, 1981.- 264 с.

28. Советов Б.Я. Информационная технология. М.: Высшая школа, 1994. -368 с.

29. Справочник по прикладной статистике / Под ред. Э Ллойда, У. Ледермана, Ю.Н. Тюрина. М.: Финансы и статистика, 1989.- 510 с.

30. Судаков P.C. Избыточность и объём испытаний технических систем и их элементов // Испытания технических систем и их элементов. М.: Знание, 1980.-С.З-60.

31. Тейер Т., Липов M., Нельсон Э. Надёжность программного обеспечения. -М.: Мир, 1981.- 323 с.

32. Тулупьев А.Л., Николаенко С.И., Сироткин A.B. Байесовские сети: Логико-вероятностный подход. СПб.: Наука, 2006. 607 с.

33. Уткин Л.В. Анализ риска и принятие решений при неполной информации. СПб.: Наука, 2007. 404 с.

34. Уткин Л.В., Затенко С.И. Концепция для разработки нового класса интервальных моделей надёжности программного обеспечения // Известия Санкт-Петербургской лесотехнической академии. Вып. 184, СПб.: СПбГЛТА, 2008.- С.237-245.

35. Уткин Л.В. Надёжность систем в контексте мер возможности и вероятности // Диагностика, информатика, метрология, экология, безопасность-96: Тезисы докладов МНТК. Санкт-Петербург, июнь 1996. -С.82-83.

36. Уткин Л.В. Интервальные средние в теории надёжности // Мягкие вычисления и измерения SCM'98: Тезисы докладов Международной конференции. Санкт-Петербург, Том 1, июнь 1998. С. 194-196.

37. Уткин Л.В. Вероятностно-возможностный подход к анализу надёжности программного обеспечения // Известия ВУЗов. Приборостроение. 1998. -T.41.-N 6. С.61-66.

38. Уткин Л.В., Затенко С.И. Концепция для разработки нового класса интервальных моделей надёжности программного обеспечения. // Известия Санкт-Петербургской лесотехнической академии. Вып. 184, СПб.: СПбГЛТА, 2008.- С. 237-245.

39. Уткин JI.B., Симанова Н.В., Лапин А.Э. Осторожные байесовские модели анализа риска на основе априорного гамма-распределения и их применение // Труды 10-й Международной конференции по мягким вычислениям и измерениям. СПб.: СПбГЭТУ 2007. С. 216-219.

40. Уткин Л.В., Шубинский И.Б. Нетрадиционные методы оценки надёжности информационных систем. СПб.: Любавич, 2000. 173 с.

41. Ушаков И.А. Вероятностные модели надёжности информационно-вычислительных систем. М.: Радио и связь, 1991. - 132 с.

42. Феллер В. Введение в теорию вероятностей и её приложения. М.: Мир, 1984. Т. 2. 738 с.

43. Ханенко В.Н. Информационные системы. Л.: Машиностроение. Ленинградское отделение, 1988. - 127 с.

44. Хетагуров Я.А. Детерминированная теория надёжности экземпляра вычислительной машины, системы (Вопросы проектирования, производства, эксплуатации). М.: МИФИ, 1997. - 132 с.

45. Хыобер П. Робастность в статистике. М.: Мир, 1984. 304 с.

46. Шокин Ю.А. Интервальный анализ. Новосибирск: Наука, 1981. - 112 с.

47. Шубинский И.Б., Гуров С.В., Уткин Л.В. Распределение работ по этапам в дискретных системах // Известия Санкт-Петербургской лесотехнической академии. Вып. 5 (163), СПб.: ЛТА, 1997. С.161-170.

48. Anscombe F.J., Aumann R.J. A definition of subjective probability // Annals of Mathematical Statistics. 1963. Vol. 34. P. 199-205.

49. Berger J.O. Statistical Decision Theory and Bayesian Analysis. New York: Springer-Verlag, 1985.

50. Bernardo J.M., Smith A.F.M. Bayesian Theory. Chichester: Wiley, 1994.

51. Brocklehurst S., Kanoun K., Laprie J.C., Littlewood B., Metge S., Mellor P, Tanner A., Analyses of Software Failure Data // City University, London and LAAS-CNRS, Toulouse, Tech. Report: PDCS TRNo. 77, 1991.

52. Carnap R. Logical foundations of probability. Chicago: Chicago University Press, 1950. 607 p.

53. Cai K. Y. Wen C.Y., Zhang M.L. A critical review on software reliability modeling // Reliability Engineering and System Safety. 1991. V.32. - P.357-371.

54. Cai K. Y., Wen C. Y., Zhang M.L. A novel approach to software reliability modeling//Microelectronics and Reliability. 1993. -V.33. P. 2265 - 2267.

55. Cai K.Y. Censored software reliability models. Technical report, CSR, City University, London, 1994. 28 p.

56. Cai K.Y. Towards a conceptual framework of software run reliability modeling. Technical report CSR, City University, London, 1994. 28 p.

57. Cutello V., Montero J., Yanez J., Structure functions with fuzzy states //Fuzzy Sets and Systems. 1996. V.83(2). - P. 189-202.

58. Corcoran W.J., Weingarten H., Zehna P. W., Estimating Reliability Corcoran W.J., Weingarten H., Zehna P. W., Estimating Reliability 10, No/4,786 795 (July 1954).

59. Cooman G. The formal analogy between possibility and probability theory // Foundations and Applications of Possibility Theory Proceelings of FAPT'95, Ghent, Belgium, December 1995. International Workshop. - P.71-87.

60. Cooman G. On modeling possibilistic uncertainty in two-state reliability theory //Fuzzy Sets and Systems. 1996. V.83(2). - P.215-238.

61. Cozman F.G. Calculation of posterior bounds given convex sets of prior probability measures and likelihood functions // Journal of Computational and Graphical Statistics. 1999. Vol. 8,N 4. P. 824-838.

62. Cheng C.H. Fuzzy consecutive-k-out-of-n:f system reliability // Microelectronics and Reliability. 1994. V.34(12). - P. 1909-1922.

63. Duane J.T. Learning curve approach to reliability monitoring //IEEE Transactions on Aerospace, AS-2(2):563-566, 1964.

64. Dubois D., Prade H. When upper probabilities are possibility measures // Fuzzy Sets and Systems. 1992. V.49. - P.65-74.

65. Dubois D., Prade H. Fuzzy sets and probability: Misunderstanding, bridges and gaps // Proceedings of Second IEEE Conference on Fuzzy Systems, 1993. -P.1059-1068.

66. Fine T.L. Lower probability models for uncertainty and nondeterministic processes // Journal of Statistical Planning and Inference. 1988. Vol. 20. P. 389411.

67. Gemoets L., Kreinovich V., Melendez H. When to Stop testing software? A fuzzy interval approach // Proceedings of NAFIPS / IFIS / NASA 94, 1994. -P. 182-186.

68. Good I.J. Some history of the hierarchical Bayesian methodology // Bayesian Statistics / Ed. By J.M. Bernardo, M.H. DeGroot, D.V. Lindley, A.F.M. Smith. Valencia: Valencia University Press, 1980. P. 489-519.

69. Goel A.L., Okomoto K. Time dependent error detection rate model for software reliability and other performance measures // IEEE Trans. Reliab., R-28:206-211, 1979.

70. Goldstein M. The prevision of a prevision // J. Amer. Statist. Soc. 1983. Vol. 87. P. 817-819.

71. Gurov S.V., Utkin L.V. A new method to compute reliability of repairable m-out-of-n systems by arbitrary distributions // Microelectronics and Reliability. 1994. V.34(12). - P. 1877-1889.

72. Gurov S.V., Utkin L.V., Habarov S.P. Interval probability assessments for new lifetime distribution classes // Mathematical Methods in Reliability: Proc. of the 2nd Int. Conf. MMR'00, V.l. Bordeaux, France, 2000. - P. 483-486.

73. Hisdal E. Are grades of membership probabilities? // Fuzzy Sets and Systems. 1988. V.25. - P.325-348.

74. Z. Jelinski and P.B. Moranda. Software reliability research. In W. Greiberger, • editor, Statistical Computer Performance Evaluation, pages 464-484. Academic1. Press, New York, 1972.

75. Jelinski Z., Moranda P.B. Software Reliability Research. Academic Press, New York, 1972.- 214p.

76. Jonson N.L., Kotz S., Kemp A.W. Univariate discrete distributions. Wiley, New York, 1992.

77. Kapur P.K., Younes S. Software reliability growth model with error dependency // Microelectronics and Reliability. 1955. V.35(2). - P.273-278.

78. Littlewood B., Verall J. A Bayesian reliability growth model for computer software // Applied Statistics. 1973.-V.22(3). -P.332-346.

79. Lu M., Brocklehurst S. Combination of predictions obtained from different software reliability growth models. Technical report, The Centre for Software Reliability, City University, London, 1991. 36 p.

80. Lu M., Brocklehurst S., Littlewood B. Combination of predictions obtained from different software reliability growth models // J. Comput. Software Engng. 1993.-V.1.-P.303-323.

81. Moranda P.B. Prediction of software reliability during debugging // Proc. Annual Reliability and Maintainability Symposium, 1975. P. 134-142.

82. Musa J.D., Iannino A., Okumoto K. Software reliability: Mesurement, Prediction, Application. McGraw-Hill, 1987. 360 p.

83. Misra P.N. Software reliability analysis // IBM Systems Journal, 22(3): 262270, 1983.

84. Misra K.B., Weber G.G. A new method for fuzzy fault tree analysis // Microelectronics and Reliability. 1989. V.29. - P. 195-216.

85. Montero J., Tejada J., Yanez J. Generalstructure functions // Kybernetes. 1994. V.23(3).- P.10-19.

86. Nahmias S. Fuzzy variable // Fuzzy Sets and Systems. 1978.- V.l. P. 97 - 110. 94.0nisawa T. An application of fuzzy concepts to modeling of reliability analysis

87. Fuzzy Sets and Systems. 1990. V.37. - P.267-286.

88. Pham H., Nordmann L., Zhang X. A general imperfect-software-debugging model with s-shaped fault-detection rate // IEEE Transactions on Reliability, 48(2): 169-175, 1999.

89. Popentiu Fl., Boros D.N. Software reliability growth supermodels // Microelectronics and Reliability. 1996. V.36(4). - P.485-491.

90. Riedel T., Sahoo P.K. Mean Value Theorems and Functional Equations. World Scientific Publishing Company, 1st edition edition, 1999,- 245 p.

91. Schick G.J., Wolverton R.W. An analysis of competingsoftware reliability models // IEEE Trans, on Software Engineering. 1978.-V.SE-4(2).- P. 104-120.

92. Syversveen A.R. Noninformative Bayesian priors. Interpretation and problems with construction and applications: Preprint Statistics 3. Trondheim: Department of Mathematical Sciences, NTNU, 1998.

93. Tanaka H., Fan L.T., Lai F.S., Toguchai K. Fault tree analysis by fuzzy probability // IEEE Trans. Reliab. 1983. V.32. - P.453-457.

94. Utkin L.V. The paradox of monotony of systems by fuzzy probability // Microelectronics and Reliability. 1993. V.33(7)/-P.951 - 955.

95. Utkin L.V. General reliability theory on the basis of upper and lower previsions // Fuzzy Logic and Intelligent Technologies for Nuclear Science and Industry: Proc. Of the 3rd Int. FL1NS Workshop. Antwerp, Belgium, 1998. P.36-43.

96. Utkin L.V. Imprecise reliability analysis by comparative judgments // Mathematical Methods in Reliability: Proc. of the 2nd Int. Conf. MMR'00, V.2. Bordeaux, France, 2000. - P. 1005-1008.

97. Utkin L.V. Knowledge based fuzzy reliability assessment // Microelectronics and Reliability. 1994. V.34(5). - P.863-874.

98. Utkin L.V., Kozine I.O. Different faces of natural extension // Imprecise Probabilities and Their Applications. Proc. of the 2nd Int. Simposium ISIPTA 01/ Ed. by G. de Cooman, T.L. Fine, T. Seidenfeld. Ithaca, usa: Shaker Publishing, 2001. P. 316-323.

99. Utkin L.V., Shubinsky I.B. Imprecise reliability of systems with fuzzy states //Soft Computing and Measurements: Proc. Of the Int. Conf. SCM'00, St.Petersburg, Vol.1, 2000. P. 164-167.

100. Walley P. Statistical Reasoning with Imprecise Probabilities. London: Chapman and Hall, 1991.

101. Walley P. Inferences from multinomial data: Learning about a bag of marbles // Journal of the Royal Statistical Society, Series B. 1996. Vol. 58. P. 3 57.

102. Walley P. A bounded derivative model for prior ignorance about a real-valued parameter // Scandinavian Journal of Statistics. 1997. Vol. 24, N 4. P. 463483.

103. Walley P., Fine T.L. Towards a frequentist theory of upper and lower probability//Annals of Statistics. 1982. Vol. 10, N3. P. 741-761.

104. Weichselberger K. The theory of interval-probability as a unifying concept for uncertainty // International Journal of Approximate Reasoning. 2000. Vol. 24. P. 149-170.

105. Weichselberger K. Elementare Grundbegriffe einer allgemeineren Wahrscheinlichkeitsrechnung. Heidelberg: Physika, 2001. Vol. I Intervallwahrscheinlichkeit als umfassendes Konzept.

106. Wilks S. Mathematical Statistics. New York: Wiley and Sons, 1962.

107. Winkler R.L. The consensus of subjective probability distributions // Management Science. 1968. Vol. 15. P. 61-75.

108. Wolverton P.W.,Schick G.J., Assessment of Software Reliability TRW-SS-73-04? September 1972.

109. Xie M., Hong G.Y. Wohlin C. Software reliability prediction incorporating information from a similar project // The Journal of Systems and Software, 49:43^48, 1999.

110. Yamada S., Ohba M., Osaki S. S-shaped reliability growth modeling for software error detection // IEEE Transaction on Reliability, 32:475-478, 1983.

111. Zaden L.A. Probability measures of fuzzy events // J. Math. Anal. a. Appl. 1968. V.23.-P.421-427.

112. Zellner A. An introduction to Bayesian Inference in econometrics. New York: Wiley, 1971.1<Г?1. УТВЕРЖДАЮ

113. Директор научного филиала ФГУП"НИИ "Вектор" СЦПС «Спектр»-То "'¡"¡^'^-ь.

114. Технических наук профессор А.А. Молдовян 1Щ "Я^ЙГ |Щля 2009 г.1. Чч ■ Я- ^ =1. Акт №0210-08-1об использовании результатов диссертационного исследования Затенко Светланы Ивановны

115. Настоящим Актом подтверждаем, что в Научном филиале ФГУП НИИ «Вектор» СЦПС «Спектр» использовались результаты диссертационного исследования Затенко С.И.

116. Заместитель директора по научной работе старший научный сотрудник кандидат технических наук1. В.И. Емелин5 » февраля 2009 г.1. Копия1. Должность, /^¿^Ц!

117. ФЕДЕРАЛЬНОЕ АГЕНТСТВО ПО ОБРАЗОВАНИЮ Государственное образовательное учреждение высшего профессионального образования Санкт-Петербургская государственная ЛЕСОТЕХНИЧЕСКАЯ АКАДЕМИЯ имени С.М. Кирова /1. Ж Ж. ¿90Л* 0*1. На №от

118. УТВЕРЖДАЮ ■ ^Проректор по учебной и1. С. Алексеевр