Математическое и программное обеспечение повышения живучести управляющих модулей систем реального времени тема диссертации и автореферата по ВАК РФ 05.13.11, кандидат технических наук Ширяев, Максим Владимирович

• Ширяев, Максим Владимирович
• кандидат технических наук
• 2011

Оглавление диссертации кандидат технических наук Ширяев, Максим Владимирович

ПЕРЕЧЕНЬ УСЛОВНЫХ СОКРАЩЕНИЙ.

ВВЕДЕНИЕ.

1. АНАЛИЗ СОВРЕМЕННОГО СОСТОЯНИЯ ПУТЕЙ ОБЕСПЕЧЕНИЯ НАДЕЖНОСТИ РАБОТЫ ЦПО.

1.1. Структура ЦПО управляющих вычислительных систем реального времени, характеристики надежности ЦПО.

1.2. Обзор моделей оценки надежности ЦПО

1.3. Анализ существующих подходов к повышению надежности ЦПО.

1.4. Постановка научной задачи исследования.

1.5. Выводы

2. СОВЕРШЕНСТВОВАНИЕ МЕТОДА ПОВЫШЕНИЯ НАДЕЖНОСТИ РАБОТЫ ЦПО УПРАВЛЯЮЩЕЙ ВЫЧИСЛИТЕЛЬНОЙ СИСТЕМЫ.

2.1. Совершенствование процесса разработки ЦПО путем добавления программной избыточности.

2.2. Обоснование метода повышения надежности работы ЦПО путем добавления программной избыточности с критериальным подключением программных модулей

2.3. Методика выбора программных модулей, рекомендуемых для добавления программной избыточности.

2.4. Модель оценки надежности работы ЦПО критериальным подключением программных модулей на основе графа состояний системы

2.5. Выводы.

3. ЭКСПЕРИМЕНТАЛЬНЫЕ ИССЛЕДОВАНИЯ НАДЕЖНОСТИ

ЦПО УПРАВЛЯЮЩИХ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

РЕАЛЬНОГО ВРЕМЕНИ.

3.1. Методика проведения экспериментальных исследований.

3.2. Алгоритм реализации метода повышения надежности работы ЦПО путем добавления программной избыточности с критериальным подключением программных модулей.

3.3. Оценка эффективности предложенного метода по результатам экспериментальных исследований.

3.4. Предложения по повышению надежности работы ЦПО управляющих вычислительных систем реального времени.

3.5. Выводы.

Введение диссертации (часть автореферата) на тему «Математическое и программное обеспечение повышения живучести управляющих модулей систем реального времени»

Актуальность. Развитие современной аппаратной базы вычислительных средств, основанной на инновационных технологиях, предъявляет более жесткие требования к надежности программного обеспечения. Анализ результатов функционирования современных ЭВМ различных архитектур свидетельствует о несоответствии качества между аппаратными возможностями вычислительных средств и программных продуктов. Это предопределяет необходимость постоянного совершенствования, как самих программных средств, так и способов их реализации и применения. Все большее место в современном мире занимают сложные вычислительные системы (ВС), выполняющие свои задачи под управлением целевого программного обеспечения в режиме реального времени. Целевое программное обеспечение (ЦПО) содержит комплекс программ, реализующих алгоритмы режимов работы заданного изделия в различных условиях их применения [55].

Постоянно возрастающая область применения, а следовательно и спектр задач, выполняемых ВС на базе ОСРВ, приводит к повышению требований по надежности их функционирования не только со стороны аппаратной составляющей, но и со стороны целевых программных средств, которыми они оснащены [5, 29, 54, 66].

Проблемы в достижении требуемой степени надежности программного обеспечения рассматривались в работах отечественных и зарубежных ученых Б. А. Головкина, А. В. Гордеева, В. В. Липаева, Г. Майерса и других авторов [27, 29, 60, 62, 64, 67, 68]. Основными направлениями в этих работах являются: изучение программных ошибок, выявление причин их вызывающих и последствия их проявления; рассмотрение различных моделей оценки надежности программного обеспечения; повышение надежности технических элементов ВС; классификация существующих способов повышения надежности программного обеспечения и их применение.

Вместе с тем, наряду с глубокой проработкой отдельных направлений в ранее проведенных исследованиях, вопрос об использовании программной избыточности при построении ЦПО управляющих вычислительных систем реального времени практически не рассматривался.

Основными этапами проверки правильности функционирования ЦПО является так называемая статическая и комплексная отладки. Статическая отладка проводится вне режима реального времени, т. е. без учета временных интервалов между запросами абонентов, прерываниями, моментами поступления входных данных, выдачи управляющих воздействий и т. п. Основной ее целью является поиск и устранение ошибок в теле рабочих программ. Для дальнейшего устранения программных ошибок применяется комплексная отладка всего ЦПО, которая осуществляется уже в режиме реального времени и проводится либо на стенде Главного конструктора, либо непосредственно на образце изделия. Тем не менее, ошибки в ЦПО остаются и после выполнения процесса отладки.

Между тем, использование программной избыточности позволяет исправлять возникшие в процессе работы ЦПО сбои. Это производится путем замещения результатов работы отказавшего программного модуля результатами функционирования исправного.

Условия функционирования вычислительных систем в режимах реального времени, а так же отсутствие четкого научно-методического аппарата применения метода повышения надежности ЦПО путем добавления программной избыточности не позволяют использовать ранее предложенные методы и подходы к введению программной избыточности при модернизации серийно освоенных или при разработке новых изделий на базе ОСРВ.

Всё ещё не в полной мере разрешено противоречие между возрастающими требованиями к повышению надежности ЦПО управляющих вычислительных систем реального времени и реальными показателями существующего ЦПО.

Эти обстоятельства определяют актуальность данной работы, целью которой является повышение надежности работы ЦПО управляющей вычислительной системы реального времени, применяемой в комплексах моделирования внешней обстановки радиолокационных и навигационных систем.

Решаемая в работе научная задача состоит в совершенствовании научно-методического аппарата разработки целевого программного обеспечения на этапе проектирования путем добавления программной избыточности.

Для достижения поставленной цели в работе решены следующие теоретические и практические задачи: проведен анализ подхода к повышению надежности работы ЦПО путем добавления программной избыточности; предложены изменения в технологический процесс разработки ЦПО; предложен усовершенствованный метод повышения надежности целевого программного обеспечения путем добавления программной избыточности; разработана методика выбора программных модулей, рекомендуемых для добавления программной избыточности; разработана модель состояний ЦПО, учитывающая особенности использования предлагаемого метода повышения надежности; обоснованы показатели влияния различных методов добавления программной избыточности на надежность работы ЦПО и эффективности использования ресурсов ВС при использовании метода повышения надежности путем добавления программной избыточности и надежности ЦПО; проведена оценка влияния методов добавления программной избыточности на надежность работы целевого программного обеспечения управляющих вычислительных систем реального времени и эффективность использования ЦПО ресурсов вычислительной системы; обоснованы предложения по применению метода повышения надежности путем добавления программной избыточности при создании нового и модернизации существующего целевого программного обеспечения.

Объектом исследования избрано ЦПО вычислительной системы реального времени, а предметом исследования — методы и способы повышения надежности целевого программного обеспечения управляющих вычислительных систем реального времени комплексов радиолокационных и навигационных систем.

Методы исследования. В диссертации используются методы структурного анализа, имитационного и структурного моделирования, матричного исчисления, теории множеств, статистического анализа, теории графов, теории планирования экспериментов, теории оценивания и корреляционного анализа.

Научную новизну работы составляют: усовершенствованный процесс разработки ЦПО, заключающийся во введении коррекции структуры ЦПО после проведения процесса статической отладки, особенностью которого является использование программной избыточности с целью повышения его надежности; предложенный метод повышения надежности работы ЦПО путем добавления программной избыточности с последовательным подключением программных модулей, особенностью которого является эффективное использование ресурсов ВС; разработанная методика выбора программных модулей, рекомендуемых для добавления программной избыточности, особенностью которой является учет уровня отводимых программным модулям ресурсов вычислительной системы, удельного количества неустраненных отказов на единицу объема каждого программного модуля и возможностей используемых программно-инструментальных средств проведения процесса разработки и отладки программного обеспечения; разработанная модель состояний ЦПО при использовании метода повышения надежности путем добавления программной избыточности с последовательным подключением программных модулей, учитывающая особенности предложенного метода добавления программной избыточности.

Практическая значимость работы определяется: разработанным алгоритмом реализации метода повышения надежности работы ЦПО путем добавления программной избыточности с последовательным подключением программных модулей; проведенными экспериментальными исследованиями по оценке влияния методов добавления программной избыточности на надежность работы ЦПО; разработанными предложениями по применению метода повышения надежности работы ЦПО путем добавления программной избыточности.

Достоверность полученных научных результатов, выводов и рекомендаций обеспечивается корректным применением методов исследования и подтверждается совпадением теоретических и практических результатов при разработке и модернизации ЦПО с использованием метода повышения надежности путем добавления программной избыточности.

Реализация результатов работы.

Метод повышения надежности разрабатываемых и модернизируемых комплексов целевого программного обеспечения на основе внесения структурной избыточности, модель оценки надежности функционирования комплекса целевого программного обеспечения, разработанного на основе данного метода и методика выбора программных модулей, рекомендованных для введения избыточности были реализованы в ОАО «Концерн «Морин-формсистема - Агат» (г. Москва) при проведении исследований в ОКР «Линкор» и проведении отладки целевого программного обеспечения модулей МСВ/С (акт от 17 января 2011 г.).

Метод повышения надежности разрабатываемых и модернизируемых комплексов целевого программного обеспечения на основе внесения структурной избыточности и методика выбора программных модулей, рекомендованных для введения избыточности были внедрены в ОАО «ЦНИИ «Курс» г. Москва) при разработке программного обеспечения комплексов моделирования внешней обстановки (акт от 26 января 2011 г.).

На защиту выносятся:

1. Метод повышения надежности ЦПО путем добавления программной избыточности с последовательным подключением программных модулей;

2. Методика выбора программных модулей, рекомендуемых для добавления программной избыточности;

3. Модель состояний ЦПО при использовании метода повышения надежности путем добавления программной избыточности с последовательным подключением программных модулей, на основе графа состояний.

Апробация работы. Основные научные положения и результаты работы докладывались и получили одобрение на VII и VIII молодежных научно-технических конференциях «Взгляд в будущее - 2009» и «Взгляд в будущее -2010» (г. Санкт-Петербург, 2009 г. и 2010 г.), на научно-технической конференции «XVT Макеевские чтения» (г. Москва, 2010 г.), на научно-технических конференциях «Состояние, проблемы и перспективы создания корабельных информационно-управляющих комплексов» (г. Москва, 2009 г. и 2010 г.), на II российской научно-практической конференции судостроителей «Единение науки и практики 2010» (г. Москва, 2010 г.). Они опубликованы в 8 работах (7 статьях / в том числе в 1 статье, опубликованной в ведущем рецензируемом научном журнале в соответствии с перечнем ВАК Министерства образования и науки РФ), в 1 свидетельстве о государственной регистрации программ для ЭВМ в Роспатенте РФ.

Структура и объем работы. Диссертация состоит из введения, трех разделов, заключения, списка использованных источников, включающего 115 наименований.

Заключение диссертации по теме «Математическое и программное обеспечение вычислительных машин, комплексов и компьютерных сетей», Ширяев, Максим Владимирович

3.5. Выводы

1. Предложена методика проведения экспериментальных исследований влияния позволившая определить степень влияния различных подходов к добавлению программной избыточности на надежность ЦПО, характер влияния различных подходов к добавлению программной избыточности на показатели эффективности использования целевым программным обеспечением ресурсов вычислительной системы и оценить эффективность применения предлагаемого метода добавления программной избыточности относительно имеющегося уровня надежности целевого программного обеспечения.

2. В качестве показателей оценки влияния различных методов добавления программной избыточности на надежность работы ЦПО были выбраны: вероятность устранения последствий отказа программного модуля Рш\ вероятность возникновения ложного отказа программного модуля / вероятность пропуска отказа программного модуля Ррг ; В качестве показателей характера влияния различных методов добавления программной избыточности на показатели эффективности использования целевым программным обеспечением ресурсов вычислительной системы были выбраны: средний прирост времени реализации функции ; средний прирост объема используемого программным модулем адресного пространства А¥пм; средний прирост объема адресного пространства используемого промежуточными данными программного модуля А Упд

Оценка эффективности применения предлагаемого метода добавления программной избыточности проводилась с использованием в качестве показателя надежности — вероятности безотказной работы ЦПО.

3. Проведенные экспериментальные исследования указывают на положительный эффект от применения предлагаемого метода, по своим показателям превысив К-версное и дуальное программирование. Данный эффект в большей степени определен нулевым значением вероятности возникновения ложного отказа.

4. Анализ результатов экспериментальных исследований указывает на более эффективное использование временного ресурса и адресного пространства памяти, выделяемой под промежуточные данные программного модуля, вычислительной системы при использовании предлагаемого метода добавления программной избыточности. Это позволит применять данный метод при создании НПО управляющих вычислительных систем, предъявляющих жесткие требования ко времени функционирования программных модулей.

5. Результаты экспериментальных исследований позволили сделать вывод о положительном эффекте от применения предлагаемого метода добавления программной избыточности. Применение данного метода позволило получить прирост степени безотказной работы ЦПО, равный 3-6 %.

6. Разработаны предложения по повышению надежности ЦПО на основе использования программной избыточности.

Данные предложения охватывают как процесс проектирования целевого программного обеспечения, так и процесс его отладки. Внесены изменения в общую структуру вычислительной системы, позволяющие снизить затраты на выявление программных ошибок в процессе эксплуатации изделий.

119

ЗАКЛЮЧЕНИЕ

Среди множества проблем создания новых и модернизации существующих комплексов радиолокационных и навигационных систем с особой остротой проявляется проблема повышения надежности работы ЦПО. Существующие методы и средства создания ЦПО управляющих вычислительных систем реального времени не позволяют в достаточной мере повысить уровень надежности ЦПО.

Практика требует повышения надежности работы ЦПО, что в настоящей работе осуществляется путем совершенствования научно-методического аппарата метода повышения надежности путем добавления программной избыточности ЦПО управляющих вычислительных систем реального времени комплексов радиолокационных и навигационных систем.

Основой решения задачи является совокупность научно обоснованных технических решений по применению программной избыточности при создании нового и модернизации существующего ЦПО. При этом получены следующие результаты:

1. Проведен анализ существующих методов добавления программной избыточности целевого программного обеспечения. Проведенный анализ позволил выявить основную сложность использования данных методов — большая ресурсоемкость.

2. Предложено изменение в процесс разработки целевого программного обеспечения, позволяющее произвести добавление программной избыточности на этапе проектирования, на основе информации, полученной на этапе статической отладки.

3. Предложен усовершенствованный метод повышения надежности работы целевого программного обеспечения путем добавления программной избыточности, основанный на методике выявления явных признаков сбоя.

Применение данного метода при разработке нового и модернизации существующего ЦПО позволило повысить степень безотказной работы на 3-6 %.

4. Разработана методика выбора программных модулей, рекомендуемых для добавления программной избыточности. Особенностью данной методики является учет следующих факторов: наличие ресурсов вычислительной системы для каждого программного модуля согласно его спецификации и статистической информации по их использованию; удельное количество неустраненных отказов на единицу объема программного модуля, полученное на основе статистической информации по не-устраненным отказам программного модуля на предыдущих этапах отладки; особенности используемых программно-инструментальных средств проведения процесса комплексной отладки целевого программного обеспечения.

5. Разработана модель состояний ЦПО, использование которой позволит получить значения показателей надежности целевого программного обеспечения, разрабатываемого с применением предлагаемого метода повышения надежности путем добавления программной избыточности.

Данная модель учитывает как структуру ЦПО, так и показатели надежности функционирования различных групп модулей, полученных на этапах статической отладки резервных программных модулей, разработанных с целью повышения программной избыточности.

6. Обоснованы: показатели влияния различных методов добавления программной избыточности на надежность работы ЦПО: вероятность устранения последствий отказа программного модуля вероятность возникновения ложного отказа программного модуля Р/.; вероятность пропуска отказа программного модуля Ррг ; показатель надежности ЦПО: вероятность безотказной работы ЦПО; эффективности использования ресурсов вычислительной системы при использовании метода повышения надежности путем добавления программной избыточности: средний прирост времени реализации функции ; средний прирост объема используемого программным модулем адресного пространства А Упм\ средний прирост объема используемого промежуточными данными программного модуля адресного пространства А¥пд.

7. Проведена оценка влияния методов добавления программной избыточности на надежность работы целевого программного обеспечения вычислительных систем реального времени и показатели эффективности использования целевым программным обеспечением ресурсов вычислительной системы. Результаты экспериментальных исследований позволяют сделать вывод о более эффективном использовании ресурсов (временного ресурса и адресного пространства памяти, используемого промежуточными данными программных модулей).

8. Выработаны рекомендации по применению метода повышения надежности путем добавления программной избыточности при создании нового и модернизации существующего целевого программного обеспечения.

Полученные результаты можно характеризовать как научно-методический аппарат метода повышения надежности путем добавления программной избыточности ЦПО вычислительных систем реального времени комплексов радиолокационных и навигационных систем.

Основные теоретические и практические результаты работы использованы при создании и модернизации комплексов радиолокационных и навигационных систем, что подтверждено соответствующими актами.

Список литературы диссертационного исследования кандидат технических наук Ширяев, Максим Владимирович, 2011 год

1. Ален Э. Типичные ошибки проектирования. Библиотека программиста. СПб., Питер, 2003. 224 с.

2. Архангельский Б.В. Черняховский В.В. Поиск устойчивых ошибок в программах. М., Радио и связь, 1989.78 с.

3. Байхельт Ф., Франкен П. Надежность и техническое обслуживание. Математический подход. М.: Радио и связь, 1988.

4. Барлоу Р., Прошан Ф. Математическая теория надежности / пер. с английского. М.: Советское радио, 1969.

5. Брауде Э. Технология разработки программного обеспечения СПб., Питер, 2004. 655 с.

6. Баутов А.Н. Оценка факторов качества программных продуктов методом регрессионного анализа. Программно-методическое обеспечение. М.: Синтег, 2001.

7. Бахвалов Н.С. Численные методы. М.: Наука, 1975.

8. Бахвалов Н.С., Жидков Н.П., Кобельков A.B. Численные методы. М., Лаборатория базовых знаний, 2000.

9. Безбородое Ю.М. Индивидуальная отладка программ. М.: Наука, 1992.

10. Бекишев А.Т., Мотузова Е.П., Чаусов А.Ю. Метод генерации входных данных при тестировании программ // Вопросы радиоэлектроники Сер. ЭВТ. Вып.2. — 2009.

11. Березин Н.С., Жидков Н.П. Методы вычислений. М.: Физматгиз, 1969.

12. Бибишев Д.Н., Парамонов Н.Б. Методы аналитического расчета вероятностных характеристик ациклических алгоритмов. // Вопросы судостроения, серия ВТ.-1983. вып.49. С.40-48.

13. Блейхут Р. Теория и практика кодов, контролирующих ошибки. М.: Мир, 1986.

14. Богачев К.Ю. Практикум на ЭВМ. Методы решения линейных систем и нахождения собственных значений. М., МГУ, 1998.

15. Боэм Б. и др. Характеристики качества программного обеспечения. М.: Мир, 1981.

16. Боэм Б.У. Инженерное проектирование программного обеспечения. М.: Радио и связь, 1985.

17. Вентцель Е. С. Исследование операций. Задачи, примеры, методология. Учебник для вузов. М., Дрофа. 2004. 206 с.

18. Вержбицкий В.М. Основы численных методов. М.: Высшая школа, 2005.

19. Воеводин В.В. Вычислительные основы линейной алгебры. М.: Наука, 1977.

20. Воеводин В.В. Ошибки округления и устойчивость в прямых методах линейной алгебры. М., МГУ, 1969.

21. Вознесенский В. А. Статистические методы планирования эксперимента в технико-экономических исследованиях. М., Финансы и статистика, 1981. 263 с.

22. Вопросы оценки качества функционирования программного обеспечения вычислительных систем реального времени. Сб. научных трудов. Отв. Ред. H.H. Безруков. Киев, КНИГА, 1986.

23. Гаврилова Т.А. Хорошевский В.Ф. Базы знаний интеллектуальных систем. СПб.: Питер, 2000.

24. Гаганов П.Г., Липаев В.В. Характеристики ошибок в процессе разработки комплексов программ. // Программирование.-1976. №2.

25. Гласс Р. Руководство по надежному программированию. М., Финансы и статистика, 1982.256 с.

26. Головкин Б. А. Надежное программное обеспечение//Зарубежная радиоэлектроника, 1978, N 12, С. 3-57.

27. Головкин Б. А. Расчет характеристик и планирование параллельных вычислительных процессов. М., Радио и связь, 1983. 272 с.

28. Гордеев А. В., Молчанов А. Ю. Системное программное обеспечение. СПб., Питер, 2002. 451 с.

29. ГОСТ 27.002-89. Надёжность в технике. Основные понятия. Термины и определения. М., Издательство стандартов, 1989. 36 с.

30. ГОСТ 27.410-87 Надежность в технике. Методы контроля показателей надежности и планы контрольных испытаний на надежность. М., Издательство стандартов, 1987. 18 с.

31. ГОСТ 28195-98. Оценка качества программных продуктов. Общие положения. М., Издательство стандартов, 1989.38 с.

32. Гмурман В.Е. Теория вероятностей и математическая статистика. М.: Высшая школа, 2004.

33. Гнеденко Б.В., Беляев Ю.К., Соловьев А.Д. Математические методы в теории надежности. 2-е изд., переработанное и дополненное. М.: Наука, 1987.

34. Градштейн И.С., Рыжик И.М. Таблицы интегралов, сумм, рядов и произведений. М.: Наука, 1971.

35. Демидович Б.П., Марон И.А. Основы вычислительной математики. М.: Высшая школа, 1970.

36. Добронец Б.С. Интервальная математика. Красноярск, Красноярский гос.ун-т, 2004.

37. Долбак A.B., Новиков Е.С., Парамонов Н.Б. Оценка инструментальной погрешности линейных вычислительных программ специализированных ЭВМ. // Вопросы судостроения, серия ВТ.-1984. вьш.51. С.41-49.

38. Дружинин В. Г. Надёжность автоматизированных систем. М., Энергоатомиздат, 1986. 536 с.

39. Желнов Ю.А. Точностные характеристики управляющих вычислительных машин. М.: Энергоатомиздат, 1983.

40. Ивченко Г.И., Медведев Ю.И. Математическая статистика. М.: Высшая школа, 1984.

41. Идье В., Драйярд Д., Джеймс Ф. Статистические методы в экспериментальной физике. / Пер. с англ. М.: Атомиздат, 1976.

42. Иыуду К.А. Надежность, контроль и диагностика вычислительных машин и систем. М., Высшая школа, 1989. 216 с.

43. Каган Б. М., Мкртумян И.Б. Основы эксплуатации ЭВМ: Учебное пособие дл вузов. — М., Энергоатомиздат, 1988.

44. Калмыков С.А., Шокин Ю.И., Юлдашев 3-Х. Методы интервального анализа. Новосибирск: Наука, 1986.

45. Кармайкл Э., Хейвуд Д. Быстрая и качественная разработка программного обеспечения. Вильяме, 2003.

46. Кахнер Д., Моулер К., Нэш С. Численные методы и программное обеспечение. М.: Мир, 2001.

47. Клячко JI.M., Острецов Г.Э. Проектирование высоконадежных систем автоматического управления движением корабля. М.: ФИЗМАТЛИТ, 2010.

48. Коган Б. И. Экспериментальные исследования программ. М., Наука, 1988. 184 с.

49. Козлов А. О. Методическое обеспечение оценки надежности программного обеспечения информационных систем образовательного назначения: Дис. . канд. техн. Наук. М., Российская академия образования институт информатизации образования, 2004. 128 с.

50. Колмогоров А.Н. Предельные распределения сумм независимых случайных величин. M.,-JL: Наука, 1949.

51. Колмогоров А.Н., Фомин C.B. Элементы теории функций и функционального анализа. М.: Наука, 1968.

52. Кондратенков В.А. и др. Вопросы теории надежности технических систем. Смоленск: Русич, 1988.

53. Константиновский В. М. Вычислительные устройства и программное обеспечение радиолокационных систем. Монография. М., НИЭМИ. 2003.250 с.

54. Константиновский В. М., Лопашинов П. М., Шалин С. А. Средства разработки и отладки программного обеспечения для систем, работающих в режиме реального времени. ВСРЭ, серия РЛТ, 2000, вып. 1, с. 7-21.

55. Корн Г., Корн Т. Справочник по математике для научных работников и инженеров. М.: Наука, 1973.

56. Котляров В. П., Самочадин А. В. Программное обеспечение микропроцессорных систем. М., Машиностроение, 1984.270 с.

57. Крамер Г. Математические методы статистики. М.: Мир, 1975.

58. Кулиш У., Рац Д., Хаммер Р., Хокс М. Достоверные вычисления. Москва-Ижевск: R&C Dynamics PXD.2006.

59. Липаев В. В. Качество программного обеспечения. М., Финансы и статистка, 1993. 262 с.

60. Липаев В.В. Моделирование внешней среды для определения качества и надежности сложных программных средств. М.: Надежность.2003. №3.

61. Липаев В. В. Надежность программных средств. М., СИНТЕГ, 1998. 240 с.

62. Липаев В. В. Отладка сложных программ. М., Энергоатомиздат, 1993. 235 с.

63. Липаев В. В. Проектирование программных средств. — М.: Высш. шк., 1990.— 301 с.

64. Липаев В. В. Системное проектирование сложных программных средств для информационных систем. М., СИНТЕГ, 1999. 257 с.

65. Лисс В.А. Прогнозирование надежности и программного обеспечения сложных вычислительных систем на основе математических моделей. Сборник докладов Международной конференции по мягким вычислениям и измерениям — SCM. СПб., 2005.

66. Майерс Г. Искусство тестирования программ / пер. с англ. В.Ш. Кауфмана, М., Финансы и статистика, 1982.156 с.

67. Майерс Г. Надежность программного обеспечения/пер. с англ. В.Ш. Кауфмана, М., Мир, 1980.360 с.

68. Мартин Дж. Системный анализ передачи данных, т.1. М.: Мир, 1975.

69. Мусса Дж. Д. Измерение и обеспечение надежности программных средств//ТИИЭР. Т. 68. №9.1980. с. 113-128.

70. Надежность и эффективность в технике: Справочник. Методология, организация, терминология. М.: Машиностроение, 1986.

71. Налимов В.В., Чернова H.A. Статические методы планирования экстремальных экспериментов. М.: Наука, 1965.

72. Непейвода H.H. Стили и методы программирования. М., ИНТУИТ, 2005.

73. Никитин А. И. Общее программное обеспечение систем реального времени. Киев, Науково думка, 1980. 132 с.

74. Новиков Е. С. О методике анализа точности работы корабельных цифровых вычислительных систем//Вопросы кораблестроения. Серия: Вычислительная техника. 1984. N 31. С. 3-9.

75. Новиков Е.С. К вопросу об априорном анализе инструментальных ошибок корабельных цифровых вычислительных систем//Вопросы кораблестроения. Серия: Вычислительная техника. 1983. N 27. С. 26-31.

76. Новожепов Ю. В. Объектно-ориентированные технологии разработай сложных программных систем. М., ИЛУ РАН, 1996. 328 с.

77. Норенков И.П., Манычев В.П. Основы теории проектирования САПР. М.: Высшая школа, 1990.

78. Обзор системы кросс-разработки Tornado. М., НИИСИ РАН, 1996. 17 с.

79. Оре О. Графы и их применение. М.: Мир, 1965.

80. Орлов С.А. Технологии разработки программного обеспечения.2-ое издание. СПб.: Питер-пресс, 2003.

81. Ортега Дж., Рейнболт В. Итерационные методы решения систем нелинейных уравнений со многими неизвестными. Пер.с англ. М.: Наука, 1988.

82. Пальчуте Б.П., Юсупов P.M. Оценка надежности программного обеспечения. СПб.: Наука, 1994.

83. Половко A.M., Гуров С.В., Основы теории надежности. СПб.: БХВ-Петербург, 2006.

84. Полонников Р.И., Никандров A.B. Методы оценки показателей надежности ПО. — СПб., Политехника, 1992 — 76 с.

85. Пратт Т., Зелковиц М. Языки программирования: реализация и разработка. СПб., Питер, 2001. 375 с.

86. Рябенький B.C. Введение в вычислительную математику. М.: Физматлит, 2000.

87. Самарский A.A., Гулин A.B. Численные методы. М.: Наука, 1989.

88. Смирнов Ю. М., Воробьев Г. Н., Потапов Е. С., Сюзев В. В. Проектирование специализированных информационно-вычислительных систем. М.: Высшая школа, 1984. 146с.

89. Снапелев Ю.М., Старосельский В.А. Моделирование и управление в сложных системах. М.: Советское радио, 1984.

90. Соренков Э.И. и др. Точность вычислительных устройств и алгоритмов / под ред. Шаталова A.C. М.: Машиностроение, 1976.

91. Тейер Т., Лилов М., Нельсон Э. Надежность программного обеспечения. М., Мир, 1981. 323 с.

92. Уемов А. И. Системный подход и общая теория систем. М., Мысль, 1997. 607 с.

93. Фокс Дж. Программное обеспечение и его разработка. М., Мир, 1985.

94. Хетагуров Я. А., Новиков Е. С. Оценка эффективности одного способа защиты от не-выявленных ошибок в программе//Вопросы кораблестроения. Серия: Вычислительная техника. 1976. N 5. С. 117-124.

95. Холстед М. X. Начала науки о программах. М., Финансы и статистика, 1981. 128 с.

96. Хыоз Дж., Мичтом Дне. Структурный подход к программированию/Пер. с англ. М., Мир, 1980. 280 с.

97. Цилькер Б. Я., Орлов С. А. Организация ЭВМ и систем. СПб., Питер, 2004. 668 с.

98. Чаусов А.Ю. Аттестация качества функционального программного обеспечения по показателям надежности//МНТК "Взгляд в будущее-2010", Санкт-Петербург, 2010.

99. Черкесов Г. Н. Надежность аппаратно-программных комплексов. Учебное пособие. СПб., Питер, 2005. 479 с.

100. Черкесов Г. Н., Можаев A.C. Логико-вероятностные методы расчёта надёжности. М., Знание, 1989. 66 с.

101. Ширяев М.В. Основные этапы отладки программ в статическом режиме. // Морские интеллектуальные технологии, спецвыпуск, ЕНП 2010. Спб, 2011. — С.225-229.

102. Ширяев М.В. Метод обеспечения достоверности и точности за счет введения избыточности в программы. // Материалы VIII молодежной научно-технической конференции «Взгляд в будущее 2010» / СПб.: ОАО «ЦКБ МТ «Рубин», 2010. - 492с. - С.43-46.

103. Штернберг JI. Ф. Разработка и отладка программ. М., Радио и связь, 1984. 88 с.

104. Штрик А. А., Соловецкий JI. Г., Мессих И. Г. Структурное проектирование надежности программ встроенных ЭВМ. Л., Машиностроение, 1989. 296 с.

105. Шураков В. В. Надежность программного обеспечения систем обработки данных: учебник. М., Финансы и статистика, 1987. 272 с.

106. Янг С. Алгоритмические языки реального времени. Конструирование и разработка: Пер. с англ. М., Мир, 1985.400 с.

107. Fenies Steven J., Schiffman Robert L. Quality assurance of engineering software. "J. Techn. Conuc. ASCE. Proc. Amer. Soc. Civ. Eng.", v.105, 1979.

108. Moranda P. Prediction of software reliability during debugging. // Proc. 1975 Annu. Reliability and Maintainability Symposium. Washington: D. C., 1975.