Методы, модели и алгоритмы оценки и управления качеством программно-аппаратных систем на этапах жизненного цикла тема диссертации и автореферата по ВАК РФ 05.13.01, кандидат технических наук Лужбинин, Александр Васильевич

• Лужбинин, Александр Васильевич
• кандидат технических наук
• 2004

Оглавление диссертации кандидат технических наук Лужбинин, Александр Васильевич

Введение

1. ПРОБЛЕМА ОБЕСПЕЧЕНИЯ КАЧЕСТВА ПРОГРАММНО-АППАРАТНЫХ

СРЕДСТВ

1.1 .Структура программно-аппаратных систем

1.2. Структура показателей качества программно-аппаратных систем

1.2.1. Показатели качества технических средств

1.2.2. Показатели качества программных средств и информационного обеспечения

1.3. Обеспечение качества программно-аппаратных систем на этапах жизненного цикла

1.4. Методы оптимизации качества программно-аппаратных систем

1.4.1. Критерии оптимальности принимаемых решений

1.4.2. Нечеткость информации в определении качества

1.5. Задача управления качеством программно-аппаратных систем как многокритериальная многопараметрическая задача с нечеткой информацией

Выводы по главе

2. ГЕНЕТИЧЕСКАЯ МОДЕЛЬ ПРОГРАММНО-АППАРАТНЫХ СИСТЕМ

2.1 Синергетические и гомеостатические принципы оптимизации качества программноаппаратных систем

2.2. Согласование требований по качеству ПАС на этапах жизненного цикла

2.3. Мультихромосомная модель оптимизации качества программно-аппаратных систем

2.3.1. Гиперграфовая модель качества ПАС

2.3.2. Мультихромосомная генетическая модель программно-аппаратных систем 38 * 2.3.3. Минимизация структуры мультихромосомной генетической модели ПАС

Выводы по главе

3. ПРОГРАММНЫЕ СРЕДСТВА ОЦЕНКИ И МНОГОКРИТЕРИАЛЬНОЙ ОПТИМИЗАЦИИ КАЧЕСТВА ПРОГРАММНО-АППАРАТНЫХ СИСТЕМ

3.1 Формализация задач оптимизации ПС

3.2. Алгоритм оптимизации качества программно-аппаратных систем

3.2.1. Основные этапы генетического алгоритма

3.2.2. Методы преобразования популяции, использующие эвристики

3.3. Программный комплекс MUGORT для оптимизации качества программно-аппаратных систем '

Выводы по главе

4. ОЦЕНКА КАЧЕСТВА ПРОГРАММНО-АППАРАТНЫХ СИСТЕМ ПО КОМПЛЕКСНОМУ ПОКАЗАТЕЛЮ "НАДЕЖНОСТЬ"

4.1. Анализ требований по надежности программно-аппаратных систем

4.1.1. Надежность технических средств ПАС

4.1.2. Надежность программного обеспечения

4.1.3. Надежность информационного обеспечения

4.1.4. Оценка комплексной надежности программно-аппаратных систем

4.1.5. Надежность ПАС как многомашинной вычислительной системы

4.2. Комплексная оптимизация надежности программно-аппаратной системы

АСУ "Снабжение"

4.3. Оценка эффективности модели и алгоритмов мультихромосомной оценки качества ПАС

Выводы по главе

Введение диссертации (часть автореферата) на тему «Методы, модели и алгоритмы оценки и управления качеством программно-аппаратных систем на этапах жизненного цикла»

Актуальность проблемы

Программно-аппаратные системы интенсивно входят как в научные исследования, образование, управление промышленными объектами, так и в повседневную жизнь.

К таким системам всегда предъявлялись требования по их качеству. С глобальным внедрением программно-аппаратных систем требования к их качеству значительно возросли и приобретают интегрированный, комплексный характер. Программно-аппаратные системы - это компьютеры и различные технические >стройства со встроенными программно-аппаратными блоками, а также сети, построенные на основе компьютерных (вычислительных) комплексов (hardware), с установленными на них программными и информационными средствами (software). Причем, если ранее задачи обеспечения качества решались, как правило, в отдельности для технических средств, программного обеспечения и информационного обеспечения, то сейчас, в связи с наметившимися тенденциями объединения их в единые комплексы - программно-аппаратные системы, встает вопрос о комплексной оценке и обеспечении необходимого их качества.

Кроме того, требования рынка программно-технических средств ставят вопрос не' только о качестве самих программно-аппаратных систем, но и о методах и способах обеспечения качества и управления процессом обеспечения качества на этапах проектирования, производства и эксплуатации. Эти вопросы являются, в том числе, содержательной частью CALS-технологий (ИПИ-технологий). Требования к отдельным аспектам обеспечения качества, управления и/или структура показателей качества регламентируются серией государственных стандартов IS0-9000.

Проблема комплексной оценки и оптимизации показателей качества программно-аппаратных систем должна решаться в рамках этих аспектов. Немаловажную роль при этом играет и оптимальное сочетание цены (изделия, проектирования, производства) и качества.

Необходимость комплексной оценки качества программно-аппаратных систем на этапах жизненного цикла выдвигает ряд вопросов.

Во-первых, это структура обобщенных показателей качества, которая, естественно, должна строиться на установленных стандартами показателях качества технических средств и видов обеспечения (программного, информационного) и их связь с процессами проектирования и производства.

Во-вторых, это интеграция критериев оптимальности качества программно-аппаратных систем.

В-третьих, связь комплексных (интегральных) показателей качества с характеристиками процессов проектирования, производства и эксплуатации.

Совокупность поставленных вопросов приводит к необходимости решения многокритериальных, многопараметрических оптимизационных задач, В последние годы для решения подобных задач развивается аппарат генетических алгоритмов для поиска оптимальных характеристик, в том числе, с использованием принципов гомеостатики и синергетики для формулирования критериев оптимальности.

Все вышесказанное определяет актуальность разработки методов, моделей и ' алгоритмов оценки и управления качеством программно-аппаратных систем на этапах жизненного цикла, базирующихся на методах эволюционного моделирования (генетических алгоритмах) с использованием принципов гомеостатики и синергетики.

Объект исследования

Объектами исследования являются программно-аппаратные системы, представляющие собой системы обработки информации, к которым относятся компьютеры и компьютеризированные комплексы и системы, в том числе объединяемые в сети, а также др>гие технические изделия с встроенными программно-аппаратными блоками.

Состояние вопроса

Сформулированное направление исследований базируется на нескольких составных частях:

- Стр>ктура показателей и методы оценки качества технических систем.

- Структура показателей и методы оценки качества программного обеспечения.

- Программные средства автоматизации оценки качества технических и программных средств.

- Генетические алгоритмы как инструмент решения переборных оптимизационных задач.

- Комплексные критерии оптимальности систем, использующие принципы гомеостатики.

- Методы управления состоянием сложных систем, основанные на принципах синергетики.

- Методы управления требованиями, в частности управление качеством, проектами, ресурсами в процессе проектирования и производства.

В каждом из указанных частных направлений в последние годы получены определенные научные достижения. В области оценки качества электронной аппаратуры это, в частности работы Брюнина В.Н., Абрамова В.А., Пролейко В.М., Мансурова Б.М. В области оценки качества программных средств - работы Кранкова Е.С., Липаева В.В„ Треногина Н.Г. В области оптимизации систем на основе генетических алгоритмов - работы Батищева Д.И., Норенкова И.П., Курейчика В.М. Однако, их совместное использование для решения поставленных задач в должной мере не разработано, хотя известны исследования по совместному решению некоторых из этих задач.

Совместное использование результатов исследований в отдельных направлениях позволяет сформулировать ряд подходов к решению поставленных вопросов.

Во-первых, использование методов и средств оценки качества технических и программных средств и принципов гомеостатики может привести к разработке интегрированной, комплексной структуры критериев оценки качества программно-аппаратных систем, которые обеспечат их обоснованный выбор на рынке товаров и управление качеством в процессе проектирования и производства.

Во-вторых, развитие аппарата эволюционного моделирования в сторону мультихромосомных генетических алгоритмов, позволяет решать многокритериальные оптимизированные задачи, к которым относятся и задачи управления качеством программно-аппаратных систем на основе интегрированных, комплексных оценок.

В-третьих, использование синергетического подхода позволяет управлять качеством программно-аппаратных систем как сосредоточенных, так и сетевых структур распределенного типа и/или многопроцессорных вычислительных комплексов, на основе методов оптимизации качества технических, программных и информационных средств в отдельности.

В-четвертых, использование показателя стоимости позволяет объединить в рамках единой комплексной задачи как качество самих программно-аппаратных систем, так и задачи управления качеством на этапах проектирования, производства и эксплуатации с целью обеспечения конкурентоспособности на рынке товаров.

Предмет исследования

Предметом исследования являются методы, модели и алгоритмы решения задач оценки, управления качеством и оптимизации структуры программно-аппаратных систем.

Цель работы

Общей целью работы является разработка элементов теории обеспечения качества -методов, моделей и алгоритмов, оценки и управления качеством программно-аппаратных систем на этапах жизненного цикла.

Для достижения поставленной цели необходимо решить следующие вопросы:

1. Разработать комплексную, интегрированную модель качества программно-аппаратных систем на основе оценки качества их компонентов - технических средств, программного и информационного обеспечения.

2. Разработать версию мультихромосомного генетического алгоритма оптимизации качества программно-аппаратных систем.

3. Разработать критерии оптимальности качества программно-аппаратных систем, основанных на принципах гомеостатики, как фактора решения многокритериальных, многопараметрических оптимизированных задач переборного типа.

4. Разработать основы метода управлением качеством программно-аппаратных систем в процессе их проектирования, производства и эксплуатации с использованием принципов гомеостатики.

5. Реализовать программно разработанные методы и алгоритмы для решения практических задач оптимизации качества программно-аппаратных систем.

6. Исследовать и обосновать эффективность разработанных алгоритмов и их использование для решения конкретных задач оценки и оптимизации качества программно-аппаратных систем.

Научная новизна

1. Сформулирована и поставлена математическая задача комплексной, интегрированной оценки качества программно-аппаратных систем и управления процессом обеспечения качества при их разработке, производстве и эксплуатации.

2. Разработана методика комплексной оптимизации качества программно-аппаратных систем на основе интегрированной оценки качества с использованием принципов гомеостатики.

3. Разработана математическая мультихромосомная генетическая модель качества, обобщающая комплексный, интегрированный характер системы показателей качества и позволяющая решать многокритериальные оптимизационные задачи управления качеством программно-аппаратных систем.

4. Разработан и реализован программно мультихромосомный генетический алгоритм оптимизации качества программно-аппаратных систем, позволяющий решать многокритериальные оптимизационные переборные задачи.

Практическая значимость

Проведенный комплекс исследований, разработанные методы, модели и алгоритмы оценки и управления качеством программно-аппаратных систем позволяют:

1. Оценивать в условиях рыночной конкуренции качество программно-аппаратных систем на основе комплексных, интегрированных показателей и определять необходимую степень соотношения «цена-качество».

2. В процессе проектирования программно-аппаратных систем обеспечивать оптимальные характеристики их качества как составной части процесса управления требованиями, позволяющие находить компромиссные решения по сочетанию «стоимость-качество» в целях обеспечения конкурентоспособности продукции.

3. В процессе производства управлять процессом обеспечения качества программно-аппаратных систем как составной части управления заказами в направлении снижения производственных затрат и средств выполнения заказов.

4. В процессе эксплуатации поддерживать качество программно-аппаратных систем, в частности многопроцессорных вычислительных комплексов и систем по комплексным, интегрированным критериям их оптимальности.

5. Разработанные программные средства решения многокритериальных, многопараметрических, переборных оптимизированных задач могут быть применены для решения подобных задач в других практических и научных приложениях.

Внедрение результатов работы

Основные результаты работы отражены в 3 отчетах на госбюджетные НИР (119-ГБ-053-кач.и без. 303-ГБ-53-ПТ и 56-ГБ-53-ЛС), зарегистрированных в соответствующих организациях, используются в работе предприятия ГУП НПЦ "ЭЛВИС" при разработке программно-аппаратных систем, в частности, аппаратуры Senesys Middle. Программные средства оптимизационных многокритериальных задач на основе мультихромосомных алгоритмов использованы в работе МИЭТ и при разработке АСУ "Снабжение" на предприятии ЗАО "НТЦ ЭЛИНС", что подтверждено соответствующими документами.

Кроме того, разработанные модели и алгоритмы используются в учебном процессе кафедры ИПОВС МИЭТ, что также подтверждено соответствующим документом.

Достоверность результатов

Достоверность полученных в диссертации результатов обусловлена корректной постановкой задачи, математическим обоснованием методов её решения, сравнением полученных результатов с ранее полученными решениями в процессе выполнения в МИЭТ и на предприятиях ЗАО "НТЦ ЭЛИНС" и ГУП НПЦ "ЭЛВИС" реальных работ, при выполнении которых проведена экспериментальная проверка разработанных методов, алгоритмов и программных средств в процессе обеспечения надежности АСУ «Снабжение».

Публикации

Основные результаты работы отражены в 11 публикациях, среди которых 6 статей в сборниках трудов международных и республиканских конференций, две публикации тезисов докладов на конференциях, а также в трех зарегистрированных соответствующих организациях технических отчетах по НИР.

Апробация работы

Основные положения и отдельные результаты работы докладывались на следующих конференциях:

XXIX Юбилейная международная конференция по информационным технологиям в науке, бизнесе, образовании (IT+SF'2002), Украина, Крым, 2002 г.

XXX Юбилейная международная конференция по информационным технологиям в науке, бизнесе, образовании (IT+SF'2002), Украина, Крым, 2003 г.

Конференция «Микроэлектроника и информатика», Москва, МИЭТ, 2003 и 2004 гг.

Научная сессия МИФИ-2002 и 2003 гг.

Личный вклад автора в публикациях заключается в разработке комплексной модели оценки качества ПАС на основе оценок качества видов обеспечения и в процесс жизненного ' цикла, разработке мультихромосомной генетической модели и алгоритма оптимизации, а также их программной реализации.

Структура и объем работы

Диссертация состоит из введения, четырёх глав, основных выводов, списка используемых литературных источников, из 81 наименования и приложения. Она содержит 109 страниц основного текста, 69 страниц приложения, 30 рисунков и 20 таблиц.

Заключение диссертации по теме «Системный анализ, управление и обработка информации (по отраслям)», Лужбинин, Александр Васильевич

Выводы по главе 4

В результате проведенных исследований подтвердилась эффективность алгоритма многохромосомной оптимизации оценки качества ПАС.

L Алгоритм позволил осуществлять оптимизацию как по интегральному значению оценки, так и по доминирующим факторам качества, и получить наборы значений оценочных элементов, обеспечивающих высокие значения оценок качества, причем в случае оптимизации по приоритетному направлению были получены высокие значения оценок качества не только по фактору-доминанту. но и по остальным факторам, при этом, в отличие от монохромосомной схемы представления, не требовалось существенно менять алгоритм и перепрограммировать инструментальные средства, а необходимо было только выбрать схему оптимизации и {для оптимизации по приоритетному направлению) фактор-доминант.

2. Мультихромосомное представление информации позволило легко определить не только характер изменений значений интегральной оценки качества от предельной стоимости разработки, ио и аналогичные зависимости для отдельных факторов качества, что совершенно необходимо для выработки оптимальной стратегии проектирования.

3. Экспериментальные исследования влияния на эффективность алгоритма многокритериальной оптимизации использования доминирующего фактора показали, что обеспечивается получение средних оценок по фактору доминанту не ниже 75% от , максимальных значений, и высокое значение оценки по интеграллъному показателю.

Заключение

В диссертации разработаны элементы теории обеспечения качества - методы, модели и алгоритмы оценки и управления качеством программно-аппаратных систем на этапах жизненного цикла.

В рамках работы решены следующие вопросы.

1. Разработана комплексная, интегрированная модель качества программно-аппаратных систем на основе оценки качества их компонентов - технических средств, программного и информационного обеспечения.

2. Разработана версия мультихромосомного генетического алгоритма оптимизации и оценки качества программно-аппаратных систем.

3. Разработаны критерии оптимальности качества программно-аппаратных систем, основанные на принципах гомеостатики как фактора решения многокритериальных многопараметрических оптимизациоанных задач переборного типа.

4. Разработаны основы метода управлением качеством программно-аппаратных систем в процессе их проектирования, производства и эксплуатации с использованием принципов гомеостатики.

5. Реализованы программно методы и алгоритмы для решения практических задач оптимизации качества программно-аппаратных систем.

6. Исследована и обоснована эффективность разработанных алгоритмов и их использования для решения задач оценки и оптимизации качества программно-аппаратных систем

7. Проведен комплекс исследований, разработаны методы, модели и алгоритмы оценки и управления качеством программно-аппаратных систем, позволяющие оценивать в условиях рыночной конкуренции качество программно-аппаратных систем на основе комплексных интегрированных показателей и определять степень соотношения «цена-качество», обеспечивать в процессе проектирования программно-аппаратных систем оптимальные характеристики их качества как составной части процесса управления требованиями, находить компромиссные решения по сочетанию стоимость-качество в целях обеспечения конкурентоспособности продукции, управлять в процессе производства процессом обеспечения качества программно-аппаратных систем как составной части управления заказами в направлении снижения производственных затрат и средств выполнения заказов, поддерживать в процессе эксплуатации качество программно-аппаратных систем, в частности многопроцессорных вычислительных комплексов и систем по комплексным, интегрированным критериям их оптимальности.

8. Разработанные программные средства решения многокритериальных многопараметрических, переборных оптимизированных задач могут быть применены для решения подобных задач в других практических и научных приложениях.

Список литературы диссертационного исследования кандидат технических наук Лужбинин, Александр Васильевич, 2004 год

1. Норенков И.П., д.т.н., проф. «Подходы к проектированию автоматизированных систем», МГТУ им. Баумана; М.:1999 г.; МЛ 999 г.

2. IDEF Standards. IDEFO Function Modeling Method, http://vwvw.idef.com/idefO.htm

3. IDEF Standards. IDEF1 Function Modeling Method, http://www.idef.com/idefl.htm

4. IDEF Standards. IDEF3 Function Modeling Method, http://www.idef.com/ideD.htm

5. Месарович, Такахара «Теория многоуровневых иерархических систем»

6. Лисов О.П., Душутин П.В. «Оптимизация структур программно-технических комплексов САПР. Труды XXIII международной конференции «Новые информационные технологии в науке, образовании и бизнесе». Ялта-Гурзуф, 1996.

7. Норенков И.П. «Подходы к проектированию автоматизированных систем. «Информационные технологи», 1998

8. Батищев Д.И. «Поисковые методы оптимального проектирования» М., «Советское радио», 1975

9. Батищев Д.И. «Методы оптимального проектирования» М., «Радио и связь», 1984

10. Лужбииин А.В., Востриков А.А., Гаранин А.В. Mixed-computing алгоритмы оптимизации программно-аппаратных телекоммуникационных и информационных систем. Материалы XXIX международной конференции IT+SF'2002, Украина, Крым, 2003 г.

11. Лужбинин А.В., Александров А.В., Климов А.С. Алгоритмы управления в иерархической системах. Материалы XXIX международной конференции IT+SF'2002, Украина, Крым, 2003 г.

12. Лужбинин А.В., Лопахин М.Л., Востриков А.А. Генетический алгоритм оптимизации технических и информационных систем. Материалы XXIX международной конференции IT+SF'2002, Украина, Крым, 2003 г.

13. Лужбинин А.В., Цырульник Ю.А. Оптимизация качества больших систем. Сборник научных трудов. Научная сессия МИФИ 2003 г. Том 2, Москва 2003 г., стр.85-87.

14. Лужбинин А.В., Лисов О.И. Гомеостаз в управлении качеством электронных телекоммуникационных систем. Сборник научных трудов. Научная сессия МИФИ 2003 г. Том 2, Москва 2003 г., стр.87-89.

15. Лужбинин А.В., Цырульник Ю.А. Многокритериальная оптимизация сложных технических систем. Сборник научных трудов. Научная сессия МИФИ 2003 г. Том 2, Москва 2003 г., стр.89-91.

16. Лужбинин А.В. Система управления состоянием программно-аппаратных систем. Тезисы докладов конференции «Микроэлектроника и информатика-2003». Москва 2003 г. стр 259.

17. Отчет по НИР 119-ГБ-053-Кач. и Без. Методы и средства информационной поддержки управления качеством на основе CALS-технологии. Рег.01200007456. Инв.№ 02.20.01.08057.

18. Отчет по НИР 303-ГБ-53-ПТ. Разработка методов и программных средств автоматизации проектирования высоконадёжных вычислительных систем. Рег.01200109293. Инв.№02.2.00305205.

19. Отчет по НИР 56-ГБ-53-ЛС. Исследование возможности применения мультихромосомных генетических алгоритмов для методов оптимизации качества больших информационных, технических и экономических систем. Рег.0199004025.

20. Карманов В Г. «Математическое моделирование» М., «Наука», 1980

21. Моисеев Н.Н., Иваиилов Ю.П. «Методы оптимизации» М., «Наука», 1978

22. Г>рин JI.C., Меркулев Л.Д. «Задачи и методы оптимального распределения рес>рсов» -М., «Советское радио», 1968

23. Даниленко С.Е., Каган Б.М., Шахунянц Т.Г. «О дискретных алгоритмах в задачах оптимизации» «Автоматика и вычислительная техника», Рига, №2, 1977

24. Батищев Д.И. «Генетические алгоритмы решения экстремальных задач» Нижегородский >ниверситет, 1995

25. Перегудов Ф.И. «Введение в системный анализ» М., «Высшая школа», 1989

26. Айала Ф. «Введение в популяционн>ю и эволюционную генетику» М., «Мир», 1984

27. Tsujimura Y., Gen М., Li Y., Kubota E. «An Efficient Method for Solving Fuzzy Assembly-Line Balancing Problems in Genetic Algorithm» Third European Congress on Fussy and Intelligent Technologies and Soft Computing (EUFIT), Aechen, Germany, 1995

28. Gong D., Gen M., Xu W., Yamazaki G. «Evolutionary Strategy for Obstacle location Allocation» Third European Congress on Fussy and Intelligent Technologies and Soft Computing (EUFIT), Aechen, Germany, 1995

29. Батищев Д.И., Власов С.Е. «Применение генетических алгоритмов для трассировки нерегулярных структур с однослойной коммутацией» Сб. научных трудов «Оптимизация и моделирование в автоматизированных системах», Воронеж, Воронежский гос. техн. >н-т, 1995

30. Норенков И.П., Маничев В.Б. «Системы автоматизированного проектирования электронной вычислительной аппаратуры» М., «Высшая школа», 1983

31. Душутин И.В. «Принципы построения мультихромосомных моделей в задачах оптимизации» Труды второй Всероссийской межвузовской научно-технической конференции студентов и аспирантов «Микроэлектроника и информатика-97», часть-2, М., МИЭТ, 1997

32. Душутин И.В. «Построение мультихромосомных моделей больших информационных систем» Депонент в ВИНИТИ №1624-В97, М., 1997

33. Батищев Д.И., Скидкина JI.H., Трапезникова Н.В. «Глобальная оптимизация с помощью эволюционно-генетических алгоритмов» Сб. научных трудов «Оптимизация и моделирование в автоматизированных системах» - Воронеж, Воронежский гос. техн. унт, 1994

34. Grauel Л., Ludvvig L.A. «Genetic Algorithms For Optimal Feature selection» Fourth European Congress on Fussy and Intelligent Technologies and Soft Computing (EUFIT), Aechen, Germany, 1996

35. Лисов О.И. «Оценка характеристик автоматизированных систем проектирования» Уч. пособие, М., МИЭТ, 1983

36. Лисов О.И. «Системный анализ и математическое моделирование САПР» М., МИЭТ, 1994

37. Лисов О.И., Т>фанов А.Н. «Выбор целевых функций и оптимизация вычислительных систем в машинном проектировании» в кн. «Управляющие системы и машины», 1978, №3

38. Пролейко В.М., Абрамов В.А., Брюнин В.Н. «Системы управления качеством изделий микроэлектроники» изд. «Радио и связь», М., 1976

39. Липаев В., Филинов Е. «Формирование и применение профилей открытых информационных систем» журнал «Открытые системы» №5 (25), М., 1997

40. Львов В. «Создание систем поддержки принятия решений на основе хранилищ данных» -журнал СУБД №3, М., 199747. «CALS. Поддержка жизненного цикла продукции». Руководство по применению. изд. Минэкономики РФ, М., 1999

41. Koza J.R. «Genetic Programming: On the Programming of Computers By Means of Natural Selection» Cambridge, MA:MIT Press, 1992

42. Zakian V., Al-Naib U. «Design of dynamic and control systems by the method of inequalities» -Proc. Inst. Elect. Eng. vol. 120, no. 11, pp. 1421-1427, 1970

43. Алтунин A.E., Семухин M.B. «Модели и алгоритмы принятия решений в нечетких условиях» Издательство Тюменского государственного университета, 2000

44. Батищев Д.И. «Генетические алгоритмы решения экстремальных задач» под ред. Академика АЕН Львовича Я.Е. учеб. пособие. Воронеж, гос. техн. ун-т; Нижегородский гос. ун-т. Воронеж, 1995

45. Батищев Д.И., Исаев С.А. «Оптимизация многоэкстремальных функций с помощью генетических алгоритмов» http://www.softlab.od.ua/algo/neuro/ga-optl/index.htm

46. Батищев Д.И., Скидкина Л.Н., Трапезникова Н.В. «Глобальная оптимизация с помощью эволюционно-генетических алгоритмов» Межвуз. Сборник, ВГТУ, Воронеж, 1994

47. Беллман Р., Дрейфус С. «Прикладные задачи динамического моделирования» М., Наука, 1965

48. Беллман Р., Заде Л. «Принятие решений в расплывчатых условиях» в сб. «Вопросы анализа и процедуры принятия решений», М., Мир, 1976

49. Клыков Ю.И. «Ситуационное управление большими системами» М., Энергия, 1974

50. Липаев В.В. «Управление разработкой программных средств» М., «Финансы и статистика», 1993

51. Месарович М., Мако Д., Такахара Я. «Теория иерархических многоуровневых систем» -М., Мир, 1973

52. Борисенко М.Л., Гунченко А.А. «Оценка качества программных средств в системе сертификации» В сб. «Микроэлектроника и информатика-98». Всероссийская межвузовская научно-техническая конференция студентов и аспирантов, М., МИЭТ, 1998, с. 72-74

53. Борисенко М.Л. «Использование нечеткой модели процесса оценивания качества для получения достоверной экспертной оценки» в сб. «Оборонный комплекс - научно-техническому прогрессу России»№2, 1999

54. Исследование возможности применения мультихромосомных генетических алгоритмов для методов оптимизации качества больших информационно-технических и экономических систем: Отчет о НИР (заключительный) / МИЭТ: Науч. рук. Лысак В.В., 1999

55. И.П. Норенков "Основы автоматизированного проектирования". Глава 6. Методики проектирования автоматизированных систем. Москва. Издательство МГТУ имени Н.Э. Баумана. 2000 г.

56. И.П. Норенков, П.К. Кузьмик "Информационная поддержка наукоемких изделий". Глава 2. Информационная поддержка этапов жизненного цикла изделий. Москва. Издательство МГТУ имени Н.Э. Баумана. 2002 г.

57. Г.П. Воронин, О.С, Якимов «Нормативное обеспечение в области CALS». Сборник работ «Опыт использования CALS-технологий в создании наукоемких изделий», «Наукова д>мка», Киев, 2002 г.

58. П.В. Балабуев «Глобальная информатизация прорыв информационных (компьютерных) технологий». Сборник работ «Опыт использования CALS-технологий в создании наукоемких изделий», - «Наукова думка», Киев, 2002 г.

59. В.А. Богуслаев, В.Н. Агарков «Тенденции развития компьютерных информационных технологий на двигателестроительном предприятии». Сборник работ «Опыт использования CALS-технологий в создании наукоемких изделий», «Наукова думка», Киев, 2002 г.

60. В,Н. Агарков «Системы автоматизированного проектирования», М.: «Наука», 1976 г.

61. В.И. Колесников, Г.И. Ансин, B.C. Билан «Опыт создания интегрированной информационной среды предприятия на ЗМКБ «Прогресс». Сборник работ «Опыт использования CALS-технологий в создании наукоемких изделий», «Наукова думка», Киев, 2002 г.

62. Н.Г. Треногин, В.И. Терехов «Решение задачи оптимизации структуры информационной системы в рамках объектно-ориентированного подхода». Журнал «Информационные технологии», №3, 2001г.

63. Э.А. Трахтенгерц «Влияние процедуры тол осования на результат согласованного решения». Журнал «Информационные технологии», №4, 2002 г.

64. В.В. Бондаренко, А,Л. Куляница, Г.П. Чекинов «Механизм оценивания ситуаций в интеллектуальной системе поддержки приянтия решений». Журнал «Информационные технологии», №3, 2001 г.

65. Э.А. Трахтенгерц «Использование многокритериальной оптимизации в компьютерной поддержке переговоров по согласованию управленческих решений». Приложение к журналу «Информационные технологии», №3, 2002 г.

66. В.В, Липаев «Концепция управления качеством жизненного цикла программных средств на основе международных стандартов». Журнал «Информационные технологии», №6, 2002 г.

67. В.В. Топорков "Об оптимальном доопределении разбиений конечных множеств в проектировании дискретных систем". Журнал «Информационные технологии», №7, 2002 г.

68. Л.И. Волгин "Алгебраические логики: взаимоотношения, законы и свойства", М.: Высшая школа, 1998 г.

69. В В. Курейчик "Эволюционные методы решения оптимизационных задач"

70. С.Г. Чекинов "Интеллектуальные системы",- М.:Мир, 1999 г.

71. А.Б. Барский, В.В. Шилов "Потоковая вычислительная система: программирование и оценка эффективности", М.: Высшая школа, 1999 г.