Использование нечеткой модели при оптимизации характеристик программных средств с помощью многокритериального генетического алгоритма тема диссертации и автореферата по ВАК РФ 05.13.12, кандидат технических наук Борисенко, Маргарита Леоновна

• Борисенко, Маргарита Леоновна
• кандидат технических наук
• 2002

Оглавление диссертации кандидат технических наук Борисенко, Маргарита Леоновна

Содержание.

Введение.

Глава 1. Задача оптимизации характеристик программных средств и методы решения.

1.1 Качество программных средств.

1.1.1 Показатели качества программных средств.

1.1.2 Классификация и особенности стандартов качества программных средств.

1.2 Формализация задачи принятия решения.

1.2.1 Множество альтернатив.

1.2.2 Критерии оптимальности и ограничения.

1.2.3 Оптимизация по множеству критериев.

1.2.4 Оптимизация при наличии ограничений.

1.3 Оптимизация многокритериальных задач с помощью генетических алгоритмов.

1.3.1 Обработка множества ограничений в ЭА.

1.3.2 Многокритериальная оптимизация с использованием ЭА.

1.3.3 Стратегия принятия решения, использующая задание целевых значений и приоритетов.

Выводы по главе 1.

Глава 2. Обработка различных видов неопределенности информации с помощью аппарата нечетких множеств.

2.1 Анализ видов неопределенности информации, характерных для процесса оценивания качества и оптимизации характеристик программных средств.

2.2 Описание различных видов неопределенности с помощью аппарата нечетких множеств.

2.3 Основные понятия, применяемые для изложения теории нечетких множеств.

2.3.1 Нечеткое множество.

2.3.2 Множество уровня.

2.3.3 Операции над F-множествами.

2.3.4 Свойства множеств уровня.

2.3.5 Расстояние Хемминга.

2.3.6 Нечеткое F-отношение.

2.3.7 Отображение F-множеств.

2.3.8 Математическая структура и свойства класса нечетких множеств.

2.3.9 Методы нахождения результатов алгебраических операций над F-величинами

2.4 Обзор основных понятий интервального анализа.

2.4.1 Интервальные числа.

2.4.2 Стандартная интервальная арифметика.

2.4.3 Субдистрибутивность.

2.4.4 Монотонность по включению.

2.4.5 Интервальная арифметика с нестандартными операциями вычитания и деления.

2.4.6 Обобщенный интервал.

2.4.7 Мнимый интервал.

2.4.8 Интервальнозначное нечеткое множество.

2.5 Методы, применяемые для построения функций принадлежности.

2.6 Обзор сведений о нечетких и лингвистических переменных.

2.6.1 Лингвистические неопределенности и вычисление значений лингвистической переменной.

2.6.2 Нечеткие условные предложения и композиционное правило вывода.

2.6.3 Простые отношения между нечеткими переменными.

2.7 Понятие о нечетких алгоритмах.

Выводы по главе 2.

Глава 3. Многокритериальная оптимизация с помощью генетического алгоритма при формировании множества альтернатив и критериев на основе нечеткого подхода.

3.1 Модель объекта оптимизации в терминах популяционной генетики.

3.1.1 Структура нечеткой особи.

3.1.2 Нечеткие критерии оптимальности и ограничения.

3.1.3 Нечеткая функция предпочтительности.

3.2 Алгоритм оптимизации.

3.2.1 Формирование начальной популяции и ранжирование.

3.2.2 Назначение приспособленности.

3.2.3 Оператор скрещивания нечетких особей.

3.2.4 Методы преобразования популяции, использующие ниши.

3.2.5 Оператор мутации.

3.2.6 Селекция особей и формирование следующего поколения.

3.2.7 Последовательное уточнение предпочтений.

3.2.8 Краткое описание структуры МКГА НХ.

Выводы по главе 3.

Глава 4. Оптимизирующий модуль для программного комплекса "Эксперт", использующий нечеткий эволюционный подход.

4.1 Формализация задачи оптимизации ПС.

4.1.1 Модель процесса оценивания качества.

4.1.2 Уровень ранжирования как нечеткое множество.

4.1.3 Подготовка к оптимизации.

4.2 Особенности реализации МКГА 1IX в оптимизирующем модуле.

4.2.1 Особенности структуры особи.

4.2.2 Оператор мутации.

4.3 Результаты тестирования МКГА НХ с нестандартными операторами бридинга, кроссовера и мутации.

4.3.1 Характеристика тестовых задач.

4.3.2 Влияние параметров генетического алгоритма на эффективность поиска.

Введение диссертации (часть автореферата) на тему «Использование нечеткой модели при оптимизации характеристик программных средств с помощью многокритериального генетического алгоритма»

Актуальность работы

Основной задачей при проектировании, разработке и создании новых версий сложных программных средств, как и любых других сложных объектов и систем, для разработки которых привлекаются ресурсы разного характера и объема, является создание соответствующего объекта с заданным уровнем качества в условиях ограниченности ресурсов.

Современные сложные системы i [рограммных средств имеют ряд важных особенностей:

• единую цель разработки и функционирования всей системы;

• наличие совокупности тесно взаимодействующих подсистем, имеющих свои локальные задачи функционирования;

• иерархическую структуру связей компонент;

• иерархическую структуру совокупности критериев качества подсистем и системы в целом.

Качество программных средств (ПС) стало основой их конкурентоспособности, и возможности широкого применения, поэтому среди стандартов, регламентирующих жизненный цикл программных средств, важную роль играют стандарты по обеспечению качества программных компонентов и ПС в целом. Оценка качества программных объектов с целью оптимизации по разнообразным критериям производится разработчиком на различных этапах жизненного цикла ПС, в том числе

• на этапе системного анализа и проектирования для установления приоритетных направлений разработки;

• на этапе тестирования, для выявления узких мест и определения характера корректировки разрабатываемого ПС;

• на этапе сопровождения и развития ПС, для формирования перечня желательных модификаций при создании новой версии.

Кроме того, оценку качества ПС осуществляет заказчик как на этапе разработки ПС во время приемки и опытной эксплуатации, так и на этапе эксплуатации. Актуальным является решение задачи поиска оптимальных вариантов программной системы в условиях ограниченных ресурсов и заданного уровня качества альтернатив.

Цель работы

Целью работы является разработка метода, модели и алгоритмов оптимизации ПС, не зависящих от вида и количества целевых функций, а также дающих возможность учесть нечеткий характер исходной информации.

Достижения указанной цели предполагает решение следующих задач:

• анализ литературы по существующим методам многокритериальной оптимизации, в том числе основанным на принципе Парето;

• анализ литературы по "мягким" вычислениям, включающим генетические алгоритмы и теорию нечетких множеств;

• исследование возможности представления структуры показателей качества программных средств, зафиксированных в российском (стандарте ГОСТ 28195) и международном (ISO 9126) стандартах, в виде иерархической модели, при построении которой используются методы теории нечетких множеств;

• разработку методики построения нечеткой особи для многокритериального генетического алгоритма;

• программную реализацию разработанного метода оптимизации.

Методы исследования

Использованы методы теории нечетких множеств и эволюционные методов поиска и оптимизации.

Научная новизна

В диссертационной работе автором получены следующие новые научные результаты:

1. Теоретически обосновано повышение степени достоверности экспертного оценивания качества при использовании представления уровней ранжирования в виде нечетких множеств, и показателей качества - в виде нечетких чисел, тем самым обоснована возможность представления структуры показателей качества программных средств в виде нечеткой иерархической модели.

2. Разработана методика построения нечеткой особи для многокритериального генетического алгоритма с использованием функций принадлежности, удовлетворяющих требованию строгой монотонности на носителе.

3. Разработан многокритериальный генетический алгоритм с нечеткой хромосомой (МКГА НХ), предлагаемый для оптимизации программных средств.

4. Разработан оператор назначения степени приспособленности особи, с учетом нечеткости критериев оптимизации, использующий принцип Парето.

5. Разработаны и протестированы с использованием вещественной функции кодирования нестандартные генетические операторы бридинга, кроссовера и 6 мутации, использующие для формирования "потомков" вместо традиционной пары особей "родительскую" совокупность особей, а также случайный выбор точек разрыва.

6. Создан инструмент (оптимизирующий модуль программного комплекса "Эксперт"), реализующий предлагаемый алгоритм оптимизации программных средств по качеству и затратам на его достижение.

Практическая значимость.

Практическая значимость полученных в работе результатов заключается в следующем:

• разработанная технология нечетко1 о моделирования позволяет строить модели для оптимизации широкого класса ПС.

• Построенный алгоритм оптимизации, в результате использования эволюционных методов поиска, обладает свойством инвариантности к поставленной задаче, он может быть применен для целей оптимизации в любых других областях. При этом наличие механизма формализации нечеткой информации дополнительно расширяет сферу возможного применения.

• Созданный на основе разработанных методов оптимизирующий модуль программного комплекса "Эксперт" в результате изложенных выше особенностей реализованного алгоритма достаточно универсален, так как выполняет весь комплекс типовых генетических операторов, оставляя пользователю право задавать различные варианты функций принадлежности и нечетких правил вывода, и выбирать цели оптимизации.

На защиту выносится:

• представление показателей качества ПС в виде нечеткой иерархической модели;

• методика построения нечеткой особи для многокритериального генетического алгоритма;

• многокритериальный генетический алгоритм с нечеткой хромосомой и нестандартными генетическими операторами;

• программная реализация предлагаемого способа решения задачи;

• результаты экспериментальной проверки разработанного метода на специальных тестовых задачах для генетических алгоритмов и на задаче оптимизации ПС.

Апробация работы

Основные положения диссертационной работы докладывались и обсуждались на:

• Всероссийской межвузовской научно-технической конференции студентов и аспирантов "Микроэлектроника и информатика-98", Москва, Зеленоград, МИЭТ, 1998; выступала в качестве соавтора трех докладов.

• Девятой всероссийской межвузовской научно-технической конференции студентов и аспирантов "Микроэлектроника и информатика-2002", Москва, Зеленоград, МИЭТ, 2002.

Результаты опубликованы в 5 работах и 2 научно-технических отчетах. Структура диссертации.

Диссертация содержит введение, 4 главы, заключение. Общий объем - 151 страница. Список литературы содержит 102 наименования.

Заключение диссертации по теме «Системы автоматизации проектирования (по отраслям)», Борисенко, Маргарита Леоновна

Заключение

В диссертационной работе исследована возможность представления структуры показателей качества программных средств, зафиксированных в российском (стандарте ГОСТ 28195) и международном (ISO 9126) стандартах, в виде иерархической модели, при построении которой используются методы теории нечетких множеств.

Теоретическое обоснование повышения степени достоверности экспертного оценивания качества при использовании представления уровней ранжирования в виде нечетких множеств, и показателей качества - в виде нечетких чисел, с использованием функций принадлежности, удовлетворяющих ограничениям, описанным в 3.1, позволило разработать методику построения нечеткой особи для многокритериального генетического алгоритма.

Разработан многокритериальный генетический алгоритм с нечеткой хромосомой (МКГА НХ), предлагаемый для оптимизации программных средств.

Разработан алгоритм назначения степени приспособленности особи, с учетом нечеткости критериев оптимизации, использующий принцип Парето.

Разработаны и протестированы с использованием вещественной функции кодирования нестандартные генетические операторы бридинга, кроссовера и мутации, использующие для формирования "потомков" вместо традиционной пары особей "родительскую" совокупность особей, а также случайный выбор точек разрыва.

Создан инструмент (оптимизирующий модуль программного комплекса "Эксперт"), реализующий предлагаемый алгоритм оптимизации программных средств по качеству и затратам на его достижение.

Поскольку МКГА НХ, как и другие алгоритмы семейства генетических инвариантен к поставленной задаче, он может быть применен для целей оптимизации в любых других областях. При этом наличие механизма формализации нечеткой информации дополнительно расширяет сферу возможного применения. Следует заметить, что применение генетического алгоритма наиболее эффективно, когда способ точного решения задачи неизвестен или очень сложен в реализации. В обоих случаях имеет место нечеткость исходной информации, поэтому нечеткая символьная модель в генетическом алгоритме представляется весьма уместной.

Список литературы диссертационного исследования кандидат технических наук Борисенко, Маргарита Леоновна, 2002 год

1. Адлер Ю.П., Маркова Е.В., Грановский Ю.В. Планирование эксперимента при поиске оптимальных условий. М: 1 Наука, 1976, 280с.

2. Аленфельд Г., Херцбергер Ю. Введение в интервальные вычисления М: Мир, 1987, 360с.

3. Алтунин А.Е., Семухин М.В. Модели и алгоритмы принятия решений в нечетких условиях: Монография. Тюмень: Издательство Тюменского государственного университета, 2000. 352 с.

4. Аоки М. Введение в методы оптимизации. М: Наука, 1977, 344с.

5. Батищев Д.И. Генетические алгоритмы решения экстремальных задач./ Под ред. академика АЕН Я.Е. Львовича: учеб. пособие. Воронеж, гос. техн. ун-т; Нижегородский гос. ун-т. Воронеж, 1995. 69 с.

6. Батищев Д.И., Исаев С.А Оптимизация многоэкстремальных функций с помощью генетических алгоритмов. http.V/www.softlab.od.ua/algo/neuro/ga-optl /index.htm

7. Батищев Д.И., Скидкина Л.Н., Трапезникова Н.В. Глобальная оптимизация с помощью эволюционно генетических алгоритмов / Межвуз. сборник, ВГТУ, Воронеж, 1994.

8. Беллман Р., Дрейфус С. Прикладные задачи динамического программирования. М: Наука, 1965

9. Беллман Р., Заде Л. Принятие решений в расплывчатых условиях В сб.: Вопросы анализа и процедуры принятия решений. М: Мир, 1976

10. Борисов А.Н. и др. Модели принятия решений на основе лингвистической переменной. Рига: Зинатне, 1982 • 256с.

11. Борисов А.Н., Крумберг О.А., Федоров И.П. Принятие решений на основе нечетких моделей: примеры использования. Рига: Зинатне. 1990. - 184 с.

12. Брайсон А., Хо Ю-Ши. Прикладная теория оптимального управления М: Мир, 1972, 544с.

13. Васильев Ф.П. Численные методы решения экстремальных задач. М: Наука, 1980, 518с.

14. Грень Е. Статистические игры и их применение. М: Статистика, 1975, 176с.

15. Гудмен И. Нечеткие множества как классы эквивалентности случайных множеств. В сб.: Нечеткие множества и теория возможностей. М: Радио и связь, 1986, с.241-264

16. Гусев JI.A., Смирнова И.М. Размытые множества. Теория и приложения (обзор). Автоматика и телемеханика, N 5, 1973, с.66-85.

17. Дубов Ю.А., Травкин С.И., Якимец В.Н. Многокритериальные модели формирования и выбора вариантов систем. М.: Наука. Гл. ред. физ.-мат. лит., 1986. 296 с.

18. Дюбуа Д., Прад А. К анализу и синтезу нечетких отображений. В сб.: Нечеткие множества и теория возможностей. М: Радио и связь, 1986, с.229-240

19. Заде Л.А. Понятие лингвистической переменной и его применение к принятию приближенных решений. М: Мир, 1976, 165с.

20. Заде Л.А. Размытые множества и их применение в распознавании образов и кластер-анализе. В сб.: Классификация и кластер. М: Мир, 1980, с.208-247

21. Калмыков С.А., Шокин Ю.И., Юлдашев З.Х. Методы интервального анализа. Новосибирск: Наука, 1986, 222с.

22. Кандель А., Байатт У.Дж. Нечеткие множества, нечеткая алгебра, нечеткая статистика. Труды американского общества инженеров-радиоэлектроников, т. 66, 1978, N12, с.37-61.

23. Кашьян Р.Л., Рао А.Р. Построение динамических стохастических моделей по экспериментальным данным. М: Наука, 1983, 384с.

24. Кини Р.Л., Райфа X. Принятие решений при многих критериях: предпочтения и замещения. М: Радио и связь, 1981, 560с.

25. Клыков Ю.И. Ситуационное управление большими системами. М: Энергия, 1974

26. Кофман А. Введение в теорию нечетких множеств. М.: Радио и связь, 1982, 432 с.

27. Липаев В.В. Управление разработкой программных средств. М. "Финансы и статистика", 1993.

28. Месарович М., Мако Д., Такахара Я. Теория иерархических многоуровневых систем. М: Мир, 1973

29. Моисеев Н.Н. и др. Методы оптимизации. М: Наука, 1978, 351с.

30. Моисеев Н.Н. Элементы теории оптимальных систем. М: Наука, 1975, 528с.

31. Негойце К. Применение теории систем к проблемам управления. М: Мир, 1981, 179с.

32. Нечеткие множества и теория возможностей. Последние достижения. М: Радио и связь, 1986, 408с.

33. Норвич A.M., Турксен И.Б. Построение функций принадлежности. В сб.: Нечеткие множества и теория возможностей. М: Радио и связь, 1986, с.64-71.

34. Норвич A.M., Турксен И.Б. Фундаментальное измерение нечеткости. В сб.: Нечеткие множества и теория возможностей. М: Радио и связь, 1986, с.54-64.

35. Обработка нечеткой информации в системах принятия решений/Борисов А.Н., Алексеев А.В., Меркурьева Г.В. и др. М.: Радио и связь, 1989. 304 с.

36. Орлов А.И. Устойчивость в социально-экономических моделях. М: Наука, 1979.

37. Орловский С.А. Проблемы принятия решений при нечеткой исходной информации. М: Наука, 1981, 203с.

38. Подиновский В.В., Ногин В.Д. Парето-оптимальные решения многокритериальных задач. М.: Наука, 1982. - 256 с.

39. Пфанцагль И. Теория измерений. М: Мир, 1976, 166с.

40. Растригин Л.А. Системы экстремального управления. М: Наука, 1974

41. Резников А.П. Обработка накопленной информации в затрудненных условиях. М: Наука, 1976

42. Фельдбаум А.А. Основы теории оптимальных автоматических систем. М: Наука, 1966

43. Фишберн П. Теория полезности для принятия решений. М: Наука, 1978

44. Химмельблау Д. Прикладное нелилейное программирование. М: Мир, 1975

45. Хог Э., Арора Я. Прикладное оптимальное проектирование. М: Мир, 1983, 478с.

46. Хьюбер Дж.П. Робастность в статистике. М: Мир, 1984, 304с.

47. Ягер P.P. Множества уровня для оценки принадлежности нечетких подмножеств. В сб.: Нечеткие множества и теория возможностей. М: Радио и связь, 1986, с.71-78.

48. Back Т. and Schwefel Н.-Р., "An overview of evolutionary algorithms for parameter optimization," Evol. Comput., vol. I, pp. 1-23. Spring 1993:

49. Back Т., Hoffmeister F., and Schwefel H.-P., "A survey of evolution strategies," in Genetic Algorithms: Proc. 4th Int. Conf., R.K. Belew and L.B. Booker, Eds. San Mateo. CA: Morgan Kaufmann, 1991, pp. 2-9.

50. Bellman R., Kalaba K., Zadeh L.A. Abstraction and pattern classification. J.Math. Anal, and Appl, v. 13, Nol, Jan, 1966

51. Bellman R.E., Gierts M. On the analitical formalism of theory of fuzzy sets."Inform. Sci.", 1973, v.5, N2, p.149-156

52. Deb К. and Goldberg D.E., "An investigation of niehe and species formation in genetic function optimization." in Proc. 3rd Int. Conf. Genetic Algorithms, J. D. Schaffer, Ed. San Mateo, CA: Morgan Kaufmann, 1989, pp. 42-50.

53. Dubois D., Prade H. Fuzzy real algebra: Some rezults. "Fuzzy Sets and Systems". 1979, v.2, N4, p.327-348

54. Dubois D., Prade H. Fuzzy sets and systems: Theory and applisations. New York: Acad. Press, 1980, 394p.

55. Dubois D., Prade H. Operations on fuzzy numbers. Int. J.System sci., 1978, v.5, N2, p.613-626

56. Dubois D., Prade H. Systems of linear fuzzy constraints. "Fuzzy Sets and Systems". 1980, v.3, N1, p.37-48.

57. Fine T.L. Theories of Probability: An Examination of Foundations, Academic Press, New York, 1973

58. Flondor P. An example a fuzzy system. "Kybernetes". 1977, p.229-230

59. Fogel D.B., System Identification Through Simulated Evolution: A Machine Learning Approach to Modeling. Needham, MA: Ginn, 1991.

60. Fonseca C.M. and Fleming P.J., "An overview of evolutionary algorithms in-multiobjective optimization," Evol. Comput., vol. 3, no. 1. pp. 1-16, Spring 1995.

61. Fonseca C.M. and Fleming P.J., "Multiobjective optimization and multiple constraint handling with evolutionary algorithms" IEEE Trans. Syst., Man, Cybern. Part A, vol. 28, no. 1, 1998, pp. 26-37.

62. Fonseca Carlos M., Fleming Peter J. Multiobjective Optimization and Multiple Constraint Handling with Evolutionary Algorithms. IEEE Trans. Syst., Man, Cybern. Part A, vol. 28, no. 1, 1998, pp. 26-37.

63. Fourman M.P., "Compaction of symbolic layout using genetic algorithms," in Genetic Algorithms and Their Applications: Proc. 1st Int. Conf. Genetic Algorithms, J. J. Grefenstette, Ed. Princeton, NJ: Lawrence Erlbaum, 1985, pp. 141-153.

64. Funy J.W., Fu K.S. An axiomatic approach to rational decision making in a fuzzy environment. "Fuzzy Sets and Their Application to Cognitive and Decision Processes", New York, 1975, p.227-257

65. Goguen Y.A. The logic of inexact concepts. "Synthese", v. 19, p.329-373

66. Goldberg D.E., Genetic Algorithms in Search. Optimization and Machine Learning. Reading, MA: Addison-Wesley, 1989.

67. Gorzalczany M.B. Interval-Valued Decisional Rule in Signal Transmission Problems. "Arhiwum automatyki i telemechaniki", t.XXX, N2, 1985, p. 159-168

68. Grefenstette J.J., "Genetic algorithms for changing environments." in Parallel Problem Solving from Nature 2, R. Manner and B. Manderick. Eds. Amsterdam. The Netherlands: North-Holland, 1992. pp. 137-144.

69. Hajela P. and Lin С.-У. "Genetic search strategies in multicriterion optimal design." Struct. Optim., vol. 4, pp. 99-107, 1992.

70. Hart W.E. and Belevv R.K., "Optimizing an arbitrary function is hard for the genetic algorithm," in Genetic Algorithms: Proc. 4th Int. Conf., R. K. Belew and L. B. Booker, Eds. San Mateo, CA: Morgan Kaufmann, 1991. pp. 190-195.

71. Holland J.H. Adaptation in Natural and Artificial Systems. Ann Arbor: The University of Michigan Press, 1975.

72. Horn J., Nafpliotis N., and Goldberg D.E., "A niched Pareto genetic algorithm for multiobjective optimization," in Proc. 1st IEEE Conf. Evolutionary Computation, IEEE. World Congr. Computational intelligence, 1994, vol. 1, pp. 82-87.

73. Hwang C.-L. and Masud A.S.M., Multiple Objective Decision Making Methods and Applications, vol. 164 of Lecture Notes in Economics and Mathematical Systems. Berlin, Germany: Springer-Verlag, 1979.

74. Jakob W.D, Gorges-Schleuter M., and Blume C., "Application of genetic algorithms to task planning and learning," in Parallel Problem Solving from Nature. 2, R. Manner and B. Manderick. Eds. Amsterdam, The Netherlands: North-Holland. 1992, pp. 291-300.

75. Kickert W.Y.M. and oth. Application of Fuzzy Controller in a Warm Water Plent. "Automatica", v. 12, N4, 1976, p.301-308

76. Kickert W.Y.M. Fuzzy theories on decision-making. "Martinus Nijhoff Social Sciences Division", Netherlands, 1978, 182p.

77. Koza J.R. Genetic Programming: On the Programming of Computers By Means of Natural Selection. Cambridge, MA: MIT Press, 1992.

78. Michalewicz Z. and Janikow C.Z., "Handling constraints in genetic algorithms." in Genetic Algorithms: Proc. 4th Int. Conf., R. K. Belew and L. B. Booker, Eds. San Mateo, CA: Morgan Kaufmanns, 1991, pp. 151-157.

79. Mitchell M. An introduction to Genetic Algorithm. MIT Press, 1996.

80. Powell D. and Skolnick M.M., "Using genetic algorithms in engineering design optimization with nonlinear constraints", in Genetic algorithms: Proc. 5th Int. Conf., S. Forrest, Ed. San Mateo, CA: Morgan Kaufmann, 1993, pp. 424-131.

81. Prade H. A computional approach to approximate and plausible reasoning with applications to expert systems. "IEEE Trans. Pattern Anal, and Mach. Intel.", 1985, N3, p.260-283

82. Richardson J.T., Palmer M.R., Liepins G., and Hilliard M., "Some guidelines for genetic algorithms with penalty functions." in Proc. 3rd Int. Conf. Generic Algorithms, J. D. Schaffer, Ed. San Mateo, CA: Morgan Kaufmann. 1989. pp. 191-197.

83. Sager T.W. Nonparametric maximum. Likelihood estimation of spatial patterns. "The Annals of Statist.", 1982, N4, p.l 125-1136

84. Schaffer J.D., "Multiple objective optimization with vector evaluated genetic algorithms," in Genetic Algorithms and Their Applications; Proc. 1st Int. Conf. Genetic Algorithms, J. J. Grefenstette, Ed. Princeton, NJ: Lawrence Erlbaum, 1985. pp. 93-100.

85. Steuer R.E. Multiple Criteria Optimization Theory, Computation, and Application. New York: Wiley, 1986.

86. Tanaka H., Fan L.T., Lai F.S., Toguchi K. Fault-tree analysis by fuzzy probability. "IEEE Trans. Reliab.", 1983, N5, p.453-457

87. Willaeys D. Some of the properties of fuzzy discretisation. "Fuzzy Inf., IFAC Symp. Marseille, 19-21 July, 1983" Oxford, 1984, p.61-69.

88. Wilson P.B. and MacLeod M.D., "Low implementation cost IIR digital filter design using genetic algorithms," in IEE/IEEE Workshop Natural Algorithms Signal Processing, Chelmsford, U.K. 1993. Vol. 1, pp. 4/1-1/8.

89. Zakian V. and Al-Naib U., "Design of dynamical and control systems by the method of inequalities," Proc. Inst. Elect. Eng. vol. 120, no. II, pp. 1421-1427, 1970.

90. Zimmermann H.J., Zysno P. Quantifying vagueness in decision models. "European Journal of Operational Research", N22, 1985, p.148-158

91. Борисенко M.Jl. Использование нечеткой модели процесса оценивания качества для получения достоверной экспертной оценки. В сб. Оборонный комплекс научно-техническому прогрессу России. №2, 1999, стр. 14-18.

92. Новые информационные технологии в учебном процессе. Направление: Разработка и внедрение в учебный процесс кафедр ИПОВС и Электротехники УМК. Часть 1: Отчет о НИР (заключительный) / МГИЭТ: Науч. рук. Лисов О.И. шифр "МИЭТ-7-97-ИПОВС"; 1998. - 93 с.

93. От МИЭТ ТУ Руководитель разработки

94. От ИЛ ПС МИЭТ ТУ Научный руководитель, <д т.н., профессор Лисов О.И, / х1. У-*х1. Исполнители:1. Начальник ИЛ ПС МИЭТ ТУ

95. Былинович A.fl. Душугин И.В. ^йда^ Бориеенко М ЛИЛоб использовании результатов диссертационной работы Борисенко M.JI.